カメラの画像やマイクの音を機械学習で認識する Xcratch 用拡張機能です。 学習済みモデル (画像: MobileNet v2 alpha=0.5、音: speech-commands) の特徴量を KNN 分類器で分類する転移学習方式なので、数枚の画像や数回の音を学習させるだけですぐに認識できます。
Xcratch の「拡張機能を読み込む」で次の URL を指定してください。
https://asondemita.github.io/xcx-ml/dist/xcx-ml.mjs
ジャンケン(グー・チョキ・パー)を認識するサンプル examples/sample.sb3 を使って、基本的な使い方を説明します。
次のリンクをクリックすると、サンプルを Xcratch で直接開けます。
カメラ画像がステージに表示されます(初回はブラウザがカメラの使用許可を求めてきます)。
ジャンケンを学習します(ラベル1=グー/ラベル2=チョキ/ラベル3=パー)。
初回のクリック時は「環境構築に少し時間がかかります…」と表示され、動き出すまで少し待ちます(約9MBのダウンロードが発生します)。
カメラにグー/チョキ/パーを見せると、ラベルが 1/2/3 と変わればOKです。
例: チョキを出した時にニャーと鳴くプログラム

うまく学習できた内容は「学習データを保存」でファイルに保存しておき、次回は「学習データを読み込む」で復元すると、学習し直さずにすぐ使えます。
「入力を[マイク]にする」ブロックを実行すると、それ以降の「ラベル1を学習する」「ラベル」などのブロックはカメラ画像のかわりにマイクの音を扱います。ブロックの使い方は画像のときと同じです。
「入力を[カメラ]にする」でカメラ画像の認識に戻ります(マイクは停止します)。画像の学習内容と音の学習内容は別々に保持され、「学習データを保存」「学習データを読み込む」は両方をまとめて扱います。「学習をリセット」も両方を消去します。
| ブロック | 種類 | 説明 |
|---|---|---|
| ラベル1を学習する | コマンド | 現在のカメラ画像 (マイク入力のときはこれから約2秒の音) をラベル1の例として学習する |
| ラベル2を学習する | コマンド | 同上 (ラベル2) |
| ラベル3を学習する | コマンド | 同上 (ラベル3) |
| ラベル | 値 | 現在のカメラ画像 (マイク入力のときは直近約1秒の音) を分類したラベルを返す (未学習のときは空) |
| 学習をリセット | コマンド | 学習した例 (画像・音の両方) をすべて消去する |
| 学習データを保存 | コマンド | 学習内容 (画像・音の両方) を JSON ファイルとしてダウンロードする |
| 学習データを読み込む | コマンド | JSON ファイルから学習内容を復元する |
| 入力を[カメラ/マイク]にする | コマンド | 学習・認識の入力をカメラ画像とマイクの音で切り替える (初期値はカメラ) |
| ビデオを[入/切]にする | コマンド | ステージのビデオ表示とカメラを制御する |
asondemita.github.io から配信します (CDN や TensorFlow Hub には接続しません)。初回の ML ブロック実行時に約 9MB (画像) または約 7MB (音) のダウンロードが発生します (要インターネット接続)。
# 隣のディレクトリに xcratch/scratch-gui が必要です
npm run register # scratch-gui に拡張を登録
npm run start # 開発サーバー (http://localhost:8601)
npm run build # dist/xcx-ml.mjs をビルド
バージョンは package.json の version で管理します。ビルド時に scripts/generate-version.js が src/gui/lib/libraries/extensions/entry/version.js を生成し、Xcratch の拡張機能一覧の説明文の末尾に「(vX.Y.Z)」として表示されます。
MIT