Concept
このアームは「この座標へ動け」とプログラムされていません。人がお手本を見せて学習させたVLA(Vision-Language-Action)モデルが、カメラの映像と言葉の指示から、いまとるべき動きをその場で生成しています。
リーダーアームを人が握って動かすと、フォロワーアームがそっくり追従します(テレオペレーション)。この操作を映像と関節の角度ごと記録したものが、AIの「教科書」になります。数十回のお手本から、ロボットは片付け方を学びます。
学習を終えたモデルは、カメラ映像と「片付けて」という言葉だけを頼りに、毎秒何十回も関節の動きを自分で計算しながらタスクをこなします。展示では消しゴムをかごへ、マーカーをペン立てへ、サイコロをお椀へ — 3つのタスクを1つのモデルで実演しました。
How it works
来場者の一言がロボットの動きに変わるまで、クラウドとエッジ(現場のコンピュータ)がバトンをつなぎます。
マイクの音声をAmazon Transcribeが文字に変換
Strands Agents + Amazon BedrockのAIエージェントが意図を解釈しタスクを選ぶ
AWS IoT Core(MQTT)がクラウドから現場のロボットへ指示を届ける
エッジのJetson ThorでVLAが推論し、アームをリアルタイム制御
完了をクラウドへ通知。キャラクターが音声で結果をお知らせ
設計の勘所: カメラ映像から関節の動きを毎秒何十回も計算する制御ループは、遅延が許されないため必ずエッジで実行。会話の理解のような「賢い思考」はクラウドで。役割分担が心臓部です。動作後に俯瞰カメラ画像をクラウドのVLMが見て成否を自己判定するしくみは計画段階(未実装)です。
Gallery
まずは本編。会場で実際に流れたデモ解説映像です(音声つき)。続けて開発中の実機映像も見られます。
本編解説映像 — 面倒なことはPhysical AIにやらせよう! 〜家のお片付けロボット〜(約4分・音声つき)

アルミフレームにベニヤとプラダンを組んだ97×65×65cmの筐体が、お片付けロボットの家。俯瞰カメラ1台と手先カメラ2台、LED照明4本を備え、SO-101アーム2本が中で働きます。ロボット本体と筐体を合わせても数万円規模 — Physical AIは、驚くほど身近な部品で始められます。

デモの案内役は、キャラクター「しまってAI(お片付け幽霊)」。SageMaker上の音声合成(Qwen3-TTS)によるキャラクターボイスで来場者と会話し、成功すれば喜び、失敗すれば謝って人に助けを求めます。AIを身近に感じてもらうエンタメ性も、このデモの大切な要素です。
Technology
クラウドは完全マネージド、現場は約4万円のアームと1台のエッジコンピュータ。企業グレードの構成を、驚くほど身近な部品で。
| 会話AIエージェント | Strands Agents + Amazon Bedrock(Claude) — 音声指示の理解・会話・タスク指示を統括。Bedrock AgentCore Runtime上で稼働 |
|---|---|
| 音声認識 / 音声合成 | Amazon Transcribe Streaming(聞く) / Qwen3-TTS on Amazon SageMaker 推論エンドポイント(キャラクターボイスで話す) |
| クラウドとエッジの通信 | AWS IoT Core(MQTT) — 指示と完了報告だけをやりとりする疎結合設計 |
| VLAモデル | π0.5 / ACT / GR00T の3系統を並行検証。本番のライブデモは軽量なACT(3タスクを1モデルに統合) |
| データ収集(教材づくり) | テレオペレーションで人のお手本を記録し、Amazon S3へ。シミュレーション(NVIDIA Isaac Sim)でのデータ生成も併用し、照明パターンを変えてバリエーションを確保 |
| モデル学習 | Amazon SageMaker Training(GPUインスタンス) + MLflowで実験記録 — ロボット版MLOps |
| 評価とエッジ配信 | 実機で3タスクを検証し、学習済みモデルはAWS Systems Manager経由でエッジへ配信 |
| エッジ推論 | NVIDIA Jetson AGX Thor — VLA推論をローカル実行。ネットワーク遅延の影響を受けない |
| ロボット | SO-101 アーム(フォロワー2本+リーダー1本) — Hugging Face LeRobot系の教育用アーム、実売約4万円 |
Sources