AWS Summit Japan 2026 / Builder's Fair

しまってAI
家のお片付けロボット

「消しゴムを片付けて」— マイクに話しかけるだけで、AIが言葉を理解し、ロボットアームが自分で考えて動き出す。散らかった家を片付けるという日常の願いを、Physical AIで叶える体験型デモです。

Concept

決められた動きを再生しているのではない。
学習したから、動ける。

このアームは「この座標へ動け」とプログラムされていません。人がお手本を見せて学習させたVLA(Vision-Language-Action)モデルが、カメラの映像と言葉の指示から、いまとるべき動きをその場で生成しています。

お手本は、人の手で

リーダーアームを人が握って動かすと、フォロワーアームがそっくり追従します(テレオペレーション)。この操作を映像と関節の角度ごと記録したものが、AIの「教科書」になります。数十回のお手本から、ロボットは片付け方を学びます。

模倣学習テレオペレーションSO-101 アーム

本番は、自分の判断で

学習を終えたモデルは、カメラ映像と「片付けて」という言葉だけを頼りに、毎秒何十回も関節の動きを自分で計算しながらタスクをこなします。展示では消しゴムをかごへ、マーカーをペン立てへ、サイコロをお椀へ — 3つのタスクを1つのモデルで実演しました。

VLAモデルエッジ推論NVIDIA Jetson Thor

How it works

声が、動きになるまで。

来場者の一言がロボットの動きに変わるまで、クラウドとエッジ(現場のコンピュータ)がバトンをつなぎます。

聞く

マイクの音声をAmazon Transcribeが文字に変換

理解する

Strands Agents + Amazon BedrockのAIエージェントが意図を解釈しタスクを選ぶ

伝える

AWS IoT Core(MQTT)がクラウドから現場のロボットへ指示を届ける

動く

エッジのJetson ThorでVLAが推論し、アームをリアルタイム制御

報告する

完了をクラウドへ通知。キャラクターが音声で結果をお知らせ

設計の勘所: カメラ映像から関節の動きを毎秒何十回も計算する制御ループは、遅延が許されないため必ずエッジで実行。会話の理解のような「賢い思考」はクラウドで。役割分担が心臓部です。動作後に俯瞰カメラ画像をクラウドのVLMが見て成否を自己判定するしくみは計画段階(未実装)です。

Gallery

本物が、動く。

まずは本編。会場で実際に流れたデモ解説映像です(音声つき)。続けて開発中の実機映像も見られます。

本編解説映像 — 面倒なことはPhysical AIにやらせよう! 〜家のお片付けロボット〜(約4分・音声つき)

VLA自律実行 — 両アームでの片付けタスク
本番ブースのセットアップ — 2本のアームと対話画面
マーカーを「S3バケット」ペン立てへ収納
テレオペレーションによる学習データ収集
ミニチュアハウスの筐体(アルミフレーム)

舞台は、手づくりのミニチュアハウス

アルミフレームにベニヤとプラダンを組んだ97×65×65cmの筐体が、お片付けロボットの家。俯瞰カメラ1台と手先カメラ2台、LED照明4本を備え、SO-101アーム2本が中で働きます。ロボット本体と筐体を合わせても数万円規模 — Physical AIは、驚くほど身近な部品で始められます。

しまってAIの展示看板

会場では「お片付け幽霊」がお出迎え

デモの案内役は、キャラクター「しまってAI(お片付け幽霊)」。SageMaker上の音声合成(Qwen3-TTS)によるキャラクターボイスで来場者と会話し、成功すれば喜び、失敗すれば謝って人に助けを求めます。AIを身近に感じてもらうエンタメ性も、このデモの大切な要素です。

Technology

この動きは、何でできているのか。

クラウドは完全マネージド、現場は約4万円のアームと1台のエッジコンピュータ。企業グレードの構成を、驚くほど身近な部品で。

会話AIエージェントStrands Agents + Amazon Bedrock(Claude) — 音声指示の理解・会話・タスク指示を統括。Bedrock AgentCore Runtime上で稼働
音声認識 / 音声合成Amazon Transcribe Streaming(聞く) / Qwen3-TTS on Amazon SageMaker 推論エンドポイント(キャラクターボイスで話す)
クラウドとエッジの通信AWS IoT Core(MQTT) — 指示と完了報告だけをやりとりする疎結合設計
VLAモデルπ0.5 / ACT / GR00T の3系統を並行検証。本番のライブデモは軽量なACT(3タスクを1モデルに統合)
データ収集(教材づくり)テレオペレーションで人のお手本を記録し、Amazon S3へ。シミュレーション(NVIDIA Isaac Sim)でのデータ生成も併用し、照明パターンを変えてバリエーションを確保
モデル学習Amazon SageMaker Training(GPUインスタンス) + MLflowで実験記録 — ロボット版MLOps
評価とエッジ配信実機で3タスクを検証し、学習済みモデルはAWS Systems Manager経由でエッジへ配信
エッジ推論NVIDIA Jetson AGX Thor — VLA推論をローカル実行。ネットワーク遅延の影響を受けない
ロボットSO-101 アーム(フォロワー2本+リーダー1本) — Hugging Face LeRobot系の教育用アーム、実売約4万円
ap-northeast-1(東京)で推論系が完結 学習系は us-west-2 VLMによる成否自己判定(計画)

Sources

出典・関連リンク集