Physical AIの、しくみのすべて。

Stack 01 — VLA

VLAモデル — 見て、聞いて、動くAI

VLA(Vision-Language-Action)は、カメラ映像(Vision)と言葉の指示(Language)を入力すると、ロボットの動き(Action)を出力するAIモデル。ChatGPTのようなAIが「言葉」を返すかわりに、「関節の角度の列」を返すと考えるとわかりやすいです。

入力: いまの世界と、やってほしいこと

カメラ画像(俯瞰+手先)、「消しゴムを片付けて」という指示、いまの関節角度

AIが考える

学習した経験から「この状況ならこう動く」を推論。数十ステップ先までの動きをまとめて生成(Action Chunking)

出力: 次の動き

各関節の目標角度の列。これを毎秒何十回も繰り返して、なめらかな動作になる

VLAモデル図鑑 — しまってAIが実機で試した4モデル

どのモデルも「見る → 理解する → 動きを生成する」の3段構成が基本で、違いは規模と得意分野。しまってAIチームは4モデルを実機で並行検証し、本番には確実性で選びました。

本番ライブ採用

ACT

ALOHA (Stanford/UC Berkeley系)

ACT — 軽量で確実な職人

タスク特化の軽量モデル。一連の動きをまとめて予測するAction Chunkingで小さな物体の精密把持が得意。

本番ブースのライブデモは、3タスクを1つのACTモデルで実演

Image: Hugging Face

Hugging Face

SmolVLA — フルオープンな入門機

コード・重み・学習データまでApache 2.0で公開。手元のGPUでも動かせる規模で、始める1台目に最適。

AWS上に構築した検証環境でも学習・実機推論を実践

Image: NVIDIA

NVIDIA

GR00T — ヒューマノイド由来

NVIDIAのロボット基盤モデルファミリー。System1/System2の2層設計で「反射」と「思考」を分担。

しまってAIではペンの把持タスクを実機検証

π0.5

Physical Intelligence

π0.5 — 汎化に強い本命格

PaliGemma 2B + Gemma 300Mベースの大型モデル。初めて見る配置にも対応する汎化力が持ち味。

しまってAIでは134エピソードで学習し、3タスクを実機検証

ロボットが実際に動く様子

Stack 03 — Sim2Real

Sim2Real — 仮想空間で練習して、現実で本番。

Stack 05 — Remote Ops

開発と運用 — 人がいない間も、改善は止まらない。

改善ループの一周 — 実際の流れ

ある日の一周は、こんな流れです。⑧までいくと、また①へ — 一周まわすたびに、ロボットは確実に賢くなります。

1計画 — Kiroと作戦会議

「どのデータで、どのモデルを、どう学習させるか」をKiro(AIエージェント)と一緒に決める。実行の管理はKiro Crewが担い、前回の結果も踏まえた作戦づくり

2探索 — 素材と土台選び

撮影した実演動画のライブラリと、LeRobotのACTやSmolVLAなどのOSSベースモデルを見比べて、勝てる組み合わせを探す

3生成 — データを増やす

「ロボットの学ばせ方」で見た2本立て — 合成データ生成(SDG)とNVIDIA Isaac Simの仮想空間。NVIDIA Cosmosのような世界基盤モデルも選択肢

4学習 — 複数パターン並行

条件を変えた複数のモデルをAmazon SageMakerで同時に学習。夜のうちに回して、朝に結果を見比べる

5整備 — エッジも遠隔改善

AWS Systems Manager経由でJetson上のKiro CLIに指示し、推論プログラムの改善や設定の調整も遠隔で済ませる

6実行 — 実機で試す

新しいモデルをJetsonへ配備し、実機で推論を実行。掴めるか、置けるか — 採点者は現実の世界

7蓄積 — 結果はクラウドへ

実行結果や映像はAmazon S3へ。どのデータとモデルで何が起きたかを、後から辿れる形で管理する

↺

8改善 — 次の一手へ

Kiroが結果から次の一手を提案。例: 「カップに入れる」ができたら「取り出す」を足し、状況を見てどちらをやるかロボット自身が決められるところまで。ループは①へ戻って、また一周

進化の記録 — 同じアームの、別の日

ループが一周まわるたび、できることが増えていく。4本の映像は、その積み重ねの記録です。

記録 04+ 人の手を離れて、自ら改善をはじめた

そして — 人の手を離れて、自ら改善をはじめた

「入れる」と「取り出す」の2つのモデルを持ち、マットの状態を見てどちらを実行するかを自分で決めながら、片づけては取り出す往復を、人が席を離れたあとも自律で続けます。見守るのはKiro(AIエージェント)。うまくいったか、どこで時間がかかったかを記録し、次に集めるお手本の候補にしていく — 改善のループが人の手を離れ、ロボット自身のものになった姿です。

REC俯瞰 / 手元32倍速2026-09-12

ログは実際の運用記録から抜粋・要約したものです。

Kiro が見守っています — 監修ログ(抜粋)

開始

マットの状態を見て「入れる」か「取り出す」かを自分で選びながら、往復を始めます

途中経過

順調です。取り出しは影の向きで少し時間がかかる — 次に集めるお手本データの候補として記録しました

つまずき

掴み損ねがありましたが、その場で立て直しました。介入は不要 — 見守りを続けます

終了 → 次の一周へ

自律で回したワークの実行記録を受けて、次のモデル学習やデータ収集に反映。ロボットは自律的に改善を続けます

Learn More

もっと深く知る

Demo 01しまってAI — 家のお片付けロボットこの技術が実際に動く様子を見る Demo 02協働ロボット × AI Agent — 配送網の自律復旧AIエージェントの自律オペレーションを見る