Technology
Physical AIの、しくみのすべて。
むずかしい話は、しません。カタログのデモがどう動いているのかを、ひとつずつ図と映像で解きほぐします。
2実機デモ
4実機検証したVLAモデル
20回お手本だけで動き始める
10+支えるAWSサービス
Technology
むずかしい話は、しません。カタログのデモがどう動いているのかを、ひとつずつ図と映像で解きほぐします。
Big Picture
Physical AIのシステムは複雑に見えますが、本質は「ミリ秒の反射は現場(エッジ)、時間をかける知能はクラウド」というシンプルな役割分担です。学習や計画のような重い知能はクラウドが、リアルタイムの推論・制御はエッジが受け持つ — 人間の熟考と反射の関係と同じです。
学習・状況の理解・計画。ミリ秒を争わない、深い知能の仕事。
AWS IoT Core (MQTT)
⇄
リアルタイムの推論と制御。毎秒何十回もの計算に、遅延は許されない。
クラウドとエッジをつなぐのはAWS IoT Core(MQTT)。ミリ秒を争う制御ループはエッジ内で完結させ、クラウドとは「指示」「完了報告」「状態の共有」といった軽いメッセージだけをやりとりする疎結合設計。だから通信が一瞬切れてもロボットは安全に動き続けられます。学習済みモデルの配布など大きなデータはAmazon S3が受け持ちます。
この役割分担のうえに、「賢さをどこに置くか」で2つの代表パターンがあります。このカタログの2つのデモが、ちょうど1つずつの実例です。
Stack 01 — VLA
VLA(Vision-Language-Action)は、カメラ映像(Vision)と言葉の指示(Language)を入力すると、ロボットの動き(Action)を出力するAIモデル。ChatGPTのようなAIが「言葉」を返すかわりに、「関節の角度の列」を返すと考えるとわかりやすいです。
カメラ画像(俯瞰+手先)、「消しゴムを片付けて」という指示、いまの関節角度
学習した経験から「この状況ならこう動く」を推論。数十ステップ先までの動きをまとめて生成(Action Chunking)
各関節の目標角度の列。これを毎秒何十回も繰り返して、なめらかな動作になる
視覚エンコーダがカメラ画像を理解し、言語モデルが指示と合流し、アクションヘッドが関節の動きを生成する — どのVLAモデルもこの3段構成が基本です。違いは規模と得意分野。だから「どのモデルを選ぶか」が腕の見せどころになります。
同じタスクでも、モデルによって個性がまるで違います。しまってAIチームは4モデルを実機で並行検証し、本番には確実性で選びました。
PaliGemma 2B + Gemma 300Mベースの大型モデル。初めて見る配置にも対応する汎化力が持ち味。
しまってAIでは134エピソードで学習し、3タスクを実機検証
Image: NVIDIANVIDIAのロボット基盤モデルファミリー。System1/System2の2層設計で「反射」と「思考」を分担。
しまってAIではペンの把持タスクを実機検証タスク特化の軽量モデル。一連の動きをまとめて予測するAction Chunkingで小さな物体の精密把持が得意。
本番ブースのライブデモは、3タスクを1つのACTモデルで実演
Image: Hugging Faceコード・重み・学習データまでApache 2.0で公開。手元のGPUでも動かせる規模で、始める1台目に最適。
筆者のVLA検証環境(AWS上に構築)でも学習・実機推論を実践
双腕の協調動作(筆者による検証)
柔軟物のシャツたたみ(FANUC様との検証)
人からロボットへの受け渡し(筆者による検証)Stack 02 — Physical AI Ops
VLAモデルは、人がお手本を見せる「模倣学習」で育ちます。現場を写し取り(収集)、仮想空間で増やし(生成)、クラウドで鍛え(学習)、シミュレータと実機で測る(評価)。足りないデータが見つかったら、また収集へ — このサイクルを何周も回して精度を上げるのが、ロボット版のMLOpsです。
Image: NVIDIAしまってAIの例: 消しゴムの片付けは、わずか20回のお手本(約10分の実演)でも動き始めました。本番用には照明パターンを変えながら50回収集。「まず小さく学ばせて、評価で弱点を見つけて、そこだけデータを足す」— 一周ごとに賢くなる、この回し方が実践のコツです。
Stack 03 — Agentic AI
FANUC×AWSデモの主役は、Amazon Bedrock AgentCore上のAIエージェント。「ツールを使う」「記憶する」「計画する」というソフトウェアの世界で磨かれたエージェント能力を、ロボットという体に接続しています。
ブースの画面には、エージェントがいま何を考えているかがそのまま流れます。「ブルー通りで配送が止まった。まず隣のエリアを調査しよう」— 判断の理由が言葉で見えるから、来場者は"AIが本当に考えている"ことを実感できます。
エージェントの「道具」がAPIではなくロボット制御。例: 「オレンジ通りをカメラで調査する」という道具を呼び出すと、実物のFANUCアームが動いて撮影する
調査結果を記憶に蓄積し「AIが認識している世界」を更新。例: 「ブルー通りは調査済み・異常なし」を覚えているから、同じ場所を二度調べない
「調査する」か「除去する」かを毎ターン自分で選ぶ。例: 障害物を見つけたら、形とサイズから「つかめるか」を判断してから除去に進む
重要なのは、障害物の位置を誰も教えていないこと。エージェントは道路の地図だけを頼りに、ゼロから調査計画を立てます。これが「事前プログラムされた自動化」と「自律」の違いです。
Stack 04 — Connectivity
クラウドの「脳」と現場の「体」は、AWS IoT CoreのMQTTという軽量な通信でつながります。ポイントは、何でもかんでも送らないこと。
「片付けて」という指示と「終わりました」という報告だけがクラウドを往復。映像の推論ループはエッジ内で完結するので、通信量はごくわずか
通信断のとき、アームは安全停止し、配達車両は最後に知らされた状態で待機。復旧したらクラウドから再開指示。Device Shadowが状態のズレを吸収する
TLS相互認証でロボットとクラウドがお互いを確認してから通信。工場でも展示会場でも、同じセキュリティ基準で運用できる
Stack 05 — Edge
Photo: NVIDIAしまってAIのVLA推論を担うのは、手のひらサイズのAIコンピュータ。カメラ映像から関節の動きを計算するループを、ネットワークを介さずローカルで回すため、通信遅延の影響を一切受けません。学習済みモデルはクラウド(Amazon S3)からAWS Systems Manager経由で配信され、現場のコンピュータが受け取って動き出します。
Image: NVIDIAVLAの実機推論に、必ずしも大型GPUは要りません。手のひらサイズ・低消費電力(7〜25W)のこの開発キットでも動作し、筆者のVLA検証でも実機推論に使っています。まず小さく始めるのに十分な頭脳です。
Stack 06 — Sim2Real
実機でのデータ収集は手間がかかります。そこで、実機とそっくりな仮想空間(NVIDIA Isaac Sim)をクラウドGPU上に構築し、お手本データの自動生成や学習前の検証を行います。見た目や物理の「仮想と現実のギャップ」は、カメラ校正(ChArUco)や、条件をあえてランダムに変える学習でならしていきます。
AWS Services
Physical AIといっても、使うのは特別なサービスではありません。いつものAWSの組み合わせです。
Learn More
