フィジカルAIは「失敗する未来」を回避できるか？ - NTTがワールドモデル開発

NTTは11月11日、ロボットが実際に行動する前に、複数の行動候補から生じる未来を予測・評価し、失敗する可能性の低い行動を選択できるフィジカルAI技術を開発したと発表した。発表に先立ち、同10日にメディア向けの説明会を開催した。

ロボットが動く「前」に複数の未来をシミュレーション

今回、物体の位置や姿勢、速度、質量などの物理量を推定し、物理法則にもとづいて未来を予測する独自の物理制御アダプタを映像生成モデルに統合したワールドモデルを開発した。

開発した技術の概要

小型ロボットによる荷物の棚積みでは、同技術の適用によってタスクの成功率が73.1%から92.3%に向上した。最初の適用領域として空港手荷物の積み込み・積み下ろしを想定しており、今後はMujinと連携して社会実装を進める。

ワールドモデルとは、外界の状態や変化をモデル化し、自らが行動した結果として未来がどのように変化するのかを予測する仕組みだ。人間が目や耳から得た情報と経験をもとに「この先はこうなる」と考えるのと同様に、ロボットにも未来を予測する仕組みを持たせることを狙う。

説明会に登壇した、NTT人間情報研究所サイバー世界研究プロジェクト主任研究員の松元崇裕氏は、ワールドモデルについて「人間と同じような先読みの力をロボットをはじめとするフィジカルAIに与えたい。カメラやセンサなど、ロボットの目や耳となる情報から、フィジカルAIの判断に必要な未来を予測する仕組みを目指している」と説明した。

NTT人間情報研究所サイバー世界研究プロジェクト主任研究員の松元崇裕氏

開発した技術では、視覚・言語情報をもとにロボットの行動を生成するVLA(Vision-Language-Action)モデルやモーションプランナなどが生成した複数の行動候補をワールドモデルに入力。それぞれを実行した場合の未来を映像として生成し、荷崩れや物体の落下、衝突などが起きるかどうかを評価する。その結果をロボット制御に戻すことで、実際に動く前に成功につながる可能性の高い行動を選択する。

松元氏は「行動候補の中から成功につながる可能性の高い行動をロボットが知ることで、失敗しそうな行動を事前に回避し、タスクの成功率を高めることができる」と述べている。

フィジカルAIでも難しい「多様な物体」の積み付け

背景にはフィジカルAIの台頭によるロボットの活動領域の拡大がある。従来の産業用ロボットは工場や倉庫など統制された環境で、あらかじめプログラムされた手順を正確、高速に繰り返す用途を得意としてきた。一方、タスクごとにプログラムやシステムを構築する必要があり、自動化できる範囲や構築コストに課題があった。

近年は汎用性の高い視覚・言語モデルなどを基盤とし、少量の実演データからロボットが取るべき行動を学習する技術が登場している。これによって、従来は技術面やコスト面から自動化が難しかった業務にも適用範囲が広がると期待されている。

ただ、松元氏によると「近年のロボット基盤モデルを使用しても、対象とするロボットやタスクによってはまだまだ成功率を十分に高めることが難しい」という。

特に難しいのが、空港手荷物や小売商品など、形状、素材、重さが異なる物体の積み付けや積み下ろしだ。物体ごとに形状や姿勢が違うだけでなく、重量、重心、摩擦などの物理特性も異なる。

さらに、1つの物体を操作したことで別の物体との接触や支持関係が変わり、転倒や荷崩れが周囲に波及する可能性まで考慮する必要がある。

「もっともらしい映像」ではロボットを動かせない

そこでNTTが着目したのが、ワールドモデルによる未来予測だ。ただし、一般的な映像生成モデルをベースとしたワールドモデルにも課題がある。大量の映像から映像の続きを生成するよう学習するため「もっともらしい未来」を経験的に予測することには優れるものの、学習データの範囲から外れると、物理法則に反する結果を生成することがある。

一般的なワールドモデルでは予測途中で物体が消失するケースも

松元氏は「一般的なワールドモデルは、きれいな映像やもっともらしい見た目を生成することが得意な一方で、ロボットの操作判断に用いるには少し向かない部分もある。そのため、当社では物理法則に従う動き、ロボットの操作判断に使える正確さを重視した」と話す。

例えば、物体同士が接触する場面で、本来存在するはずの物体が途中で消失したり、衝突後の動きを正しく予測できなかったりするケースがある。映像として自然に見えていても、ロボットが「この場所に物を置いてよいか」を判断する用途では問題となる。

この問題に対応するためNTTが開発したのが物理制御アダプタだ。映像から物体ごとの特徴を抽出し、位置・姿勢、速度・角速度、質量・慣性モーメントなどの物理量を推定。それらとロボットの行動候補を組み合わせ、運動方程式などの物理法則にしたがって将来の状態を計算する。

推定した将来状態は映像生成の条件としてモデルに入力する。これにより、経験的な予測を得意とする映像生成モデルと、力学的な予測を得意とする物理制御アダプタを組み合わせるというわけだ。

映像生成モデルに物理制御アダプタを組み合わせている

松元氏は「物理ベースだけでは予測できないものも存在する。例えば、生物の動きや、ドアを開けるとその先に別の部屋が広がっているといった状況は、映像から経験的に学習したモデルが強みを発揮する」との見解を示す。そのため、物理制御アダプタと映像生成モデルを統合し、2つの良いところを取り込んだ設計を目指した。

また、物理制御アダプタでは予測の過程で物理量を中間値として取り出せるため、ブラックボックス型のニューラルネットワークと比べて予測の根拠を把握しやすい。同氏は「説明性が高く、現場で問題が起きたときの調整や、さらなる改善がしやすい利点がある」としている。

積み付けの成功率は73.1%から92.3%に

NTTは複数物体の衝突などを含み、物理的な予測性能が求められる公開ベンチマーク「OBJ3D」で予測精度を評価した。人間の知覚に近い形で正解映像と予測映像の類似度を測定し、値が低いほど高精度となる「LPIPS×100」では、NVIDIA Cosmos Predict 2.5が21.90、既存手法「OCK」が7.92だったのに対し、NTTのワールドモデルは7.81となった。

小型ロボットを使った不定形物の積み付けでは、ワールドモデルを使用しない場合に73.1%だった成功率が、適用後は92.3%に向上した。ロボットが5つの行動候補から成功に近い行動を選び、物体の落下につながる行動を回避した結果だという。