パナソニックHDとパナソニックR&Dカンパニーオブアメリカは11月5日、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者らと共同で、ロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発したと発表した。

T-Rexは、カメラ映像と自然言語の指示からロボットの動作を生成するVLA（Vision-Language-Action：視覚言語行動）モデルに、指先の触覚情報を組み合わせたもの。物体に触れた際の力や滑り、変形などを検知し、その情報に応じてロボットの動きを細かく修正する。

従来のVLAモデルは主にカメラ映像を利用して動作を生成するため、接触状態に応じた細かな力加減が必要な作業への対応が課題となっていた。T-Rexは、視覚による動作生成と触覚による高速な動作修正を統合することで、こうした課題の解決を図る。

視覚による動作生成と触覚による高速制御を統合

T-Rexでは、視覚と言語を処理するモジュールが約5Hz（1秒間に5回）で動作の大枠を生成し、触覚情報を処理するモジュールが約20Hz（1秒間に20回）で動作を補正する。

  • ロボット操作AI「T-Rex」のアーキテクチャ（出典：パナソニックHD）

    ロボット操作AI「T-Rex」のアーキテクチャ（出典：パナソニックHD）

これにより、画像認識を繰り返すことなく、物体をつかんだ際の滑りや押し込み過ぎなどに素早く対応できるという。

学習にあたっては、200種類を超える日用品と22種類の基本動作を組み合わせ、7700件超、計100時間に及ぶ両手ロボット操作データを収集した。データには、カメラ映像やロボットの動作情報に加え、10本の指先に取り付けた触覚センサから得られる力や変形の情報、自然言語による指示などが含まれる。

さらに、人の一人称視点映像から視覚と動作に関する知識を学習させた後、触覚情報を含むデータで追加学習し、作業ごとの実演データを使って調整した。

卵の移し替えや鍵開けなど12種類の作業で成功率65％

研究チームは、ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の作業でT-Rexの性能を評価した。

その結果、平均成功率は65％となり、比較対象となった既存手法の35％を30ポイント上回った。また、触覚情報を利用しない場合の平均成功率は42％にとどまり、触覚情報を組み合わせることによる性能向上が確認された。

パナソニックHDは今後、製造現場での部品の挿入・取り外しやねじ締め、物流現場での柔らかい物品や壊れやすい物品の取り扱いなどへの応用を目指す。細かな力加減が必要な作業をロボットが支援することで、作業者の負担軽減や人手不足への対応につなげたい考えだ。