Ememe、作業映像からPhysical AI学習用のモーションデータセットを作る「Ememeパイプライン」を提供開始

Ememeは、人の作業動画からロボット学習用のモーションデータセットを作成する「Ememeパイプライン」の提供をこのほど始めた。工場のカメラ映像やインターネット上の動画から手の動きと動作の意味を抽出し、ヒューマノイドやロボットハンドの追加学習に使えるデータとして提供する。

作業動画から抽出したハンドモーションのイメージ

Physical AIの学習データ不足を既存の映像で補う

ロボットに人の作業を覚えさせるには、大量の動きの手本が必要になる。現在主流の遠隔操作(テレオペレーション)によるデータ収集は品質が高い一方、人が1時間操作して得られるデータは1時間分にとどまり、量を増やすほど人手とコストがかかる。工場の作業記録映像やインターネット上の動画には人が手を動かす様子が大量に残っているが、整理されていないため、そのままではロボットの学習に使えなかったという。同社は、こうした既存の映像を学習データに変えることで、Physical AI開発のデータ不足の解消を目指す。

Ememeパイプラインは映像の選別からVLAモデルの改善まで対応

Ememeパイプラインは、人の作業動画を入力すると、VLA(視覚・言語・行動)モデルの学習用データセットを出力する。入力した動画から学習に使えるシーンだけを抽出し、ロボットのVLAモデルの追加学習に使える形式に整える。追加学習したモデルを搭載したロボットの動きを撮影し、AIが失敗したタスクを特定して改善点を提案する機能も備える。

同社によると、NVIDIAのヒューマノイド向け基盤モデル「Isaac GR00T」を使った社内検証で、ロボットの実演データだけで追加学習したモデルに比べ、Ememeのモーションデータを併用したモデルの方が、複雑な両手操作タスクで高い成功率を示したという。

Ememeパイプラインの画面

顧客の映像やオープンライセンス動画からデータセットを作成、クローズド環境にも導入

サービスは、顧客の映像または目的に合わせて選んだオープンライセンスの動画からモーションデータセットを作成するもの。機密性の高い工場映像を社外に出さずに処理できるよう、顧客のサーバーやクラウド環境にEmemeパイプラインを導入するサービスもある。データの大量処理や独自の出力形式、非公開データセットの作成の相談にも応じる。

代表取締役CEOの小島由香氏は「世の中には、人が働く姿を記録した映像がすでにあふれています。Ememeパイプラインは、その映像をロボットが学べるデータに変える仕組みです」とコメントしている。