ナナフシの歩行データから多脚ロボの制御即を抽出するAI、東北大が開発

東北大学は、昆虫「ナナフシ」の数歩分の歩行データから、歩行を生成する報酬構造と脚の協調則をAIが抽出する枠組みを構築。その抽出した報酬構造を、体格の異なる六脚ロボットへ移植し、実機による歩行も実現したことを8月19日に発表した。

• 

  ナナフシの歩行データから移植可能な歩行制御則を学習する枠組みの概要 (出所:東北大プレスリリースPDF)

同成果は、東北大大学院 工学研究科のワン・ユチェン日本学術振興会特別研究員(DC2)、同・大脇大准教授、タイ・ウィタヤシリメティー科学技術大学院大学のポラメート・マヌーンポン教授らの国際共同研究チームによるもの。詳細は、生物の構造や機能を応用するバイオミミティクス全般を扱う専門論文誌「Bioinspiration & Biomimetics」に掲載された。

事前に詳細な状況が想定できない複雑な地形でのロボットの活用には、安定性や踏破能力の観点から四脚以上の多脚ロボットが望ましい。しかし多脚ロボットには、多数の脚と関節をどう協調させるかという大きな課題が存在する。

これまで、その課題に対する複数のアプローチが試みられてきたが、制御ルールやパラメータ、学習指標となる報酬関数のいずれかを、開発者が経験に基づいて手作業で設計する必要があった。そのため想定を超える状況には対応しづらく、機体や環境が変わる度に作り直しが求められる課題が残されていた。

それに対し、昆虫は約20万個という少ない神経細胞で、たとえ脚を1本欠損しても複雑な地形や状況に対応できる。この能力の裏にある原理を計算モデルとして抽出できれば、ロボット制御に大きな指針が得られることから、研究チームは今回、その解明に挑むことにした。

この研究では発想を逆転させ、開発者が報酬関数を設計するのではなく、昆虫の運動データから「昆虫は何を良しとして歩いているのか」という報酬構造そのものを推定する「逆強化学習」を採用した。

こうした手法はこれまで、18の関節が関わる多脚歩行のような高次元かつ複雑に絡み合った運動に適用され、実機ロボットの制御まで到達した例はなかったという。

そこで今回は、公開データセットのナナフシの平地直進歩行のうち、わずか1区間(18関節・約3〜4歩行周期分)を教師データとして使用。この極めて限られたデータを出発点に、昆虫の動作と学習中のエージェントの動作を見分ける「識別器」と、見分けがつかないほど昆虫らしく動く「制御法」とを競わせながら学習を進める「敵対的逆強化学習」が適用された。その過程で、識別器内に歩行の良さを表す報酬構造が抽出される仕組みである。

さらに識別器は、身体構造に左右されない「歩行としての望ましさ」を表す報酬ネットワークと、機体固有の事情を吸収するネットワークの2つに分けて設計された。この切り分けにより、前者のみを別の身体構造へ移植することが可能になったとする。

得られた制御法を用いたシミュレーションでは、まず平地でナナフシに似た安定歩行が再現された。六脚のタイミング関係を解析すると、四脚支持と波状歩容の中間にあたる、中速歩行に適した柔軟な歩容が自然に出現。後脚の接地時間が長い特徴も、推進と安定を後脚が担う昆虫の実データと一致した。

さらに、1本の脚における3つの関節の協調を解析したところ、体幹に近い関節が安定したリズムを刻み、先端の関節が接地のタイミングを細かく調整する「近位は安定、遠位は柔軟」という制御構造が確認された。これは、脚先の感覚フィードバックと局所的な修正によって安定を保つという生物学的知見と符合するものだという。

続いて、この枠組みが教師データの範囲を超えて機能するかが検証された。教師データは健全な個体の平地歩行のみであるにもかかわらず、凹凸のある地形では、脚のタイミング関係が前脚から後脚へ順に波が伝わる形へと自律的に組み替わり、不整地で生物がよく用いる歩行に近づいたとする。

また右中脚を無効化した脚欠損条件では、残る脚が対角方向に支持の鎖を組み直し、前脚と後脚の接地時間の割合を増やして失われた支持を補う代償動作が現れた。いずれの条件でも、脚の中の関節協調の基本構造は保たれており、限られた生物データから抽出された制御原理が、想定外の状況にも耐える骨格を持つことが示されたとしている。

• 

  報酬構造の移植による歩行学習。報酬構造を移植した場合(a)は協調した歩行が獲得されたが、単純な報酬のみの場合(b)は脚の協調を獲得できなかった。(c)実機六脚ロボット「RedMirror」への搭載と歩行の様子 (出所:東北大プレスリリースPDF)

さらに、身体比率や関節配置、モータ特性が大きく異なる六脚ロボット「RedMirror」(全長約90cm、幅約54cm、重量約4.5kg、18個のサーボモータで駆動)モデルに対し、ナナフシ模倣モデルで学習した制御法の直接移植が試みられた。

事前の予想通り安定歩行は成立しなかったものの、報酬ネットワークのみを移植してロボット側で改めて学習させたところ、協調した方向性のある歩行が速やかに獲得されたとした。学習に要したステップ数は約7万(約1時間8分)で、従来型の単純な報酬のみを用いた場合の約20万ステップ(約4時間7分)と比べて約3倍高速化された。なお後者では、前進はするものの脚の協調も前後の区別も獲得できなかったという。

最後に、シミュレーションで学習した制御法の実機RedMirrorへの搭載が行われた。シミュレーションと実機ではセンサ信号の分布が異なるため、慣性計測装置の信号の平均と分散を合わせる簡便な補正を施した上で制御法への入力が実施された。その結果、実機ロボットは協調歩行を実現し、生物の歩行データから学んだ制御則が現実の機体上で動作することが実証された。

今回の研究成果は、多脚ロボットの制御開発の考え方を「設計する」から「生物から学びとる」へと転換させる可能性を持つとする。抽出された報酬構造は環境や機体を越えて再利用できるため、新型ロボットを開発する度に制御をゼロから作り直す必要がなくなることが期待されるという。また、識別器の内部に解釈可能な報酬ネットワークが得られるため、「昆虫はなぜそのように歩くのか」という生物学の問いに定量的に迫る道具にもなるとした。

一方、現在の制御法は現時刻の観測のみに基づいて動作するため、経験の蓄積や長期的な戦略の切り替えといった、生物が備える記憶の働きを明示的には扱えていない点を課題とする。

研究チームは今後、記憶機構の導入や、中枢パターン発生器・反射といった生物的な低次制御と組み合わせた階層的な制御へと発展させることで、生物の運動学習により近い枠組みを目指すとした。将来的には、災害現場の探査、インフラ点検、惑星探査など、事前の想定が難しい環境で活動する多脚ロボットの実用化に貢献することが期待されるとしている。