この半導体ニュースのまとめ

・ルネサスがRZ/V2Hで5本指ロボットハンドを制御するAIデモを披露
・手や物体をカメラで認識し、卵やスポンジ、缶飲料を適切な力で把持
・RA8P1による最大20人の顔検出と、RA8M1による音源分離も紹介

ルネサス エレクトロニクスは、11月18日から20日までパシフィコ横浜で開催されている「EdgeTech+ 2026」において、マクニカと共同出展という形でフィジカルAIやエッジAI、ロボティクスに向けた展示を行っている。

共同ブースのテーマは「Edge AIからPhysical AIまで」。ロボットハンドの把持制御、ジェスチャー認識、マイコンによるビジョンAIや音声AIなど、現場を見る、判断する、動かすという一連の流れを複数の実機デモで紹介している。

  • フィジカルAIとエッジAIのデモを展示するマクニカとルネサス エレクトロニクスの共同ブース

    EdgeTech+ 2026におけるマクニカとルネサス エレクトロニクスの共同出展ブース。エッジAIからフィジカルAIまでをテーマに、ロボティクスやビジョンAI、音声AIなどのデモを披露している

卵やスポンジを適切な力で把持

特に多くの来場者から注目を集めていたのが、圧力センサを指先に備えた5本指のロボットハンド「Dexterous Hand(デクストラスハンド)」のデモである。

展示台には卵、紙コップ、缶飲料、スポンジなど、硬さや形状が異なる複数の物体が用意されていた。2台用意されているうちの1台のカメラで対象物を認識すると、事前に設定された対象物ごとの把持力を呼び出し、卵は壊さず、スポンジは過度につぶさず、缶飲料は落とさない力でつかむことができる。

ロボットハンドの各指先に圧力センサが搭載されており、把持時の力をリアルタイムで取得。会場のモニターでは、親指、人さし指、中指、薬指、小指などに加わる力を個別に可視化していた。

  • 2台のカメラと圧力センサ搭載の5本指ロボットハンドを組み合わせたデモ
  • 卵や紙コップや缶飲料やスポンジを対象としたロボットハンドの把持デモ
  • RZ/V2Hを用いた5本指ロボットハンドのデモ。カメラで手の動きや対象物を認識し、卵、スポンジ、缶飲料などを対象に把持力を切り替える

2台のカメラのうち、もう1台は動作指示を行うジェスチャーを認識するために活用されるものとなっており、来場者やブーススタッフがカメラの前で手を動かすと、AIが手の骨格を検知し、その動きをロボットハンドがリアルタイムで模倣する。物体を把持する場合は、カメラによる認識結果に対応する圧力設定を適用し、5本の指を個別に制御する。

RZ/V2Hで認識から動作生成まで処理

このロボットハンドデモには、ルネサスのビジョンAI向けMPU「RZ/V2H」と、同MPUを搭載した「Robot Development Kit(RDK)」が活用されている。

RZ/V2Hは、ルネサス独自のAIアクセラレータ「DRP-AI3」と、Arm Cortex-A55、Cortex-R8、Cortex-M33などを組み合わせたMPU。AI推論、画像処理、Linuxアプリケーション、リアルタイム制御を、それぞれに適した演算部へ割り当てられることを特徴とする。

RDKではLinux上でROS 2の環境をサポートしており、カメラ映像からの手の検出と骨格検知、ロボットハンドの動作生成といったアプリケーションを実行する。シミュレーション上の仮想ハンドと実機を同時に操作することもできるという。

ROS 2の可視化・解析ツール「Foxglove」にも対応し、カメラ映像、ロボットハンドの各関節の位置、各指に加わる力、仮想環境のハンドの状態などを1つの画面で確認できる。

  • 管理画面

    管理画面の様子。カメラ映像、手の骨格検知、ロボットハンドの関節位置、各指に加わる力などが可視化されている。特に各指の圧力が指によって異なっている点がポイントとなる

RA8P1で最大20人の顔を検出

マイコンによるエッジAIのデモとしては、ルネサスの32ビットArmマイコン「RA8シリーズ」を活用したビジョンAIと音声AIの紹介が行われている。

顔検出デモには、Arm Cortex-M85とNPU「Ethos-U55」を搭載した「RA8P1」を使用。カメラ映像から最大20人の顔をリアルタイムで検出し、画面上へ検出枠と人数を表示する。

RA8P1は最大1GHz動作のCortex-M85と、最大256GOPSのAI演算性能を備えるEthos-U55を搭載する。同社によると、500MHz動作のEthos-U55を利用することで、1GHz動作のCortex-M85だけで処理する場合と比べ、顔検出の推論速度を約18.5倍ほど高められるという。NPUを活用して多数の顔を同時検出する一方、NPUを搭載しない構成でも処理可能な軽量モデルとすることで、コストや消費電力を抑えたシステムも構築できるとしている。

また、量子化からコード生成までをルネサスのツールで支援することで、エッジAIの開発経験が少ない開発者でも短期間でアプリケーションを構築できるとも同社では説明している。

  • RA8P1のNPUで最大20人の顔をリアルタイムに検出するビジョンAIデモ

    Arm Cortex-M85とEthos-U55を搭載するルネサスのAIマイコン「RA8P1」を用いた顔検出デモ。最大20人の顔をリアルタイムで検出し、NPUの活用によって推論速度を約18.5倍へ高められるという

想定する活用先として、顔を検出して広告表示を切り替えるデジタルサイネージや、施設、会議室、教室などにおける簡易的なアクセス検知を挙げている。なお、サンプルプログラムはGitHubで公開されているとする。

2つのマイクで音を分離

音声AIとしては、RA8M1を搭載した音声キット「VK-RA8M1」による音源分離のデモを見ることができる。

音源分離は、複数の音が混ざった入力信号から、混ざる前の個別の音を推定する技術。人間が周囲の雑音の中から特定の声を聞き分けるような処理を、機械上で実現するものとなる。

デモで用いられているブラインド音源分離(BSS:Blind Source Separation)では、2つのマイクへ音が届く際の音量差と時間差を利用して、複数の音源を分離することができる様子が示されていた。

音源分離を有効にした場合と無効にした場合のそれぞれで音声認識を実行し、最終的な認識結果をLEDの点灯状態によって示す。音声コマンドとして「電源オン」「停止」「暖房」「冷房」「除湿」「暑い」「寒い」などを設定している。

周囲の会話、機械音、音楽などが混在する環境でも目的の音声を取り出すことで、後段の音声認識率を高めることを狙う。主な用途として、スマート家電、住宅設備、産業機器などを想定する。

  • RA8M1と2つのマイクで音源分離と音声認識を行うエッジ音声AIデモ

    RA8M1を搭載した「VK-RA8M1」による音源分離デモ。2つのマイクの音量差と時間差を利用して混在する音から目的の音声を取り出し、音声認識率の向上を図る

このほか、同ブースでは、NFC/Bluetooth LEを活用した次世代スマートロックや3D ToFセンシングとRZ/V2Hを組み合わせた3D障害物検知などのデモも行われているなど、エッジAIを現実世界の動作へつなげるフィジカルAIに対するさまざまな実装方法が提案されている様子を見ることができる。