ルネサス エレクトロニクスとSyntiant(シンティアント)は7月28日、ビジョンAIを活用したIoTおよびエッジアプリケーションを、低消費電力な音声認識を使ってハンズフリーで操作できる「マルチモーダルAIソリューション」を共同開発し、リファレンスデザインの提供を開始したことを発表した。

同ソリューションは、ルネサスのビジョンAI向けマイクロプロセッサ(MPU)「RZ/Vシリーズ」と、シンティアントの低消費電力でマルチモーダルかつマルチフィーチャーのNeural Decision Processor「NDP120」を組み合わせ、常時オンで待機しながら音声トリガーで起動し、ビジョンAIによる物体認識、顔認識などを行うことを可能としたものだという。

これにより、任意の音声でシステムを起動、操作しつつ、操作する人のふるまいをAIで画像認識し、不審な動きがあれば操作を停止したり注意を促すなど、音声と画像の双方のAIを組み合わせたマルチモーダルシステムの開発が可能だとしている。

このシステムを活用することで、セルフレジ、顔認証セキュリティカメラ、TV会議システムやロボット掃除機等スマート家電などのビジョンAIシステムを、非接触で安全な音声UIで操作することが可能となり、音声認識に低消費電力な専用チップを用いることによりスタンバイ電力が抑えられる上、ビジョンAIと独立したソフトウェア開発が可能なためシステムの早期開発ができるという。

ビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」は、ルネサスの「ウイニングコンビネーション」の一環として開発されたもので、リファレンスデザインとして回路図や部品表などが提供される予定となっている。