STM32マイコン/プロセサによるエッジAIの活用を提案するSTマイクロ - EdgeTech+ 2024

STMicroelectronicsの日本法人であるSTマイクロエレクトロニクスは、神奈川県横浜市のパシフィコ横浜にて11月20日～22日にかけて開催されているエッジテクノロジーに関する展示会「EdgeTech+ 2024」にて、エッジにおけるAI処理を中心としたソリューションの紹介を行っている。

エッジでの機器制御を担うマイコン/プロセッサとして同社はSTM32シリーズを展開しているが、同社ブースでは、さまざまなエッジ分野におけるSTM32シリーズの活用例を見ることができる。例えばプロセッサ搭載のMEMSセンサを活用したデモとしては、同社のMEMSセンサ製品を活用した組み込みAI機能の開発、組み込みライブラリの評価、データ解析、コード記述なしのアルゴリズム設計などを可能とした総合デスクトップ・ソフトウェア・ソリューション「MEMS Studio」を活用する形で機械学習(ML)を行い、ジェスチャー判定をMLで行うといったものを見ることができる。

「魔法の杖」と銘打たれたMEMSセンサによるデモ。杖でアルファベット(I→S→P→Uの順)を空中で振るジェスチャーが正しいと、その文字が入力されたと判定され、画面上の文字に色が付く。写真はSまで進んだ段階

また、ToF測距センサを活用したデモとして、お掃除ロボットにSTM32マイコン(SMT32F401)とToF測距センサを組み合わせ、ToF測距センサを用いて床材に照射して反射してきた赤外光(IR)の量から、その床材がフローリングなのか石材なのか、カーペットなんかといった材質を事前学習データを踏まえて判別して、動き方や掃除の仕方を変えるといったものを見ることができる。日本の場合、畳という特徴的な材質もあるが、販売時点で対応していなくてもOTA(Over the Air)を活用して、後から学習データを追加したファームウェアにアップデートといった使い方もできるとしていた。

手前がToF測距センサ。お掃除ロボットの上にあるのがSTM32マイコンの制御ボード。写真のとおり、4種類の床材の上を走りながら、目の前の床材がどういったものかを判定して、モードを自動で切り替えるといったことができるというデモとなっていた

ちゃんと床の材質を判定しているかどうかを見える化するために、硬い床材の場合は赤、柔らかい床材の場合は緑のLEDが点灯する仕様になっている

さらに、STM32のプロセッサである「STM32MP257」を4台使ったデモとして、カメラで映し出されたリアルタイム映像に対する4種類のAI処理を高いフレームレートで実行できる様子も見ることができる。4台の処理の主な内訳としては、2台で4種類のAI処理(搭載NPUを活用する形で1台あたり2種類のAI処理)、1台で内蔵GPUを用いた描画処理、最後の1台で動作(操作)の制御(このほか、GPU処理のボードと制御ボードではエンコード、デコード、カメラ映像の処理なども担当)というものとなっており、1台のボードでもできなくはないが、TSN(Time-Sensitive Networking)を用いた同期処理ができること、ならびに高いフレームレート(会場ではおおむね4つのAI処理ともに30fps以上を達成していた)を維持することを目的として4台を使うという判断に至った模様である。

「STM32MP257」を4台使ったAIデモ。3台並んでいるのと右下のタッチパネルの下に1台で合計4台となっている。AI処理自体はSTM32MP257に搭載されたNPUが担うため、CPUへの負荷はほぼないとのこと

東芝の音声ミドルウェアをマイコン内蔵フラッシュメモリに搭載したデモも公開

このほか、IIoT向けソリューションの紹介として、東芝が提供する音声認識ミドルウェアボイストリガー「RECAUIS」を活用した音声によるモーターの遠隔制御・予兆検知デモも見ることができる。

これは、RECAUISで作った音声コマンドをSTM32H5内蔵の2MBのフラッシュメモリに搭載し、話者の音声コマンドをウェイクアップワードなしに認識、タッチUIの制御やプライベートLoRaモジュールとの通信制御を行うハブ役のSTM32U5を介して、LoRaを活用して、離れたモータの制御を行うというもの。音声ワードを受けた際、モータ側の制御と併せて、音声合成による応答メッセージも流れるところも特徴となっている。また、LoRaを採用したのは、インターネットに接続する必要なく、遠距離でも機器同士の接続が可能なためとのことであった。

一方、モータ制御側も、単に遠隔からの音声を受けて回転数を変えたり、止めたり、再始動させたりといったことだけではなく、STM32G4を用いたBLDCモータの制御に加え、STM32U5を用いた加速度センサが取得したモータの振動データのFFT解析に基づく予兆検知のデモも同時に行ってる(マイクからのモータ音もデータ化して併せて表示されている)。この予兆検知に関しては機械学習などのAIベースではなく、ライブラリベースのデモであるが、モータの予兆検知レベルであれば十分に対応できるという。