ST、2.3k解像度のdToF 3D LiDARモジュール「VL53L9」を7月より量産　エッジAIの処理負荷を低減

この半導体ニュースのまとめ

・STMicroelectronicsが、2.3k解像度のオール・イン・ワンdToF 3D LiDARモジュール「VL53L9」の量産を2026年7月上旬より開始
・デュアル・スキャン・フラッド照明系の採用により、ブレやデッドゾーンを抑えつつ、2D赤外線データと3D深度データを同時取得可能
・STM32H5マイコンとの組み合わせで、低メモリ使用量のまま転倒検知や人数カウントなどのエッジAI処理を実現

エッジAI処理に最適なdToF 3D LiDARモジュールを7月より量産

STMicroelectronics(STマイクロエレクトロニクス)は6月22日、2024年3月に開発していることを明らかにしていた2.3k解像度(2268ピクセル)のオール・イン・ワンダイレクトToF(dToF) 3D LiDARモジュール「VL53L9」の量産を2026年7月上旬より開始することを明らかにした。

青い基板下側の長方形のモジュールが「VL53L9」。後段の白い基板はSTM32マイコンを搭載した開発・評価ボード「Nucleo」

同製品は、dToFセンサに加え、演算機能とパワーマネジメントIC(PMIC)を搭載したリフロー対応のオールインワン型モジュール。独自の積層型BSI SPADセンサ技術と独自のメタサーフェス光学素子(MOE)と組み合わせることでり最小5cm～最大9m(屋内。屋外は最大5m@40K lux)までの距離と物体認識を、視野角72°、角度分解能1°、最大100fpsの高速フレームレートで行うことを可能とした。

「VL53L9」の概要

デュアル・スキャン・フラッド照明系でブレとデッドゾーンを抑制

最大の特徴は、波長940nmの赤外光の発光素子を2つ横並びに配置して、それぞれ別方向に照射、反射してくる赤外光を受光するデュアル・スキャン・フラッド照明系を採用することでモーション・アーティファクトといったブレの低減や、デッドゾーンの解消に加え、小さな物体や椅子や机の脚のようは細い物体の検出精度を向上させつつも、2Dの赤外線データに加え、3Dの深度(距離)データを同時に取得することを可能とした点。

赤外線データと深度データを同時に取得できるため、AI処理の計算負荷を軽減できることが特徴となる

画像データと距離データの両方を同時に取得できるため、画像データから距離を推測するアルゴリズム処理が不要となるため、演算能力の低いマイコンを後段に配置しても、さまざまなエッジAI処理を低負荷で行うことができるようになるとしている。

「VL53L9」のターゲットアプリケーション

STM32H5と組み合わせ、転倒検知や人数カウントを低負荷で実装

具体的には同社のSTM32H5マイコンと組み合わせた場合(I3CでVL53L9と接続)、アルゴリズムの軽量化が可能であり、設計した距離に人が近づくと警告を出すシステムの場合、搭載したRAMの13％、フラッシュメモリの6％のみの使用で30fpsの解析処理を行うことが可能だとするほか、(LiDARであるため顔などの個人情報は取得できないため)プライバシーに配慮した形での転倒検知や人数カウント、姿勢モニタリングを実施する場合であっても、RAMの34％、フラッシュメモリの18％のみで30fpsでのAI処理を実現することができるとする。また、あらゆる照明条件下における直感的なハンドジェスチャ制御と高精度な指骨格のトラッキングについては、まだ開発中でPC上でしか動作できないとしつつも、将来のSTM32H5などのマイコンでの30fps処理に向けてメモリ使用効率の向上を図っているとするなど、さまざまな対応アプリケーションの開発も進めているとする。

スマート農業やスマートビル、介護を含む幅広い用途で採用が進む

すでに先行顧客での開発も進められており、米国のスマート農業メーカーであるBarn Toolsは、動物飼料用貯蔵ビン向けセンサ「BinTalk Pro」に4つのVL53L9を採用したという。このほか、スポーツやスマートビルディング(ドアの開閉)、倉庫内のセンシング、ヒト型ロボットなどでの活用が進みつつあるとのことで、日本でもスマートビルディングや介護分野などが興味を示しているという。

なお、同製品のモジュールサイズは12.8mm×6.1mm×4.6mmで、1.2Vおよび3.3Vのデュアル電源に対応。インタフェースとしてはI3Cのほか、MIPIにも対応。評価キットの入手可能となっている。

「VL53L9」のデモの様子。点群データに距離に応じた色分けがなされている

5MP RGB-IR CMOSイメージセンサで幅広いインテリジェントニーズに対応

このほか、同社は同日開催した説明会にて、2025年に発表済みの2.25μmピクセルの5MP CMOSイメージセンサ「VD1943/VB1943/VD5943/VB5943」やウェアラブル/AR/VR向けとなる0.6MPの低消費電力CMOSイメージセンサ「VD65G4/VD55G4」についても紹介を行った。

5MP CMOSイメージセンサ「VD1943/VB1943/VD5943/VB5943」の概要

5MP CMOSイメージセンサは、単色でセンサダイでの提供となる「VD1943」、単色でOBGAセンサパッケージでの提供となる「VD5943」、RGB-IRに対応したセンサダイ製品「VB1943」、RGB-IRに対応したOBGAセンサパッケージ製品「VB5943」という構成で、RGB-IR製品は、オンチップのRGB-IR分離機能を搭載することで、追加部品を用いることなくRGBとIRのデータを同時取得することを可能としている。

RGBとIRの画素を1つのイメージセンサ上に配置。1つのイメージセンサでRGBのデータとIRのデータを同時並行で取得することが可能

グローバルシャッターとローリングシャッターの両方式に対応している点も特徴で、同時動作させることで、ローリングシャッターで美しいカラー画像を取得しつつ、グローバルシャッターで高速動作画像や近赤外の画像を取得するといった使い方をすることができるという。

グローバルシャッターとローリングシャッターの両方式を同時動作させることが可能

すでに台湾の交通監視用途向けにAppro PhotoelectronがVD1943を採用済みとのことで、5MPという解像度を活用することで天候に左右されずに、複数車線の車両のナンバープレートの検出を実現できるようになったとするほか、米Leopard Imagingでは、ロボットおよびAI認識アプリケーションに向けて、RGBによる画像情報とIRによる深度情報を組み合わせた高い認識精度を実現するステレオビジョンシステムに活用しているとする。

5MP RGB-IR対応CMOSイメージセンサのデモの様子

0.6MP小型CMOSイメージセンサでエッジ領域のAIニーズを開拓

一方の「VD65G4/VD55G4」は、低消費電力設計の2.16mm×2.73mmパッケージサイズのグローバルシャッター方式イメージセンサで、1/9光学フォーマットで800×700画素(0.6MP)の解像度に対応。フル解像度で最大184fpsするほか、背景除去機能としてアナログ処理で人物のみを出力するといったことも可能なインテリジェンスも有している。

「VD65G4/VD55G4」の概要

最大の特徴は1mWクラスでのシーン変化検出によるオートウェイクアップが可能で、システムとしての消費電力低減が可能。これによりエッジ領域にスマートビジョンを容易に統合することが可能になると同社では説明しており、幅広いアプリケーションへのサポートに加え、今後はエッジ領域に向けたサポートの拡大を図っていくとしている。

オートウェイクアップモード時の消費電力は約1mW。シーン変化を検出したタイミングでシステムを起動させるまで、低消費電力でバッテリーの消費を抑えることができる

同社の現在のイメージセンサ戦略は、高解像度化や高性能化といったスマートフォン(スマホ)やデジタルカメラ用途で求められる付加価値ではなく、いかにAI時代に、イメージセンサから得られるデータをAI処理に展開しやすくしていくかが中心にあるという。同社では「スマートオプティカルセンシング」という表現で、フォーカス領域を示しており、センサ技術のみならず、光学、プロセッシング、パッケージング、ソフトウェアをIDMとして統合する能力を提供していくことで、幅広い分野にトータルソリューションを提供していくことで、独自のポジションの確立を図っていくとする。