NTTは10月27日、4K映像を高精細なままリアルタイムに解析し、遠方に小さく映る対象の検知可能距離を従来比で3倍以上に拡大するとともに、検知した対象の状況判断まで支援する映像監視技術を実証したことを発表した。

この技術には自社開発の「超高精細映像AI推論LSI（Large Scale Integration）」を用いており、カメラ1台でより遠方まで監視できるようになるため、道路や空港などのインフラ監視の広域化・省設備化への貢献が期待されるという。

超高精細映像AI推論LSIを活用した映像監視技術

NTTは今回、4K映像を縮小せず高精細なままリアルタイムに解析できる超高精細映像AI推論LSIを活用して遠方の小さな対象まで捉え、検知した対象の状況判断も支援する映像監視技術を実証した。

LSIをVLM（Vision Language Model）の前段処理エンジンとして活用し、4K映像からVLMが見るべき対象を捉え、その状況を判断するために必要な情報とともにVLMへ伝えることで、VLMへの入力データ量を抑えながらも画質は保つことでVLMによる状況判断を支援する。

  • VLM連携道路監視システムの実証

    VLM連携道路監視システムの実証

ポイント1：遠方まで監視範囲を広げる高精細・リアルタイム解析

NTTが開発した超高精細映像AI推論LSIは、4K映像を縮小せず1秒間に30フレームでリアルタイムに物体を検出し、遠方に小さく映る対象も捉える技術。

4K映像全体を物体検出モデルの入力解像度に縮小する方式と比べて、遠方の小さな対象の特徴を維持できるため、検知可能距離を3倍以上に拡大できることが確認されている。

さらに、この検出結果をもとに対象を追跡し、位置・速度・移動方向などの「動きの情報」も推定可能。

ポイント2：高精細な切り出し画像と動きの情報でVLMの判断を支援

検知した対象の種別や動きの情報から、VLMによる詳細な状況確認が必要と判定した場合には、4K解像度を保ったまま対象物の周辺を切り出した高精細画像と、対象や周辺物体の位置・速度・移動方向などの「動きの情報」をセットでVLMへ入力する。

これにより、VLMは切り出し画像から対象の形状や周囲との関係などの細部を確認するとともに、画像だけでは分からない時間的な変化を「動きの情報」から把握して状況を判断する。

ポイント3：必要な場面だけVLMで解析するイベントドリブン処理

平常時は消費電力20ワット以下の超高精細映像AI推論LSIが4K映像を常時解析し、VLMによる詳細な状況判断が必要な事象を検知した場合にのみ、VLMによる解析を実行する。

このイベントドリブンな処理により、映像を継続的にVLMへ入力する構成と比較して、VLMへの入力回数を削減できる。さらに、上述の通りVLMへ入力する情報も高精細な切り出し画像と動きの情報に絞ることで、VLMへ送る情報量を抑えている。

  • 処理フロー

    処理フロー

実証により事故映像の処理が可能であると確認

開発した技術を検証するため、事故発生の瞬間を含む1分間（1800フレーム）の4K映像を用いて、PoCシステムの動作を確認した。評価映像は画面奥方向に走行する黄色の車両が上下線間の構造物に衝突し、車道を横切るように停止する事故場面を含む。

4K映像全体をVLMへ入力した場合には、入力時の画像縮小によって黄色の車両が小さく潰れ、事故と判断できなかった。これに対し今回開発したシステムでは、独自LSIを中核とする前段処理によって停止した黄色の車両を検知。

その周辺を元の4K映像から画素情報を保ったまま320×320画素で切り出した画像と、周辺車両を含む動きの情報をVLMへ入力することで、事故と判断できることが確認できたとのことだ。

また、事故発生前後を含む映像変化の大きい1分間においても、VLMへの入力回数は34回に抑えられた。これは、全1800フレームをVLMへ入力する場合と比べて、入力回数を約98.1%削減したことに相当する。

  • 実証結果

    実証結果