ソニー、世界初のエッジAI搭載イメージセンサー。入店数計測や欠品検知など

ソニーは5月14日、イメージセンサーにAI処理機能を搭載した、世界初の「インテリジェントビジョンセンサー」を発表。高速なエッジAI処理が可能で、小売業界や産業機器業界向けのAI機能を実装したカメラの開発が可能となる。1/2.3型、有効約1,230万画素の「IMX500」(ベアチップ製品)と「IMX501」(パッケージ製品)を用意し、4月から順次サンプル出荷を開始した。

世界初のインテリジェントビジョンセンサー。左がベアチップ製品「IMX500」、右がパッケージ製品の「IMX501」

サンプル価格とサンプル出荷時期

IMX500(ベアチップ製品)：10,000円 / 4月
IMX501(パッケージ製品)：20,000円 / 6月予定

イメージサイズは1/2.3型、対角7.857mm。画素チップとロジックチップを重ね合わせた積層構造で、ロジックチップにAIによる画像解析処理機能を搭載している。画素チップには有効約1,230万個の裏面照射型画素を配置し、広い視野角で情報を捉えられるという。

ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSPと、任意のAIモデルを書き込めるメモリーを搭載。これにより、高性能なプロセッサーや外部メモリーを必要とせず、エッジAIシステムを実現できるという。

インテリジェントビジョンセンサーの積層構造イメージ

画像チップから取得した信号は、ロジックチップで処理する過程でISP(Image Signal Processor)処理やAI処理を行うことにより、対象物をメタデータで出力し、扱うデータ量を削減。画像情報を出力しないことで、プライバシーに配慮した対応も可能になるという。

通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像(YUV/RGB)や、特定領域のみ切り出したROI(Region of interest)画像など、ユーザーのニーズや用途に応じた出力データ形式を選べる。

ユーザーが必要な出力データ形式を選べる

動画を撮影しながらの対象物の高精度なリアルタイムトラッキングも可能だ。ロジックチップでISP処理と高速AI処理ができるため、動画の1フレーム内ですべての処理を完結する。例えば、モバイル機器向けの物体識別を目的とした画像解析用AIモデル「MobileNet V1」の場合、3.1ミリ秒の処理時間でAI処理ができるという。

動画のフレームレートは、4K(4,056×2,288)/60fps、1080/240fpsに対応。フル/ビデオ+AI処理の場合は30fpsとなる。

レジにおける商品や作業のリアルタイムトラッキング例

ソニーは、インテリジェントビジョンセンサーを採用することにより、AI機能を実装したカメラの開発が可能となり、今後、小売業界や産業機器業界における多様なアプリケーションの実現や、クラウドと協調した最適なシステムの構築に貢献するとしている。

例えば、インテリジェントビジョンセンサーを採用した複数のカメラを小売店の店舗に設置した場合、1種類のカメラで設置位置や状況、時間など、目的や用途に応じて使い分けられる。入口であれば入店者のカウント、棚であれば商品の欠品検出、天井であれば来店者のヒートマップ(人が多く集まる場所の検知)など、複数の用途に活用できるという。

また、ヒートマップの検出に使っていたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能とのことだ。