次世代ビジョンシステムで必要となる低電力なイメージセンサ

インダストリー4.0は、より高速な接続速度、高度な自動化、よりスマートなシステムによって普及が推進され、製造業におけるビジョンの採用を加速させ、従来の単純なデータ収集システムにインテリジェンスを導入しました。

従来世代のビジョンシステムは、画像をキャプチャーし、転送用にパックした後、FPGA、ASIC、または高価なSoCデバイスによるダウンストリーム処理のために画像データを提供していました。今日、インダストリー5.0がデータパス全体に人工知能(AI)と機械学習(ML)を取り入れ、マスカスタマイゼーションを可能にすることで、さらに進化させています。カメラは、アプリケーションレベルで画像データを処理し、意思決定のためのメタデータだけを出力する機能を持つスマートなものになりました。

これら世代間での大きな進歩は、エッジで起こることに焦点を当てたことです。私たちの世界は本質的に主としてアナログであり、日常生活を助ける多くの電気および電気機械(EEM)システムはセンサー入力で駆動されます。システムのエッジにあるビジョン(光)、温度(熱)、オーディオ(音)、近接および位置、圧力(タッチ)の各電子センサーは、これらの物理的入力をキャプチャーし、加工データに変換して、インテリジェンスを追加し、意思決定を容易にします。インダストリー4.0により、これらのセンサーはインテリジェントで効率的になることが要求されるようになりました。一般および商用アプリケーションで使用される多くのセンサーは、基本的な構造から発展し、産業オートメーション化の過程で確立されたプロセスと基準を取り入れることで、機能拡張バージョンへと進化しました。

このような広範囲にわたるセンサーの採用は、あらゆる場所に組み込まれた、より低消費電力のバッテリー駆動スマートデバイスの需要が高まっている時期とも重なっています。電力はビジョンシステムに多くの課題をもたらしますが、イメージセンサーが革新的な方法でこれらの課題に対応し、優れた性能を発揮することは、ビジョンシステムの差別化要因になり得ます。

イメージセンサー - ビジョンセンシングへの入力メカニズム

ビジョンセンシングは、エッジでのデータ収集のための主要な手法になりました。収集された画像データは、迅速かつ効率よく意思決定を行うために使用できます。例えば、ビジョンセンサーがない場合、あるシーンの構成を伝えるには、そのシーンのオブジェクトに対して、対応する無数のセンサーが必要になります。これには大量のデータと膨大な処理を伴い、必ずしもシーンを正確に再現できるとは限りません。他方、画像はシーン内のあらゆるものを1フレームのデータで伝えるため、非常に効率的なシステムになります。

このデータ表現の容易さにより、イメージセンサーは、100MPを超える解像度を備え、静止画とビデオストリーミングの両方で、優れたディテールと特性を提供するためにハードウェアとソフトウェアによってサポートされ、スマートフォンなどの消費者向けモビリティ製品に使用するために加速度的なペースで進化を遂げました。モビリティ製品は、主にエンターテインメントや個人の価値観を満足させることを目的としているため、意思決定に関する目標はここで扱う内容とは少し異なります。しかし、自動車、産業、および商用アプリケーションに対応するビジョンシステムは、目的が明確な目標のために特化され、その多くは機械ベースの意思決定のために(センサー)出力を使用しており、解像度、フレームレート、消費電力の間で微妙なバランスを必要とします。

エッジでのインテリジェンスの重要性が高まるにつれて、これらのアプリケーションは、多様なユースケースのニーズに対応できるよう適応する必要があります。その多くは、コンピュータービジョン、マシンビジョン、自動化決定システムを支援するために、tより高い解像度や卓越した総合パフォーマンスが要求されます。多くの場合、誤った決定を減らすのに必要なニュアンスを提供するために、詳細な情報が要求されます。解像度が上がると、イメージセンサー内のピクセル数が増加し、それに応じてセンサーからイメージ・シグナルプロセッサー(ISP)またはSoCに転送される画像データも増加します。センサーからの膨大な画像データとISP/SoCによる画像データの処理には、高い消費電力が必要であり、ビジョンシステムの設計に大きな負担がかかります。

• 

  図1:イメージセンサーは解像度とフレームレートに応じて指数関数的にデータを生成

設計者は現在、ハイパワー電子コンポーネントを使用する際に、高い電力供給、消費電力、およびシステムBOMコストの課題に対処する必要があります。全体的に消費電力を削減する傾向がある中、大部分のビジョンシステムがシステム内で生成される熱を放散するのに対流空気流を利用しているため、課題の1つは熱管理です。イメージセンサーは熱に非常に敏感であり、適切な設計の選択と上記の要因に対する効率的な管理が不足すると、ビジョンシステムの信頼性が低下する可能性があります。

すべては量子効率から始まる

イメージセンサーの量子効率(QE)は、入射した光子から電子への変換を最大化するフォトダイオードの能力を定義します。QEが高いほど、画像が明るくなることはよく知られています。高いQEは低照度条件で効力があり、通常ピクセルサイズを大きくするか、可視光または不可視光による照明でシーンを補光することで実現されます。いずれの場合も、コスト、電力、および実装面積が追加されるため、ビジョンシステムでのサポートが必要です。これらの要素は、イメージセンサーの能力とシーンの条件に応じて、指数関数的に増加する可能性があります。

• 

  図2:波長全体にわたる同等のピクセルサイズの正規化されたQE曲線

これは不可視照明の場合に特に深刻です。不可視照明では、一般的に850nmと940nmの波長の光を発生する赤外線発光ダイオード(IR LED)が使用されます。これらの波長はイメージセンサーでは感知されますが、人間の目には感知できません。業界では、一般的にこれを「アクティブ照明」と呼んでいます。IR LEDも電力を消費するため、電力供給と大きな実装面積を必要とし、システムにかなりのBOMコストが追加されます。NIRスペクトルで高いQEを持つイメージセンサーは、画質を損なうことなく、センサーの数量、強度、および総BOMコストを最小限に抑えます。

画質が高いほど、総所有コストが低くなる

イメージセンサーのピクセルによって提供される高いQEが、データパスの他の部分におけるノイズの影響を受けて、全体の画質を損なわないようにすることが重要です。例えば、ピクセルアーキテクチャーでピクセル間分離が不十分な場合、ピクセル間クロストークによって、変調伝達関数(MTF)およびイメージオブジェクトのコントラスト/シャープネスが低下し、最終的に画質に影響を与える可能性があります。別の問題点としては、読み出し回路の不具合により、高い読み出しノイズが発生する可能性が考えられます。

画質が低いと、ISP/SoCに過度の負担がかかり、ビジョンシステムの全体的なフレームレートが低下するため、同じエンドツーエンドのタイミングを維持するには、より高いレートでクロックを供給します。前者の場合、ビジョンシステムは非効率です。いずれの場合もシステムはより多くの電力を消費することになります。処理の負担をサポートするために、高度なリソースを備えたISP/SoCが必要になる可能性があり、それによって総BOMコストが増加します。

卓越した画質出力は、上記の欠点を緩和し、ビジョンシステムの総所有コストを削減します。

サブサンプリング・モード

オンセミが提供する、例えばHyperlux LP製品ファミリーのようなCMOSイメージセンサーは、このような運用ニーズを認識し、多様なサブサンプリング・モードを備えています。ビニング、クロッピング、スキップなどのモードは、生成および送信される帯域幅を低減します。

• 

  図3:オンセミのHyperlux LPファミリー

これらの機能により、ビジョンシステムはスマートになり、ユースケースのニーズに基づいて、必要かつ最適な電力/パフォーマンスのプロファイルを選択できます。例えば、生体認証スキャナーの場合、5MPセンサーアレイを搭載した単一システムを、サブサンプリング・モードでの1個の指紋からフル解像度の顔スキャンまで、スキャンプロセスの重大度を段階的に増やしながら使用できるようになりました。最も重要なことは、ISP/SoCが処理するデータ量が少なくなり、ISP/SoCの消費電力とビジョンシステム全体の消費電力が減少することです。

スケールダウン

解像度が高いイメージセンサーは、かなりの帯域幅出力を生成します。例えば、60fpsで動作する20MPセンサーは、12Gbpsの画像データを転送します。この画像データは、センサー内の高速インタフェース全体で注意深く処理するだけでなく、それらを受け取るISP/SoCでも慎重に処理する必要があります。そのような大量のデータを処理するには、これらの処理エンジン内に高価な専用リソース、電力供給が必要であり、大きな消費電力/熱管理の問題につながる可能性があります。さらに、この課題にはインタフェース速度の制限が追加されます。

ほとんどのアプリケーションでは、フル解像度でフル動作速度が必要なのは、動作時間のごく一部であり、それ以外の時間はより低い解像度で対応できる場合が一般的です。サブサンプリング・モードでは帯域幅を狭くすることができ、それなりの利点はありますが、解像度の選択やシーンの完全性に関して一定の制約があります。

センサー内のスケーラーは、これらの制約を克服し、より低い解像度での動作ニーズに効果的に対応するのに役立ちます。スケーラーはISP/SoCによる管理ではなく、ソース側で直接帯域幅を制御する機能を提供します。視野全体を維持しながら、最も細かいレベルまで自由な粒度で調整を行うことができます。スケーリングアルゴリズムは、オンセミのHyperlux LP製品ファミリーの20MP品「AR2020イメージセンサー」に見られるように、高度なものが存在し、解像度をスケーリングした場合でも、優れた画質を実現します。例えば、遠くにあるオブジェクトのディテールを取得するには確かに20MPが必要ですが、画像全体ではなく、画像の特定部分しか必要ない場合があります。この動的に定義された領域だけをクロップまたはスケーリングすることにより、常に20MP分のデータを処理する必要はなく、20MPセンサーのメリットを享受できます。

• 

  図4:スケーリングはビニングよりもアーティファクトが少なく画像出力が向上

可能な限りスリープし、オンデマンドでウェイクアップ

センサーは、動作時間の大部分で低い動作状態(低解像度、最低動作フレームレート)にすることができます。動きを検出すると、事前に定義された構成に切り替わります － ウェイク・オン・モーション(WOM)。イメージセンサーには、これらの変化を解決し、ISP/SoCを所定のモード/構成に切り替えるネイティブ機能があります。また、モーションがアプリケーションに関係ない領域をマスクオフして、センサーやビジョンシステムのターゲットを絞ることにより、効率を向上させることができます。以前は、この機能はプロセッサーで行っていましたが、センサーで実行することでシステムのリソースと電力が削減されます。

• 

  図5:WOMなどの機能により、目的を重視するビジョンシステムを実現

このような機能の重大な影響は、バッテリー、スマートアクセス・システム、リテール用スキャナー、医療監視システムなど、さまざまなアプリケーションで見ることができます。バッテリー駆動アプリケーションでは、システムで消費される電力を最小限に抑えることができるため、今ではこれらのセンサーから大きなメリットが得られます。4Kビデオドアベル・アプリケーションでは、オンセミのAR0830のような8MPイメージセンサーは、フル動作状態で6Gのデータを送信しますが、動作時間の98％以上をWOMモードにすることができるようになりました。この検出前フェーズでは、少量のデータのみ生成/送信し、ビジョンシステム全体がフル動作モードで消費する電力のごく一部で動作できます。

イメージセンサーは、これまでにデータキャプチャーおよびデータ転送デバイスとして重要な役割を果たしてきました。しかし、オンセミのHyperlux LP製品ファミリーに見られる上記の傾向と進歩により、これらのセンサーはアプリケーション・インテリジェンスが組み込まれた、エッジでの強力なデバイスになります。これらのセンサーは、より優れたピクセルテクノロジー、構成可能なスマート関心領域、モーション検出などの機能統合を通じて、特定のユースケースのニーズに対応する設計が可能になり、優れたパフォーマンスを提供しながら、非常に消費電力の低い、差別化された高効率のビジョンシステムを実現します。

本記事はonsemiが「VISION SYSTEMS DESIGN」に寄稿した記事「Low Power Image Sensors for Modern Vision Systems」を翻訳・改編したものとなります