オムニビジョン、クルマのカメラを有効活用できるISP「OAX4000」を発表

自動車用のイメージセンサに強い、米OmniVision(オムニビジョン)社は、最大4台のカメラ(イメージセンサ)からの映像データをデジタル処理するISP(画像処理プロセッサ)「OAX4000」シリーズを開発した。同社はこれまで自動車用のCMOSイメージセンサでは強かったが、CMOSイメージセンサだけではなく、センサからの信号を処理するISPでも今回、新製品を見せた。

自動車に搭載されるカメラの数が増えるのに従い、ISPもそれに応じて搭載する必要が出てくるが、1台のカメラに1個のISPだと、カメラの数が増えるに従い、配線数はもっと増えることになる。クルマの中は配線だらけになってしまう恐れがある。自動車は他の用途では問題にならないくらい軽量化に関しても要求が強い。配線が増えて重量が少しでも重くなることを嫌う。できるだけサーディス(SerDes)のように並列配線を直列の1本の配線に変換したい。

今回のOminiVisionのISPも1個のチップで最大4個のカメラの画像を扱うことができる。例えば、駐車場で車庫入れするのに便利なサラウンドビューモニターは、前後・左右4台のカメラの画像を合成して、視点を加え座標変換してまるで上から見るようにディスプレイに表示するシステムである。4台の2.5～3M画素のカメラ(30fps)ごとにISPを搭載して、出力をMIPI(Mobile Industry Processor Interface)インタフェースに変換する場合でも、カメラからの配線を4本そのものは変わらないが、ISPを通して4本を1本にしてしまえば、その後の画像合成処理やディスプレイへとつながる配線は1本で済む。1本で済めばクルマの軽量化になる。

• 図1 4台のカメラからサラウンドビューモニターで画像合成する前にISPで配線を1本にする (出典:OmniVision)

サラウンドビューだけではない。ドライバーの目の上方にあるバックミラーと、左右のサイドミラー(ドアミラー)から3台のカメラ映像(2.5～3M画素、60fps)の画像処理も1個のISPで処理できる。ISPの映像の出力はGPUやDSPやホストプロセッサなどに送ることができる上に、出力を2本出すこともできる。

1台のカメラから2本の映像に分離

複数のカメラを扱うだけではなく、8Mピクセルといった高解像度のカメラ映像データをADAS(先進ドライバー支援システム)処理に使うマシンビジョン用と、単に見るだけのモニター用の2つの出力で見られるように画像処理することもできる。この場合は1台のカメラ(8M画素、30fps)でモニターとADAS処理の両方を行うことのできるようにISPが2本のMIPI出力で映像データを出力する。この場合はOAX4000をカメラ側に入れてもよい上に、ECU側に入れてもよい。いずれの場合も、映像を送信するデータ線はLVDS(Low Voltage Differential Signaling)配線1本だけですませることができる。マシンビジョン用の映像信号は、AIを通して物体認識や、工場なら製品の良否判定に使うことができる。

• 図2 8M画素の高解像度カメラ画像をマシンビジョンとモニター用の2本に分けることも可能 (出典:OmniVision)

これからは、センサのカラーフィルタとして、例えばRGBとIR(赤外線)のフィルタを混ぜたRGB-IRフィルタも使うようになる。例えば、車室内の映像を撮ってモニターで見ると同時に、IRで人間(ドライバー)の顔の特長を検出し、例えば居眠りしたくなってくる場合を検出するためにも使える。IRモニターで顔の特長を抑えておけば、1台のカメラで2つの出力を出せるようにISPが映像データを処理する。こういった用途でも出力を2つ備えたOAX4000を使うことができる。

この場合、カメラのカラーフィルタのパターンではRGBとIRのフィルタを1画素パターン内に盛り込んでおき(図3)、ISPを通して可視光フィルタの映像と、IR映像を分けることができるようになる。可視光映像は通常のビューイングができるが、IR映像は真っ暗闇でも映像を撮ることができるため、夜間の走行中にドライバーの眠気を検出できる。

• 図3 カラーフィルタのCFA(カラーフィルタアレイ)パターンにもISPを活かす (出典:OmniVision)

OmniVisionは今後、ISPを使って複数のカメラからの1本の配線にするだけではなく、1台のカメラから複数の映像に分離する処理を行うため、さまざまなカラーフィルタにも対応できることを活かしていく。1台のカメラで部屋の監視とドライバーモニタリングを行う提案は、その1つだ。RCCBパターンは感度を上げるためのもので、Cはクリアを意味する。

• 図4 ダイナミックレンジを広げるためのアルゴリズム、トーンマッピングを改良 (出典:OmniVision)

さらに、イメージセンサのダイナミックレンジを広げてコントラストの美しい画像を得る技術に関しても、トーンマッピングの技術をISPに集積している。ダイナミックレンジを上げるためには、暗い場所での画像を明るい場所での画像を合成して、両者のいいとこどりをする訳だが、合成した画像が人間の視覚による見えと異なる場合が起きる。このため自然な諧調になるように画質を変換するトーンマッピングの技術が必要になってくる。今回のOAX4000シリーズでは、独自に開発した新しいトーンマッピングのアルゴリズムを使うことで、画質のコントラストがスムーズにしかも上げることができたという。図4の黄色い丸で囲まれた部分が明るく見えている。

今後OmniVisionは、センサやカラーフィルタ、ISPなどをフル活用して、新しい用途や機能を生みだしていくことになる。