カメラの映像処理がクルマの安全技術を握る

将来、クルマに搭載されるカメラの数は現在の1～2個から5～6個に増えるだろう。米国で2014年4月1日から販売される新車にはバックモニターカメラの設置が法律で義務付けられるようになった。クルマの真上から見ているような視点から駐車を支援するサラウンドビューモニターなどのシステムには通常4個のカメラを使うが、この機能が高級車からコンパクトカーにまで普及してきた。カメラ搭載台数の増加傾向は間違いない。

クルマに搭載されるカメラの利用は、これだけではない。衝突防止検出や白線逸脱検出などにもカメラは装着される。赤外線(IR)カメラも搭載されるようになる。クルマメーカーが取り組む課題の1つである安全・安心を追求すれば、クルマの運転座席から死角を完全になくすようにする(図1)。

カメラ搭載の増加傾向はカメラだけの市場が広がる訳ではない。CMOSセンサカメラに加えて、取り込んだ画像・映像処理プロセッサにとっても増える傾向にある。それもカメラのごとに取り込む機能が違えば処理プロセッサの仕事の内容も違う。

魚眼レンズの映像を補正するプロセッサ

クルマ用のカメラは、出来るだけ広い視野でクルマの外を見る必要がある。ただ単にカメラの数を増やすとコストアップになる。出来るだけ少ない数のカメラで死角ゼロを作り出したい。しかも、機械的にカメラを動かしたくはない。機械部分が直接風雨にさらされるとカメラを支える機械部品や機械的な支柱が劣化してポロリと壊れることがあるからだ。このため、カメラは魚眼レンズのように出来るだけ広範囲にしかも機械的に動かさずに広い視野で映像を撮り込みたい。

ところが、魚眼レンズの映像は歪んでいる。運転手からは何の映像であるのかを一目で判別できるような見やすい映像を作り出さなければならない。しかもクルマは走っているスピードで生の映像を映し出さなければならない。つまり、見やすい映像にするためにはリアルタイムで処理することが求められる。

そこで、魚眼レンズなど歪んだ映像を直角座標の映像にリアルタイムで変換するプロセッサが必要となる。米国シリコンバレーにあるベンチャーのGEO Semiconductorは、魚眼レンズで撮った映像をパノラマに伸ばしたり、上下左右に平行移動させたり、ズームインで拡大したりできる半導体チップを開発した。もちろん、デジタルのHD対応である。

このチップを使えば、180度目いっぱいの画像をまっすぐにのばすだけではなく、まるで動画のように横方向カメラを平行移動させるパンニングや、上下方向に移動させるチルト、さらにズームを交えて全景を映し出すことができる。ビデオ1は、機械的に動くものを一切使わずに、魚眼レンズで撮った1枚の画像をパン、チルト、ズームを行っている。

この処理では、デジタル的に校正する。まず、基準となる物体に位置を合わせるアラインメント作業を行う。ここでは、基準物体の位置に合せて、回転とシフト動作によって、他の物体の向きも整える。そして、ePTZ(Electronic Pan/Tilt/Zoom:電子的なパン・チルト・ズーム)作業を行う。ePTZ作業で格子マトリクス状の画素に揃えていく(図2)。具体的なアルゴリズムは明らかにしていないが、ある数式にしたがって各画素を変えていくスケーリングエンジンがキモだという。特許申請中だ。

GEOは自動車に搭載した1台のカメラを使い作成したビデオ2では、撮影した1台の魚眼レンズのカメラでとった映像を、2台のカメラに分割して見やすく加工している。この映像を補正するためのレイテンシは最大3msしかない。これはリアルタイム処理とみなすことができる。映像処理とはいうものの、補正は1フレーム内で行っているため、モーションJPEGで圧縮処理する。

GEOの方式はサラウンドビューシステム(日産はアラウンドビューシステムと呼んでいるが、バードアイビューシステムや360度システムなどとも言われている)は言うまでもないが、上からの視点で見たバックモニターとしても使える。この映像処理チップ「GW3ファミリ」にはビデオ入出力がパラレルあるいはMIPI規格を持ち、DDRサポートの有無などによってピン数が異なり、5種類の製品がある。

HUDの表示面積の拡大に対応

同社は、さらにヘッドアップディスプレイ(HUD)用の画像処理プロセッサも開発中だ。これは、カメラの映像処理ではなく、ディスプレイ表示の画像・映像処理するためのプロセッサであり、クルマのフロントガラスに情報を表示するシステムに使う。フロントガラスは曲がっているため、通常の液晶パネルに表示するような文字や画像をあえて歪めることでフロントガラスに合わせるようにするための使い方だ。前に述べたカメラ画像のゆがみ補正の逆に、マトリクス状のデカルト座標をわざと歪ませる技術である。特に大型のディスプレイや多種類の情報を表示するような、これからのシステム用途を狙っている(図3)。

この応用では、ドライバーは頭を動かすことなくまっすぐ前を向いたまま、表示された情報を見られるようにしなければならない。このため、投射されるガラスに焦点が合い、さらに背の高い人も低い人も調整することなくその表示情報を見えるようにしておく必要がある。特に、白線からの逸脱や衝突を検出するような情報が多いという。

HUDのティア1サプライヤには、日本精機、矢崎総業、Johnson Controls、Continental、デンソーなどがあるが、Bosch、パナソニック、Hyundai Mobisなど新規参入も増えている。General MotorsがHUDオプションを増やしていることに加え、BMWは2014年からほとんどのモデルにHUDを装着する。DaimlerもGM同様、早くからHUDを採用してきたが、2014年にはSクラスとCクラスのクルマに対応するという。

これまでのHUDは、表示する面積が小さく、QVGA(240×320画素)程度で情報の種類は1種類程度しかなかった。GEOのプロセッサを使えば、HD(720×1280画素)サイズの大型画面を扱えるようになる。しかもアニメーションや動画も増え、安全情報やナビゲーション情報も表示されるようになるとGEOは見ている。大面積で曲がったスクリーンに投影するため、映像変換処理が必要になるという訳だ。ここでも同社のeWARP技術を使う。