富士通研、車周辺の接触リスクなどを示す車載向け3次元映像合成技術を開発

富士通研究所は10月9日、ドライバの視界補助向けに、車周辺の人や物などの立体物を歪みなく表示し、接触のリスクを分かりやすく2cmの精度で表現する車載向け3次元映像合成技術を開発したと発表した。

米国で成立した「KT法(Kids and Transportation Safety Act)」に代表されるように、車載カメラによる運転支援の重要性は世界的に認知されてきており、駐発車時のドライバの視界補助を目的として、車両後方を映すバックカメラや、複数の車載カメラと画像処理で車両周辺を俯瞰表示するマルチカメラシステムの搭載が進んでいる。また、超音波センサなどの障害物検知デバイスと組み合わせることで、車両近傍の障害物の存在を、警告音と共に映像で提示するシステムも搭載されるようになってきた。

しかし、こうしたマルチカメラシステムでは、合成映像の歪みによって駐車車両や歩行者などの周辺立体物の視認性が劣化するため、ドライバが周囲状況を直感的に把握しにくい、立体物との距離が分かりにくい、といった課題があった。

また、超音波センサとの組み合わせでは、センサの空間解像度が低いため、歪んだ合成映像の中で、大まかな危険領域を示す程度にとどまっており、立体物が込み入った状況ではドライバが瞬時に警告時の状況を認識することが困難という課題があった。

今回同社ではそうした課題の解決に向け、前後左右の4台の車載カメラに加え、超広角で高密度な測距情報が得られる3次元レーザーレーダーを複数併用し、周辺立体物を歪みなく、接触のリスクを分かりやすく表現する車載向け3次元映像合成技術を開発した。

具体的には、同社の全周囲立体モニタ技術を拡張し、車両周辺に仮想的な立体投影面の配置に加え、レーザーレーダーの測距情報に基づいて立体物を模した微細な投影面を生成し、立体投影面と復元した立体物にカメラ映像を投影し、自由な視点からの映像が生成できる測距情報統合型の3次元視点変換技術を開発した。

同技術は複数レーザーレーダーと複数カメラの位置と姿勢を考慮したものとなっており、カメラごとに周辺立体物の裏の死角を判別し、死角部分を撮影している他のカメラの映像を選択的に投影することで一組のレーザーとカメラでは実現できなかったより自然な映像を合成表示することが可能となっている。

また、高い空間解像度を有し、昼夜問わず測距可能な3次元レーザーレーダーの測距情報に基づいて、立体物との距離に応じた危険色を、立体物の実際の形状に近い形で透過的に重畳表示できる映像表現技術を開発。これは、復元した立体物を描画処理する際に、車速や舵角などの車両情報に基づき、進行方向と横方向も考慮した車両からの距離に応じた警告色マップを用いて、透過的な重畳描画処理を行うことで実現しているとのことで、レーザーレーダーの測距精度(約2cm)で接触の可能性を判定することが可能だという。

ちなみに同合成技術は、汎用画像処理基盤OpenGL ESをサポートするGPUを搭載した車載組込みプラットフォームで実行可能なソフトウェア技術として開発されたもので、この技術を活用することで、駐発車時や狭路でのすれ違い時などを含む様々な運転シーンで、車両や歩行者などの立体物が込み入った状況でも、歪みのない映像表現が可能になるため、ドライバが周囲状況を直感的に把握しやすい、距離感がわかりやすい映像の生成が可能になるほか、昼夜問わず、実際の立体物の形状に近い形で危険色を重畳できるため、接触のリスクが視覚的に分かりやすい映像表現で可能になり、ドライバが瞬時に警告時の状況を認識しやすい映像の生成が可能になるという。

なお同社では、今後、多様な運転シーンで、同合成技術による視界補助の効果検証を進めるとともに、同技術を用いた運転支援システムの製品化を目指し、車載組込みプラットフォームで実現するための処理の軽量化を進める予定とするほか、より利便性の高い認知支援の実現や自動運転への適用を目指して、カメラとレーザーレーダーを用いた周辺環境を認識する技術の開発も進める予定だとしている。