生物の網膜の仕組みにヒントを得た「イベントカメラ」は、一定間隔で画像(フレーム)を撮影する通常のデジタルカメラと異なり、画素ごとに明るさの変化を「イベント」として独立に検出する次世代センサだ。マイクロ秒レベルの極めて高い時間分解能と低消費電力、広いダイナミックレンジを実現できることから、高速物体の追跡や三次元計測、自動運転などへの応用が期待されている。
ただ、実機は入手性が限られる上、大規模な撮影データの収集も容易ではない。そこで、CGで作った仮想空間をイベントカメラで模擬的に撮像するシミュレーションが求められるが、マイクロ秒レベルの時間分解能を忠実に再現しようとすると、1秒間の映像に何十万枚もの画像を計算する必要があり、その膨大な計算コストが大きな技術課題となっていた。正確さを維持したまま計算量を減らす技術が必要とされていた。
そうした中で、千葉大学、早稲田大学(早大)、一橋大学、科学技術振興機構の4者は、イベントカメラの撮像機序を忠実に再現し、コンピュータ・グラフィックスで作られた動的な三次元シーン内を模擬的に撮像できる技術を開発したと9月30日に共同発表した。
-
イベントカメラのシミュレーション結果の比較。部屋内に設置した奥の箱は左右に滑らかに運動している。赤と青のプロットはそれぞれ陽極・陰極性のイベントの発生時刻と位置を示しており、フレーム画像を基にする既存手法では、フレーム間の明るさの変化を捉えられないことによる誤検出やイベントの取りこぼしがプロットの不連続性として見られる。それに対し、今回の手法(Ours)はそのような不連続性が見られず、正解(Reference)と同様の高品質なイベントを、フレームに縛られない高時間分解能で生成できている (出所:千葉大ニュースリリースPDF)
同成果は、千葉大大学院 融合理工学府の真鍋悠一郎大学院生(研究当時)、千葉大大学院 情報学研究院の久保尋之准教授、早大 理工学術院の森島繁生教授、一橋大大学院 ソーシャル・データサイエンス研究科の谷田川達也准教授らの共同研究チームによるもの。詳細は、IEEEが刊行する、CGや可視化技術などを扱う専門論文誌「IEEE Transactions on Visualization and Computer Graphics」に掲載された。
イベントカメラの撮像機序を再現する新技術
イベントカメラは高速物体追跡や三次元計測、自動運転などへの応用が期待されている一方、膨大な計算コストが研究開発上の大きな壁となっていた。そこで研究チームは今回、イベントカメラの撮像機序を忠実に再現できる新たなシミュレーション技術を開発することにしたという。
今回の研究では、フレーム画像を介さず、光の経路を物理的に追跡する「パストレーシング」によって任意画素における任意時刻の明るさを直接計算し、イベント発生時刻を精密に割り出す技術が開発された。
パストレーシングとは、光が三次元シーン中で反射や屈折を繰り返してカメラに届くまでの伝達経路を複数追跡することで、物理的に正しい明るさを計算するCG映像の計算手法の1つだ。映画などの高品質なCG映像制作だけでなく、厳密な光の伝達を調べるための科学技術計算においても広く使われている。
一般的に、パストレーシングはその厳密さにより多くの計算を必要とするが、今回は「二分法」と「統計的仮説検定」を組み合わせることで課題の解決が図られた。
二分法は、時間的、空間的な数値の変化が一定のしきい値を超える場所を検出する際、調べる区間を半分ずつに狭めながら、時間的・空間的な位置(今回の研究では明るさの変化が一定量を超える時刻)を精密に求める探索アルゴリズムだ。
今回の研究成果
一方の統計的仮説検定は、データのばらつきを考慮して、ある仮説が正しいといえるかどうかを統計的に判断する手法だ。今回の研究では「この時間区間ではイベントが発生しない」と判断できる区間の計算を早めに打ち切るために用いられ、不要な計算の大幅な削減に成功し、高い時間分解能のイベント列を素早く検出できるようになった形だ。
実験の結果、今回の手法はフレーム画像を基にする既存のシミュレータと比べ、高品質なイベントデータを生成できることが確認された。また、統計的仮説検定による計算の打ち切りとGPU向けの最適化を併用することで、二分法のみを用いる場合に比べて計算時間を約3分の1に短縮できることを示した。
今回の成果は、実機の入手性が限られる上、大規模な撮影データの収集が容易ではないためデータ基盤の整備が困難なイベントカメラを対象とする研究開発の加速、特に自動運転・ロボットなどに向けたAIの学習用データ生成に貢献することが期待されるとしている。
レアメタル不要の触媒で燃料電池の性能強化に成功 東北大らの研究成果
