慶大、LiDARの敵「ゴースト」を除去する世界最大のデータとAIを開発

慶應義塾大学(慶大)は5月29日、レーザーセンサ「LiDAR」がガラスや鏡面などの多重反射によって実体のない「ゴースト」を誤検出する課題の解決に向け、屋内外10シーンに及ぶ2万4000フレーム・75億件のラベルを含む、従来比100倍超の世界最大規模となる全波形LiDARデータセット「Ghost-FWL」を構築したと発表した。

併せて、全波形データからゴーストの特徴を自律的に学習するAIモデル「FWL-MAE」と除去フレームワークを開発し、LiDARベースのSLAM(自律位置推定と環境地図生成の同時実行)の位置推定誤差を最大約84%削減、3D物体検出の誤検知率も約50分の1に低減することに成功したことも発表した。

同成果は、慶大理工学研究科の吉岡健太郎准教授、同・五十川麻理子准教授、同・大学大学院理工学研究科の池田和真大学院生、同・原涼成大学院生、ソニーセミコンダクタソリューションズの共同研究チームによるもの。詳細は、コンピュータビジョン分野の世界最高峰の国際会議「CVPR 2026」の公開論文集に採録された。なお同会議は、IEEEとCVF(コンピュータビジョン財団)の主催により、6月3日から7日まで米・コロラド州のコロラド・コンベンション・センターで開催される予定だ。

近年の高度運転アシスト機能を備えた車両やロボットには、周辺環境の三次元形状を取得するためにLiDARが搭載されている。しかし、ガラスや鏡面を透過・反射した光が複数の経路をたどる「多重反射」によってゴーストが生じ、安全上の深刻な課題となっている。

LiDARにおけるゴーストによって引き起こされる誤認識の例。(左)物体検出では、ガラス越しに実体のない人物を誤検知してしまう。(右)SLAMでは、ガラス奥に偽の壁が生成され、ナビゲーションを誤る原因となる。(出所:慶大プレスリリースPDF)

従来のゴースト除去手法は、三脚に固定した高精度スキャナーで同一地点を繰り返し計測する方式のため、移動する車両やロボットへの適用は困難だった。そのため、実際の走行環境で機能する除去技術が強く求められており、研究チームは今回、LiDARが本来持つ「全波形データ」の活用に着目したという。

市販LiDARは、内部処理で反射波の最も強いピークのみを抽出し、距離と強度の組み合わせである「点群」として出力する。この方式はデータ量を抑制できるものの、反射波の時間的形状や複数ピークの成分といった多くの物理情報が損失する欠点があった。

一般的なLiDAR(左下)と全波形LiDAR(右)の比較。一般的なLiDARはピーク1点のみを記録するためゴーストと本物の物体を区別できないが、全波形LiDARは時間軸上の複数ピークを保存するので物理的な成因を識別することが可能だ。(出所:慶大プレスリリースPDF)

これに対し、全波形LiDARは反射光の時間強度プロファイル全体を記録する。ゴーストの原因となる多重反射のピークも波形内に保存されるため、ガラス、本物の物体、ゴーストの各ピークが時間軸上の異なるタイミングで出現する。波形の形状や強度、相対的な時間位置を手がかりにすることで、従来の点群では区別不能できなかったゴーストの成因を識別することが原理的に可能となった。

実環境における全波形データの例。ガラスがある場合(上)はガラス、物体、ゴーストの3つのピークが時間軸上に出現する(赤・緑・青)。ガラスがない場合(下)は、物体ピークのみが記録される。(出所:慶大プレスリリースPDF)

LiDARが捉えた膨大な三次元点群に対し、手作業でラベルを付与する「アノテーション」は、AIの学習に不可欠であるものの、多大なコストがかかるため、学習に使えるラベル付きデータが不足しているのが現状だ。この課題を解決するため、今回の研究では、ラベルのない全波形データから有用な特徴表現を自律的に獲得する自己教師あり事前学習手法「FWL-MAE」が提案された。

FWL-MAEは、データの一部を意図的に隠してその部分を予測させるマスクオートエンコーダの一種である。従来の画像・点群向け手法とは異なり、波形の形状復元に加えて反射ピークの位置・振幅・幅の推定も同時に学習する。これにより、単なる外観の復元を越え、物理的な反射の成因まで捉えた豊かな特徴表現の獲得が実現された。

検証では、アノテーションデータを50％に削減した場合でも高いゴースト検出率を達成し、事前学習なしの場合と比べて大幅な改善が示された。これは、データ収集コストが高い実環境において、効率的な学習が可能であることを示している。

続いて、事前学習済みのFWL-MAEに軽量な分類ヘッドを接続し、各ピークをゴースト、物体、ガラス、ノイズの4クラスに分類してゴーストを除去するフレームワークが構築された。これによりゴーストを除去した点群を、自動運転やロボットのアプリケーションに適用したところ、安全性における顕著な改善が確認された。

Ghost-FWLデータセットの収録シーン一覧。屋内4シーン・屋外6シーンが収録されている。3D地図(Scene)、アノテーション結果(Annotation、赤:ゴースト、緑:物体、青:ガラス)、撮影現場画像(RGB)で構成される。(出所:慶大プレスリリースPDF)

ガラスの多いオフィスビルの廊下で行われた走行実験において、従来処理と比べてSLAMの軌跡誤差が最大約84％が削減された。ゴーストによる地図の歪みが抑制され、自己位置を正確に把握し続けられることが確認されている。また、既存の統計的外れ値除去フィルタを用いた後処理手法と比較しても、今回の手法はSLAM精度を最大76％改善されており、従来の点群レベルの処理だけではゴーストを十分に取り除けないことも浮き彫りとなった。

全波形LiDARデータセットの比較。Ghost-FWLは移動環境でのゴースト検出アノテーションを備えた世界初のデータセットであり、アノテーション済みピーク数は従来比100倍を超える75億件に達する。(出所:慶大プレスリリースPDF)

さらに、ガラス越しの物体(人物)検出においては、ゴーストに起因する誤検知率が67.9％から約50分の1となる1.34％へと激減した。自動運転車が存在しない歩行者を誤検知して急ブレーキをかけるといった、重大な事故リスクの大幅な抑制が可能となることが確認された。

研究チームは今後、水面や金属面・着色ガラスなど、ガラス以外の反射素材や、雨・霧などの悪天候条件への対応へと技術を拡張し、あらゆる環境で誤認識のない高度な能力の実現を目指す計画とする。また、走行中データへの効率的なアノテーション拡張やリアルタイム処理への対応などにも取り組み、実際の自動運転システムへの実用化に向けた研究も進めていくとした。なお「Ghost-FWL」のデータセット、コード、ベンチマークなどは公式サイトで無償公開中だ。

FWL-MAEの全体構成。(上)事前学習フェーズ。ラベルなし全波形データの空間パッチをマスクし、時間強度波形の復元とピーク情報(位置・振幅・幅)の推定を同時学習。(下)ゴースト除去フェーズ。事前学習済みエンコーダに軽量な分類ヘッドを接続し、各ピークをゴースト・物体・ガラス・ノイズに分類してゴーストが除去された。(出所:慶大プレスリリースPDF)