NECは7月14日、サイバーフィジカルインテリジェンス研究所が開発した3Dモデル自動生成技術を発表した。

同技術は、スマートフォンなどに搭載された汎用カメラの撮影映像だけを使い、作業者や一時的に置かれた物体を独自AIで除去しながら、高精細で軽量な3Dモデルを高速生成するもの。

この技術を活用することで、現場の稼働を止めることなく、最短約1分で3Dモデルを生成し、製造現場の設備保守点検や建設現場の施工管理などへの活用を想定することが可能になるという。

  • 技術の概要

    技術の概要

粒の配置を最適化し、従来の約10分の1に高速化

今回発表されたNECの技術には「3Dガウシアン・スプラッティング」と呼ばれる3D表現技術が基盤として活用されている。

「3Dガウシアン・スプラッティング」は、空間を色や広がりを持つ粒の集合として表現する3D技術。複数の視点から撮影した画像を基に3D空間を再構成し、高精細ながら比較的軽量な3Dモデルを生成できる。

  • 「3Dガウシアン・スプラッティング」のイメージ

    「3Dガウシアン・スプラッティング」のイメージ

一方で、高精細な3Dモデルを作るには多数の粒を調整する必要があり、計算コストが大きくなるというデメリットもある。

NECは映像内の見た目の複雑さをAIで解析。配管やメーターなど複雑な部分には粒を密に配置し、壁や床など変化の少ない部分では粒を間引く手法を開発した。3Dモデルへの影響が小さい粒を削減することで、画質を維持したまま計算量を削減。従来比約10分の1となる最短約1分で3Dモデルを生成できるようになった。

デモンストレーションでは、処理開始直後は粗かった3Dモデルが時間の経過とともに鮮明になり、設備のメーターや文字まで判読できるようになる様子を確認できた。生成開始から約1分の時点では、従来技術よりも高い精細度で表示されていた。

  • デモンストレーションの様子

    デモンストレーションの様子

高速化に加え、新技術では不要な被写体を自動で除去できる点も特徴だ。これは、複数の角度から撮影した映像に対し、AIが作業者や一時的な物体を検出して削除する仕組み。削除した箇所は、同じ場所を別の角度から撮影した映像を使って補完している。

この処理によって、人物が設備や商品棚の前を横切る映像からでも、人物を除いた現場の3Dモデルを構成できる。小売店舗で行った実験では、商品棚の前に作業者が映り込んだ映像から、作業者を除去した棚の3Dモデルを生成できることを確認したという。

  • 不要な被写体を自動で除去してくれる

    不要な被写体を自動で除去してくれる

熟練者不足を背景に高まるデジタルツイン需要

続いて、NEC サイバーフィジカルインテリジェンス研究所 主任研究員の馬場崎康敬氏は、新技術の開発背景として「インフラ事業者や製造業における熟練者不足」という現場の課題を挙げた。

「限られた人員で設備の点検や保守業務を行う必要があり、熟練者が複数の現場を移動して管理・指導する負担も大きいため、遠隔地から現場を確認し、管理や指示を行うためのデジタルツイン活用ニーズが高まっています」(馬場崎氏)

  • 新技術の開発背景を説明する馬場崎氏

    新技術の開発背景を説明する馬場崎氏

通常の映像では撮影した方向からしか確認できないが、3Dモデルでは設備の裏側や上部なども任意の視点から確認できる。また、過去に生成した3Dモデルと比較することで、設備や現場の変化も把握できる。

  • 設備の3Dモデル生成のイメージ

    設備の3Dモデル生成のイメージ

ただし、従来の3Dモデル生成だけでは課題が残った。

「LiDARなどの専用機材は広い範囲を高精度で計測できるのですが、機材の準備や計測に手間がかかり、高頻度で変化する現場の撮影には向きにくいという欠点がありました。汎用カメラから3Dモデルを生成する方法も存在するものの、高精細なモデルを作るには処理時間が必要でした」(馬場崎氏)

また、稼働中の現場では作業者や台車、仮置きされた荷物などが映り込み、そのまま3Dモデルの一部として再現されてしまう。このため従来は、人や物を移動させてから撮影する必要があった。

デジタルツインを支える3Dモデル化技術

NEC サイバーフィジカルインテリジェンス研究所の宮野博義所長は、同研究所では現実世界をデジタル空間上に再現する「デジタルツイン」の研究を進めていると説明した。

  • 3Dモデル化技術について説明する宮野氏

    3Dモデル化技術について説明する宮野氏

人やロボットが活用できるデジタル空間を構築し、その分析結果を現場へ還元することで、安全性や生産性の向上につなげる考えだ。

今回発表された技術が活用される「人と機械が混在する産業現場」も、同研究所が対象としている領域だ。

作業者の配置最適化や熟練者不足を補う教育支援、人と同じ空間で稼働する搬送ロボットの経路最適化、インフラ保全や災害対策などを研究しているそうで、特に「固定カメラや移動センシングなどで取得した情報をAIで分析し、AIの専門知識を持たない監督者や判断者でも、質問を通じて必要な情報を得られる仕組み」の確立を目指しているという。

3Dモデルは設備や作業動線のシミュレーション、遠隔からの現場確認、ロボットの学習データなどに活用でき、Physical AIを支える基盤データとしても期待されている。

宮野氏は「このような取り組みの基盤となるのが、実世界をデジタルツインとして再現する3Dモデル化技術だ」と説明した。

製造・建設現場での活用を見据え、2027年度中の実用化へ

今回の新技術では、撮影に専用の計測機材を必要とせず、汎用カメラを使用できる。

LiDARが数百万円から数千万円規模であるのに対し、汎用カメラは数万円程度から導入可能なため、コストの面での負担軽減につながるほか、生成した3Dモデルは一般的なPCやタブレットで閲覧でき、現場の状況を遠隔地から確認して判断や対応を迅速化できるのも特徴だという。

NECは、現場の稼働を止めずに3Dモデルを更新できる特徴を生かし、製造現場の設備保守点検や建設現場の施工管理での活用を見込む。今後は実証試験を通じて実環境で有効性を検証し、2027年度中の実用化を目指す。