科学大が開発したAR技術による側頭骨手術支援システムで手術精度などが向上

東京科学大学(科学大)は11月26日、拡張現実(AR)技術を活用し、手術映像に3Dホログラムを重ねて表示して術者の空間認識を向上させることで直感的な手術サポートを可能とする「側頭骨」(耳の近くにある頭蓋骨の一部で、耳の手術に関与)および「頭蓋底」(頭蓋骨の底部で、脳や神経の通路となる複雑な部位)手術のための新たな手術支援システムを開発したことを発表した。

Orbeyaceホログラフィックディスプレイシステムの概要(出所:科学大Webサイト)

同成果は、科学大医歯学総合研究科医学部医学科耳鼻咽喉科分野の伊藤卓講師、同・堤剛教授らの研究チームと、ソニーおよびソニーグループとの連携によるもの。詳細は、センサの科学と技術に関する全般を扱う学術誌「Sensors」に掲載された。

耳科・側頭骨領域では、神経や血管が硬い骨に囲まれているため、ドリルで削らなければその位置が確認できないことが多い。そのため、位置だけでなく深さや角度などの三次元的な空間認識が求められることから、ナビゲーションには、正確さ・深さ・角度などの精度に加え、手術中の空間把握を強化する3Dビジュアルへのニーズが高まっていたという。そこで研究チームは今回、術野(手術の対象領域)の把握を強化することが可能な、3Dホログラム画像を手術映像に統合するARシステムの開発を試みたとする。

今回の研究ではまず、手術用外視鏡「ORBEYE(オーブアイ)」の4K3D映像をGPU機能を搭載したPCに取り込み、多数のプラットフォームに対応したゲームエンジン「Unity」上で高速かつ遅延なしに表示する仕組みが開発された。さらに、診療用に撮影したCTデータから神経、血管、耳小骨などをセグメンテーションし、3D解析およびモデリングソフトウェアを用いてポリゴン化(3Dモデル化)を実施。そして実際の手術のシミュレーションとしてインプラントの留置部位をコンピュータグラフィックス上で再現し、Unity上で3Dモデルと手術映像を重ねて表示できるように開発された。また、Unityの画面を民生用ヘッドマウントディスプレイ(HMD)の「Meta Quest3」に取り込み、4K画質をほぼ損なうことなく遅延のない3D表示を実現することに成功したとのこと。開発されたシステムは「Orbeyace」と命名され、実際の手術で使用して、その有用性と利便性の検討も行われた。

インプラント留置部位のシミュレーション(出所:科学大Webサイト)

Orbeyaceは、3Dホログラムと手術映像をHMDに統合して表示し、カラービデオパススルーで表示される周囲の現実世界に同期して手術映像や3Dモデルが浮かび上がるため、裸眼での操作感覚に近い使用感が実現されている点が特徴だ。映像遅延は約0.13秒と非常に短く、HMDを装着したままでも違和感なく手術を行うことができるという。

さらに、HMDに表示された画面を3D4Kモニターにミラーリングすることで、通常の手術映像と臓器3Dモデル、シミュレーション画面、ハンドジェスチャーによるアノテーション表示を同時に映し出すことも可能。HMDを装着している術者のみならず、助手や看護師など周囲のスタッフも同じ映像を共有しながら手術を進めることが可能になるとする。

次に、Orbeyaceを用いた術野の空間認識にかかる負荷の軽減効果が検証された。その結果、特に人工内耳手術では、術者の経験年数に関係なく認知負担が大幅に軽減され、手術手技の早期習得が期待されることが確認されたとしている。

Orbeyaceシステムを用いて実際に行われた人工内耳手術の様子(出所:科学大Webサイト)

今後の展望としては、ホログラム画像を術野に直接重ねて表示する技術の開発を進め、より直感的かつ精密な手術ガイダンスの実現を目指しているとする。具体的には、3Dスキャニング技術やARマーカーを活用して手術部位の三次元構造をリアルタイムで正確に把握し、術中の映像にホログラムを直接重ね合わせるシステムの構築を目指しているとした。また、Orbeyaceの応用範囲を広げることで、脳外科や心臓外科などの複雑でリスクの高い手術分野への導入も視野に入れているという。

Orbeyaceシステムを用いて実際に行われたBoneBridgeを埋め込む術の様子(出所:科学大Webサイト)

さらに、AR技術の社会実装に向けては、簡便に3Dモデルを生成し、術者が容易に扱えるシステムインタフェースの開発にも取り組むとしており、これにより医療従事者がスムーズに技術を習得し、臨床現場で即座に利用できる環境を提供するとしている。また、導入コストを低減させ、医療機関が手軽にAR技術を導入できるような施策も検討するという。加えて、シミュレーション教育やハンズオントレーニングを通じた実践的なトレーニングプログラムを充実させ、医療従事者の技術向上とAR技術の普及を推進していくとした。そして、これらの取り組みにより、医療現場におけるAR技術の標準化を進め、より安全で効率的な治療環境の実現に貢献していくとする。