科学大が開発したAR技術による側頭骨手術支援システムで手術精度などが向上

東京科学大学(科学大)は11月26日、拡張現実(AR)技術を活用し、手術映像に3Dホログラムを重ねて表示して術者の空間認識を向上させることで直感的な手術サポートを可能とする「側頭骨」(耳の近くにある頭蓋骨の一部で、耳の手術に関与)および「頭蓋底」(頭蓋骨の底部で、脳や神経の通路となる複雑な部位)手術のための新たな手術支援システムを開発したことを発表した。

• Orbeyaceホログラフィックディスプレイシステムの概要(出所:科学大Webサイト)

同成果は、科学大 医歯学総合研究科 医学部医学科 耳鼻咽喉科分野の伊藤卓講師、同・堤剛教授らの研究チームと、ソニーおよびソニーグループとの連携によるもの。詳細は、センサの科学と技術に関する全般を扱う学術誌「Sensors」に掲載された。

耳科・側頭骨領域では、神経や血管が硬い骨に囲まれているため、ドリルで削らなければその位置が確認できないことが多い。そのため、位置だけでなく深さや角度などの三次元的な空間認識が求められることから、ナビゲーションには、正確さ・深さ・角度などの精度に加え、手術中の空間把握を強化する3Dビジュアルへのニーズが高まっていたという。そこで研究チームは今回、術野(手術の対象領域)の把握を強化することが可能な、3Dホログラム画像を手術映像に統合するARシステムの開発を試みたとする。

今回の研究ではまず、手術用外視鏡「ORBEYE(オーブアイ)」の4K3D映像をGPU機能を搭載したPCに取り込み、多数のプラットフォームに対応したゲームエンジン「Unity」上で高速かつ遅延なしに表示する仕組みが開発された。さらに、診療用に撮影したCTデータから神経、血管、耳小骨などをセグメンテーションし、3D解析およびモデリングソフトウェアを用いてポリゴン化(3Dモデル化)を実施。そして実際の手術のシミュレーションとしてインプラントの留置部位をコンピュータグラフィックス上で再現し、Unity上で3Dモデルと手術映像を重ねて表示できるように開発された。また、Unityの画面を民生用ヘッドマウントディスプレイ(HMD)の「Meta Quest3」に取り込み、4K画質をほぼ損なうことなく遅延のない3D表示を実現することに成功したとのこと。開発されたシステムは「Orbeyace」と命名され、実際の手術で使用して、その有用性と利便性の検討も行われた。

• インプラント留置部位のシミュレーション(出所:科学大Webサイト)