情報通信研究機構(NICT)と超臨場感コミュニケーション産学官フォーラム普及促進部会立体映像伝送作業班(立体映像伝送作業班)は2月9日、米Intuitive Surgical製手術支援用ロボット「da Vinciサージカルシステム(ダヴィンチ)」(画像1)の3D手術映像を遠隔地に生中継し、裸眼3D映像として提示する遠隔医療の映像伝送実証実験を2012年2月15日(水)に行う予定であることを発表した。

画像1。da Vinciシステムを導入した手術室のイメージ。(c) 2012 Intuitive Surgical

この実験は、「ダヴィンチによる消化器外科手術」の3D裸眼ハイビジョンライブ映像を藤田保健衛生大学医学部(上部消化器外科、宇山一朗主任教授執刀)から徳島大学医学部(ヘルスバイオサイエンス研究部消化器・移植外科学、島田光生教授担当)へ、超高速インターネット衛星「WINDS(きずな)」(画像2)を介して、IP伝送をするという試み。

画像2。きずなのイメージ。政府IT戦略本部の「e-Japan重点計画」に基づいて、宇宙航空研究開発機構とNICTが共同で研究開発した超高速インターネット衛星で、2008年2月に打ち上げられた。静止衛星軌道(東経143度、高度約3万6000km)を周回している(C)JAXA

徳島大学医学部講義室には大型裸眼3Dモニタを設置し、国内有数のda Vinci手術件数を誇る宇山教授による高度な医療技術を、da Vinci手術技術の習得や研究を志向する医学関係者、研修医、医学生などが視聴供覧する形だ。なお、藤田保健衛生大学は過去3年間でda Vinciを用いた一般消化器外科手術総数は200件を超え、おそらく国内最多の手術件数といわれている。

今回の実験に先立ち、NICTと立体映像伝送作業班は、2010年に開催された心臓手術の専門家に向けた相互学習・情報交換のための集会「CCT2010 Surgical」において、「きずな」を介して世界で初めて心臓外科手術の3Dハイビジョンの3Dライブ伝送実証実験を3D眼鏡ありで成功させており、医療現場での3Dの有用性を実証済みだ。ただし、眼鏡なしでの3D裸眼映像を手術現場で求める声は強く、手術補助者やトレーニング術者への有効な手段として技術開発を行い、今回の実証実験に至った次第である。

da Vinciそのものはというと(画像3～6)。手術支援用ロボットであることは多くの方がご存じかと思うが、日本国内には約40台が導入されており、今後もさらに台数が増えるものと見られている。術者は、3D映像下で3本のアームを遠隔操作することで手術を行うことが可能な仕組みを持ち、一般消化器外科、胸部外科(心臓外科を除く)、泌尿器科、婦人科の各科にて内視鏡手術器具操作を支援することが可能だ。なお、使用に関しては薬事法承認のトレーニングを受けることが条件となっている。

画像3。手術を行うロボットアーム部分。アームが3本の構成の場合もある。4本構成の場合、手術を行うのは3本で、1本は患部を撮影するための3Dカメラ。(c) 2012 Intuitive Surgical

画像4。手術用コンソール。このシステムをコックピットとも呼ぶ。上部にある2つ並んだピンクのガラスは、3D映像を見るためにのぞき込む部分。その下にはマスタースレーブ型のコントローラのアームが2本ある。また、足下のペダルでも操作できる仕組み。(c) 2012 Intuitive Surgical

画像5。術者の見ているスクリーン(これが3Dで見える)とマスタースレーブ型コントローラのアップ。(c) 2012 Intuitive Surgical

画像6。手術室でコンソールに向かって実際に執刀医がダヴィンチを捜査している様子のイメージ。(c) 2012 Intuitive Surgical

今回の実証実験を実施するにあたって立体映像伝送作業班は、従来は執刀医しか見ることができなかったda Vinciの立体映像を、世界で初めて手術現場の外へ取り出す技術を確立するとともに、裸眼3D映像で問題となる画像の乱れを低減する画像処理技術を開発。これらの技術とNICTの伝送技術を組み合わせて、裸眼3Dライブ伝送を実現しようとしている。同技術により、視聴者が、眼鏡をかけることのわずらわしさから解放され、眼精疲労といった負担を軽減できるというわけだ。

実験の目的は、裸眼3D映像における、遠隔医療の実用性の検証、伝送機の品質評価、「きずな」の通信品質評価などであり、裸眼3D映像の遠隔医療の裸眼立体視としての可能性を検証するとしている。

今回の実証実験では、藤田保健衛生大学医学部手術室のda Vinciの3Dカメラで実際の手術映像を撮影する。前述したように、通常はこの3D映像はコンソールで操作をする執刀医以外は見ることができない。外部に映像を出力する機能はあるが、2Dモニタ用映像のみだ。そこで、立体映像伝送作業班が3D映像を外部に取り出す技術を確立。この3D映像は、2眼式のハイビジョン画質の映像であり、右眼用映像と左眼用映像の一対の映像で構成されている。

撮影された3Dハイビジョン映像は、徳島大学医学部会場に伝送され、3D裸眼テレビに立体表示されることは上述の通り。そして、3D裸眼ハイビジョンライブ映像を実現化するのが、高精度に同期の取れた左眼/右眼用のハイビジョンカメラによる映像と、それをリアルタイムに3D合成する装置「3D Side By Side Encoder」(画像7)だ。Side By Side方式とは、3D立体映像を表示させるための技術の1つで、画像の横幅を1/2に縮めた(圧縮した)上で、2つの映像を画面の左右に並べて1つの画像に合成する方式のことをいう。

画像7。高精度に同期の取れた左眼/右眼用のハイビジョンカメラによる映像をリアルタイムに3D合成する装置3D Side By Side Encoder

眼鏡方式の3Dテレビに表示する場合には、右眼用カメラと左眼用カメラで撮影した一対の映像を入力するだけでよく、比較的簡単である。しかし、今回は3D裸眼テレビに出力するわけで、そのままテレビに映像データを入力したのでは、裸眼用の多視点映像に変換する際に画像の乱れが生じ、画像の一部が2重像になってしまって見づらくなるという問題が生じてしまう。そこで、この問題を解決するための画像処理技術を開発して3D Side By Side Encoderに組み込むことにより、眼鏡方式、裸眼方式のいずれのテレビにおいても良好な画像を表示できるようになったというわけである。

3D Side By Side Encoderを組み込むのは、藤田保健衛生大学側だ。そして、3D Side By Side Encoderによりリアルタイムに3D合成された映像は、動画圧縮規格H.264(MPEG-4 AVC)にエンコードされ、「きずな」を介して徳島大学医学部会場に伝送される。徳島大学医学部会場では、東芝製のインテグラルイメージング(光線再生)方式を採用した3D裸眼テレビの55型デジタルハイビジョンテレビ「レグザ55X3」(画像8)を4台利用して、リアルタイムに3D表示することにより、生の3D裸眼ライブ伝送を可能とする。詳細な構成図は、画像9の通りだ。

画像8。新規に開発されたフルHDの4倍というピクセルを持つQFHDパネル(3840×2160)を採用。東芝独自の映像処理技術で2Dや2視差の3D映像から9視差映像をリアルタイムに生成し、液晶パネルからかまぼこ状のレンチキュラーシートを通して映し出すことで、裸眼3D映像を見られる仕組みだ。メーカー価格はオープンで、実売価格は安くても65万円以上

画像9。「超高速インターネット衛星WINSを使った手術用ロボット da Vinci 手術3D裸眼映像ライブ伝送実証実験」の構成図

なお、da Vinci手術は、コックピットで操作する術者と共に、その指示に基づいて補助的操作を行う手術補助者と連携して行われる。従来は、コックピットでディスプレイを覗く執刀医以外は、3D映像下で手術を行うda Vinci手術の裸眼3D映像を見ることができなかったが、今回の技術を使うことにより、補助者も術者と同じ映像情報を見る形となり、精度の高い奥行き情報を得ることができるようになる。また、眼鏡をかけることのわずらわしさからも開放され、眼精疲労といった負担もなくなるといったことは前述した通りだ。

また、正しい手術の戦略イメージを描くには、経験豊かな術者の手術を討論しつつ見ることのできるライブが最適だという。今回世界で初めて企画した3D裸眼ハイビジョン映像のライブ伝送実験においては、手術を3D画像で学ぶのに、3Dが2Dよりどれほどイメージ作りに有用か、長時間の視聴に耐えうるかなどの検証も行われる形だ。