ドローン／遠隔手術／人間拡張基盤 - ドコモがdocomo Open House'23で公開した新技術

NTTドコモが2月に開催した「docomo Open House '23」。メインはオンライン開催でしたが、メディア向けにリアル会場での展示も行われました。すでにメタバース関連と電波関連の新技術についてはご紹介しましたが、ここではそれ以外のジャンルから、「羽根のないプロジェクションドローン」など、通信と組み合わせた展示をご紹介します。

ドコモの最新技術を紹介するdocomo Open House '23

羽根のないプロジェクションドローン

風船に空気ポンプを取り付けて移動する「羽根のないドローン」。2021年に開発されたこの機体をさらに改良したのが「羽根のないプロジェクションドローン」です。基本的な仕様は従来通りですが、風船自体に映像を写し出すプロジェクション機能を搭載している点が特徴です。

羽根のないプロジェクションドローン。白い部分がプロジェクターによって映像が表示されている部分です

機体本体は透明フィルムの風船で、内部にヘリウムガスを充填して浮かび上がり、超音波振動モジュールが「空気ポンプ」となって宙空を移動します。小型プロジェクターを搭載しており、本体に映像を投影できるようになっているほか、アクションカメラを搭載することで映像のリアルタイム配信も可能。逆に、プロジェクター側にリアルタイム映像を配信して表示することもできます。

プロジェクターの映像を表示しているところ
側面にある超音波振動モジュール

今回、アクションカメラはInsta360 Go2でしたが、重量的にはもう少し重いものでも大丈夫とのこと。ただ、アクションカメラクラスでないとやはり難しいようです。基本的には風船なので、屋外での利用も想定されておらず、イベント会場やショッピングモールなどの屋内での利用になるということでした。

プロジェクターを搭載しているため、単体で映像を表示することもできますが、サイズ的には直径1m程度なので、プロジェクションマッピングの一部として使ったり、複数のドローンと連携させたりすることで、1つの映像を表示するといった使い方が検討されているようです。

より安定し、複数の風船ドローンでの連携動作が実用的になれば面白い活用方法が生まれそうです。

遠隔から5Gで手術

神戸大学やメディカロイドと協力して、5Gを使った国産手術支援ロボットの遠隔操作を実施しているドコモ。商用5Gを使った実験は世界初とのことで、手術支援ロボットを会場に持ち込んでの展示がされていました。

手術支援ロボット「hinotori」。医師が座るコックピット側と、医師による操作を受けて手術をするオペレーションユニット

手術支援ロボットは「hinotori」で、開発したのはメディカロイド。すでに手術室では使われており、有線環境での稼働実績はありますが、実証実験として5G経由で遠隔手術支援をしたというのが新しい点です。

4つのアームで手術を行います
医師の手元のコントローラー

これまでは、同じ手術室内に設置されたロボットのコックピット（サージョンコックピット）に執刀医が座り、有線接続されたロボット（オペレーションユニット）を少し離れた場所から操作し、腹腔鏡手術を行っていました。

VRゴーグルのような二眼のディスプレイをのぞき込みます
手術の映像。この写真では分かりませんが、平面のディスプレイに表示した場合、立体視メガネで見ると奥行きのある立体映像に見えます

昨今は、この手術ではお腹を開くのではなく、いくつか小さい穴を空けて鉗子を差し込んで手術を行っているそうで、患者の負担は減るものの執刀医の難度は上がっている上に、長時間立って手術するという負担もあったと言います。

デモでは実際に神戸大学からリアルタイムでの操作も行っていました

ロボットを使うと座って手術できることに加え、手元のコントローラーを3cm動かすとロボットアームは1cmしか動かないというようにスケーリングを変えたり、手ブレを補正したり、アームの先端が手首のように曲がって狭い場所にも差し込めたりと、手術が簡単にできるようになるそうです。

手術自体は現状、泌尿器科／消化器外科／婦人科での手術で利用されているそうです。アームのうちの1本にはカメラも内蔵しており、これで映した映像を見ながら手術を行います。執刀医側はVRゴーグルのように両目で2つのレンズをのぞき込んで内容を確認。立体視となるため奥行きも感じられ、画質はかなり良いようです。このゴーグル部分はソニーが開発したものだとのこと。

遠隔で手術ができるようになることで、無人での手術を想定しているというより、離島で若手医師しかいない状況でも、遠隔から熟練の執刀医が難しい部分だけ執刀を変わったり、平常時に指導を行ったり、医療格差の解消といった使い方を想定しているそうです。

手術支援ロボットとしては先行している「Da Vinci」がありますが、すでに病院での利用実績があるため、hinotoriではそういった医師が違和感なく使えるような形・機能を目指したそうです。複数の手術に対応するため機体には億単位の費用がかかりますし、サイズも大型化しています。このあたり、手術内容を限定するなどして小型化できる可能性もあるそうです。

メディカロイドはトレーニングセンターも用意し、免許を発行された医師でないとhinotoriを使った執刀ができないよう誓約を取っているといいますが、初めてでも操作自体は容易だと言います。しかも座って手術ができるため、手術支援ロボットは長時間の立ち仕事が続く外科医の寿命を延ばしたとも言われていそうです。ただし、立体映像を見ても立体的に見えない医師がいるほか、目が疲れるという声もあるとのこと。

5Gでの実証では問題ないという結果が出ているようで、今後は大容量化による映像の高画質化も検討したいとしています。カメラ自体は4Kですが、伝送される映像はフルHDということで、4Kによる高画質化の可能性はあるとしています。手術支援ロボットを使う場合、今まで見えなかった体内の状況まで、医師が目で見て確認できるようになるため、より精細で見えることのニーズはあるようです。

ちなみに、遠隔手術においては触覚のフィードバックが求められていなかった、とメーカー側は話していました。今まで手の感覚で判断していた部分までカメラで見えるようになった点、先行する別のロボットでは触覚フィードバックがない点などから、医師からは不要という声が多かったそうです。

いずれにしても5Gの利用用途として期待されている遠隔医療において、遠隔手術の実現は大きな進歩と言えそうです。

職人の繊細な感触も伝える人間拡張基盤

ドコモは「FEEL TECH」と称して人間拡張基盤の開発を進めています。今回のOpen Houseで展示されていたのは触覚共有のデモ。半球形の触覚デバイスが振動して遠隔地の触覚を転送するというものです。

右の球形が触覚デバイス。まずはタブレットで自分の触覚の感度を測定します

遠隔にいる人の指先に付けたセンサーから得られた情報を転送し、触覚デバイスの振動でその感触を伝えるという技術で、まずは感度測定を行い、その人に合った強度を設定し、遠隔で行われた動きの振動をデバイスに転送して振動させて伝えるという形になります。

デバイスは半分に分割できるので、両手に持って使うこともできます

職人やプロスポーツ選手などのように繊細な触覚を必要とする人たちの感覚を素人でも体験できるということを想定していて、職人などの動きをセンサーで捉えるだけでなく、触覚に対する感度も測定。触覚デバイスを持つ人の触覚の感度も測定して補正することで、細かな感覚の違いも感知できるようにしています。

触覚を伝える側のセンサー

ざらざらした硬い石や布といった材質の違い、お茶を点てる際の茶筅の動き、琴を爪弾く際の振動など、状況に応じて異なる振動が伝えられ、実際にそのものに触れているような感覚が得られます。

今回は映像に合わせて振動する形で、映像の動きと同じ動きをしながら感覚を共有するというデモになっていましたが、素材の堅さや力の入れ具合の違いまで分かり、振動だけで多くの情報が伝えられます。

石同士をぶつける感触を体験
柔らかい粘土の陶芸

用途としては、職人やプロ選手の感覚を伝えるだけでなく、例えばECサイトで洋服の素材の感触を確認するといった使い方も考えられますし、ビールを飲んでいるときの感触を伝えて、購買に繋がるかどうかも検討。今まで触ったことがない感触が伝わったらどう感じるか、という観点から、アート作品のような例も考えているそうです。