NTTドコモと奈良先端科学技術大学院大学は、現実の扉をくぐってバーチャル空間に入り込める複合現実(MR: Mixed Reality)技術を開発。Appleのヘッドマウントディスプレイ(HMD)型空間コンピュータ「Apple Vision Pro」の技術を駆使した世界初のMR技術とアピールしている。

  • MR技術を使った扉の利用イメージ

  • ユーザーの視点。Apple Vision Proと各種センサーを活用している

同技術は、観光業におけるバーチャルツアーや、不動産業におけるバーチャル内見、エンターテインメントなど、さまざまな分野のMRアプリケーションでユーザー体験の向上が見込めるとのこと。EXPO 2025 大阪・関西万博会場内の「けいはんな万博in夢洲」において、4月23日と9月19日に出展を予定しており、夢洲本会場の大阪ヘルスケアパビリオン リボーンステージ(広場)で体験できる。出展名は「MR技術を使った扉をくぐってバーチャル旅行しよう!」。

これまで、リアル空間とバーチャル空間の境目として、扉などの出入口を空間コンピュータ上で実現した事例はあるものの、出入口自体をユーザーが操作し、その操作に伴う触覚情報をフィードバックするような事例はなかったという。

奈良先端科学技術大学院大学(NAIST)では、こうした操作に触覚情報の伝達を伴う出入口があることで、ユーザー体験を向上させられることに着目し、科学的に検証。ドコモはこの知見をもとに、手と扉の動きを動的に認識する技術を新たに開発し、ユーザー体験向上の恩恵を容易に得られるシステムを実現した。

仕組みとしてはまず、Apple Vision Proで見えている現実の任意の扉の隅を指先で2カ所選択することで、扉の存在を認識。その扉を開閉する手の動きのみを検知することで、扉の開閉状態を把握する。そして、扉が開いている角度と、ユーザーがいる側(現実あるいはバーチャル空間)からの視野にあわせて、扉の先にバーチャル空間または現実の映像を描画する。

  • 扉を開くと、バーチャル空間が描画される

  • 扉の上の方にもバーチャル空間を描画

このMR技術は、Apple Vision Proで効率的に動作する「手と扉の動きを動的に認識する技術」を中核とし、以下の6つの要素技術で構成している。

  1. 手の認識
    空間コンピュータで、手の存在とその動きを広範囲で検知
  2. 扉の認識
    空間コンピュータ上で、現実の扉の隅を指先で2カ所選択することで、扉の存在を認識。 扉の厚みなどの三次元情報を把握していると正確に描画できるが、最低2カ所のみでも認識可能
  3. 手と扉の接触認識
    扉の付近で取っ手を握る動作を空間コンピュータが検知すると、手が扉に触れたことを認識
  4. 扉の開閉認識
    取っ手を握る動作が検知されなくなるまで扉が開閉動作をしていると認識
  5. 扉開閉時のバーチャル空間描画
    扉が開いている角度とユーザーの現実側からの視野に応じて、バーチャル空間を空間コンピュータ上で描画
  6. 扉開閉時の現実描画
    扉が開いている角度とユーザーのバーチャル空間側からの視野に応じて、現実の映像を空間コンピュータ上で描画

なお、同技術では自然な動作での扉の開閉を実現するため、扉の取っ手を注視しなくても手の動きを検知できるよう、検知範囲が広いApple Vision Proを用いている。検知範囲が広いHMD型空間コンピュータであれば、Apple Vision Pro でなくても動作可能とのこと。