ソニーの新しい「ビデオシースルーHMD」を品川本社で体験してきた

ソニーグループは5月18日、東京・品川にある本社ビルで2023年度経営方針説明会を開催。金融事業を担うソニーフィナンシャルグループに関する報道が大きな注目を集めていますが、実は同じ会場で、ソニーが手がける最新テクノロジーの面白い展示が行われていました。それが、滑らかな複合現実(MR)体験を可能にする新しい「ビデオシースルーヘッドマウントディスプレイ」のシステムです。

「ビデオシースルーヘッドマウントディスプレイ」試作機のHMD部

ビデオシースルーヘッドマウントディスプレイのデモを体験してみた

HMD内の映像イメージ(以下同。HMD実機による映像ではない)

一見すると、同社が2021年に開催した「Sony Technology Day」というイベントで披露していたヘッドマウントディスプレイ(HMD)に似ているのですが、大きく異なるのが本体前面に外界をとらえるカメラを多数取り付け、“ビデオシースルー”に対応させたこと。HMDの外、つまり現実空間にあるモノと、HMDの中に投写したバーチャルオブジェクトを「正確なサイズと距離感で同一空間内にリアルタイムに表示できる」ことが注目ポイントです。説明員によると、報道陣にこのシステムを公開するのは今回が初めてとのこと。

VR空間内に浮かぶ、ちょっと奇抜なカラーリングのミラーレスα。色味は異なるが、どことなく'80年代の「マイ・ファースト・ソニー・シリーズ」っぽさを感じる

Meta Quest 2など、現在出回っているVR HMDデバイスでもこれと近い体験は可能ですが、今回ソニーが公開した「ビデオシースルーHMD」システムでの体験は、既存デバイスでの感触を上回っていたように感じられました。

デモの中では、ソニーのミラーレスカメラαの3Dモデルを現実空間の映像を背景にして鑑賞したり、ショールーム風の空間で見ることができました。これ自体に目新しさはないのですが、右手に渡されたテンキー(コントローラー代わりになるもの)を目の前に掲げると、実際のモノと同じサイズ感のテンキーがHMD内の映像にも浮かび上がり、あたかもVR空間に現実の物体を持ち込んだかのよう。手に持っているモノの感覚と、HMD内に写る映像が違和感なく(低遅延で)シンクロし、“VR空間への没入感”と“インタラクティブな体験の質”が一気に上がったように感じられます。

身体の感覚とHMD内の映像がシンクロするのが面白い

デモで使われていたテンキー(コントローラー代わりのデバイス)。ミラーレスαのライティングを操作できた

現実空間にあるモノを、VR空間内に持ち込める

かつてQuest 2に触れたときは、手に持った専用コントローラーの大きさや位置が「自分の手や腕の感覚」と「HMD内の映像の中」で一致しない、もどかしい感じがありました(現行製品や上位機では改善されているかもしれませんが)。その記憶からすると、ソニーのビデオシースルーHMDでの体験はそういった技術の進化のほどをうかがい知れて新鮮でした。

ビデオシースルーヘッドマウントディスプレイで使われている要素技術

ソニーではこの実機デモについて、「独自の要素技術を最適なかたちで組み合わせ、滑らかで違和感の少ないMixed Reality(MR、複合現実)体験を可能にする」ものだと説明しています。

MRに特化したアルゴリズムを用いて、HMD周辺の物体までの距離を細かく、かつ従来よりも短い時間で測定。現実空間にあるモノとバーチャルオブジェクトを正確なサイズと距離感で、同一空間内にリアルタイム表示できるようにしており、HMD装着者の頭の動きとHMD内の映像表示のズレを小さくする技術(仮想現実向けの遅延補償技術)をMR向けにも応用したとのこと。

HMD部のレンズ。デモ機の解像度は片目当たり2Kだという

HMDを横から見たところ

HMD部はそれなりに重さがあり、左右のハンドルを両手で握って支えないとちょっと安定しない

今回のデモで使われていたHMDは片目当たり2K解像度ということで、2021年のSony Technology Dayで出展していたVR HMDシステムと比べれば、画質の面では精細感が足りておらず、頭を急に別の方向に振ったときなどは映像のざわつき感が目立つ印象も受けました。高画質と快適なMR体験を両立させるためには、HMDシステムを構成しているPCに高い負荷がかかることは想像に難くありませんが、今後の進化に向けた動きがソニー社内でさらに加速していくのか、引き続き注目したいと思います。