SIGGRAPH ASIA 2009 - EMERGING TECHNOLOGIESブースレポート(前編)

Kaidan～複合現実で現実世界にお化けを出す

最近流行となっているキーワードに「拡張現実」(AR:Augmented Reality)というものがある。これは現実世界(の視界)に、CGなどのバーチャルな情報を付加して現実世界の情報把握を増幅、支援する技術だが、このARとよく似た言葉に「複合現実」(MR:Mixed Reality)というものがある。

これは現実世界にCGなどのバーチャルな情報を付加する仕組みは同じだが現実世界にバーチャル要素を付加して現実世界を超越した体験を提供するものになる。語弊を覚悟で言うならば、ややバーチャルリアリティ(仮想現実)よりなARがMR……という感じだろうか。ただ、この分野の研究者にいわせると、最近ではARもMRも特に区別しない研究者も増えてきているとのこと。

立命館大学の研究グループが展示していた「Kaidan」はMR分野の展示になるという。

Kaidanでは、被験者は立体視対応のヘッドマウントディスプレイ(HMD,キヤノン製VH-2007,VGA解像度対応)を装着し、刀の柄を握らされて、おどろおどろしい古ぼけた和室の一角に立たされることになる。HMDを通してみえる情景は、被験者の位置から見える現実世界そのものなのだが、突如、恐ろしい効果音と共に目の前にCGのお化けが出現する。見ている情景は和室セットそのままなのだが、その情景に立体的にお化けが現れるのだ。握らされた刀の柄はHMDを通してみると立派な刃(ヤイバ)が付いており、これを振りまわすとその通りに刃の軌跡が描かれる。襲いかかるお化けをこの刀で切り倒せばお化けを撃退したことになる。

HMDの方向は磁気センサーでトラッキングしており、最低限の遅延で被験者の向いている位置を検出。仮想空間上に出現したお化けと刃のCGを被験者の視界とつじつまを合わせた視界で描き、現実世界の情景と合成する仕組みになっている。

ここでユニークなのは、現実世界側の照明には変化がないのに、HMDを通してみたMR世界としての視界ではライティングが刻々と変わって見えるという点。そう、CG側のライティングがHMDを通してみた現実世界情景にまで反映されているように見えるのだ。

展示会場は明るいのにHMDを通してみた和室セットはとても暗く見える。お化けCGはおどろおどろしい光と共に出現するが、そのホラーチックな光はHMDを通した現実世界情景を的確にライティングしているように見える。さらにいえば、お化けの影は現実世界情景の凹凸に的確に沿った形で投射される。

これは、この和室のセットの空間情報、小道具/大道具などの3Dモデル情報を正確にホストコンピュータに保持してあるというところにタネがある。

CG側のライティングは、ホストコンピュータ側に取り込んである仮想的な和室3Dシーンごと行い、そのレンダリング結果を現実世界情景の映像と合成する。3Dグラフィックス的に言えば、お化けCGのレンダリングだけでなく、現実世界情景にレンダリング結果をライトマップとして貼り付けてしまう……というイメージだ。

あらかじめ現実世界情景を仮想空間上に構築しておく必要はあるが、お化け屋敷のような固定セットを用いるアミューズメント施設であればそれは可能なはずで、ソリューションとしては極めて現実的で興味深い。

なお、今回の展示では、ヘッドフォンから流れる立体音響だけでなく、「和室セットに掲げられている掛け軸が大きな音を立てて落ちる」という現実世界側の効果音演出も盛り込まれていた。そう、映像だけでなく「サウンド面もMR」なのであった。

■オフィシャルサイト