本当に現実か虚構か区別がつかなかった! - 理研のSRシステムを体験してみた

過去と現在が混在できるSRシステムとは

6月21日に理化学研究所(理研)が発表した、バーチャルリアリティ(VR)系の技術「代替現実(Substitutional Reality:SR)システム」(記事はこちら)。

現実(リアルタイム)と虚構(過去)の区別をつけられないシステムとして紹介したが、実際に体験してみないことにはやはり何ともいえない(画像1)。人によっては区別がつかないようにも思える、というレベルのかも知れないし、本当に誰が体験しようが間違いなく区別がつかない、というレベルなのかも知れない。

そこで実際に体験すべく、埼玉県和光市にある理研の脳科学総合研究センターを訪問してみた。また、併せて今回のSRシステムの開発の指揮を執っている同センターの適応知性研究チームのチームリーダーの藤井直敬氏(画像2)と、研究員の脇坂崇平氏にも簡単ながら話を伺ってみた。その模様をお伝えする。

第1報を読んでいただいた人も多いかと思うが、もう少しかみ砕いた形でSRシステムについて紹介しよう。このシステムの特徴は、あらかじめ用意された過去の映像を、リアルタイムの映像のところどころで差し替えて流す、というものである。その結果、今見えている映像が現実(リアルタイム)のものなのか、虚構(過去)のものかがわからなくなってしまうというわけだ。

藤井氏の言葉を借りれば、SRシステムは「パノラマのストリーミング動画(+カメラからのライブ映像)」ということになる。似たような技術として、例えば「テレプレゼンス」があるが、こちらは場所(距離)のズレをなくす(減らす)システムであるのに対し、SRシステムは時間のズレをなくす(現在と過去を重ねてしまえる)ことができるシステムといえる。

こうしたシステムであることに対して藤井氏は、「作ってみて、こんな風に面白いものになるとは予想外でした。日本の伝統芸能である能は、死んだ人と生きている人が話をしたりしますが、それに通じるものがあると感じましたね」と、できあがってみて予想外の作用があったことなどの感想を述べている。

SRシステムはさまざまな使い方が考えられるが、その1つとして誰でも思い浮かべるのがエンターテイメント方向での利用だろう。ただし、最初からエンターテイメント的な使い方を考慮していたわけではなく、本来は脳研究のツールとして開発したのだという。

脳研究でどのような使い方を想定しているかというと、例えば、被験者に何度も同様のテストをしてもらうような実験があるとしよう。そこで、毎回研究者が試験方法を説明したりするとする。その時、説明の度に人が異なっていたり、同じ研究者が担当したとしても、表情や話し方などが異なっていたりすれば、もしかしたら被験者に影響を与えてしまう恐れがあるだろう。

例えば、「午前中の実験の時は先生、元気そうだったけど、午後になったらずいぶん疲れた感じだな」などと被験者が思ってしまったら、もしかしたら、被験者にも「疲れたなー」と思わせてしまい、集中力が落ちてしまうかもしれない。

SRシステムは、複数人の被験者に対して同一の条件で実験を行うためにはどうするかの1つの到達点として、とにかく条件に差が極力でないようにするためのツールを目指して開発がスタートされたのだ。しかし、できあがってみると、考えていた使い方だけでなく、エンターテイメント面での使用なども大いに考えられる、プラットフォーム的なさまざまな用途が考えられるシステムになったというわけだ。

本当に現実か過去か区別がつかないのか?

現実と虚構の区別がつかない映像に話を戻させてもらうと、「ただ映像を差し替えているだけで、現実と虚構の区別がつかなくなるなんて大げさだ」という人もいるに違いない。そんなわけないだろう、と。

実際、藤井氏も体験した人はみんな、体験前の説明では「よく飲み込めていない」ので怪訝そうな反応をするそうだが、体験してみると全員が全員、「本当に現実と虚構の区別がつかない」と驚くという。いわゆる、文章や映像など、既存のメディアでは伝えきれない魅力を持っているというわけだ。

ちなみに、どのぐらい現実と虚構がわからなくなるかというと、SRシステムを体験した人の中には、たまたまその時に藤井氏が出張中で研究室におらず、SRシステムの過去の映像の中で出てきていただけだったのが、実際にその日に会ったと思い込んでいる人もいたという。

ほかにも、実際には藤井氏が体験者の周囲を歩いて回っていたわけではないのだが、「(藤井氏が)僕の周りを回っていたけど、これのどこがすごいの?」と、完全に現実と混同してしまっている(説明を受けていても、すり替えられた映像の可能性があるということが思い浮かばない)人もいたそうである。

続いては、SRシステムで現実と過去が区別がつかなくなってしまう理由を見てみよう。それは複数ある。まず最も大きいと思われるのは、リアルタイムも過去の映像も、どちらも同じクォリティでヘッドマウントディスプレイ(HMD)のモニタに投影されているという点だ。

リアルタイムの映像は、HMDに搭載されたカメラから一度PCに送られて処理された上でHMDのモニタに投影される仕組みで、過去の映像は被験者が座ったのと同じ位置であらかじめパノラマカメラで撮影していおいた映像をPCから送っている(画像3・4)。今回、体験させていただいた実験装置のHMDのフレームレートは16FPSだ(通常のテレビの映像やゲームなどは30～60FPSなので、それらと比べるとフレームレートの値は低い)。

もしこれが、テレビの生放送の映像と、VHSの録画映像のように、明らかにクォリティに差があれば、当たり前だが見分けるのは容易である。しかし、クォリティがそろえられている(筆者に同行して、一緒に体験した編集・小林氏はわからなかった)ので、判別のしようがないのだ。

さらに、サウンド面にも気が配られている。リアルタイムで実際に誰かが目の前で話す時も、過去の映像の音声もすべてヘッドフォン越しに聞く仕組みになっているのだ。しかも、かなり密閉性の高いヘッドフォンで聴くので、リアルタイムの絶対的な証拠の1つである肉声は聞き取れないのである。

それから、過去の映像がパノラマ撮影されている点も重要なのはいうまでもないだろう。つまり、過去の映像が流されている時でも、上下左右前後、360度全方位を好きなように見ることが可能だ。HMDに方位センサが搭載されており、それが体験者が今どの方向を向いているのかを測定し、その通りの視点でパノラマカメラで撮影した映像を流してくれるというわけだ。そのほか、リアルタイムと過去の映像の切り替わりもシームレスで、区別のつけようがないのである。

ちなみに、今回は具体的にどんな映像を見せてもらったかというと、実験室でいすに座り、そこへ藤井氏や脇坂氏が話しかけてきたり、筆者の周囲を藤井氏がグルグルと歩いてみたりというものである。

こんな風に書いてしまうと何てことない内容だが、普通であることも、おそらくはどこからが現実でどこからが虚構なのかがわからなくすることに一役買っているように思う。

例えば、脇坂氏が「問題ないですか?」などと2回ぐらいこちらの調子を訪ねてくれたのだが、実はその内のどちらかがすでに過去の映像だったりする。実際にリアルタイムで訪ねられているようにしか見えないので(当然、藤井氏も脇坂氏も同じ服装を着ている)、つい答えないわけにはいかなくなってしまう。結果、筆者は誰もいない空間に向かって、「はい、大丈夫です」などといっていたりするわけだ。

なお、現在か過去かを映像を見分ける手段は、ウラ技的だがないわけではない。単純に、両手を目の前にかざせばいいのだ(今回は、手はヒザの上に置いておいてくださいねといわれたので、律儀に守った)。あるいは、極端な話、立って歩いて視野をパノラマカメラで撮影した過去の映像とはズラしてしまえばいい。カメラからのリアルタイムの映像なら、手をかざすにしろ、歩くにしろ、その通りに実際に見えるわけで、過去の映像なら手は見えないし、視点も動かないというわけだ。

ただし、手をかざしただけの場合は現実か虚構かわからなくなってしまう仕掛けも用意されている。リアルタイムと過去の映像を二重映しで投影することもできるからだ。どちらも同じ程度に半透明な状態で投影されるので(その複合具合などはiPad上から簡単に行える)、手ももちろん映る。しかし、手が現実だとわかっても、それ以外の人や物などは実際に触ってみるまではわからない。

さらには、実際のところ今回はなかったと思うが、もし過去の映像をあらかじめ加工してあり、それらが二重三重映しのものにしてあったら、もう何がなんだかわからないはずで、HMDを外さない限り現実を見失ってしまうことになる。

確かに、武道の達人やニュータイプ(笑)のように、人の気配を察することができる鋭い感覚の持ち主なら、実際に人がそばにいるかいないかはわかるかも知れない。誰かがそばを歩いたら気流が起きるからそれを感じてという方法も考えたが、ちょうど正面からエアコンが空気を送ってきているので、常に部屋の空気が微妙にかき混ぜられており(エアコンの位置までは計算していなかったそうだが)、筆者レベルの感覚ではまったくわからなかった。

ただし、唯一、これは過去の映像だ、と断定できたものもある。それは、筆者が実験室の入口から入ってきた時だ(笑)。残念ながらメガネをつけた状態で被れるHMDではないため(筆者はメガネ利用者)、ボンヤリしていたのですぐ気がつかなかったのだが、「何か見たことある、ぬぼーっとしたでかいのがいるな……」とか思ったら、自分だった(笑)。

SRシステムは何に使えるのか

幽体離脱(肉体が寝ているわけではないが)したように自分の行動を第三者視点で眺められるのは、面白く感じる人も多いことだろう。この第三者視点で見られるという仕組みは、自分を客観視することができることから、藤井氏らが掘り下げたいテーマの1つとしている。

例えば、「離人症性障害(略して、離人症と呼ばれることも多い)」と呼ばれる心の病の研究ツールとして使えないかといったことも考えているという。離人症は、自分の意識が自分の肉体から離脱して遊離しているような感覚が発生するのが代表的な症状の1つなのだが、研究者がSRシステムを利用すれば、擬似的に離人症(に近い感覚)を体験でき、より患者の理解ができるのではないか、というわけだ。

また、今さらいうまでもないが、エンターテイメント分野での利用には事欠かないだろう。例えば、ドラマや映画なども、これまでにない臨場感で舞台となっている場所に、劇中の人物の1人のような視点で視聴できるはずだ。現在はパノラマカメラの視点は1カ所で撮影しているが、複数の地点からパノラマカメラで撮影して、DVDが出たての頃にあった「マルチアングル」的に撮影すれば、視聴者が観たい視点から自由に観られるようになるだろう。ドラマや映画が、舞台での演劇に近い感じになると思われる。

中でもミステリーもののドラマなどの場合は、登場人物に集中しているだけでなく、その周辺などもよく見回していると、証拠が見つかるといった見せ方もあるかも知れない。つまり、情報量が非常に多くなるので、同じドラマでも何度も楽しめるというわけだ。もちろん、撮影する側はとんでもなく労力が増えて大変だろうし、扱うデータ量もとてつもなく増えるのだろうが、非常に面白そうである。

さらには、ゲームなどまさに相性が良さそうで、これをかぶってのオンラインRPGなどは、まさに異世界で生活している感覚を味わえそうだし、FPS(ファースト・パーソン・シューター)なら、大迫力の銃撃戦とか楽しめそうである。

そのほか、半分冗談で出ていたのは、アイドルのライブ映像などのコンテンツで使うのはどうか、という話。会場でSRシステムを使用すると、アイドルが最初から最後までずっと自分の方を向いて(カメラ目線で)歌ってくれているというわけで、ファンならとても嬉しいのではないだろうか? ましてやアイドルグループの場合、目的のアイドルだけを観ていられる、といった仕組みもあったりすれば、喜び倍増だろう。

そうしたエンターテイメント的な使い方ができるのは藤井氏らもよくわかっているので、早速あるゲーム関係者に体験してもらったそうだが、残念なことにすぐには使い方が思いつかなかったのか、あまり芳しい反応ではなかったという。もっと大勢のゲーム開発関係者や、映像作家、テレビ関係者などには体験してもらいたいところである。正直、筆者は、コンシューマハードウェアメーカーがゲーム機の周辺機器として出してしまえばいいのではないか、と思ったりする。

そうしたわけで藤井氏は、SRシステムの使い方に関するアイディアや共同研究者を広い分野から募集したいとしている。アミューズメントパークなどではすぐにでも利用できそうだが、もしこの記事を読んで、「この技術なら一儲けできる!」などと思いついた方は、ぜひ藤井氏までご連絡を入れていただきたい。

最後に、現在の研究状況だが、HMDの新型を製作中である。実際に試させてもらったHMDは最初のモデルで、ガムテープでカメラなどを固定しているような具合だが(画像5)、インダストリアルデザイナーにデザインしてもらったSFガジェット感漂うモデルも開発中である。アンテナ形状の異なるツヤありタイプが2種類、ツヤ消しタイプが1種類という具合だ(画像6～8)。また、将来的には映像の転送レートを確保できれば、無線化してケーブルを廃して、軽量化を図るとともに移動しやすくできるできるようにしたいとしている。

SRシステムは誰でも作れる?

実はこの実際に試させてもらったHMDは、市販のHMDにカメラと方位センサを搭載しただけなので、電子工作とかロボット製作などを趣味としていたり職業としていたりする、はんだ付けやねじ回しが得意な人なら、そんなに難しくないという。取材日は7月5日だったが、この記事が載る頃には「自作SRシステムを作ってみた」などという動画がアップされているんじゃないかと、冗談を藤井氏らがいっていたほどだ。

ソフトウェア的にもOpenGLを用いてPCで画像の加工などを行っているだけで、特別なことはしていないそうなので、腕に自信がある人は、ぜひ作ってみてはいかがだろうか。

さらに藤井氏によれば、SRシステムはプラットフォームとしてオープンソース化したいそうで、将来的には世界中の好きな人にコンテンツを自由に作ってもらえるようになれば、と希望を語ってくれた。

なお、現在のところ数少ない実際にSRシステムを体験できる機会が、日本科学未来館で8月24日(金)から26日(日)まで開催される予定のパフォーマンスアート「MIRAGE」だ。予約制のイベントだが、現在はまだサイトなどの準備中の模様。興味のある人は、未来館のホームページなどをこまめにチェックしておいてほしい(確定情報ではないが、1カ月ぐらい前から募集が始まるという話である)。

今回体験してみて、HMDを外さないと現実かどうか確かめられないというのは、かなりすごいと思ったのだが、いかがだろうか。この仕組みは、本当に別世界に没入できると思われるので、特にインタラクション性の高いゲームなどは、コンテンツの完成度が高い場合、ゲームの世界に入りっぱなし、といった状態も起きそうである(数時間ごとに電源が自動オフになるタイマー機能とか必要になるかも知れない)。

さすがに、まだ肉眼で直接的に現実か虚構か見分けがつかない映像体験ができるという、SF的な技術までにはいたっていないが、映像で別世界体験をするという時代がそう遠くない感じがした取材だった。

もちろん、この技術は悪用すれば危険な使い方もできるので注意も必要だが、将来的には今のテレビに置き換わるぐらいの可能性を感じるので、この後、どう発展していくかを期待したい。