理化学研究所(理研)は6月21日、バーチャルリアリティ(VR)に用いられてきた技術を応用し、あらかじめ用意された「過去」の世界を「現実」と差し替え、被験者に過去を現実と区別なく体験させる実験装置「代替現実システム(Substitutional Reality System:SRシステム)」を開発したと発表した。

成果は、理研 脳科学総合研究センター 適応知性研究チームの藤井直敬チームリーダーと、脇坂崇平研究員、鈴木啓介研究員(現イギリス サセックス大学研究員)らの研究グループによるもの。

研究の詳細な内容は、ネイチャー・パブリッシング・グループのオンラインジャーナル「Scientific Reports」(6月21日号)に掲載された。なお、8月24～26日の間に日本科学未来館において、SRシステムを用いた「MIRAGE」というパフォーマンスアートの公演を予定している。

目の前に広がる風景や、周りを行き交う人々…。通常ヒトは、これらが「本当は、物理的に目の前に存在していないのかもしれない」とは疑ったりしない。目の前の現実は確かなものであると強く信じている。

もし、つじつまが合わない何かおかしなことが目の前で起きても、現実を疑うということはせず、「気のせい」や「思い違いのせい」にするはずだ。

最近の心理学実験では、明らかに現実には起きないような出来事を体験した場合でも、強引につじつまを合わせて自分を納得させるという傾向があることが明らかにされている。

実は、まったくつじつまが合っていなくても、現実だと思い続けるということをヒトは夢で日常的に体験している。夢の中ではおかしなことが沢山起こるが、夢を見ている最中に、そのおかしさに気がつくことはあまりない。

それと同じく、統合失調症の症状の中には、幻聴や妄想のように、まったくつじつまの合わない出来事でも、本当に起きていると信じてしまうということがある。

体験している出来事を実際に起きていると信じて解釈する仕組みや、疑問を感じる時に働く「メタ認知」と呼ばれる心の働きや思考の解明は、ヒトの高次認知機能を理解するにあたって非常に重要なことだ。

そのためには、実際に起きている出来事をありのままに体験していると被験者に信じこませたまま、こっそりと体験内容に変更を加えるように自由に現実を操作する手法が必要となるが、これまで技術的な限界があったため、従来の研究は限定された範囲にとどまってきた。

例えば、VR技術を使えば、人工的に作った世界を高い臨場感と共に被験者に体験させることができるが、そもそも体験内容が人工的なものだということはわかってしまっているため、現実を疑うというメタ認知の働きは立ち上がりない。

Johanssonらの研究では、手品のテクニックを駆使して現実操作を実現しているが、「種」がわかってしまうとその後は同じ手法は通用しない、などの問題がある。

研究チームは、あらかじめ用意しておいた過去の映像を使って、現実のシーンをこっそりと差し替えることを代替現実(Substitutional Reality:SR)と呼ぶ。

SRを題材にしたフィクションとしては、「マトリックス」や「インセプション」といったSF映画が有名だ。フィクションの世界でしか語られなかったSRを実現することができれば、新しい心理・認知実験手法として用いることができ、今まで踏み込むことができなかったメタ認知を含むヒトの複雑な高次脳機能へのアプローチが可能になることが期待できるという。

今回の研究では、VRや拡張現実(AR)で使用されてきた技術を応用してSRシステムが開発された。すなわち、あらかじめビデオ撮影しておいた過去のシーンを、実際に目の前で起きていると被験者に信じこませたまま体験させることに成功した。

SRシステムでは、被験者はヘッドマウントディスプレー(HMD)とヘッドフォンを装着する。その状態で、被験者に2種類の異なるシーンを体験させる。

1つは、現在そのものであるライブシーンだ。映像はHMD上に設置したカメラからリアルタイムで入力する。この時、目の前で何かイベントが生じれば、それがそのまま映し出されるので、被験者は間違いなくその場の現実を体験し、それを疑うことはしない。つまり、この状態をあらかじめ体験することで、HMD上で体験することは現実であるという強い信念が生まれる。

もう1つは、被験者がいる場所であらかじめ撮影し、編集した過去シーンだ。SRシステムでは、シーンの撮影に360°全方位の映像を撮影するカメラ(パノラマビデオカメラ)を用いる。HMDに埋め込まれた頭部方位検出センサと連動させることで、過去シーンを体験している時でも被験者は自由な方向を見ることが可能だ。

また、音声の方向と質を変化させないように、過去シーンの音声録音再生とライブシーンの音声入力には、被験者のそばに置かれた同じマイクを用いる(画像1)。

さらに、SRシステムの性能に影響を及ぼす「運動視差」、切り替えのタイミングといった技術的な要素を心理物理実験を用いて検証し、その性能を最適化した。

画像1が、SRシステムの概略図だ。被験者は、HMDとヘッドフォンを装着して、以下のいずれかを体験する。

  1. ライブシーン:HMD前部についたカメラからのライブ映像と、マイクから入力されるライブ音声
  2. 過去シーン:あらかじめ記録・編集した映像と音声。ただし、パノラマビデオカメラを用いて全方位を記録し、体験時にはHMDに埋め込まれた方位センサを用いて被験者が見ている方向を切り出して表示する。つまり、被験者はさまざまな方向を自由に見ることができるため、過去と現在の質的な差はない

画像1。SRシステム概略図

こうすると、ライブシーンと過去シーンの体験は知覚的にはほとんど同等になる。両方とも、ビデオ映像と同じマイクを用いた音声を体感し、頭を動かせばその方向が見えるという状態だ。

シーンの内容、切り替え時の映像の連続性などを上手く制御すれば、原理的にはライブシーンと過去シーンの切り替わりに被験者は気づくことができないはずと推測した。

そこで、このSRシステムを用いた行動実験を実施した結果、このようなシンプルな仕組みで極めて安定的にSRが実現できることが確認された(画像2)。

まず、すべての被験者(21人)にライブシーンを体験させた後、編集した過去シーンを見せる。すると、すべての被験者が、本当は目の前にいない人物をいるものと信じたままコミュニケーション(会話)が行われた(画像2b)。

次に、被験者本人が登場するという、明らかにありえない状況を体験させたところ(ドッペルゲンガーシーン:画像2c)、すべての被験者が、現在の体験がSRであること、すなわち過去に起きたイベントを自分が見せられているということにきずいた。

さらに興味深いことに、被験者がSRに気づいた後、SRの種明かしを説明する過去シーンを提示すると、70%の被験者はその説明を現実だと信じて、SRの状態を引き続き維持することもできたのである(画像2d)。

その後、もう一度ライブシーンで種明かしを行うと、被験者は自分の体験が現実なのかSRなのかの区別が段々できなくなってしまった(画像2e)。

そのような状態が続くと、ライブシーンを過去シーンと信じることも、その逆のようなことも起きる。つまり、SRシステムを用い、そのシーンの内容を操作することによって、被験者の主観的な体験を現実と信じさせたり疑わせたりすることが自由にできることを意味している。

画像2。今回の研究の実験の様子を再現(マイク、ケーブル類は省略)

SRシステムでは、ライブシーンと過去シーンが主観的に「地続き」に等しく体験できるため、体験者の主観的現実を操作するまったく新しい仕組みといえる。これまで、フィクションの世界だけで語られてきたアイデアをSRシステムで実現することができた。

今後、研究チームは、SRシステムだけで実現可能と思われる環境を用いて、その時の脳機能、心理状態、心拍などの生理状態を調べることにより、ヒトのメタ認知の仕組みを調べていく。デジャビュのように1度しか起きないような出来事を何度も体験させるというのも一例だ。

また、普通とは少し異なる物理法則に支配された世界を体験させることも可能である。例えば、過去映像の再生速度を操作すればスローモーションの世界になるし、バスケットボールのシュートが100%決まるようなありえない状況、別の言い方をすれば「世界の確率性」を操作して、その異なる世界でヒトがどのように適応するのかといったことを調べることも可能になるというわけだ。

また、SRシステムは、現実を任意に操作できることから、心的外傷後ストレス障害のような心的疾患に対する新しいタイプの心理療法としての展開も考えられるという。また、「そもそも現実とは何か」といった、哲学上の問を探求するためのツールとしても利用可能だと期待している。

さらに、SRシステムはそれ自体が新しいインタラクティブなメディア体験装置として利用可能だ。過去を現実と思い込ませたり、あるいは現実と過去を重ね合わせ、両者が区別できない状態を体験させたりするのは、これまでにないまったく新しい表現手法であることから、研究グループは次世代ヒューマンインタフェースの到来が期待できるとしている。