遠隔操作をバイオハザード視点で行う方法

災害現場、深海や宇宙などの極限環境下での作業にはロボットなどが用いられるようになってきているが、そこで問題となるのがその操作インタフェース。完全に3Dグラフィックス化されたインタフェースを有するものや、ロボットに備え付けられたカメラからのリアルタイム実写映像を用いたものなど様々なものがある。

電気通信大学の開発した「Time Follower's Vision」は、このテーマに取り組んだもので、マシンに取り付けられたカメラ映像を元にしたタイプではあるが、マシンの主観視点ではなく、全く別視点からの操作を可能にしたものとなっている。

ゲームで例えるならば、FPS(一人称シューティングゲーム)視点ではなく、バイオハザードのようなプレイヤーから離れた位置に設置されたカメラ視点でマシンの制御ができる…というイメージだ。

もちろん、カメラはマシン側に設置されたものだけで、その活動環境に複数のカメラを設置したりはしない。極限環境下にあらかじめカメラを設置することなど到底無理なので当たり前のことだ。

ではどのようにこのシステムを実現しているのか。マシンのカメラから捉えられた映像、位置情報、向き情報、時間情報などをデータベースに蓄積していき、マシン操作を行っていく中で、このシステムがそのデータベースを用いて別視点映像を合成できる状態になったときに、それをCGで再現したマシン映像と共に表示する…という仕組み。

展示ではラジコン戦車からのリアルタイム主観映像と、このシステムを用いた映像を比較表示させていた。

1枚の映像から、かける眼鏡によって異なった立体映像が見える/Fakespace Labs

バーチャルリアリティはHMDを使ったシステムなどが多く、多人数同時参加型のシステムの実現はまだまだ困難だとされている。

Fakespace Labsが開発した「Snared Illumination」システムはこのテーマに取り組んだもの。デモでは、裸眼で見るとただの平面の1枚の映像だが、かける眼鏡を変えるとこの映像から異なる扉を開いた立体視映像が見られる…という体験ができるようになっていた。

フロント投写型の映像機器として最近では高速に微細な画素サイズの鏡を振動させて映像を作り出すDMD(Digital Micro-mirror Device)を使ったDLP(Digital Light Processing)プロジェクタが台頭してきているが、Snared IlluminationシステムはこのDLPプロジェクタの映像生成の仕組みを応用したもの。

DLPプロジェクタでは、1枚のカラー映像フレーム生成のために時分割で毎秒数千枚のサブフィールド映像を投射している。

Snared Illuminationシステムでは裸眼で見える映像を最も多く投射し、各眼鏡で見せる映像は時分割で一瞬だけ投射する。裸眼で見た場合は、眼鏡で見た一瞬の映像は全くと言っていいほど視覚されない。しかし、その表示タイミングに合わせて液晶シャッターが閉じる眼鏡をかけると、挟み込まれたサブフィールド映像だけを確実に見ることになり、裸眼で見たときとは違った映像が見られるわけだ。今回の展示では、3基の眼鏡、それぞれにシンクロしたサブフィールド映像を挟み込めんであるため、3つの眼鏡それぞれで異なった映像が見えていた。左右の目に視差を感じさせる映像を見せるようにしているので、立体視にもなっているというわけだ。

現在は時分割でカラー表現を行っている単板式DLPプロジェクタのカラー表現をキャンセルして応用しているために、このような白黒映像になっていたが、時分割カラー表現が不要な3板色DLPプロジェクタを用いれば同様の原理でカラー立体視も可能かもしれない。ただし、そうなると、ちらつきの抑制がシビアになってくるかもしれない。