SIGGRAPH ASIA 2009 - EMERGING TECHNOLOGIESブースレポート(後編)

MIT Media Lab&Brown University～双方向インタラクション対応な液晶ディスプレイ

MIT Media Lab、Brown Universityの研究グループは、実際に表示面に触れずにジェスチャー入力ができ、さらにディスプレイ内部の仮想世界に対して光を入射させることも可能だという、なんともユニークなインタラクティブ・ディスプレイシステムを発表した。

「BiDi Screen」と命名されたこのディスプレイ装置の表示面部分は、実は何の変哲もない普通の液晶パネル。ただし、液晶パネルの背後にCCDセンサーが配置されているのがミソ。表示面で動かされるユーザーの手の動きを、このCCDセンサが捉える……というのはすぐに想像できるわけだが、液晶パネルに映像を表示していては、表示映像に遮られて手の動きを捉えられない。

そこで時分割の考え方を導入する。

液晶パネルの表示レートのうち、半分を表示に割き、残り半分をユーザーの手の動きを捉えることに割く。つまり、表示時はバックライトを付けて映像を表示するが、ユーザーの手の動きを捉えるときはバックライトを消すわけだ。最近は残像低減のために黒挿入を行っている液晶ディスプレイ製品も少なくないので、いわばこのシステムは「その黒挿入の時間の間にユーザーの手の動きを捉えている」……という言い回しもできるかも知れない。ちなみに、展示システムでは、ジェスチャー入力の取得レートは7Hz程度だとのこと。これならば高価な120Hz以上のハイフレームレート液晶パネルを用いずとも、60Hzタイプの通常の液晶パネルでも問題ないことだろう。

さて、立体的な手の動き(ジェスチャー)を捉えるのであれば、CCDセンサーを複数設置しなければならない。一番いいのはCCDセンサーを格子状に並べたアレイを組むことだが、これではコストが掛かりすぎる。そこで研究グループが考案したのは、MURAパターンと呼ばれるマスクパターンを通して、少ないCCDセンサーで手の動きを多視点相当で捉える手法だ。このマスクパターンを通して取得したイメージは、多視点に設置したCCDカメラからの映像としてデコード変換することができるのだ(ライトフィールドの取得)。より詳しい専門的な解説はこちらに動画として掲載されているので興味を持った人はぜひとも参考にして欲しい。

得られるライトフィールド情報はだいぶ低解像度にはなるが、「その形状の物体がどういう奥行きにあったのか」ということをリアルタイムに知るには十分だ。あとは、そのオブジェクトの深度値をリアルタイムに把握してジェスチャー情報として認識してやるだけだ。

デモンストレーションでは、画面には触らずにオブジェクトを拡大縮小したり回転させたり、あるいは一人称視点のバーチャルワールドを手の動きだけで歩き回ったりする様を公開していた。

さらに、もう一つ。

このMURAマスクパターンで取得できるライトフィールドは遮蔽情報だけではない。対象物が光源だった場合は、もちろん光がどういう方向にどういう強さでディスプレイ面からやってくるのかをも取得できる。そこで研究グループは、ユーザーがこのシステムに光を向けたときに、その方向からの光をバーチャルワールド内のオブジェクトにあてられるというデモをも開発。

これは前述のライトフィールド検出アルゴリズムで取得した現実世界側の光の位置、光の向きの情報を元に、バーチャルワールド内につじつまが合うように光源を設定しているだけだ。しかし、ユーザーの動かすか位置誘電道の向きや位置に正確に追従するので、あたかも本当にバーチャルワールドに懐中電灯をあてているみたいな感覚が得られる。

洞窟やお化け屋敷を探索するゲームなどで、ディスプレイ面に向かって懐中電灯を照らすとその方向が明るくなようなインタラクションができるようになれば没入感が高まって楽しそうだ。

■オフィシャルサイト