東京大学と科学技術振興機構(JST)は5月15日、動く手のひらや紙などの動物体を高速ビジョンでトラッキングし、その対象に対して遅延なく映像や触覚刺激を無拘束で高速に投影する、未来型の情報環境システムを実現したと共同で発表した。

成果は、東大大学院 情報理工学系研究科 創造情報学専攻/システム情報学専攻の石川正俊教授、同・大学院 新領域創成科学研究科 複雑理工学専攻/情報理工学系研究科 システム情報学専攻の篠田 裕之教授らの共同研究チームによるもの。研究は、JS 戦略的創造研究推進事業CRESTの研究領域「共生社会に向けた人間調和型情報技術の構築」の中の研究課題「高速センサ技術に基づく調和型ダイナミック情報環境の構築」の一環として行われた。

画像1。実験システム概要

画像2。システムの全体像

画像3。操作の様子

従来のコンピュータやスマホは、タブレットなどの中に知的機能が埋め込まれた重いものであり、ディスプレイや入力(インタフェース)の自由度もあまりない。また従来のインタフェースに関しては、表示の遅延やそれに伴う位置ずれが顕著といった弱点を抱えていた。

それに対して、今回のシステムは、身のまわりにある動く手のひらや紙などの対象物体をコンピュータ、ゲーム、スマホ用の高速で無拘束なディスプレイとして利用でき、しかも触覚刺激も同時に呈示することができるという特徴を持つ(画像4・5)。

画像4。動く紙に表示される映像

画像5。動く手のひらへのプロジェクション

石川教授らが開発した高速画像処理技術を用いて、遅延のないインタフェースを実現することにより、実世界とのずれや違和感のないインタフェースが実現された。つまり、人間の認識能力を超えた認識制御系を実現することにより、実世界を完全に認識制御し、人間には遅延や位置ずれを感じさせないシステムが実現できることが示されたのである。

この技術により、身の回りのものや環境が、人間の視覚、触覚、聴覚に対して、遅延のない豊かな情報表現のツールとなり、情報世界と実世界が時空間で一体となった情報環境を生み出すことが可能となると考えているという。今回、このような情報環境の実現を目指し、その第1歩として、動く手のひらや紙を視触覚の情報表現のツールとして活用可能なシステムが開発され、いくつかの動作を実現した形だ。

今回のシステムは、ちょうどカメラのオートフォーカス機能が自動的にフォーカスを合わせるのと同様に、画面の中心に対象がくるように自動的にパン・チルト方向の制御を行う。手のひらや卓球の球のように高速に運動する対象でも、石川教授らが開発した500fpsの高速画像処理技術と2枚の小型ミラーを用いた高速視線制御ユニットによって、安定したトラッキングが実現でき、あたかも画面中央に対象物が止まっているかのように制御することが可能となっている。

この光学系に同軸でプロジェクタを接続することにより、高速に運動する対象物に映像をプロジェクションすることが可能となった。今回、コンピュータの画面やスマホの画面、動画などはこのプロジェクタを通して投影されている。性能としては、パン・チルト共に最大60度のレンジを有し、40度の視線方向の変更を3.5msで行うことが可能だ。

そして何も装着していない手に触感を提示するために採用されているのが、篠田教授らが開発した、アレイ上に配置された超音波振動子から放射される空中超音波を収束させ、放射圧によって触感を生成するシステムである。現状のシステムでは、4gfまでの力を1cm径程度のスポットに集中して提示することが可能だ。力の大きさや振動パターンを1ms単位で変化させたり、スポットの位置を皮膚上で高速に移動させたりすることもできる(画像6)。

画像6。動く手に表示される映像(触覚刺激も表示されている)

これら2つのシステムを統合し、2台の「1ms Auto Pan/Tiltシステム(ステレオ)」(画像7)で、対象の3次元トラッキングとトラッキング対象への映像の投影を行うと共に、対象物の3次元位置情報を用いて触覚刺激を既定の位置に実現することに成功したというわけだ。具体的には、コンピュータ画面、動画、スマホの画面などは、手のひらや紙などに触覚情報と共に投影可能となり、手や対象物を動かしても位置づれを起こさずに安定した呈示が可能となっている。

画像7。1ms Pan/Tiltシステムおよび触覚ディスプレイ発振機アレイ

現状の画像処理やヒューマンインタフェース研究の多くが「人間と同じ動作の実現」を目指しているのに対して、今回の研究は人間をはるかに超えた視触覚の時間限界に挑む研究であり、違和感のないインタフェースを追求したものだ。今回の成果は、従来の静止物体を通したインタフェースから脱して、新しい動的なインタフェースの世界を示しており、静的な対象から動的な対象へと情報環境技術の可能性を広げるものだとする。

なお、今回のシステム実験上の簡便性から装置はコンパクトに作成されているものの、本来は装置を天井や壁に設置することを目指しており、そのためのさらなる小型化を目指して研究が進められている。また、石川教授らの技術的な蓄積から、将来の3次元で変形する形状への投射を予定している(そのため現在のシステムでは、2次元で、しかも投影画像の大きさと回転へは対応する予定はない)。

さらに現在のシステムでは、ディスプレイが遅いため像の安定性が完全ではないので、CRESTの研究グループのメンバーである徳島大学の山本裕紹講師が3次元の高速ディスプレイを開発しているので、それを今回のシステムへ導入することも予定している。それ以外にも、同じくCRESTの研究グループのメンバーである電気通信大学の下条誠教授により、対象物や環境側に設置する高速の非接触面状分布センサが開発されており、それも今回のシステムに導入することを計画しているとした。

これらは、前述したようにすべて人間の認識能力よりもはるかに高速の性能が実現されている。今後も、環境や物体が人間にとってまったく違和感なく情報環境として受け入れられるシステムの構築を目指しているとした。