今回の成果と研究の意義の説明を行う石川正俊 教授

東京エレクトロン デバイス(TED)と東京大学(東大)は7月29日、8ビット階調のモノクロ映像を最大1000fpsで投影することが可能な高速プロジェクタを開発したと発表した。

同成果は、同大 情報理工学系研究科の石川渡辺研究室とTEDが2014年5月より行ってきたプロジェクタのフレームレートの高速化を目的とした共同研究の成果。今回は、その成果の一部として、高速プロジェクタの実用試作機「DynaFlash」を開発したほか、高速移動体へのプロジェクションマッピングシステムの試作も行ったという。

そもそも人間が肉眼で1000fpsを見ることはほぼ不可能だ。しかし、今回のシステムは1000fpsをターゲットに開発されており、これについて、同大の石川正俊 教授はいくつかの要因が背景にあるとする。元々、同研究室では、高速ビジョンの研究・開発・事業化を目指した取り組みを行ってきており、これまでビジョンの高速化、アクチュエータの高速化を実現してきており、その流れでディスプレイの高速化が必要という判断が生じ、TEDとの共同開発に至ったという。

では、1000fpsの高速表示が実現した場合、どういった恩恵が得られるだろうか。例えば、Kinectなどを使って、ヒトの動きを追随するアプリケーションがあった場合、カメラで動きを認識し、その動きをディスプレイ上に反映するまでにはシステム全体で150～200msの遅延が生じる。実際に、自分の動きと同じタイミングで表示画像が動かずに、とまどった経験を持つ人もいるだろう。また、3次元形状を認識するマシンビジョンの場合、照明を一瞬あてて、その投影パターンとあらかじめ登録された3次元情報を照会し、物体を認識する手法がよく用いられているが、光を照射して、カメラで撮影し、それを処理し、ロボットに把持の指令を出す、といった一連の作業にある程度の時間が必要であり、静止物であればともかく、生き物を捕まえる、といったことは困難であった。1000fpsが実現した場合、例えば、時速60kmで飛行するボールに対し、約1.7cmおきにパターンを投影することが可能となったり(ダイナミック・プロジェクションマッピング)、動き回る生物が何であるのかを3次元情報を使って識別することができるようになったりする。

1000fpsを実現できるようになることで、新たなアプリケーションの開発・活用が考えられるようになるという

今回開発されたDynaFlashは、Texas Instruments(TI)のDLP DMDチップと高輝度LED光源を組み合わせて、最小遅延3msの1000fps/8ビット モノクロ階調(解像度は1024×768のXGA)の映像を投影することを可能としたもの。新たに画像処理用のFPGA(XilinxのVirtex-7とのこと)向けに開発した高速制御回路を搭載したことで1000fpsのフレームレートでの投影を実現したほか、独自開発の通信インタフェースを採用したことで映像が生成されてから、プロジェクタに投影されるまでの遅延を抑えることにも成功したという。

DynaFlashのシステム全景。中央の黒い箱状のものが本体(左と中央)。右の画像の中央のカメラからマーカーとなる映像情報を取得し、左側のプロジェクタからそこに映像を投影する。右側にあるプロジェクタは一般的な30fpsのもので、比較用に設置されている。仕組みとしては、カメラで撮影したデータなどを後段のPCでGPUコンピューティングなどを活用し、高速処理し、それをDynaFlashのFPGAに転送し、それを投影するという流れとなっている。ちなみにDynaFlashの上段にある円形のものはライトで、カメラは今回の撮影用に設置されたものとのこと

写真だとまったく分からないが、1000fpsで投影されると、プレートを移動すると、それに合わせて映像もほぼリアルタイムで移動するため、あたかもプレートに描かれた絵のような感じで、ぶれた状態の映像を撮影することとなる

DynaFlashのPC側の処理。プレートをマーカーとして認識することで、限られた枠内ながら、それがどこに移動しても、追従して最大1000fpsでの投影が行える

なぜ、8ビット モノクロ階調ならびにXGAなのか、という点について石川教授は、「システムを構築することが第一で、実用的なレベルの最低条件として設定した性能」と説明する。そのため、まだシステム全体としてボトルネックがあるため、改良の余地があるとするが、将来的にはカラー化を進めていく方針とするほか、遅延の低減や高速ビジョンと連動した応用システムの開発も進めていきたいとしている。

また、こうした石川教授の取り組みを受けて、TEDでも手ごたえを感じているようで、2016年夏をめどに、今回のシステムをベースに小型化などを図ったプロジェクタを発売する計画であるとする。仕様としては、0.7型XGA DMDを利用した1000fpsの8ビット階調をスクリーンルーメン500lm、投影遅延は最小3msで実現したいとするほか、ホスト側のインタフェースにはPCI Express(PCIe)の採用を予定。距離が離れた場所まで伸ばしたい場合は光ファイバによる通信を検討しているとする。さらに、撮影用カメラについては、プロジェクタ一体型にするか、分離型にするかはユーザーの反応次第としている。

TEDが計画している製品版DynaFlashの仕様。産業用途がメインとしているが石川教授的には心理学や脳科学分野でのニーズも見込めるとしている

なお、価格は未定としているが、市場ニーズとしては、産業機器(FA)やロボットを中心に、リアルタイム3次元形状認識やダイナミック・プロジェクションマッピング、拡張現実(AR)などでの活用を期待するとしている。

DynaFlashのデモ動画。最初は30fps、100fps、1000fpsで顔を動かした様子。1000fpsの場合、1秒間に1000枚の画像が投影される。後半はプレートを激しく動かした際の追従性のデモ。プレートの動きとほぼ同じタイミングで映像も動いており、肉眼では遅延を感じることができない