日立製作所と東京大学大学院 情報理工学系研究科の苗村健准教授は2日、「裸眼立体ライブ映像システム」に関する共同研究の成果を発表した。なお、現時点での製品化計画などは未定。

裸眼立体ライブ映像システムは、東大苗村研究室で開発した64台のWebカメラを利用した「可搬型カメラアレイシステム」と、日立が開発し、2006年に発表したIV方式による「裸眼立体視ディスプレイ」を組み合わせ、さらに高速な画像処理ソフトウェアを新規開発して両者を接続したもの。「裸眼」は特殊な眼鏡を掛けることなく立体映像が見られることを意味し、「立体ライブ映像」はカメラアレイで撮影した実写映像をリアルタイムで処理し、IV方式の裸眼立体視ディスプレイでの表示用のデータを生成できることを意味する。

日立製作所 システム開発研究所 主管研究員の山崎眞見氏は、「日立では各分野での研究をさまざまな手法で推進しているが、今回の裸眼立体ライブ映像システムはフェーズとしては基礎研究の段階であり、こうした研究に関しては産学連携の形が有効だ」とし、東大との共同研究の意義を明らかにした。

また、システムの詳細について説明を行った東京大学大学院 情報理工学系研究科の苗村健准教授は「自由視点映像合成技術」を拡張してリアルタイムのライブ映像に対応できた点が今回の成果だとした。

東京大学大学院 情報理工学系研究科 苗村健准教授	日立製作所 システム開発研究所 主管研究員 山崎眞見氏

日立が開発したIV方式のディスプレイは、IP(Integral Photography)方式を動画に対応させたもの(IV: Integral Videography)。液晶ディプレイ上に多数の微少なレンズを並べ(レンズアレイ)、各レンズごとに60画素の表示に対応する。画面に向かって上下左右に視点移動することで、各レンズの60種類の画素のうち、その時の視点位置に応じた画素が目に入ることで、視点を移動するのに応じて異なる映像が見え、立体視を実現する技術だ。この方式の弱点としては、立体表示する映像は、60方向から3次元空間を撮影した60の視点をもつ映像である必要があったため、表示できるコンテンツが事実上事前に作成したCG映像のみに限られていたことが挙げられる。

一方、苗村研究室が開発した64眼カメラアレイでは、70cm×70cmのサイズに8行8列の計64台のカメラを並べ、リアルタイムで320×240画素の映像をPCに送出できる。このPCでは、64台のカメラ映像から60視点のIVディスプレイ用の立体映像を生成する。処理は、64眼入力からの自由視点ライブ映像合成を60回繰り返す形になっている。ソフトウェアによる制御であり、60カ所の視点位置や視点方向を自由に設置できる柔軟性が確保されており、特定の被写体の表示位置や立体感の強弱を自由に調整できるという。

本プロジェクトの概要	裸眼立体視ディスプレイ

自由視点ライブ映像合成	裸眼立体ライブ映像システム

東京大学大学院 苗村研究室の多眼カメラアレイシステム	新規開発されたアルゴリズム

被写体の立体感を自由に調節	可搬性の実現

発表会場ではデモも行われ、実際にリアルタイムに生成された立体映像を見る機会があったのだが、実はIVディスプレイのサイズは5インチほどで、ごく小さな画面であり、その立体感も正直「わかるようなわからないような」というやや微妙な感じであった。この点について山崎氏に聞いてみると、IVディスプレイのサイズを大きくするには高精細かつ大サイズの液晶パネルが必要だとのことだった。現在のIVディスプレイでは、レンズアレイが256×192個となっている。つまり、画素数としては5万ピクセル弱の規模となる。しかし、実際の液晶パネルはレンズアレイを構成するレンズ1つに対して60画素が配置されており、総画素数としてはさらに60倍の3Mピクセル弱という規模になっている。レンズアレイの個々のレンズの下に60ピクセルを配置する細密さと全体のパネルのサイズを大きくしていくことを両立させることが開発上の課題だという。さらに、今後のディスプレイ開発の方針については、まずは2010年頃に、ワンセグ放送程度の画面サイズ/画素数で、各画素当たり100視点以上のディスプレイを開発することが当面の目標だとのことだ。これができたら次は現行のアナログTV(NTSC)程度の画素数を同じく100視点以上で実現できれば、市場への展開も現実的になるのでは、とのことだった。

会場に用意されていたデモシステム。右奥が東大が開発した64眼カメラアレイで、左手前の白い箱の中に設置されているのが日立が開発したIV方式ディスプレイ。カメラアレイの前に立ち、IVディスプレイを見ながら体を動かして視点移動してみると、立体映像の視点変化が体感できる、というものだが、ディスプレイが小さいこともあって正直立体視の効果はちょっとわかりにくい部分もあった

基礎研究のフェーズというだけあって、製品として市場投入されるまでにはまだ技術的に解決すべき課題も多く残っているというのが正直なところだが、リアルタイムで立体映像を生成する技術はできたので、あとは規模を拡大して大画面高精細化するだけ、という言い方もできるのかもしれない。数年後には、TVニュースの現場からの生中継が立体映像で見られるようになる、ということに期待したいところだ。