未来の映像/TVシステムとして3D TVが構想されたのはずいぶん昔のことだろうと思われるが、いまだに実現されていないのは改めて言うまでもないだろう。しかし、商用放送として3D TVが実用化されていないからといって、技術開発が何の進展も見せていないわけではない。むしろ、実用化に向けた基礎研究は着実に続けられており、さまざまな成果を実現しつつあるのだ。今回は、3D TV実現の際にはその映像撮影のために活用されることになると思われるカメラアレイの開発の状況を知るために東京大学を訪ねた。

今回デモを見ることができたカメラアレイは、東京大学 大学院情報理工学系研究科 電子情報学専攻の苗村健 准教授の研究室で開発が進められているものだ。苗村准教授と、研究者である東京大学IRT研究機構 サイバーインタフェース研究部門の高橋桂太 特任助教に聞いた。

東京大学 大学院情報理工学系研究科 電子情報学専攻 苗村健 准教授。手にしているのは初期の16台構成の試作機	東京大学 IRT研究機構 サイバーインタフェース研究部門 高橋桂太 特任助教

カメラアレイとは、映像撮影用のカメラを格子状に配列したものだ。これによって、被写体空間をさまざまな異なる角度(視点)から同時に撮影し、視差の付いた複数の映像を得る。これらの画像を比較して違いを分析すれば、正面からの撮影では写らないはずの立体物の側面の状態や、被写体の3次元空間内での配置などを知ることができる。さらにこうした情報を元に立体表示に対応した3D TV向けの3次元画像を生成することもできる。いわば、立体画像の入口を構成する部分だ。

最初期の試作機は4×4の16台構成で、カメラはNTSC映像を出力する、まさに"アナログ"のビデオカメラであった。この映像を受け取って処理するコンピュータには高価なグラフィックス専用ワークステーションを利用することで、世界初の立体ライブ映像のリアルタイム処理が実現されたそうだ。1998年のことだ。一方、現在のカメラアレイは8×8の64台構成になっており、一般的なPC 1台で処理しているにもかかわらず、より複雑なアルゴリズムによる高画質のリアルタイム処理が可能になっている。これは、PC自体の性能向上が著しいことももちろんだが、プログラミング上の工夫など、さまざまな技術的進歩があってのことだ。

多視点画像からの映像合成は2段階に分けて行われる。まず、多視点画像を処理して新しい視点位置から見た"多焦点"画像（"合焦"距離が異なる複数の画像）を合成する。次に、それらの画像の焦点が合っている部分を統合し、その視点から見た"全焦点"画像を合成する。右上→左上→左下の順に"合焦"距離が近づく(高橋氏らの研究論文「Light Field Renderingにおける合焦判定と全焦点画像合成」(2005年)から。合成の元データとして「筑波大学多視点画像データベース」を利用した)

3D CGに関心のある人なら、レイトレーシング(ray tracing)という技法についてもご存じだろう。物体の表面で反射する光の軌跡を与えられた任意の視点から追跡すれば、その物体の表面のある点が、その視点から見ると何色に見えるかが計算できる。これを視野内のすべての点について行い、すべての点に正しい色を付ければ、視野内に見えるはずの画像(3次元空間を2次元平面＝スクリーンに投影した画像)が生成できる、という考え方だ。

カメラアレイがやっていることも、これとよく似た考え方に基づいている。8×8＝64台のカメラアレイの場合、あるシーンを撮影すると、64の異なる視点位置に収束する光線群を同時に記録できる。これがわかると、なぜこういうものが必要なのかもわかるだろう。カメラの台数は視点の数を決め、それは最終的に生成される立体映像の画質や視点移動の自由度を決めることになるためだ。もちろん、台数は多ければ多いほどよい、とも言えるが、処理の負荷や物理的なカメラアレイのサイズなどにも影響するため、現状での最良のバランスとして64台の構成になっている。