ドワンゴは、東京・六本木にある同社のイベント会場「ニコファーレ」に、3DCGのキャラクターの"生"ライブを可能にする新システムを導入した。

現場と中継でそれぞれ映像を“最適化”

同技術のお披露目となったのは、歌声合成ソフト「VOCALOID」のキャラクター「GUMI」のライブ「GUMI誕生祭2012 in ニコファーレ」。多くの観客たちがGUMIの“生”パフォーマンスを楽しんだ。

新システムでは、ライブ会場のオーディエンスにはキャラクターが目の前にいるように感じる「透過スクリーン」に投影した映像を、ニコニコ生放送で視聴しているユーザーには、AR技術を活用することで鮮明なライブ中継映像を配信した。

6月26日に行われた「GUMI誕生祭2012 in ニコファーレ」会場の様子

ステージ上のGUMIと、盛り上がるオーディエンス

これまでも、透過スクリーンに投影したVOCALOIDキャラクターのライブなどは行われてきたが、大型プロジェクターを用いて光量を確保する必要があったため、大規模な会場でないと実現は難しかった。「ニコファーレ」はスタンディングの収容人数が380名の中小規模の施設だが、多数の小型プロジェクターを同時に投射することで、省スペースでのバーチャルライブを実現した。

ステージ上に吊された透過スクリーン

中継映像を最適化するため、小型の投影機の前に偏向フィルターをかぶせている

透過スクリーン投影ライブのインターネット視聴について、これまでは投影された映像をそのまま中継していた。だが、撮影可能なカメラアングルに制限があり、演出も限られてしまっていたのが実情だ。

今回開発された撮影方法は、偏向フィルタを利用して透過スクリーン上の映像を中継カメラには写らないように処理し、天井に設置した機器がカメラの位置をリアルタイムで計算し、その位置から撮影したアングルに最適化した映像を合成して配信を行うというものだ。

中継カメラには位置を知らせるためのLEDが取り付けられている

カメラの位置を検知する装置

新システムの概要。偏向フィルタの直線偏光の方向を変えることで、中継用カメラには透過スクリーンの映像が写らないようにする

ニコニコ生放送で流れた映像。透過スクリーンを中継せず、カメラアングルを計算してリアルタイム合成を行っているため非常に鮮明。複数カメラからの位置情報を統合して合成しているため、複数アングルから撮影された映像が視聴者に届けられる

ユーザーの作ったデータをそのまま投影

今回導入された新システムは、有志ユーザーが開発した3DCGムービー制作ソフトウェア「MMD(MikuMikuDance)」のデータに対応。ユーザーが制作したMMDデータを持ち込めば、特にライブ用にチューニングを行わずとも、そのまま使用することができる。

技術面を担当したドワンゴの岩城進之介氏によれば、今回はGUMIのワンマンライブだったが、スクリーンには最大5～6人程度のキャラクターを投影することが可能だという。

新システムの活用法として、同社は「アニメや映画の新作発表会でのキャラクターと声優・俳優の共演」や、「企業の製品発表会における3DCGを活用したプレゼンテーション」を例として挙げている。ユーザーと発信者の距離感が非常に近い「ニコニコ生放送」の活用方法がさらに広がっていきそうだ。