中村獅童×初音ミク「超歌舞伎」で驚きの演出をしかけたNTTの最新技術に迫る

4月29日・30日の2日間にわたり開催されたニコニコ超会議。その中でも大きな話題を呼んだのが、中村獅童と初音ミクの超歌舞伎「今昔饗宴千本桜」だろう。

歌舞伎でありながら最新技術をふんだんに取り入れたステージはニコニコ生放送でも配信され、連日大反響を呼んだが、この超歌舞伎を映像技術面で支援したのがNTTである。超歌舞伎のどこに同社の最新技術が使われていたのか、現地を取材した。

中村獅童も出演した超歌舞伎「今昔饗宴千本桜」

ニコニコ超会議で2日間、5回にわたり上演された超歌舞伎「今昔饗宴千本桜」には、従来の歌舞伎のイメージを覆す様々な演出が取り入れられていた。背景のスクリーンには美麗なCG映像が流れ、ステージに設置された透過スクリーンに映し出された初音ミクはまるで本当にその場にいるかのように立体的だった。

透過スクリーンに映し出された初音ミクは、その場にいるような存在感を放っていた

これらは初音ミクライブパーティーやニコニコ超パーティーといったライブイベントで培われてきた技術であり、ニコニコユーザーにはもうおなじみの演出となっている。

しかし、この超歌舞伎ではさらにもう一つ、最新の技術が取り入れられていた。高い臨場感で映像・音声を再現するイマーシブテレプレゼンス技術「Kirari」である。

超歌舞伎のシステムブースより。ここでKirariがコントロールされている

このうち、音響面では「音像定位技術」が使用されていた。現地で超歌舞伎を見た人ならスクリーン映像から聞こえる声にリアリティがあったことに気づいたかもしれない。実は通常のスピーカーに加えて、本当にスクリーンから声が発されていたのだ。

NTTサービスエボリューション研究所でナチュラルコミュニケーションプロジェクト主任研究員を務める長田秀信さんは次のように説明する。

「音像定位技術はバーチャルスピーカー技術とも呼ばれるもので、極めて指向性の高いスピーカーから超音波を出し、スクリーンに反射させて拡散させることができます。スクリーンに映っている人物の口元に反射させることで、本当にその人が喋っているように聞こえるのです」

スクリーンを活用した映像演出でステージがより華やかに

ステージ脇のスピーカーではなくスクリーンに映し出されたキャラクターの口元から声が出ることで、ぐっとリアリティが向上するというわけだ。超音波をぶつけるスクリーン側に特別な仕掛けはなく、汎用的に使える技術である。今回は会場が大きいためスピーカーも併用しているが、音量・音質が向上すればこうしたライブイベントでの音響に革新をもたらすことが期待できそうだ。

そして「Kirari」からもう一つ、超歌舞伎で使用されていたのが「被写体抽出技術」である。

超歌舞伎の終盤、中村獅童演じる佐藤四郎兵衛忠信が多数の敵を相手に戦う場面があるのだが、ここでステージに設置された透過スクリーンに中村獅童が3人表示され、分身したかのように見える演出がある。

中村獅童が分身するクライマックスの演出

この分身、別の役者が演じているわけではなく、本物の中村獅童の動きをトレースした3D映像なのだ。しかし、あらかじめ動きを撮影していたわけではなく、その場にいる中村獅童の動きをリアルタイムで記録し、映像化して透過スクリーンに映し出しているのである。

中村獅童の「分身」を解説

これが単なる映像であれば簡単な話だが、超歌舞伎で出現した中村獅童の分身たちは、どれも映像とは思えないほどの存在感を放っていた。いったいどうなっているのだろうか。

長田さんによると「被写体抽出技術」とは、カメラで撮影した特定の被写体の輪郭だけを切り抜き、それ以外を消すことができる技術だという。こうしたリアルタイムの切り抜きといえば、グリーンカーテンなどを背景に置き、色の違いを利用して切り抜くクロマキー合成技術が一般的。しかしクロマキー合成の場合、画面全体に処理を施しているため全体的に色が劣化し、ノイズが乗るという欠点があった。

「Kirari」の被写体抽出技術が画期的なのは、クロマキー合成とは異なり背景の色を問わないこと。超歌舞伎でも中村獅童の背景は黒であり、髪の毛や服の色とかぶってしまっていたが、問題なく切り抜くことができていた。

また、被写体と背景の境界線だけを探して処理できるため映像の劣化がないことや、処理スピードが格段に向上したことも見逃せない。

この被写体抽出技術は、過去にNTTの研究所で関係者向けにお披露目されたことはあるものの、こうした一般向けのイベントで活用されるのは超歌舞伎が初めてだったという。それだけに長田さんもプレッシャーを感じていたが、「役者さんとお会いしたとき、美しい衣装や動きに感動しました。このディテールが失われてはいけないと強く思いました」とい被写体抽出技術の必要性を改めて強調した。

一般のイベント、それもこれだけの大舞台ということもあり、初日2回目の公演ではうまく映像が表示されないというトラブルにも見舞われた。しかし、3回目の公演では即座にリカバリー。実践で経験を積むことで、被写体抽出技術がこうしたステージで十分に使えることを証明してみせた。

超会議NTTブースで先端技術を体験

超歌舞伎を鑑賞した後、超会議のNTTブースにも立ち寄ってみた。

超会議NTTブース

NTT超未来大博覧会と題されたブースでは様々な最新技術を体験することができたが、中でも注目はやはりKirariの被写体抽出技術である。

「Kirari!で"人気のアノ娘"と踊ってみた」は、中央に映し出された人気踊り手と映像で共演できるコーナー。一般のお客さんの周囲は踊り手と同じく真っ暗になって映し出されているのだが、実は隣のブースで実際に踊ってもらい、収録したもの。ブースの中で踊るお客さんの輪郭を被写体抽出技術で正確に切り抜いて表示しているというわけだ。輪郭もぼやけることなく、映像処理を加えたとは思えないほど。背景を選ばないことから、様々な場面で活用できそうだ。

Kirariを体験できた

この他、NTTブースでは遠隔操作ロボによる「ひみつのとう道ツアー体験」や、VRによる「ハートキャッチぶるぶるブルペン」など最新技術を応用したユニークなコンテンツが盛りだくさんだった。