常識外れの映像で巨人戦中継を面白く、キヤノン“見えないカメラ”の正体は

日本テレビで放送されている東京ドームの巨人戦中継で、カメラが存在するはずのない視点からのリプレイ映像が「どうやって撮っているんだ？」「見えないカメラがあるようだ」と話題を呼んでいます。この映像は、キヤノンが開発した自由視点映像システム「ボリュメトリックビデオ」を用いて生成されたもの。東京ドームに設置された100台近くのカメラがとらえた映像をもとに、マウンドの下からピッチャーを見上げるような映像も生成できます。撮影の常識を覆す表現の仕組みを探るべく、東京ドームに行ってきました。

• まるで野球ゲームのようなキャッチャー目線の映像だが、実際にカメラで撮影した実写の映像をもとに、キヤノンが開発した自由視点映像システム「ボリュメトリックビデオ」でリアルタイムに作られていた

98台のシネマEOSで撮影した映像をもとに自由視点映像を生成

テレビのプロ野球中継といえば、センター方向からバッターをアップで狙う映像や、選手の表情や打った球を追いかける内外野のカメラの映像など、映像のパターンがある程度限られていました。しかし、2023年の東京ドームの巨人戦中継はキャッチャーからの視点や遊撃手あたりからの視点など、明らかにカメラが存在しないアングルからのリプレイ映像が流れて思わず驚きます。これがゲームの画面なら驚きはありませんが、実写のプロ野球中継でどうやって？と思った人も多いはず。

• 今シーズンの東京ドームの巨人戦中継で流れてくるリプレイ映像。カメラが存在するはずのないアングルからの映像ばかりで、思わず目を奪われる

この映像表現を可能にしているのが、キヤノンが開発したボリュメトリックビデオの技術。複数のカメラがとらえた被写体の映像を3Dのデータにリアルタイムに変換し、そのデータを使うことで、あらゆる方向から見た映像を自由に生成する仕組みです。

• キヤノンのボリュメトリックビデオのシステムが常設された東京ドーム

東京ドームの天井付近には98台のカメラが設置され、それらのカメラでフィールド上の被写体を4K/60pで同時に撮影。それぞれのカメラの撮影情報をもとに、四角い木から形を削り出すようにして3Dデータ（ボクセルデータ）を生成します。これにテクスチャーを貼り付けると、自由視点の被写体映像が生成できるわけです。1つ1つのドット（ボクセル）はわずか3mm角の大きさで、それだけ精細な3Dデータが作られます。メインの被写体だけでなく、背景にあるメインビジョンの映像や観客の盛り上がりの様子もしっかり再現できます。

• 天井付近のキャットウォークに設置されたボリュメトリックビデオ用のカメラ（右）。左には照明設備が見える

• 場所によっては4台まとめてカメラが設置されている場所も

きわめて複雑な処理が必要なボリュメトリックビデオですが、東京ドームに導入したシステムは撮影のわずか3秒後に自由視点の映像が生成できるのが特徴。ホームランを打った瞬間などのハイライト映像もほぼリアルタイムに流せ、生中継の臨場感を損なわないのがポイントです。

• ボリュメトリックビデオで生成された自由視点の映像。ピッチャーが半透明で描写されており、明らかに従来のセンター方向のカメラがとらえた映像でないことが分かる

• こちらはグラウンドの下から見上げたような映像。これまでの野球中継ではあり得ないアングルだ。観客席や屋根なども忠実に描かれている

• 画面の左上に「自由視点映像」と表示されているのが、テレビ中継で実際に放送されているボリュメトリックビデオの映像だ

カメラは、キヤノンのシネマカメラ「EOS C300 Mark II」をベースに、センサーを交換してグローバルシャッター化したものを設置しています。レンズは、70-200mmの望遠ズームレンズ「CN-E70-200mm T4.4 L IS KAS S」で、フィールド全体をカバーできるよう設置場所に応じて焦点距離を変えていました。東京ドーム内には、携帯電話のアンテナをはじめさまざまな設備が設置されているので、それらと干渉しないように設置するのが大変だったそうです。

• カメラは、キヤノンのシネマカメラ「EOS C300 Mark II」をベースにグローバルシャッター化したカスタムモデル。レンズは、望遠ズームのシネレンズ「CN-E70-200mm T4.4 L IS KAS S」を装着している

東京ドーム内には、ボリュメトリックビデオ用の編集ルームが用意され、日本テレビ側のスタッフがカメラ操作などのオペレーションを行っています。キヤノンのスタッフもサポートなどのために常駐しているそうです。

• ボリュメトリックビデオ用の編集ルーム。オペレーションは日本テレビのスタッフが担当する

• キヤノンのロゴが入ったオペレーション用の機材

• ジョイスティックの操作で、アングルを自在に変更できる

• こちらは一般的なテレビカメラの映像も含めてコントロールする日本テレビのオペレーションルーム

• 中央上部の2画面がボリュメトリックビデオで生成した映像。要所要所で放送に挟み込んで使われていた

「撮影後3秒で映像を生成」が評価され、巨人戦中継に本格導入

ボリュメトリックビデオを手がけるキヤノンのイメージソリューション事業本部 SV事業推進センターの伊達厚氏によると、ボリュメトリックビデオの技術は2016年ぐらいから開発が始まりました。最初に放送で用いたのは、2019年のラグビーワールドカップの試合。当時は、試合終了後にならないとボリュメトリックビデオが生成できませんでしたが、放送を担当した日本テレビの担当者からは「面白い」と評価されたそうです。

• キヤノン イメージソリューション事業本部 SV事業推進センターの伊達厚氏（左）と神谷泰次氏（右）

プロ野球中継への採用に大きく動いたのが2022年。日本テレビの担当者から「ボリュメトリックビデオをプロ野球中継で使えないか」と相談が寄せられたそう。そこで、システムを東京ドームに最適化したうえで導入し、数試合の中継で試験的に用いたところ、視聴者から大きな反響があったため、2023年のシーズンから全試合で導入することになったわけです。

巨人戦の中継で採用されたカギは、撮影後3秒で映像が生成できるリアルタイム性だといいます。2019年のラグビーワールドカップの時は、生成まで実に1時間ほどを要したそう。イメージソリューション事業本部 SV事業推進センターの神谷泰次氏は「ラグビーワールドカップの時と比べて画質や解像感も向上している。現在のプロ野球のシーズン中も、随時改良を加えている」と語ります。

生成したデータをもとにフィギュアも作れる

ボリュメトリックビデオは、さまざまな角度からの視点が得られることを生かして競技のジャッジに利用したり、データを解析してチームの作戦に生かすことも可能だそう。また、生成した3Dデータをもとに3Dプリンターでフィギュアを作成できるなど、さまざまな応用が見込めるのも特徴です。

日本テレビでは、9月9日（土）と10日（日）の巨人×中日戦の中継で、ボリュメトリックビデオの自由視点映像をふんだんに生かした新趣向の映像を放送します。この2日間はBS日テレやCS日テレジータスに加え、地上波でも放送するので、新しい映像体験をしてみてください。

• 9月10日（日）の放送では、ボリュメトリックビデオの技術を用いて東京ドームの屋根に特別なロゴが描かれるほか、バーチャルな飛行船も現れる

• チャンスのシーンでは、選手の映像に燃えるような描写が加えられる