8K時代に求められる映像配信技術 - AIの活用をXilinxが推進

東京五輪で配信事業者が抱える課題

2020年には東京で五輪が開催されるが、8Kでのライブ中継を実現するために、イマーシブかつ低レイテンシな配信を実現するというニーズは、そのほかのライブTVの放送と代わりはない。

イマーシブなイベント、つまり会場のあちこちにさまざまな仕掛けを用意し、ある種の非日常空間を演出することでユーザー体験の価値向上を目指そうというさまざまなアプローチにもFPGAなどが活用できるとする (資料提供:Xilinx)

こうした映像を現地で撮影し、視聴者に届けるためには、低レイテンシでの大容量転送を実現する必要があると同氏は説明するほか、放送にかかるオペレーションそのものの効率改善も必要になるという。「ライブイベントの配信では、まだまだ手作業に頼るところが多い。実際に、競技場からの映像を取得して、中継を経て、視聴者に届けるところまでの間には総勢で数百、数千といった規模の関係スタッフが関わることになる。そうなれば、遅滞なく進めるための効率化が求められることになるが、そこに機械学習が活用できるのではないか、といった提案も行っている」と、放送業界のバックエンドでのAI活用の可能性も模索しているとする。

五輪のようなライブスポーツイベントを視聴者に届けるまでの映像伝達フローと、それを8Kで制作した際の課題に対するXilinxの対応ソリューションの概要 (資料提供:Xilinx)

「Xilinxの考え方として、放送業界は従来のCapex(設備投資)からOpex(運用コスト)をより重視する流れに進むと見ている。現状の放送機器の効率を向上させつつ、コンテンツの配信を行っていくことで、利益を高めるビジネスに切り替える必要があると考えており、そうした業界全体を巻き込むパラダイムシフトにより、データが石油のような存在として扱われるようになると見ている。そうした流れを支えることが、ビジネスチャンスにつながる。すでに機械学習をスポーツの生中継でのクローズドキャプションの自動生成や、試合のハイライトのタグ付け、配信プラットフォーム別に最適なフォーマットを自動で判別してエンコードを行うといった使い方の提案も行っている」とし、機械学習を最大限に活用することが、映像に新たな価値を提供することを強調する。

放送業界でのAI活用に向けた例 (資料提供:Xilinx)

とはいえ、AlveoやVersalを活用したAIソリューションやアクセラレーションのような新たな取り組みは、まだ水面下での開発段階に留まっており、現時点でどこがどういった新規性のある取り組みを進めているとはいえないという。しかし、それらの取り組みは、おおむね順調に進んでいるそうで、2020年の早い段階から、そうした成果を徐々に公開していけるのではないかという。

機械学習を活用することで、1枚の映像から複数の映像を切り分けで出力することや、クローズドキャプションの自動生成、ハイライト映像の自動生成などが可能になる (資料提供:Xilinx)

1チップ(ZU9)で4つのビデオストリームの認識処理を行ったデモの様子。左上の画像が、MIPI経由のカメラが取得した映像から人物のジェスチャ認識と骨格認識を実行。右上がGoProで撮影した映像から人物検知を実行、左下がWebカメラの映像から顔検知を実行、そして右下がSDカードの中に収められた映像を再生し、自動車、バイク、通行人の識別を実行している。ちなみにZU9上に2つのDPU IPを搭載。それぞれの処理に対して枝狩りや量子化などを施した独自のニューラルネットワークで実現したという
顔部分以外は品質を落とし、映像の伝送を容易にしたデモ。リージョン・オブ・インタレストとも呼ばれる技術、注目を集める部分以外の品質を低下させて全体的にビットレートを落として、通信の負荷を低減させることができる。4Kカメラの映像をストリーミング、HDMI経由でZU7EV搭載ボードに入力して、それをH.265でエンコード、もう1枚のZU7EV搭載ボードに、イーサネット経由でその映像を伝送し、デコードを行って表示している

なお、ザイリンクスの代表取締役社長を務めるSam Rogan(サム・ローガン)氏も、「日本は最新かつ最高の技術を放送業界に提供しようとしている。彼らはそれを推し進めることで、利益を生み出せることを知っているからだ。そして、その多くの製品の中にFPGAが搭載されている」としており、日本の放送業界でも活発にFPGAを中心とした同社のソリューションの活用が進んでいることを強調。今後、さらに高まるであろう4K/8Kニーズに応えることができる放送ソリューションの実現の支援に向けて、積極的に協力していくとしている。