フルHDから4K、そして8Kへ、テレビを中心とする業務用AV/ブロードキャスト分野での高解像度化は留まるところをみせない。しかし、その一方で、編集作業の負担が増加したり、リアルタイムでのさまざまな付加価値の付与といったコンテンツのリッチ化に向けたサービスの向上が求められるようになってきた。そうした編集作業などの分野に人工知能(AI)によるアクセラレーションを取り入れることで、作業負荷の軽減や自動化を図ろうという動きが加速している。

そうした取り組みを影で支えるのがXilinxが提供するFPGAであったり、AIアクセラレータカード「Alveo」、そして次世代製品ACAP(Adaptive Compute Acceleration Platform)こと「Versal」である。

美しい映像配信の実現を支える半導体

業務用AV/ブロードキャスト分野、特に日本市場は現在、次世代の没入感のある(イマーシブな)映像を実現するべく、さまざまな取り組みが進められているという。「業務用AV分野のトレンドは、Better、Faster and More Pixel。つまり、より高画質かつ高精細な映像を体験できるソリューション、それを実現する高性能なカメラセンサ、高解像度なディスプレイを開発することで、よりよく物事を捉えられるようにすることが求められている。例えば、解像度はその最たる例で、HDからフルHDへ、4Kから8Kへと置き換わろうとしており、すでにプロ用モニターとしては8K対応のものもでており、2020年には対応放送も始まろうとしている」とXilinxで業務用AVおよびブロードキャストビジネスセグメント ディレクターを務めるラメシュ アイヤー氏は説明するが、そうした進化に併せて、付帯的に従来の60fpsではなく120fps対応にしたほうがよいのではないかといった議論や、「白はより白く、黒はより黒くなることが求められている」とのことで、HDRへの対応も議論され、そうすることで、より画質が向上していくことが期待されているとする。

  • Xilinx

    Xilinxで業務用AVおよびブロードキャストビジネスセグメント ディレクターを務めるラメシュ アイヤー氏。昨年もこの時期に来日し、AV業界に向けたFPGAの活用動向などの説明を行っている

また、ディスプレイの色空間の拡張も求められているとするが、こうした取り組みはすべてコンテンツをよりリッチに見せるための取り組みであるといえる。こうしたリッチなコンテンツが実現されれば、そうした高解像度、高精細な大容量の映像をストアする場所も必要になれば、それを要求に応じて伝送する技術、その際に圧縮する技術なども必要となり、必然的にネットワークや通信ポートの高速化なども求められるようになってくるほか、柔軟な接続の実現のための仮想化への対応も必要になってくる。

  • Xilinx
  • Xilinx
  • 業務用AVおよびブロードキャスト市場向け機器と市場成長要因、技術トレンド (資料提供:Xilinx)

「こうした動きは、放送業界に大きな変化をもたらそうとしている。従来は、特定の大型ライブイベントのみに使う機材を調達するのにかなりの投資を行ってきらが、今後は必要なニーズに応じて、必要な機能が提供されることが求められており、そうした対応を業界全体で行っていく必要がでてきた」(同)とする。例えばライブでTV配信を行う場合、「レイテンシを限りなくゼロに近づけることが求められている。Xilinxが提供する各種技術は、スタジオでの映像制作から、最終的な配信先まで、すべてのレイヤで活用されている。従来、映像編集はワークステーションやx86サーバが担ってきたが、4K/8Kと高解像度になるにつれて、非圧縮の状態での処理が追いつかなくなってきており、そうしたところのアクセラレータとして活用されるようになってきている」という。

また、ルーティングやスイッチングについても非圧縮データの転送には100Gイーサでの伝送が必要になるほか、テレビ以外への配信を踏まえたOTT(Over-The-Top)やエンコード/トランスコードでの性能も求められるようになっており、その重要度も増しつつあり、そこでのアクセラレーションにも自社ソリューションの活用が進んでいるとする。

  • Xilinx

    ライブ配信におけるXilinx製品の導入領域。ほぼ全域といえる (資料提供:Xilinx)

このほか、リアルタイム性は必要ないデジタルシネマ領域では、編集やカラーグレーディング、サウンドミキシングなどの領域で、GPUやCPUからFPGAへと置き換わりつつあるとするほか、各国への配信の際のフォーマット変換などにもFPGAによるアクセラレーションが活用されるようになってきたという。

  • Xilinx

    デジタルシネマの撮影から映像配信まで幅広い領域にXilinxのソリューションが活用されているという (資料提供:Xilinx)

東京五輪で配信事業者が抱える課題

2020年には東京で五輪が開催されるが、8Kでのライブ中継を実現するために、イマーシブかつ低レイテンシな配信を実現するというニーズは、そのほかのライブTVの放送と代わりはない。

  • Xilinx

    イマーシブなイベント、つまり会場のあちこちにさまざまな仕掛けを用意し、ある種の非日常空間を演出することでユーザー体験の価値向上を目指そうというさまざまなアプローチにもFPGAなどが活用できるとする (資料提供:Xilinx)

こうした映像を現地で撮影し、視聴者に届けるためには、低レイテンシでの大容量転送を実現する必要があると同氏は説明するほか、放送にかかるオペレーションそのものの効率改善も必要になるという。「ライブイベントの配信では、まだまだ手作業に頼るところが多い。実際に、競技場からの映像を取得して、中継を経て、視聴者に届けるところまでの間には総勢で数百、数千といった規模の関係スタッフが関わることになる。そうなれば、遅滞なく進めるための効率化が求められることになるが、そこに機械学習が活用できるのではないか、といった提案も行っている」と、放送業界のバックエンドでのAI活用の可能性も模索しているとする。

  • Xilinx
  • Xilinx
  • 五輪のようなライブスポーツイベントを視聴者に届けるまでの映像伝達フローと、それを8Kで制作した際の課題に対するXilinxの対応ソリューションの概要 (資料提供:Xilinx)

「Xilinxの考え方として、放送業界は従来のCapex(設備投資)からOpex(運用コスト)をより重視する流れに進むと見ている。現状の放送機器の効率を向上させつつ、コンテンツの配信を行っていくことで、利益を高めるビジネスに切り替える必要があると考えており、そうした業界全体を巻き込むパラダイムシフトにより、データが石油のような存在として扱われるようになると見ている。そうした流れを支えることが、ビジネスチャンスにつながる。すでに機械学習をスポーツの生中継でのクローズドキャプションの自動生成や、試合のハイライトのタグ付け、配信プラットフォーム別に最適なフォーマットを自動で判別してエンコードを行うといった使い方の提案も行っている」とし、機械学習を最大限に活用することが、映像に新たな価値を提供することを強調する。

  • Xilinx

    放送業界でのAI活用に向けた例 (資料提供:Xilinx)

とはいえ、AlveoやVersalを活用したAIソリューションやアクセラレーションのような新たな取り組みは、まだ水面下での開発段階に留まっており、現時点でどこがどういった新規性のある取り組みを進めているとはいえないという。しかし、それらの取り組みは、おおむね順調に進んでいるそうで、2020年の早い段階から、そうした成果を徐々に公開していけるのではないかという。

  • Xilinx
  • Xilinx
  • Xilinx
  • 機械学習を活用することで、1枚の映像から複数の映像を切り分けで出力することや、クローズドキャプションの自動生成、ハイライト映像の自動生成などが可能になる (資料提供:Xilinx)

  • Xilinx

    1チップ(ZU9)で4つのビデオストリームの認識処理を行ったデモの様子。左上の画像が、MIPI経由のカメラが取得した映像から人物のジェスチャ認識と骨格認識を実行。右上がGoProで撮影した映像から人物検知を実行、左下がWebカメラの映像から顔検知を実行、そして右下がSDカードの中に収められた映像を再生し、自動車、バイク、通行人の識別を実行している。ちなみにZU9上に2つのDPU IPを搭載。それぞれの処理に対して枝狩りや量子化などを施した独自のニューラルネットワークで実現したという

  • Xilinx

    顔部分以外は品質を落とし、映像の伝送を容易にしたデモ。リージョン・オブ・インタレストとも呼ばれる技術、注目を集める部分以外の品質を低下させて全体的にビットレートを落として、通信の負荷を低減させることができる。4Kカメラの映像をストリーミング、HDMI経由でZU7EV搭載ボードに入力して、それをH.265でエンコード、もう1枚のZU7EV搭載ボードに、イーサネット経由でその映像を伝送し、デコードを行って表示している

なお、ザイリンクスの代表取締役社長を務めるSam Rogan(サム・ローガン)氏も、「日本は最新かつ最高の技術を放送業界に提供しようとしている。彼らはそれを推し進めることで、利益を生み出せることを知っているからだ。そして、その多くの製品の中にFPGAが搭載されている」としており、日本の放送業界でも活発にFPGAを中心とした同社のソリューションの活用が進んでいることを強調。今後、さらに高まるであろう4K/8Kニーズに応えることができる放送ソリューションの実現の支援に向けて、積極的に協力していくとしている。

  • Xilinx
  • Xilinx
  • ザイリンクスの代表取締役社長を務めるSam Rogan(サム・ローガン)氏と、日本での業務用AVおよび放送用機器への導入実績 (資料提供:Xilinx)