NHK技研、世界初のマルチレイヤー対応VVCリアルタイムエンコーダ開発

NHK放送技術研究所(技研)は、次世代放送サービス向けの新技術として、世界初のマルチレイヤー対応VVCリアルタイムエンコーダーを開発したと3月19日に発表。同技術を用いることで、従来は複数チャンネルが必要だったサブコンテンツ放送を、ひとつのチャンネルで実現できるようになるという。

新開発のマルチレイヤー対応VVCリアルタイムエンコーダーの外観

サブコンテンツ放送の例

VVC(Versatile Video Coding)は、5Gネットワークによるストリーミングでの利用や、IoTにおける映像利用の拡大などに伴い、映像圧縮技術のニーズが高まったことを受け、国際標準化機関によって標準化された次世代映像符号化方式。

現行の新4K8K衛星放送で用いられているHEVC方式よりも圧縮効率が高く、従来のSDR(Standard Dynamic Range)映像に加え、高コントラストで色鮮やかな映像表現ができるHDR(High Dynamic Range)映像や、360度全天周映像の符号化にも対応した、汎用性のある符号化方式として設計されている。

VVC準拠のリアルタイム映像符号化装置(エンコーダー)はすでに存在するが、NHK技研は今回、世界で初めてマルチレイヤー符号化技術にも対応したVVCリアルタイムエンコーダーを実現した。

NHK技研では、次世代放送サービスで視聴者の好みに適した視聴体験を提供するために、主となるメインコンテンツに手話映像や字幕映像などをサブコンテンツとして提供し、視聴者が選んだものを受信機で上乗せ表示させる「サブコンテンツ放送」を実現する技術研究を進めている。スポーツ番組で特定のチームに注目した映像を上乗せ表示して楽しむといった、放送サービスのパーソナライズ化への寄与も期待されているという。

従来の放送では、メインコンテンツとは別にサブコンテンツを上乗せした映像を放送するには、複数チャンネルが必要になるという課題があった。今回開発したエンコーダーでは、マルチレイヤー符号化技術を利用することで、ひとつのチャンネルでサブコンテンツ放送を実現可能になるという。

開発したエンコーダーを用いた次世代のサブコンテンツ放送のイメージ

マルチレイヤー符号化は、複数の映像を符号化するときに、それぞれの映像を“基本レイヤー”と“拡張レイヤー”で構成される層状の映像として扱い、各レイヤー間の類似性を利用して符号化効率を向上させる技術。

一般的なマルチレイヤー対応エンコーダーでは、基本レイヤーに加え、サブコンテンツが上乗せされた状態の拡張レイヤーを入力する。ふたつのレイヤーの類似性が低いので、エンコード処理にかかる演算量は多い。そのため、マルチレイヤーに対応し、かつリアルタイムで動作するエンコーダーは実現できていなかった。

今回開発した新たなエンコーダーでは、基本レイヤーのデコード映像を用いて、エンコーダー内部で拡張レイヤーを生成する方法を採用。これにより、サブコンテンツが上乗せされている画像領域以外において基本レイヤーと拡張レイヤーが同一のものとなるので、拡張レイヤーのエンコード時は多くの画像領域で符号化処理が不要になる。レイヤー間の類似性を高め、演算量を削減したことで、リアルタイムエンコーダーを実現できたというわけだ。