KDDI、スポーツなど3D生配信を高品質化するリアルタイム圧縮技術

KDDIとKDDI総合研究所は、スポーツや音楽ライブなどの3Dコンテンツにおいて、人物などの動きを忠実に再現しながら高品質にリアルタイム配信する際に必要となる、3Dメッシュ映像のリアルタイム圧縮技術を開発。国際標準規格「V-DMC」に対応した技術として世界初とうたっており、同技術を用いて3Dメッシュ映像をリアルタイムで圧縮・伝送・再生する実験にも成功したと2月6日に発表した。

3Dメッシュ映像伝送のイメージ

VR/AR市場などの成長に伴い、3Dコンテンツの映像伝送の需要が高まっているが、3Dコンテンツの実現には膨大な量のデータが必要となる。KDDIとKDDI総合研究所はこれまで、さまざま3Dデータ形式において、映像品質を維持したまま圧縮する技術や高速で再生できる技術などの開発を進め、視聴体験の向上をめざしてきた。

3Dメッシュ映像は、人物などの動きを自然かつ忠実に再現でき、ゲームなどのエンターテインメント領域で多く活用されているデータ形式。両社はこれに注目してリアルタイム再生技術を開発するなど、早期実用化に向けた取り組みを進めてきたが、従来の圧縮技術では映像品質の劣化や圧縮処理負荷の大きさなどの影響が大きく、リアルタイム伝送のボトルネックになるという課題があった。

今回、両社は処理負荷軽減のために、圧縮処理を並列化し、圧縮処理そのものの簡素化を採り入れ、V-DMC(Video-based Dynamic Mesh Coding)にも対応したエンコーダーを開発。従来のソフトウェアエンコーダーと比べて、映像品質を維持したままで、圧縮処理速度を1,440倍向上させることに成功したとする。

従来のエンコーダーのリアルタイム化においては、たとえば圧縮対象が10万ポリゴンの3Dメッシュ映像の場合、圧縮処理速度を1,000倍以上向上させる必要があった。新開発のエンコーダーでの1,000倍超の高速化は、ポリゴン数が多く緻密な3Dメッシュ映像もリアルタイム圧縮できることを意味するとのこと。

さらに、人物などの被写体を取り囲むようにカメラを多数設置したボリュメトリックスタジオにおいて、さまざまな角度から撮影した映像データをもとに作り出した動的な3Dメッシュ映像を、新開発のエンコーダーを搭載したPCで圧縮。その映像を固定回線を使って送信拠点から伝送し、モバイル回線で受信して、スマートフォンでリアルタイム再生する実験にも成功したという。

なお、V-DMCの規格は、国際標準化機関ISO/IECのMPEGにおいて2025年度中に標準化予定だが、今回のエンコーダーは2024年度に規格化された暫定仕様に対応して開発。従来のオフラインソフトウェアエンコーダーは、ファイルなどで一括入力された時系列データに対しては圧縮処理を行えるものの、逐次的に入力される3Dメッシュ映像の時系列データで圧縮処理することはサポートされていない点が、新しいエンコーダーとは異なる。

新技術の詳細

3Dメッシュ映像はフレーム毎に、頂点の位置と頂点同士の接続関係から構成される面の集合で形状を示す幾何情報と、物体表面の色や模様を示すテクスチャ情報を持つ。

V-DMCではこのデータを、幾何情報を構成する基本メッシュ情報、差分情報、テクスチャ情報を構成する色情報(二次元画像)の3つの情報に分割し、それぞれ異なる技術で圧縮する。新開発のエンコーダーでは、分割処理と圧縮処理でそれぞれの特性に応じてCPUとGPUを使い分けることで、処理量を平準化。CPUとGPUの性能を最大限に活用し、従来のエンコーダーに対して圧縮処理速度を240倍向上させたとする。