NTT Com×ヤマハ、双方向のライブビューイング上映を実現する「GPAP over MoQ」の実証を公開

NTTコミュニケーションズ（以下、NTT Com）とヤマハは5月28日、共同開発した「GPAP over MoQ」技術を利用したライブビューイングに関する実証実験の様子を公開した。低遅延の音声・映像配信の技術開発を行っているNTT Comと、「GPAP（General Purpose Audio Protocol）」を活用し音楽ライブの付加価値向上に取り組むヤマハが両社の技術を組み合わせ、高臨場・低遅延・双方向のライブビューイングの実現を目指す。

実証実験のライブ演奏

技術開発の背景

エンターテインメント業界はコロナ禍を経て、音楽のリアルタイムライブ市場が伸長した。これに伴って、ライブを映画館に配信するライブビューイング市場にも注目が集まっている。ライブビューイングは、倍率が高くチケットが取れないライブや、遠方で観に行けないライブ、過去のライブなどを映画館の大きなスクリーンで鑑賞できるという利点があり、市場の成長が期待される。

しかしその一方で、既存のライブビューイングは主として衛星通信などを利用して映像 / 音声の転送を行うため、高精細の映像や音声を低遅延で転送するのが難しい。また、双方向の配信ができないため、DVDを見ているような受動的な視点であり、高い臨場感が実現できない課題もある。

ライブビューイング上映のニーズが高まっている

「GPAP over MoQ」の概要と技術的特長

こうした課題に対し両社は、ヤマハが開発した「GPAP」のデータを、NTT Comが開発した「MoQ」上にて低遅延で転送するという独自プロトコルを開発した。

従来のライブ配信は音響や電子楽器、映像、照明のデータ規格がそれぞれ異なる上、同期する規格も異なるため同時に再生するための同期信号が必要となることから、煩雑な作業が必須だった。

ライブ配信の課題

ヤマハが開発した「GPAP」は、映像や音声に加え照明などの舞台演出に関するデータを、wavという1つのデータにまとめ、記録や再生を可能とする。記録フォーマットが一つに統一されたことで、各種機材のフォーマットをオーディオレコーダーに記録できる。また、一つのオーディオタイムライン上で記録されるため、同期が不要となる。

GPAPはさまざまな舞台装置のデータを一つのフォーマットに統一している

一方の「MoQ（Media over QUIC）」は、NTT Comが研究を進めている低遅延で音声や映像を配信できるデータ転送技術。IETFにおいて標準化が進められている。

MoQと従来技術の比較

両技術を組み合わせることで、「GPAP」によるライブ会場と連動した舞台演出に加え、「MoQ」の低遅延双方向転送を利用したコール&レスポンスが可能となる。従来のインターネット網を利用したライブ配信は5秒程度の遅延が発生するが、「GPAP over MoQ」により最短0.1秒程度の遅延に抑えられる。遠隔地でもライブに一緒に参加している感覚を体験でき、高い臨場感のライブビューイング実現に貢献する。

「GPAP over MoQ」は中継回線として、5Gなどのモバイル回線や公衆インターネット回線も利用可能。そのため、被災地に直接アーティストが行けない場合でも既存の回線を活用したライブビューイングイベントなども可能だという。

実証の模様を動画で紹介

両社が実施した実証実験では、ヤマハ銀座店でライブ演奏を行い、舞台装置の演出効果の同期やコール&レスポンスを確認した。地下のメイン会場においてアーティストが演奏し、映像、音声、照明機器の情報を含んだ「GPAP」データを、クラウド上のサーバで処理し別階のサテライト会場へ配信。逆の経路でサテライト会場の観客の様子をメイン会場へ投影した。

その結果、サテライト会場でも違和感のない遅延でライブを鑑賞し、手拍子をしている様子がメイン会場へ届けられる様子が確認できた。