ARマルチアングルなど、ウィンターカップでソフトバンクが5Gプレサービス

ソフトバンクは、2020年の5Gサービスに向けたプレサービスとして、「SoftBank ウインターカップ2019（第72回全国高等学校バスケットボール選手権大会）」の会場で、5Gを使ったコンテンツサービスを提供する。

高校バスケットボールの頂点を決めるウインターカップ2019の様子。会場内に設置した5G基地局を通じて、2019年12月24日～29日の試合期間にプレサービスを展開する

見返したいシーンを好きなアングルで

今回のサービスは、ソフトバンクがスポンサーとなっているウインターカップ2019の会場で、限られた一般来場者にARグラスやタブレットを貸し出し、5Gならではの観戦体験を提供するというもの。コンテンツとしては、ARグラス向けの「マルチアングル映像体験」とタブレット向けの「リアルタイムスタッツ」の2つが提供される。

5Gのアンテナは会場の一角に一基設置されており、コート全域をカバー。実験免許の3.5GHz帯を採用し、アンカーバンドとして1.7GHz帯のLTEアンテナも同時に設置されていた。

5Gアンテナ（左）と、LTEアンテナ

コート上からアンテナを見上げたところ

会場内にはプレサービス用のカメラを5カ所に設置していた。双方のバスケットゴール下1台ずつと、コート横1台の計3カ所のカメラはARグラス配信用。2階席に設置した俯瞰カメラはタブレット配信用、そしてコート真上の天井に設置された3台のカメラは、コート上の選手の解析用のカメラだ。

コート下のカメラ。反対側にもカメラがある

コート横2階席の俯瞰カメラ（垂れ幕の上にある無人のカメラ）

天井には3台の解析用カメラ

ARグラスでは、上部に表示される3台のカメラ映像から、観たい視点の映像をスマートフォンで指定できる。また、現在の両チームの得点や、各チームの出場選手名も一覧で表示。スマートフォンの応援ボタンを押すと、押した方のチーム名に向けて祝砲（？）が放たれて、派手なエフェクトで応援する演出も用意されていた。

ARグラスに表示されるコンテンツ。得点とチーム名、多視点の映像、選手名が表示される

派手なエフェクトを出して、応援することもできる

コンテンツを視界の上部と左右に配置したのは、透過して見える実際の試合を邪魔しないため。映像と現実にはタイムラグが発生するので、試合を観ながら見返したいシーンを好きなアングルで観る、といった使い方ができそうだ。

スマートフォンアプリとARグラス。NrealのARグラスが使われていた

スマートフォンはソニーモバイルコミニュケーションズのXperia。背面に装着しているのは空冷ファンで、「念のためつけている」そうだ

タブレット向けのリアルタイムスタッツは、天井カメラで選手の動きをトラッキングして解析。そのリアルタイム情報を、2階席の映像と同期して合成することで、選手のリアルタイムの動きをグラフィカルに表示できるほか、画面上で指定した選手をマークして動きを追うことができる。

リアルタイムスタッツの画面。背番号5番をタッチしたところ、現在の5番の選手の位置にマーカーが表示された

移動した選手をリアルタイムに追尾してくれている。本気で高校生選手がコート内を走るとマーカーが外れることもあったが、精度はかなりよかった。なお、コートの外にマーカーがあるのはスローインをしているため

それに加え、選手の得点数やアシスト数などのデータも同時にリアルタイム配信。こうしたデータは手動で入力されたものだが、例えば選手の動きのスピードをリアルタイムで表示するといった、映像解析から得られた情報も表示される。

今回の配信では、コート上の3台のカメラと2階席の俯瞰カメラの映像を有線で伝送し、エンコーダから配信サーバーを経由したあと、5Gコアと5G基地局を使ってコート上の5Gスマートフォンに無線で伝送。受信した映像は無線LANを経由してARグラスやタブレットに配信される仕組みだ。天井の選手解析用のカメラは、スタッツ情報解析サーバーに伝送して解析されるだけで、外部には伝送されない。

コート上に5G対応スマートフォンのプロトタイプが置かれていた

やや厚みのある側面。メーカーはシャープ。状況を見つつ同じく5G対応Xperiaのプロトタイプと交互に使っているそうだ。ちなみにデバイス自体は前回のバスケットボール日本代表戦で使ったものと同じ

現状の課題は映像処理による遅延

これまでソフトバンクは、5Gを活用して、FUJI ROCK FESTIVALでの屋外の映像伝送や、バスケットボール日本代表戦での8K映像配信などの取り組みを行ってきたが、今回は比較的シンプルな印象だ。だからこそ、より現実的なサービスに近づいているといえるだろう。体験した一般来場者も、選手名がすぐに分かり、情報を確認しやすいといった点で試合観戦がさらに楽しくなると太鼓判を押していた。

ARグラスで観戦している様子。上を向いたり左右を向いたりしているので、映像を確認しているのが見ていても分かる。映像やテキスト自体は十分見やすいレベル

タブレットでリアルタイムスタッツを見ているところ。今回は画面の左右にある背番号ボタンを押すと選手にマーカーが表示されるというものだが、「画面の選手をタッチしたらスタッツ情報が表示されるようにしたかった」とソフトバンクの技術者は話していた。リアルタイムの解析がまだ難しかったそうだ

5Gを使えば大容量の映像配信でも遅延を最小限に抑えて伝送できるが、ボトルネックとなるのが、エンコード・デコードといった映像処理の部分だ。例えば、今回も、リアルタイムスタッツの解析情報を配信する際に、合成する映像の処理を待つ必要があったという。

こうしたトータルでの遅延が発生するため、5Gでも現実と同期したリアルタイムの映像配信は難しい。そのため、ソフトバンクの技術者はこうした部分での技術革新にも期待を寄せる。逆に言えば、当面は5Gを使ったコンテンツやサービスでも遅延を想定した工夫が必要となるだろう。

そうしたトータルな面で5G時代のコンテンツ・サービスのあり方を、ソフトバンクでは今後も探っていきたい考え。同社のコンシューマ事業統括プロダクト&マーケティング統括サービス企画本部スポーツ事業統括部統括部長・原田賢悟氏は、「ライブ、アイドル、スポーツといったエンターテインメント分野は5Gでの有力なコンテンツ」だと考えており、2020年の本サービス開始に向け、さらに検討を続けていく意向だ。