東京オリンピック・パラリンピックを支える富士通のテクノロジー

高速マッチングで採点支援

採点支援システムの流れとしてはこうだ。まず競技中の選手をTOF(Time Of Flight)方式の3DLiDAR(Light Detection and Ranging)センサでセンシングした上で、富士通のAI「Zinrai」を活用し、多視点から体の深度画像と関節座標を取得。

採点支援システムの概要
3DLiDARセンサの外観

その後、ディープラーニングを用いた学習型骨格認識で一次骨格認識結果として3D関節座標を導き出すが、この時点では推定のため評価関数により、本来あるべき位置にフィッティングさせて、骨格の最適位置を探索する。これに「技のデータベース」のデータと高速マッチングする。

AIによる骨格認識の概要
技認識による自動採点の概要

データは時系列のため、あん馬の場合は正面を向いている瞬間が技の切れ目だとすると、1回転すれば認識するほか、回転の際にあん馬の持ち手と、2つの持ち手を境にした3つの面のうち、手がどこの位置にあり、体の角度位置など特徴を組み合わせることで技を認識する。また、正しい動きとの差異を認識することで微妙な角度を認識し、減点することも可能としている。

自動採点の画面イメージ
マルチアングルビューのイメージ

技のデータベースは例えば男子の場合、819技を475の基本動作に分類したものをもとに構築し、新しい技が登場すれば基本動作の組み合わせで大半は対応できるという。あん馬では足の角度がわずかに下がれば0.1点単位で減点されるが、複数の選手では角度が下がる感覚が異なるため、公平性を保つようにした。Eスコアは、3人の審判が判定したものが、採点規則で示されているものとは異なることもあるため、明確化することに取り組んでいる。

現状としてはマルチアングルビューによる採点支援の段階であり、2020年には男子のあん馬、つり輪、跳馬、女子の跳馬、平均台の計5種目を対象にDスコア、Eスコアの自動採点を目指し、2024年には全10種目に適用範囲を広げる考えだ。

今後のロードマップ

トレーニング、マーケティングへの展開

同社では採点支援に加えて、開発したシステムをトレーニングやテレビ中継での活用も検討している。藤原氏は、その点について「AIが人間の仕事を奪うという話がありますが、われわれとしては審判の補助や競技力の向上、観戦者の理解度を深めるなど、コンピュータが人間に寄り添うヒューマンエンパワーメントと使われるべきだと考えています」と、述べている。

つまり、従来のようにITが生産効率化や可視化などの観点で活用されていただけではなく、これからは人間の生活をより豊かなものにしていくという。トレーニングでは選手自身が角度を頭の中で把握していても、測定するとズレていることもあり、角度と感覚値を合わせることにも活用できることに加え、高速な連続技が把握できれば観戦者自体の競技の見方も変わってくる。

また、大会会場では出場選手が上位を狙うために勝負に出ている瞬間を伝えることで、臨場感を味わえることもできるため、解説者と観戦者・視聴者とのギャップを埋めることも可能になる。すでに、昨年11月には日本体操協会とスマートフォンアプリ「体操観戦ナビ」をリリースしており、採点規則をデータ化し、マンガ形式で閲覧できる。

スマートフォンアプリの画面イメージ

今後は、実際の動画をスマートフォンだけではなく、テレビなどでも閲覧を可能とすることで、必要な数値を表示することに加え、高齢者や子どもも理解できるようなものにしていくという。

スポーツの産業化に必要なものとは？

では、スポーツの産業化にはなにが必要なのか。藤原氏は「まずは金メダルを獲得してほしいです。競技力を向上させれば、おのずと金メダルを獲得するスター選手が誕生し、テレビだけでではなく、会場への来場者も増加することにつながります。そして、会場でも楽しめるようなコンテンツを提供することでファン獲得につながり、どの大会でも公平な判定が行われることは選手にとっても大切なことです」と、説明する。

また、同氏は念を押すように「体操だけに限らず、日本におけるスポーツの産業化を実現するためにテクノロジーとの融合や、市場を新たに形成することに取り組まなければなりません」と、続ける。

市場の形成に関しては、まずはFIG公認の国際大会で採点支援システムの標準化を図るほか、トレーニングシステムは国内で開始し、メダルを獲得した上で海外への展開を検討しており、その後はアスリート向けだけでなく、一般人にも応用範囲を広げるとともに、産業やエンタメなどの領域への展開も想定している。

同氏は「国際標準化に取り組めば、従来のトレーニングにおけるコーチの定性的な表現を採点システムに置き換えれば選手の強化につながり、トレーニングの市場にも大きな変革がもたらせられると感じています。また、観戦者にもデータを活用したエンタメコンテンツを提供できます」と、語気を強める。

重要なポイントとしては、国際的な機関と新ルールの改定など積極的にかかわり、他の分野にも応用できるようにオープンイノベーションの土壌を構築していくことだという。

藤原氏は「今回、われわれが体操業界に新規参入し、変革を起こしました。今後は、われわれだけではなく、業界外の組織同士がつながることで体操業界自体が広がることが想定されるため、多様な組織とコラボレーションし、市場の拡大ができればと考えています。スポンサーだけに頼るのではなく、トレーニングシステムなどを販売することで得た収益を還元できれば、われわれも支援することが可能なことから、サステナブルなモデルの構築を目指したいですね」と、力を込めていた。