KDDI研究所は、動画コンテンツから自動的にダイジェストやハイライトを生成する技術を開発した。MPEGなどの圧縮された動画コンテンツの特徴を解析、ダイジェストやハイライトを自動生成することで、野球のホームランや得点シーンなどといったシーンを自動的に抽出することが可能。19日から米国で開催される放送機器展(NAB2004)に出展される。

今回の「ダイジェスト・ハイライト自動生成技術」は、スポーツ映像などからハイライト(重要なイベント)のみを自動抽出する、映画やドキュメンタリー番組などから任意の長さのダイジェスト(重要な場面)を自動抽出する、というもので、映像の種類を問わずに汎用的に利用できるほか、MPEGなどの圧縮動画を復号化せずに、しかも普通のPCでも高速に生成できる点が特徴。今回はMPEGへの対応のみだが、H.263などといった他の圧縮形式にも応用は可能だという。

ハイライト自動生成の例	ダイジェスト自動生成の例

大量の動画コンテンツを保有するテレビ局などのコンテンツホルダは従来、人の手でキーワードやタイトルを付与したり、場面の切り替わりの画像や映像を再生したりして、コンテンツ内の場面を検索していた。HDDレコーダーやPC内に動画コンテンツを保存している個人ユーザーも、録画日時やチャンネル名、EPG(電子番組表)の番組名、番組のサムネイル表示、などといった方法でしか検索できず、見たいところだけを素早く検索するには不便だった。

そこでいくつかのハイライト・ダイジェスト生成技術がさまざまなところで研究されてきたが、たとえば手動で入力したメタデータから生成したり、特定のスポーツに特化して、カメラの動きや歓声などからハイライトシーンを抽出するなど、非常に手間がかかったり、限られた用途でしか利用できず、まだ研究レベルのものも多かった。

今回同社では、音声、映像の特徴をそれぞれ利用。音声特徴ではドキュメンタリーのナレーション、スポーツの歓声、映画のアクションシーンにおける効果音やBGMなどを解析。映像特徴では、スポーツやアクション映画における動きが大きい場面、ドキュメンタリーやロマンス映画などではカメラが固定・静止した場面をそれぞれ重視して解析する。たとえばスポーツ映像では、音声特徴として観客の歓声レベル、映像特徴として野球の投球やテニスのラリー、相撲の取組といった特徴的な画面を用い、さらに音声と映像の前後関係から判別して抽出を行う。

ハイライトの作成方法	ダイジェストの作成方法

この結果、ハイライト自動生成において、プロ野球のホームランシーン、サッカーのゴールシーンは90%以上、大相撲の取組は90%前後、テニスのラリーは80～90%という高い精度を実現した。ハイライト生成による要約率は、たとえば大相撲の幕内後半戦45分の映像からハイライト生成をした場合、全9取組を4分14秒(9.4%)まで要約できたという。

ダイジェスト自動生成では、映画についてはWebに掲載された個人サイトを含む解説の内容との一致度が80%前後、ドラマについてはテレビ局がWebに掲載したあらすじと80%前後の一致、ドキュメンタリーでは全体のおおよその内容をカバーして要約できるそうで、内容を保持した上で本編の10分の1などの長さに要約できるそうだ。

また生成に要する時間も、HDDレコーダーの高画質モード(MPEG-2)で記録した映像に対して、Pentium 4 2GHzを搭載したPCで処理した場合、再生時間の約5分の1の時間で生成できたという。つまり60分のドラマからダイジェストを生成する場合、10分程度で生成できるわけだ。

これによりコンテンツホルダ側は、たとえばスポーツ中継のハイライトシーンを自動抽出、試合後に携帯電話へ配信するケータイ版「今日のハイライト」、ブロードバンド環境での予告編配信、映像アーカイブでの検索や閲覧、といったサービスが可能になる。

またHDDレコーダーやTVチューナー付きPCなどに実装することも可能で、個人がスポーツ中継のハイライトやドラマのあらすじを簡単に作成、視聴することができるようになり、同社では多様な視聴形態が実現できる、としている。HDDレコーダーなどへ組み込んでも十分な処理ができるのも特徴で、残る課題は精度としながら、精度自体が満足できるなら、すぐにでも搭載できるそうだ。

すでにKDDIでは「光プラスTVサービス」において一部技術を採用しているほか、今後コンテンツ管理、au携帯電話へのダイジェスト・ハイライト配信といったサービス展開を検討する。今夏にはダイジェスト・ハイライト自動生成とフォーマット変換が可能な業務用ソフトを発売する予定のほか、ライブラリ・SDKなどのライセンス提供やコンシューマ機器への組み込みライセンスといったビジネス展開が考えられている。

一部の大手メーカーに今回の技術を紹介したところ、高い関心を得たそうで、今後、ライセンス提供によるビジネス展開を本格化させる意向だ。