ニコニコ動画のコメント分析にディープラーニングを活用

日本でのディープラーニングの適用事例

海外での事例は、NVIDIAの井崎氏がスライドで説明しただけであるが、日本の事例は、ドワンゴの小田桐氏、みずほ証券の等々力氏、ABEJAの岡田CEOが登壇してプレゼンテーションを行った。

ニコニコ動画のコメント分析

ニコニコ動画では、視聴者がリアルタイムに書いたコメントが動画に重畳して表示される。しかし、コメントは、普通の言い回しではなく、また、絵文字なども使われており、慣れていない普通の日本人には意味不明なものも多い。

しかし、荒らし、誹謗中傷、殺害予告などの不適切なコメントを放置するわけにはいかず、これらのコメントは早く削除する必要がある。現在は人間が見ているが、量が膨大で全コメントを見きれない。タイムラグが大きい。監視者の間で削除基準が微妙にブレるなどの問題があるという。

そこで、ディープラーニングを使ってコメントの自動識別システムを開発した。ただし、完全自動識別は目指さず、人の判断と併用し、人の判断は最大限、価値のある部分に集中するという方針となっている。

そして、予備調査として、30万件のコメントに識別ラベルを付けた教師データを作成した。人が見なくてもOKという白、動画のコンテンツを見なくてもコメントだけでアウトと判定できる黒、動画も見て人による確認が必要なグレーの3種の識別ラベルを付ける。

識別器は、次の図のように黒っぽさを示す0～1の値を出す仕様とした。これは白判定の閾値を調整可能とするためである。

次の2つの図は、横軸が識別器の出力でそれぞれに教師判定が黒、グレー、白のものがどれだけあったかを示すグラフである。左端がコメントデータの実数、その右が比率、累積グラフ、2つの閾値で区切った場合の比率のデータと思われる。

そして、左の図はナイーブベーズで識別を行った場合、右の図はディープラーニングのLSTM(Long Short Term Memory)で識別を行った場合である。この図を比較すると、LSTMの方が、白判定の部分に紛れ込んでいる黒が少ない。つまり、教師ラベルは黒であるのに識別器は白判定で見逃してしまうというケースを少なく抑えられる。

また、白判定となるしきい値を上げても黒コメントの紛れ込みが少なく、人が見なくて良いコメントが多くなり省力化の効果が大きいという。

コメント解析システムは、次の図のようになっており、K80 GPUを使ってシステムを構築し、1ノードあたり1500コメント/秒程度のスループットが得られた。また、レーテンシは、あまり流量には依存せず100～200msという性能が得られた。

このシステムにより、監視対象動画において、全体の75%程度のコメントは人間による監視が不要になり、危なそうな微妙なコメントに集中して識別作業ができるようになった。また、監視レスポンスの短縮化も実現できた。図は識別レベル別のコメント数で、スコアが0～30までが白、30～80がグレー、80以上が黒と判定している。

ニコニコ動画のコメントのような崩れた文の解析に対してディープラーニングは有効であることが分かった。また、GPUを使うことで、オンライン監視に必要となるスループットやレーテンシが実現できることが分かった。このコメント解析基盤を監視業務に適用し、今後はコメント解析の適用範囲を広げて行く。さらに、将来は、映像解析にも展開する予定であるという。