ヤフコメでAIがユーザーに表現の見直しを提案する「コメント添削モデル」開発秘話

そして、「データアワード2024年下半期」において、生成AI統括本部 AI開発本部 技術戦略室 清水徹氏がゴール賞のグランプリを受賞した。同氏はLINEヤフーが運営するインターネットニュース配信サービス「Yahoo!ニュース」のコメント欄で、投稿前にAIがユーザーに表現の見直しを提案する「コメント添削モデル」を開発、同モデルによって「不快と感じる可能性のある表現」（以下、不快なコメント）が24％減少したことが評価された。

そこで、清水氏に「コメント添削モデル」の開発裏話を聞いた。

• 

  LINEヤフー 生成AI統括本部 AI開発本部 技術戦略室 清水徹氏

LINEヤフーが抱えるデータを総動員してモデルを開発

生成AI統括本部 AI開発本部 技術戦略室に属している清水氏の業務は先端技術の調査・研究開発だ。同氏は2012年ごろから深層学習に取り組み、開発した技術はYahoo!ニュースのコメントの仕組みに取り込まれているという。

今回、データアワードに応募した理由を尋ねたところ、「技術面では、当社が抱えている大量のテキストデータを総動員してモデルを作った点でデータの活用度が高いと思います」と、清水氏は説明した。AIモデルを開発する上でデータがカギとなるが、データの量が多ければ多いほど処理は煩雑になる。

また、実装技術にも特色がある。比較的利用されている深層学習は与えられたテキストに対して、OKまたはNGの2択でラベルを付けるという。これに対し、コメント添削モデルは、コメントにおいて不快と感じる場所を複数見つけ出す。「スパンを複数見つけ出す場合、アウトプットの出し方が難しく、チャレンジングなこと」と清水氏。同氏は難易度の高い深層学習の活用を実現したというわけだ。

• 

  「コメント添削モデル」の発動イメージ（画像の内容は一例で、条件に当てはまるコメントにのみ発動する）

さらに、「コメント添削モデル」を導入したことで「不快と感じる可能性のあるコメント」の投稿が約24％減少し、さらに、「コメント添削モデル」が発動し修正されたコメントのうち、約50％が不快度の低いコメントに改善されたことが明らかになっており、同モデルの導入効果の大きさも評価の一つとなっている。

モデル開発における工夫のポイントは事前学習

通常の深層学習の活用よりも難易度が高いコメント添削モデルだが、開発にあたって、どんな工夫が行われたのだろうか。

清水氏は事前学習に力を入れたことを挙げた。LLMのトレーニングは2つのステップによって行われる。1つは、世の中の大量のデータを読み込んで理解する「プリトレーニング」だ。もう1つはユーザーの問いかけに対し振る舞いを学ぶ「ポストレーニング」だ。

複数台のマシンから構成される環境で、社内のあらゆるデータを活用して、数カ月かけて言語理解力を作り上げたという。その際、一般的な日本語に加え、不快な文言を理解させた。

Yahoo!ニュースにおいて、すでにコメントの削除を判断するモデルを利用していたことから、活用できるデータがあったのも功を奏したという。

加えて、データも2パターン作った。まず、クラウドソーシングを活用して人の目によって数万件規模のデータを作った。さらに、高性能なLLMを活用して数十万件規模でデータを作った。「生成AIが加速度的に向上しているので、LLMを使わない手はないと考えました。LLMを使ったデータ作りは社内でも新しい取り組みです」と清水氏は語る。

そして、最終ステップとして、LLMによる大量のデータで学習を行った。この行程には多くの時間をかけたという。

高性能なLLMが作ったデータにも問題あり

しかし、データの学習がすんなり完了しなかった。というのも、LLMが作ったデータのうち、精度を上げるうえで支障を来すものがあったのだ。「高性能なLLMで作ったデータということで期待が大きく、これだけ賢いLLMが作ったデータならそのまま使えるだろうと思っていました」と、清水氏は振り返る。

実際には、LLMが検知した「不快と感じる可能性のある箇所」の中で、清水氏の肌感で正しいレコードが9割ほどだったそうだ。「人の目で見ると不快ではないのですが、踏み込みすぎていると感じるレコードがありました」と同氏はいう。

では、清水氏はこの問題をどうやって解決したのだろうか。

数万件規模の人の目で作ったデータを活用して、スコアリングによって不適切なデータを省き、LLMが作ったデータを整備した。「人間の感覚を反映したデータと高性能なLLMが作った大量のデータをそのまま使えると大丈夫と思っていましたが、現実は違いました」と清水氏は話す。

この件によって、「LLMは人間と同じ経験をしていないので、同じ感覚があるわけではない。人によるアウトプットが必要であることを実感しました」と清水氏。当然かもしれないが、人の感覚が不可欠な事象をAIですべて解決するというのは難しいようだ。

気づきを与えて行動変容を促すことで、ユーザーに納得感を

先に述べたように、コメント添削モデルは既にYahoo!ニュースで成果を上げている。「コメント添削モデル」導入前の2024年8月12日～9月8日と導入後の2024年9月9日～10月6日において、「不快なコメント」数の平均を比較した結果、「コメント添削モデル」を導入した後は一定の不快度を超える「不快なコメント」の投稿は、導入前に比べて約24％減少したことがわかった。

加えて、「コメント添削モデル」が発動し修正されたコメントのうち、約50%が不快度の低いコメントに書き直して投稿されたほか、「ヤフコメ」全体のコメント投稿数の傾向は変化することなく、「不快なコメント」が減少したという。

さらに有識者からは、「AIが自動的に削除するではなく、ユーザー自らが修正する仕組みは、人に気づきを与えて行動変容を促す」という評価を得ているとのことだ。

「不快なコメント」を強制的に変更するのではなく、あくまでも見直しを提案するということで、ユーザーも納得感をもって修正できているという。

清水氏は「想定していた効果が出ていると思います。モデルのフィードバックを受け、ユーザーに行動変容が起きるといいですね」と話す。

次の挑戦は「代替案を提示すること」

もっとも、清水氏の「コメント添削モデル」の開発はこれで終わりではない。「現在、不快と感じられる可能性がある箇所を指摘していますが、代替案を提示できていません。本来、添削であれば、代替案まで提示すべきです」と同氏。今後は、代替案が提案できるよう、開発に取り組むという。

また、「技術は日進月歩で進化しています。コメント添削モデルに深層学習を取り入れていますが、最先端で使われているLLMの技術をすべて取り込めているとは言えません。最新技術を手元の実装に反映し、コメント添削モデルを進化させたいです」とも清水氏は話す。技術の進化に合わせて、コメント添削モデルも追随していこうというわけだ。

昨今、SNSにおける誹謗中傷が現実世界にもたらす被害が拡大しており、匿名での意見発信の在り方が問われている。しかし、中にはどんなコメントが問題となるのかがわかっていない人もいるだろう。そうしたユーザーが快適にSNSを利用する上で、「コメント添削モデル」が果たすは大きいのではないだろうか。「コメント添削モデル」のさらなる進化を期待したい。