OpenAIは9月5日(米国時間)、「Why language models hallucinate | OpenAI」において、言語モデルがハルシネーション(誤情報の生成)を引き起こす理由を解説した。

言語モデルに対する一般的な主張と研究によって明らかになった事実を比較し、精度の向上には限界があること、そしてハルシネーションの回避は不可能ではないことを伝えている。

  • Why language models hallucinate｜OpenAI

    Why language models hallucinate ｜ OpenAI

ハルシネーションを引き起こす理由

現在の言語モデルにはハルシネーションの問題が存在する。もっともらしい誤った回答を行い、生産性を低下させ、さらには新しい問題を引き起こす懸念もある。

OpenAIはハルシネーションの発生理由を次のように述べている。

「ハルシネーションを引き起こす理由は、現在の評価方法が間違ったインセンティブを設定しているためです」

具体例として「選択問題」を挙げている。選択問題を回答する場合、答えがわからなくても何かしら選択することで正解する可能性がある。逆に選択しないと確実に不正解となる。このような評価方法では、誤っていても何かしら回答したほうが良い結果を得られることになる。

つまり、「正答」に高いインセンティブを設定すると、「わからない」と回答することに消極的になり、もっともらしい誤った回答を積極的に回答するようになるという理屈だ。

OpenAIは具体例として、特定の基準で評価したo4-miniモデルとGPT-5-thinking-miniモデルの比較を公開している。前者の正答率は24%、後者は22%とo4-miniモデルの正答率がわずかに高くなった一方、エラー率(ハルシネーションの発生確率)は前者が75%、後者は26%だったという。このように正答率を優先すると、わずかな利益のためにハルシネーションの増大を招くことがわかる。

研究からわかったハルシネーションを回避する方法

では、ハルシネーションの解決にどのような手立てがあるのか。これには精度の向上が解決につながるとの主張がある。100%の精度(正答率)を達成すれば、ハルシネーションを引き起こす余地がなくなるとの考えだ。しかしながらOpenAIは100%の精度は達成できないとし、この予測は成立しないとしている。

その例として誕生日を挙げている。画像認識などでペットの種類(犬や猫)を識別することは可能だが、学習データにペットの誕生日(ランダムな日付)を追加しても、これを推論で正答することはできない。このように世界には本質的に推論できない情報が存在するため、精度の100%達成は不可能としている。

研究からわかったハルシネーションを回避する方法

一般論を否定したOpenAIだが、代わりに研究から導いたハルシネーションを回避する方法を伝えている。要約すると「わからないものはわからないと回答する」、これだけだ。

しかしながら、この目標達成は簡単ではなく正しい評価方法を設定する必要があるとし、今後もハルシネーションの回避に向けた努力を続けるとしている。