生成AIはなぜ単純な質問を間違えるのか - LLMが「見慣れたパターン」に頼る理由

生成AIは、資料の要約や文章作成では驚くほど的確なのに、単純な質問で首をかしげるような答えを返すことがあります。賢く見えるLLM（大規模言語モデル）は、なぜこうした間違いをするのか。書籍『Pythonによるディープラーニングと生成AI・LLM』（François Chollet、Matthew Watson著）を手がかりに、生成AIが苦手とすることと、その背景を読み解きます。

生成AIが単純な問いで間違えるのはなぜか

同書の著者であるFrançois Chollet（フランソワ・ショレ）氏らは、生成AIが単純な問いで誤る理由について、学習時に見た膨大なパターンを手がかりに、もっともらしい答えを組み立てているためだと説明します。

LLMが特定の問題を解けるかどうかは、問題の複雑さとはまったく無関係です。すべては見慣れているかどうかにかかっています。どれほど単純でも、LLMは新手の問題には歯が立ちません。

そのため、見慣れた形式を少し変えただけで誤ることがあります。同書は次の例を紹介しています。

たとえば、ChatGPTは公開後の数か月間、「10キロの鋼鉄と1キロの羽毛、どちらが重いですか？」と質問すると、同じ重さだと答えていました。これは、「1キロの鋼鉄と1キロの羽毛、どちらが重いですか？」という質問が、ひっかけ問題としてインターネット上に何度も登場していたからでした。

10キロの鋼鉄のほうが明らかに重いはずです。しかし、繰り返し学習した「1キロ対1キロ」のパターンが影響して、回答を誤った可能性があります。

次の例は、『不思議の国のアリス』になぞらえた問題です。

テキスト段落中の地名や人名、コード中の変数名を変えるといった些細な変更でさえ、LLMの性能を著しく低下させることがあります。

――（中略）――

アリスにはN人の兄弟とM人の姉妹がいます。アリスの兄弟には何人の姉妹がいますか？

もちろん、答えはM+1（アリスの姉妹とアリス自身）です。LLMは、インターネット上でよく見つかるN=3、M=2のような値の質問ならたいてい正解しますが、数値を変えると簡単に誤答します。

問題の構造は変わらず、置き換えられているのは数値だけです。同様の現象は、画像認識でも知られています。

敵対的サンプル―知覚できないような変更を画像に加えると、モデルによる画像の分類がひっくり返ることがある（画像・キャプションとも『Pythonによるディープラーニングと生成AI・LLM』より引用）

見慣れたパターンの外で起こりうること

これらの誤答が生じるのは知識不足ではなく、モデルが一種の「データベース」として働くためであると同書は説明します。

ディープラーニングモデルは、膨大なパターンの補間的データベースのように機能します。彼らのパターンマッチング能力は、同時に根本的な弱点でもあります。

多彩な応答を可能にするこの性質が、同時に弱点にもなりうるという見立てです。しかも、このデータベースは訓練が終わると書き換わりません。著者は、その帰結をこう述べます。

静的なデータベースでできることは、情報検索だけです。そして、ディープラーニングモデルが得意とするのは、訓練時に遭遇したパターンと非常に似たパターンを認識したり生成したりすることです。その裏返しとして、本質的に適応することが苦手です。このデータベースは過去志向です。過去のデータには適合できますが、変化する未来には対応できません。

紹介した誤答の例も、その場で論理を構築するのではなく、過去に出会った近いパターンをなぞったからだと考えられます。同じことは、訓練データにない対象でも起こります。

たとえば、ImageNetで訓練されたモデルは、ヒョウ柄のソファを本物のヒョウとして分類してしまいます。ソファは訓練データに含まれていなかったからです。

訓練で見たパターンから外れると、性能は大きく揺らぎうる――。次の図は、同じ既知の状況からどれだけ広い範囲に対応できるかの差を対比しています。

局所的な汎化と極端な汎化（画像・キャプションとも『Pythonによるディープラーニングと生成AI・LLM』より引用）

「理解している」と思い込まない - 生成AIと向き合うための視点

LLMの限界は私たちの受け取り方にも関わります。流暢な応答を前にすると、人間と同じように「わかっている」と感じてしまいます。しかし著者は、その思い込みに注意を促します。

「ニューラルネットワークは自分が実行するタスクを理解している」と思い込むという罠にはまらないようにしてください。 ――（中略）―― 訓練データから逸脱したものを見せれば、彼らはばかげた方法で破綻します。

回答が流暢であることと、その内容を人間のように理解していることは、分けて考える必要があります。もっともらしい回答を、そのまま「理解」の証拠として扱わない。それが適切な活用の出発点になります。

規模を大きくすれば、限界は超えられるのか

では、モデルをさらに大きくすれば限界は解消されるのでしょうか。規模の拡大が性能を押し上げてきたのは確かですが、同書は慎重です。

「モデルサイズと訓練データを単に拡大すれば、汎用知能に到達できる」というナラティブは、不十分であることが示されました。スケーリングは、記憶力テストに近いベンチマークでは性能を向上させますが、データに静的な補間曲線を当てはめるというディープラーニングの中核的パラダイムに由来する根本的な制約には対処できません。

ベンチマークの数値が伸びることと、根本的な制約が解けることは同じではない――。規模を広げても、当てはめる曲線が精緻になるだけだという見立てです。では著者は、どこに活路を見ているのでしょうか。