Geminiの嘘を見抜く方法

Google Geminiには生成AIが回答した内容が正しいものか判断するためにグーグル検索を使うというユニークなチェック機能がある。Geminiが嘘を生成した場合にはグーグル検索でその情報が確認できない可能性があるので、それを利用して確認するというものだ。類似する説明を見つけることで追加確認もできる。Geminiを特徴付ける便利な機能だ。

連載「Google Geminiの活用方法」のこれまでの回はこちらを参照。

Geminiの発言をグーグル検索でチェックする機能

生成AIチャットは便利な機能だが、ごく自然に嘘をつくというのが難点だ。生成AIを業務に活用する場合、誤った情報が生成されないような使い方をするか、生成された情報が適切なものなのかそうでないものなのかを適宜判断する必要がある。

• 

  Google Gemini

執筆時点で広く使われている生成AIチャットサービスのうち、Google Geminiには生成AIが生成した情報の真偽をグーグル検索で確認するというユニークな機能が搭載されている。インターネット検索エンジン最大手という立場だからこそできる強力な機能だ。今回はこの機能の使い方を紹介する。

グーグルボタンで「回答を再確認」

前回も取り上げたが、次のような質問をGoogle Geminiのプロンプトに指示したケースを考える。

「トレーニング前にシトルリンやアルギニンを摂取することでより高いトレーニングを実現できるといわれていますが、その理由を教えてください。」

• 

  Geminiに「トレーニング前にシトルリンやアルギニンを摂取することでより高いトレーニングを実現できるといわれていますが、その理由を教えてください。」と指示

ここでは次のような結果が出力されている（Geminiの生成した回答であり、その真偽について、まずは考えないこととする）。

シトルリンやアルギニンはトレーニング前に摂取するトレーニーも多く、上記の回答のいくつかはよく言われていることだが、いくつかは「?」な説明がある。

回答の最後までスクロールすると、回答の最後にグーグルのアイコンである「G」があることに気が付くと思う。このアイコンが「回答を再確認」する機能になっている。

• 

  Googleアイコンで「回答を再確認」

このボタンを押すことでグーグル検索を行い、Geminiの回答の真偽を判断するための材料が追加で表示されるようになる。このボタンを押してみよう。

グリーン：類似した説明が存在している

執筆時点ではグーグルボタンを押すと、次のようにGeminiの回答が蛍光ペンでマークしたような状態になる。

• グリーンの蛍光表示：類似する説明があったケース
• オレンジの蛍光表示：類似する説明が見つからなかったケース
• それ以外

次のスクリーンショットはグーグルボタンを押したあとの表示で、回答の一部がグリーンの蛍光表示に変わっている。

• 

  グーグルボタンを押したあとの表示サンプル

グリーン表示の最後に「v」というアイコンが見える。これをクリックするとグリーン表示になったテキストと同じような説明を行っているWebページと該当部分の説明が表示される。

• 

  グリーン部分と類似した説明を行っているWebページと該当部分の説明を表示しているサンプル

説明が含まれているWebページを表示させることができるので、全体を読んで真偽を考えることも可能だ。

オレンジ：類似した説明が存在していない

逆にオレンジ色になっている部分はその説明が存在していなかったケースなどが示されている。

• 

  オレンジ色になっているサンプル

オレンジ表示の最後に「!」というアイコンがある。このアイコンをクリックするとオレンジ色で表示した理由が表示される。

• 

  「!」をクリックするとオレンジ表示になった理由が表示される

グーグル検索で類似する説明が見つからなかったことが直接嘘である証拠ということではないが、一切類似する説明が見つからないというのは疑わしいことではある。

グリーン：類似した説明が存在しているが、説明が逆のケース

では、グーグルボタンを押したあとにグリーン表示になったところは確実に正しいと言えるかというと、そんなことはない。例えば次の部分はグリーン表示になっているものの、類似の説明として示されたWebページの説明を読むと、Geminiが生成した文章が必ずしも適切とは言えないことが分かってくる。

• 

  グリーンの表示だが、Geminiの説明が正解と言えるか微妙なケース

文脈や視点によってこの部分は誤った説明にもなるが、条件によっては生成された文章は適切にもなる。

グーグルボタンで示された類似した説明を行っているWebページの内容が正しいとは限らないし、新しい研究開発によってすでに説明されている内容が誤ったものになっている可能性もある。つまり、グーグルボタンによるチェックも完璧ではないということを理解しておく必要があるだろう。

信頼性の高い情報を得られるが、最後は手動

生成AIは大量の文章を理解し学習することで、質問に対して答えることができるようになったシステムだ。しかし、その回答を生成するためにどの情報ソースをどのように使っているのか、ユーザーは知ることができない。

インターネット経由で入手できる情報は玉石混交。しかも公開された年代もバラバラだ。同じトピックに対して研究や情報収集が進んだことで別の事実が明らかになることもある。品質も真偽も年代も異なるデータを学習して生成されるデータが適切であるかを調べるのは、実際にはとても手間がかかる。

今回取り上げた「トレーニング前にシトルリンやアルギニンを摂取することでより高いトレーニングを実現できるといわれていますが、その理由を教えてください。」という指示に対する回答の真偽は、グーグル検索で得られるものからは真偽の判断が難しいものがある。Webページから得られるデータがどのデータを根拠にしているか分からないものもあり、そのままでは真偽の判断が難しい。

今回のケースだと最終的に関連する学術論文をいくつかあたって、そこから現時点での確からしさの高いものを整理するといった感じになってくる。ここまで作業すると、Geminiを使って情報検索するのと、手動のグーグル検索から情報を整理していくのとそれほど大差がなくなってくる。

Geminiの特性を知っておくことが大切

これはGeminiに限ったことではないのだが、執筆時点においては生成AIが生成する回答にはすごく自然に嘘が紛れ込むということを知っておくことが大切だ。とても自然な文章になっているので気が付かない可能性があるが、常に全て正しいことを返答しているわけではないということを理解しておく必要がある。

こうした特性を理解しておくと、生成AIチャットを使うべきケースというのも見えてくる。まったく知識や経験がないことに対してGeminiを使った情報検索を行った場合には真偽判定に時間がかかる可能性があり、あまり効率が良いとは言えない。逆に、ある程度知識がある領域において調べたいことが明確である場合には、Geminiは優れた時短効果を実現してくれる。適した使い方とリスクの高い使い方があることを知っておこう。

参考

• Gemini
• Gemini アプリでできること / その他のよくある質問
• Gemini アプリの機能アップデート
• Gemini アプリのプライバシー ハブ - Gemini アプリ ヘルプ