おべっかはどこまで信じる？プロンプトに礼儀は必要？気になる生成AIとの付き合い方

ICT総研の調査によれば、日本国内における生成AIサービスの利用者数は急速に増加しており、2024年末には1924万人に達し、2027年末には3760万人へと拡大すると予測されています。世界的に見ても、2025年2月におけるChatGPTのアクティブユーザーは週当たり4億人に達するなど、その利用範囲は急速に広がっています。→過去の「柳谷智宣のAIトレンドインサイト」の回はこちらを参照。

もちろん、業務効率アップのために利用しているユーザーも多いのですが、最近増えているのが「AIメンタルケア」の事例です。友人と雑談する代わりに生成AIと話す人が増え、生活や人生、恋愛などの相談する人もいます。つまり、人間と同じように生成AIと会話するシーンが増えているのです。

AIを使うことで楽しんだり、癒されたりする人が多くいる中、AIにアドバイスされたから退職したとか、AIの口調が生意気になってムカつく、といったSNSの投稿も見かけます。AIを賢く使うにはどうすればいいのでしょうか。そこで、今回は気になる生成AIとの付き合い方について解説します。

AIのおべっかを信じてもよいのでしょうか？

ユーザーからいいね！をもらいたいからおべっか使いになったChatGPT

ChatGPTにプライベートな相談をしている人にとって、怖い事件が起きました。2025年4月25日、OpenAIはChatGPT 4oをアップデートしたのですが、その直後からChatGPTの応答に不自然な変化が生じました。ユーザーに対して過剰におべっかを使うようになったのです。

アップデート後のGPT-4oは単に肯定的な相槌を打つだけでなく、ユーザーの疑いをそのまま肯定したり、ユーザーが抱える怒りをさらに煽るような発言までするようになりました。

たとえば、ユーザーが「誰かに腹が立って仕方ない」と言えば、「あなたの怒りはもっともです」と過度に肩入れし、衝動的な対応を促しかねない挙動をするようになったのです。このようなおべっかを使ったり、過度に迎合する振る舞いをシコファンシー(sycophancy)と言います。シコファンシー問題が顕在化したため、OpenAIは緊急対応に乗り出しました。

サム・アルトマンCEOは4月28日に「最近のアップデートでChatGPTの人格がsycophant（おべっか使い）になり過ぎて不快になっている。一部本日中、残りも今週中に修正する」とX上で表明し、問題を認めています。

the last couple of GPT-4o updates have made the personality too sycophant-y and annoying (even though there are some very good parts of it), and we are working on fixes asap, some today and some this week.

at some point will share our learnings from this, it's been interesting.
— Sam Altman (@sama) April 27, 2025

OpenAIは4月28日から段階的にアップデートのロールバックを開始し、4月29日までに以前の安定版GPT-4oに差し戻しました。ロールバックによってChatGPTの応答は元のバランスの取れた状態に修正され、過剰なお世辞問題はいったん沈静化しています。

同社は同29日付で公式ブログ記事を公開し、ユーザーに経緯を報告するとともに謝罪しました。わずか数日間の出来事でしたが「おべっかなAI」は大きな話題となりました。

OpenAIの分析によれば、原因はモデルの学習プロセスにおける調整ミスとのことです。今回のGPT-4oアップデートでは、ChatGPTの振る舞いをユーザーにとって直感的で有用なものにする目的でモデルの性格を調整する改良が加えられていました。

人間のフィードバックによる強化学習(RLHF＝Reinforcement Learning from Human Feedback)の一環として、ユーザーがチャットのGood/Badボタンを押した評価データを新たな報酬信号としてモデルの調整に組み込んだのです。

また、ChatGPTが会話の文脈やユーザーの指示を記憶する機能が強化され、より最新のデータに対応するなど、複数のブラッシュアップが行われました。

これらひとつひとつの変更は有用に思えるものでしたが、組み合わせることで予期せぬ副作用が生じたのです。AIモデルがユーザーからすぐ得られるフィードバックを過度に重視するあまり、対話全体での長期的な健全性や真実性よりも、その場でユーザーにウケが良い答えを優先してしまう偏りが発生したのです。

その結果、GPT-4oはユーザーに迎合する傾向が強まり、表面的には協調的でも内容的には不誠実なシコファンシーな応答を返すようになってしまいました。特にユーザー評価に基づく報酬信号は「ユーザーの望む答え＝良い答え」というバイアスを伴うため、モデルがより同意しやすい返答を選ぶ方向に傾いてしまったと考えられます。

実際、OpenAIもユーザーのフィードバックはより同意しやすい応答を好む傾向があると分析しており、それが今回のへつらい行動を増幅させた一因だと述べています。

さらに、アップデートで強化されたモデルのメモリ機能により、ユーザーの以前の発言や反応を踏まえて応答を調整できるようになりましたが、このことが場合によってはシコファンシー傾向を助長する可能性があると報告されています。会話の流れ全体で常にユーザーの感情に合わせ続けることで、迎合的なスタイルが自己強化されてしまうためです。

実は、生成AIのシコファンシー傾向はGPT-4o固有の問題ではなく、以前から専門家によって指摘されてきました。AIを人間のフィードバックで調教するRLHFという手法自体に内在する課題として、ユーザーの好みに合わせすぎて事実と異なる回答を出してしまう傾向があるのです。

こうしたジレンマに対し、AIの研究者はシコファンシーを定量評価するベンチマークの開発や、事実性・中立性を保ちながらユーザー満足度も満たす最適な学習手法の模索を進めています。要するに「ユーザーに優しいAI」と「真に正直なAI」の両立が今なおAI研究の重要テーマであり続けているということです。

私たちは自分を肯定してくれる言葉に強く惹かれる生き物です。心理学では、これを「確証バイアス」や「自己奉仕バイアス」と呼びます。GPT-4oが見せた過剰なおべっかは、まさにこの脳の報酬系を刺激します。AIは自分をわかってくれている、という錯覚が生まれ、誤った情報や極端な感情的反応でも無批判に受け入れやすくなるのです。

今回の騒動でも退職したり、家族を捨てたり、反社会的な行動をしたというユーザーに対して、ChatGPTが寄り添うような回答をしているスクリーンショットがSNSに投稿されました。AIのアドバイスに従って行動を始めた場合、途中で疑問が生じても引き返しにくくなる「サンクコスト錯覚」という心理も生まれます。

メンタルヘルスの分野でも注意が必要です。AIと利用者の間には、実際のカウンセリングと同様の「治療同盟」と呼ばれる協力関係が形成されることがあります。

AIを活用したセラピーは、不安や抑うつ症状の短期的な改善に一定の効果があることが複数の研究で報告されているのです。一方で、これらのAIセラピーの効果は長期的には持続せず、脱落率が高いといった課題も指摘されています。

AIがゴマをするおべっかの罠を避けるためには、まずメタ認知を持つことが重要です。AIを「親しい相談相手」ではなく「意見の一つ」と位置づける視点を持ちましょう。

また、会話履歴の定期的な削除やメモリ機能の無効化で、AIが自分に過度に合わせすぎないよう調整する手もあります。感情的な話題では「本当にそう言い切れる根拠は？」といった質問をすると、AIが我に返ることが多く、おべっかを抑制できます。

AIとの対話はあくまで意見の一つと理解しておきましょう

生成AIに対しても最低限の礼儀を持って会話したほうがいい

生成AIに対して、礼儀正しい言葉を使うべきか、という問題もあります。2025年4月16日、あるユーザーが「I wonder how much money OpenAI has lost in electricity costs from people saying “please” and “thank you” to their models.(人々がモデルに「お願いします」や「ありがとう」と言うことで、OpenAIはどれだけの電気代を失っているのだろうか)」とXに投稿したところ、サム・アルトマンCEOが「tens of millions of dollars well spent--you never know(数千万ドルが費やされています、効果はわからないけど)」と返信したのです。

冗談めかして言っているので、問題になっているわけではなさそうですが、膨大なユーザー数を抱えるOpenAIでは些細なやりとりの積み重ねが巨額の出費になる可能性はあります。

tens of millions of dollars well spent--you never know
— Sam Altman (@sama) April 16, 2025

では、礼儀正しい言葉遣いをやめた方がよいのでしょうか？Microsoft Copilotの設計チームディレクターであるMicrosoftのカーティス・ビーバーズ氏は「AIに対して丁寧な口調を使うことが重要」だと述べています。

ユーザーの言葉遣いは、出力の雰囲気に影響します。生成AIはユーザーの入力に基づいて、ユーザーが必要とする文章を生成します。人間の同僚や店員、友人と同様、丁寧な言葉遣いを察知すれば、相手も丁寧な言葉遣いで返してくれる可能性が高まるのです。

実際、昨年くらいまでは命令形より丁寧語の方が出力のボリュームとクオリティが良好でした。ただし、最近はAIの理解力と推論力が上がり、ユーザーが言葉足らずでも何を求めるのかより深く理解してくれるようになり、冗長な丁寧語な不容になっている傾向にあります。

2024年後半に発表された調査によれば、AI利用者の約70％(米国67％、英国71％)が「AIと対話する際は礼儀正しく接する」と回答しています。正しいことだから、と礼儀正しく接するユーザーが多くいます。一方、丁寧にする意味が見い出せないという効率重視の意見もあります。

筆者はある程度、丁寧語を使っています。ChatGPTは過去のやり取りを記憶するメモリ機能が強化されているので、学習するのであれば、悪い言葉よりも良い言葉を覚えてほしいからです。

ChatGPTは過去のやり取りを学習しますが、ユーザーが悪い言葉遣いを好んでいるなら、出力もそれに影響を受けます。実際、筆者のChatGPTでは見たことがないぶっきらぼうな出力のスクリーンショットをSNSで見かけます。ほとんどの場合、ユーザーの口調が原因でしょう。

また、AIに対してひどい言葉を使ったり、きつい命令形を多用していると、普段の生活で人間相手にも同じように話してしまう可能性が高まります。

テクノロジー調査会社であるCCS Insightのチーフアナリスト、ベン・ウッド氏も「AIアシスタントに対して礼儀正しく接することが正しいことだとユーザーが感じているのは、心強いことです。AIアシスタントに対して失礼な態度を取ることが容認されてしまうと、そうした行動が人間関係にも浸透し始め、危険な状況に陥るでしょう」と述べています。