StoryHubは10月20日、GPTとGeminiによる2万件超の回答を分析した「AIO分析レポート vol.1」を発表した。計測日は10月19日。GPTでは引用ページの約6割を企業の商品・サービスページが占めた一方、Geminiでは約7割が比較・ランキング記事だったという。

GPTとGeminiで異なる引用元と検索語

調査では、55カテゴリー、527ブランドを対象に、商品やサービスが必要になる相談シーンごとにGPTとGeminiへ質問。相談シーンは449件、質問文は1,397件で、各質問文について4回ずつ計測した。対象としたAIは、OpenAIの「GPT-6 Luna」とGoogleの「Gemini 3.5 Flash-Lite」。APIを通じて、Webを検索して回答する場合と、モデルの知識だけで回答する場合をそれぞれ調べた。

AIがWeb検索時に引用したページを調べたところ、GPTでは約6割が企業の商品・サービスページ、Geminiでは約7割が比較・ランキング記事だった。実際に使われた検索語にも違いがあり、GPTは約7割に「公式」を含めていたのに対し、Geminiは半数以上に「おすすめ」を含めていたという。

  • AIが引用したページの種類

    AIが引用したページの種類

引用ページの集計対象は、GPTが15,010件、Geminiが23,439件である。

同じAIへの質問でも約3割のブランドが入れ替わる

同じAIに同じ質問を繰り返した場合、回答に挙がるブランドの約3割が入れ替わった。GPTがWebを検索して答える場合には、最初に挙がるブランドもほぼ2回に1回変わったという。質問の言い回しを変えると、ブランドの入れ替わる割合は4割を超えた。

  • ブランドが入れ替わった例

    2つの回答でブランドが入れ替わった例

GPTとGeminiの比較では、同じ質問に対して最初に挙げたブランドが一致した割合は約4割だった。また、モデルの知識だけで回答させた場合、527ブランドのうち約4割は、2つのAIで回答に挙がる割合に差が見られた。

また、生成AIについて尋ねた結果では、Geminiが自社のGeminiを挙げた割合は73％、ChatGPTを挙げた割合は94％だった。

Web検索の有無で変わるブランドの挙がり方

Web検索を使う場合と、モデルの知識だけで回答する場合でも、挙がるブランドに違いが見られた。モデルの知識だけで答えた際によく挙がるブランドであっても、Web検索を使った回答では挙がる割合が下がるケースがあった。

一方、Geminiでは、検索なしの回答でほとんど挙がらなかったブランドが、検索ありではやや挙がりやすくなるケースも見られた。

相談シーンによる違いとして、例えばコンビニについて尋ねた場合、「駅での乗り換えの合間」ではNewDaysが96％、「ご褒美スイーツ」ではローソンが92％、「会社の昼ごはん」ではセブン‐イレブンが89％の割合で最初に挙がったという。

  • コンビニについて尋ねた場合

    コンビニについて尋ねた場合

今回の分析には、同社のAIOツール「StoryHubインサイト」β版の観測データを使用した。同ツールでは、相談シーンごとに自社と競合ブランドの想起率、推奨率、表示順、引用元を観測できる。Google AnalyticsやGoogle Search Consoleと連携し、既存コンテンツの実績も確認可能としている。

なお、カテゴリーや比較対象のブランド、相談シーン、質問文はAIを使って設計した初期設定であり、APIを通じた計測結果はChatGPTやGeminiのアプリ上での回答と異なる場合がある。数値についても、AIの更新などによって変化する可能性があるとしている。