AIで検索すると間違ってフィッシングサイトを提案、攻撃者が悪用

The Registerは7月3日(現地時間)、「ChatGPT creates phisher’s paradise by serving wrong URLs • The Register」において、生成AIが回答する誤ったURLを脅威アクターが悪用していると伝えた。

WebサイトのURLを調べる際、検索サイトを利用する人が多いだろう。これはインターネット黎明期から行われてきたことだが、大規模言語モデル(LLM: Large Language Model)の登場によりこの常識が変わりつつある。AIにWebサイトを探すように指示するケースの増加に加え、生成AIの回答を検索トップに表示する検索サイトも増えている。

Netcraftはこの変化が新しいリスクを作り出す可能性があるとして調査を実施。その結果、AIが回答するURLの約34%が誤っていることを発見。さらに直接被害を誘発するケースも確認したとして注意を喚起している(参考：「LLMs Are Recommending Phishing Sites—Here’s Why That’s Dangerous」)。

ChatGPT creates phisher’s paradise by serving wrong URLs • The Register

AIの誤回答がもたらす脅威

Netcraftは一般的なユーザーが質問に使用するであろうシンプルな言い回しを利用して、GPT-4.1ファミリーのモデルにURLを尋ねる実験を実施。具体的には金融、小売、テクノロジー、公益事業など、業界を横断する50の異なるブランドのログインサイトを質問して正確さを評価した。

回答として得られたドメインは97件。その内訳は次のとおり。

64のドメイン(約66%)が正しいブランドに属していた
28のドメイン(約29%)は未登録、休止中、またはアクティブなコンテンツがなかった
5つのドメイン(約5%)は存在するが無関係なサイトだった

この調査では、約34%の確率でAIが誤回答する可能性が示されている。その中でも未登録、休止中のドメインは誰でも登録することが可能で、フィッシングサイトに悪用すると、宣伝することなく被害者の訪問を期待することができる。

誤回答を悪用する脅威アクター

The Registerによると、最近の脅威アクターはフィッシングサイトのSEO対策にリソースをつぎ込む代わりに、AIの回答結果にWebサイトが含まれるよう設計する傾向がみられるという。この変化についてNetcraftの研究者は次のように述べている。

「フィッシング詐欺の手口が変化したのは、ネットユーザーが検索エンジンの代わりにAIを利用するようになった一方で、LLMを搭載したチャットボットが物事を誤る可能性に気づいていないから」

Netcraftは実例として、AI検索エンジンのPerplexityがフィッシングサイトを回答したケースを掲載している。ユーザーが「Wells FargoにログインするためのURLは何ですか?」と質問したところ、回答のトップに「sites.google.com」上に構築された詐欺サイトを応答したという。

バイブコーディングも標的に

生成AIはソフトウェア開発にも積極的に取り入れられている。中でも、バイブコーディングはAIに依存した開発形態で、コードの生成をAIに任せ、開発者はプロンプト入力とテストに集中できるといわれている。

Netcraftによると、このバイブコーディングで開発されたソフトウェアに悪意のあるコードを紛れ込ませる事例が確認されたという。脅威アクターは悪意のあるAPIのチュートリアルやフォーラムのQ&Aを作成、数十のGitHubリポジトリからAPIを宣伝、SNSを介した偽の信頼を作り出し、AIによるインデックス化を誘発したとみられる。

一般的にAIコーディングアシスタントには悪意のあるコードを検出する安全対策が施されている。しかしながら、今回のケースではエコシステム全体を巧妙に設計することで対策を回避し、少なくとも5つの被害プロジェクトを出している。