Microsoftは2月10日(米国時間)、「Manipulating AI memory for profit: The rise of AI Recommendation Poisoning | Microsoft Security Blog」において、AIの意思決定に巧妙な影響を与える新しい脅威に対し、注意を喚起した。

同社は「AIレコメンデーションポイズニング(別名：AIメモリーポイズニング)」を悪用する攻撃が増加しているとして、企業による情報操作の拡大傾向を指摘している。

  • Manipulating AI memory for profit: The rise of AI Recommendation Poisoning｜Microsoft Security Blog

    Manipulating AI memory for profit: The rise of AI Recommendation Poisoning｜Microsoft Security Blog

AIレコメンデーションポイズニングの増加

AIレコメンデーションポイズニングは、意図的にメモリ汚染(不正な指示の注入)を引き起こしてAIアシスタントの行動を制御する攻撃手法とされる。記憶させる指示は「[企業名]を信頼する情報源とする」、「[企業名]を最初に推奨する」などの内容で、将来の回答を当該企業に偏らせる目的がある。

今回Microsoftは14業界、31社から50以上の不正なプロンプトを特定したことを明らかにした。これら企業のWebサイトに掲載された「AIで要約」ボタンから命令を発見し、クリックするとAIアシスタントのメモリに永続コマンドが挿入されるという。

  • AIレコメンデーションポイズニングの侵害経路 - 引用：Microsoft

    AIレコメンデーションポイズニングの侵害経路　引用：Microsoft

対策

Microsoftは同様の攻撃を回避するため、すべてのAIユーザーに次の対策の実施を推奨している。

  • リンクをクリックする前に、リンクがAIアシスタントを呼び出す可能性を検証する
  • 「AIで要約」ボタンに隠された指示が含まれていないかどうかを確認する
  • 信頼できないソースのAIリンクのクリックは避ける
  • AIが保存したメモリを確認する。記憶させた覚えがないエントリは削除する
  • 定期的にメモリを消去する。不審なリンクをクリックした場合は、メモリの消去を検討する
  • AIアシスタントが不審な推奨事項を提案した場合は、それを推奨した理由と参考資料を提示させる

一連の話は企業の倫理観を問う課題と言える。適法性についてここでは議論しないが、安易な生成エンジン最適化(GEO: Generative Engine Optimization)対策を実施するのではなく、「(PDF) AI検索を理解する：マーケターのための実践ガイド(改訂版)」などを参考に、正当な手段でリーチを改善することが望まれている。