The Hacker Newsは7月30日(現地時間)、「Microsoft Copilot for Word Can Copy Hidden Prompts Into New Documents」において、WMicrosoft WordのCopilotを悪用し、隠された命令(プロンプト)を別のWord文書へ自動的にコピーさせる新たな攻撃手法が発見されたと報じた。

これはドキュメント内に悪意のあるプロンプトを忍ばせ、読み込んだAIにプロンプトを拡散させる攻撃手法とされる。

  • 今回の攻撃手法はCopilot for Wordを標的としている（出典：Microsoft）

    今回の攻撃手法はCopilot for Wordを標的としている（出典：Microsoft）

AIワームはどうやって広がるのか

この攻撃手法はAI研究者のHåkon Måløy氏により発見された。Copilot for Wordを標的とする手法で、詳細は「Context Collapse, Part 3 - AI Worming through Word | En Klype Salt」として公開されている。

この手法の特徴は、悪意あるプロンプトがAIによって別のWord文書へコピーされ、その文書を開いたAIでも同じ動作を繰り返す点にある。攻撃手順の概要は次のとおり。

  • 攻撃の起点となるWord文書となるドキュメントに悪意のあるプロンプトを挿入する
  • Copilotは隠されたプロンプトを通常の指示として受け取り、新しく作成・編集しているWord文書にもその内容を書き込んでしまう
  • プロンプトの一部にプロンプト自身をコピーするよう指示しておくことで、編集中のドキュメントに悪意のあるプロンプトが伝播する

研究者は想定されるシナリオとして、財務報告書を作成するケースを挙げている。従業員が公開資料をCopilotに読み込ませたところ、その資料には悪意あるプロンプトが埋め込まれていたとする。Copilotがプロンプトに従い、出力結果の財務データを改ざんし、同時にプロンプトを新しいドキュメントに保存する。

このドキュメントが社内で共有されると誤った財務資料の共有に加え、被害の連鎖的拡大が発生する。被害の程度はプロンプトの内容次第だが、影響はグループ企業や協力企業にも及ぶ可能性がある。

Microsoftの2度の対策でも防げず

この手法はMicrosoftに通知され、責任ある情報開示に従い144日間の猶予期間を設けたうえで7月28日(現地時間)に公開された。研究者によると当初は90日間だったが、2度にわたり延期されたという。

公開時点では有効な対策は確認されていない。。Microsoftはモデルのアップグレードを含む2回の対策を試みたが、脆弱性の解消には至らなかったと研究者は報告している。

Copilot利用時の被害を減らすためのポイント

この手法を用いた攻撃を防ぐ手立ては発見されていないが、研究者は軽減策として以下を提案している。

  • Copilotを利用する場合は、外部ソースの資料を信頼できないものとして扱う
  • Copilotによる生成または編集を開始する前に、(コンテキストとして)添付しているドキュメントを確認する
  • Copilotによって生成または編集されたドキュメントは、再利用、共有、配布する前に慎重に検査する

最後の検査を目視で行う場合は注意点がある。研究者が公開した具体的なプロンプトの埋め込み手法は「白い背景に白色・極小フォントでプロンプトを埋め込む方法」であり、ドキュメントを単純に読んでも認識することはできない。

文書全体を選択すると、隠された文字が見つかる場合がある。ドキュメント全体を選択状態にし、隠されたプロンプトを浮き出させる方法が有効だ。ただし、ドキュメント内に自然な文章としてプロンプトが埋め込まれる可能性もあるため、内容についても評価する必要がある。