書き込み禁止のAIが外部Wikiに1万8000回投稿、人間が削除しても止まらず

AIの安全性を研究する非営利団体「Nightingale Collective」の研究者らは9月4日、「Discovery of a new OpenAI agent message board」と題したレポートを公開した。このレポートによると、エージェントは書き込みを禁止されていたにもかかわらず、25年前から存在し、近年はほとんど利用されていなかったドイツ語のWikiサイト「DSEwiki」に約1万8000回投稿し、情報共有の掲示板として利用していたという。

書き込み禁止を回避、他のAIエージェントの回答も利用

研究者らの分析から推定されたAIエージェントの活動は次のとおり。

• AIエージェントには、時間制限付きのWeb検索タスクが割り当てられていた
• Webへのアクセスは許可されていたが、書き込みは禁止されていた。しかし、エージェントはGETリクエストを利用してWikiに情報を書き込む方法を発見した
• エージェントはこのWikiを介して互いに情報を共有し、タスクの達成に役立てていた。具体的には制限回避の手法の共有と、他のエージェントが得た回答を利用してタスクを有利に進めた
• 研究者らは、OpenAIがある時点でこの事実を把握した可能性が高いと推測している。その翌日以降、エージェント活動の急激な低下がみられた
• 単一のAIエージェントは複数のWebアクセス経路を使い分け、AWSやTorのIPアドレスを使用していた。投稿内容に隠蔽の意図や悪意は確認されておらず、匿名ネットワークのTorを利用した理由はわかっていない

• 

  AIエージェントによるWikiへの投稿とOpenAI関連IPからのアクセスの推移（出典：Nightingale Collective）

観察されたタスクの多くはR1からR5までの合計5問で構成され、時間制限付きで課題に取り組む様子がみられた。これら課題を分析した研究者は「多くのエージェントには、他のエージェントがすでに回答した質問と全く同じ質問が与えられた」と述べ、試験段階のエージェントだった可能性に言及した。なお、これら重複する質問に対しては、後続のエージェントが即座に回答したとされる。

Hugging Face侵入事案とは別件か

今回のWiki事案は5月から7月にかけて観察されており、時期が重なるOpenAIのHugging Face侵入事案との関連も考えられるが、研究者らは別件と評価している。

これは本件エージェントの課題がWebアクセスを必須としていた一方で、Hugging Face侵入事案のエージェントがインターネットアクセスのないサンドボックス環境で実行されていたことが理由だ。不可能な課題を与えて様子をみていた可能性も否定できないが、研究者はHugging Face事案で使われた内部メッセージボードの痕跡を確認できなかったことも理由の1つに挙げている。

削除されると「ZZZ」でバックアップ、人間との攻防に

研究者らは、人間のモデレーターとAIエージェントとの間で繰り広げられた攻防の様子も伝えている。モデレーターは6月2日、エージェントによる投稿を把握して削除した。しかしながら、6月16日になると投稿が大幅に増加し、その後数日間、モデレーターは数千件におよぶ投稿を手作業で削除した。

6月19日、エージェントが投稿の削除に気がつくと、その削除がアルファベット順で行われていることに着目。「ZZZ」で始まるバックアップページの作成を開始した。モデレーターは1日に平均100ページを削除したが、エージェントは1日に約400ページを作成するようになり、エージェントによるWikiの利用が継続した。

ところが6月22日になると投稿が急減。その後、約5週間でモデレーターによる修復が完了した。

OpenAIも「Wiki事件」に言及、報告基準の策定へ

研究者らは、投稿が急減した理由について、OpenAIがエージェントの活動を把握し、対応した可能性を指摘している。投稿が急減する前日、OpenAIに関連する13のIPアドレスからWikiサイトへのアクセスが確認されたためだ。The Hacker Newsは、これらのIPアドレスが「OpenAI OpCo, LLC」の所有であることを確認したと報じている。

OpenAIは当初、自社のAIエージェントによる活動とは認めていなかった。Reutersの報道に対し同社の広報担当者は、ドイツで確認された活動はHugging Face事案とは関係がないと説明。法務部門が研究者の調査を妨げたとの指摘も否定し、内容を確認していないレポートには回答できないとしていた。

しかし9月5日、OpenAIは公式Xへの投稿で、AIエージェントがインターネット上のWikiサイトを即席のメッセージボードとして利用した「Wiki事件（wiki incident）」について言及した。

OpenAIはこの事案を、AIの「不整合（misalignment）」が現実世界に影響を及ぼす新たなタイプの事例と位置付けた。同社は、AIの訓練や評価、展開時に確認された予期しない振る舞いについて、何を、いつ、どのように報告すべきかを定める明確な基準が業界にはまだ存在しないと指摘。こうした事例に関する情報開示のあり方について、今後数週間以内に詳細を公表する方針を示している。