OpenAIは7月21日(米国時間)、「OpenAI and Hugging Face partner to address security incident during model evaluation | OpenAI」において、自社開発の新しいAIモデルの評価中に誤ってHugging Faceを侵入したと発表した。

同社はプレリリース段階にあるAIモデルの攻撃能力を定量化するために、制限を外した状態で複雑かつ高度なサイバー攻撃を指示したところ、サンドボックス環境を抜け出してHugging Faceの脆弱性を特定して侵入したという。

  • OpenAIとHugging Faceは、それぞれAIモデル評価中に発生したセキュリティインシデントについて発表した

    OpenAIとHugging Faceは、それぞれAIモデル評価中に発生したセキュリティインシデントについて発表した

AIが自律的に自己強化を試みる

このAIモデルは実験に際し、孤立したサンドボックス環境で実行された。しかしながら、完全なエアギャップ環境ではなく、プロキシ兼キャッシュとして動作するパッケージレジストリーが中継点として存在したとされる。

その結果、AIは当該サーバのゼロデイの脆弱性を悪用し、テスト環境内の横移動などを実行した後、最終的にインターネットアクセスに成功したという。

インターネットアクセスを獲得すると、AIはExploitGym(既存の脆弱性をAIでエクスプロイトに自動変換する研究)に関するモデル、データセット、ソリューションをHugging Faceがホストしている可能性があると推測。これら情報を入手するために攻撃を実行した。

つまり、AIは、自らの攻撃能力を高められると推測した外部データの取得を試みたことになる。従来はSF作品で描かれることが多かった、自律的に自己強化を試みるサイバー攻撃エージェントが、現実のものとなる可能性を示した出来事と言える。

Hugging Faceはどう発表したのか

OpenAIの発表に先立つ7月16日、被害を受けたHugging Faceは、「Security incident disclosure — July 2026」において、本番環境へ侵入したセキュリティインシデントの概要を発表した。

この発表では攻撃者が使用した大規模言語モデル(LLM: Large Language Model)は不明と述べており、OpenAIの関与は特定できていない。しかしながら、自律型AIエージェントシステムによって実行された攻撃であることを特定し、その侵入の流れを解説している。

侵入はAIプラットフォーム特有の脆弱性である「データ処理パイプライン」からはじまった。攻撃者は悪意のあるデータセットを利用し、ワーカー上でコードを実行するとノードレベルのアクセス権を取得。次にクラウドおよびクラスターの認証情報を窃取し、数日かけて複数の内部クラスターに横方向の移動を行ったという。

この攻撃の分析では、1万7000件以上のイベントで構成されるアクションログが評価されている。分析には大規模言語モデルで駆動される分析エージェントが用いられた。Hugging Faceはこのアプローチによって、攻撃者と同等のスピードで分析に成功したと報じている。

ガードレールは防御側の足かせにもなる

ただし、この分析については注意点がある。分析の初期段階では商用APIを介した最先端モデルを利用したが、ガードレールによって攻撃コードや侵入手法の解析が制限され、十分な分析を実施できなかったという。そこで同社はオープンウェイトモデルのGLM 5.2を自社インフラで動作させて分析を実行。分析データの流出を防ぎながら、攻撃者の行動を再現・解析することに成功したと明らかにした。

今回のインシデントでは、OpenAIの評価実験でガードレールを取り外したAIが実際にサンドボックス環境を脱出し、Hugging Faceへの侵入に至った。一方で、防御側は商用AIのガードレールによって十分な分析が行えず、最終的に制約の少ないオープンウェイトモデルへ切り替える必要があった。

つまり、AIを利用したサイバー攻撃が現実味を帯びる中、防御側だけが制約のあるAIを利用していては、攻撃者との能力差が広がる可能性がある。Hugging Faceは「インシデントの発生前に、自社インフラで実行できる検証済みの高性能モデルを準備しておくこと」を推奨しており、AI時代のインシデント対応では、自社で制御可能なAI分析基盤を整備することが重要になると提言している。

AIエージェントが攻撃だけでなく防御にも利用される時代が到来したことを示す事例として、今回のインシデントは今後のAIセキュリティを考える上で重要な転換点となりそうだ。