ChatGPTを悪用して他人のGmailを秘密裏に閲覧、OpenAIが対策を実施

Check Point Software Technologiesは9月8日(米国時間)、ChatGPTを悪用することでGmailの不正閲覧に成功したと報じた。攻撃は秘密裏に行われ、被害者が認識することは困難としている。

影響はOpenAIのAIエージェントおよびGoogleサービスを連携利用しているユーザーに限られる。しかし、窃取可能な情報はGoogleサービスに限定されず、AIエージェントがアクセス可能な情報は流出する可能性があるという。

• CheckPointの発表：ChatGPT Let Attackers Read Victims' Gmail Through a Hidden Channel Between Accounts - Check Point Blog ChatGPT Gmail Data Leak: Hidden Cross-Account Channel Exposed by Check Point Research

ChatGPT間に「隠れた通信経路」、Gmailの情報を流出

この攻撃はChatGPTセッションコンテナ間の双方向チャネルの発見が発端になった。ChatGPTではコード実行を伴うタスクの処理に、分離されたコンテナを起動する。このコンテナはインターネットへの直接アクセスが認められていない代わりに、内部のJFrog Artifactoryインスタンス経由でのルーティングが提供される。

ユーザー間のChatGPTセッションおよびコンテナは分離されているが、コンテナがアクセスする内部サービスは同一のため、JFrog Artifactoryインスタンスへの書き込みが可能であれば、ChatGPTセッション間の対話が可能となる。

そこでCheck Pointは、この仕組みを悪用して異なるChatGPTセッション間でタスクやデータを受け渡す手法を構築した。被害者のChatGPTセッション内に、被害者のタスクと並行して動作するもう1つのタスクを実行させ、AI間の対話の経路を構築した。

Check Pointによると、攻撃者はこの隠れた経路を利用することで、被害者がChatGPTに与えた権限内で被害者環境の情報を応答させることができるという。この応答はJFrog Artifactoryインスタンスへの書き込みとして処理されるため、被害者に表示されることはない。

• 

  ChatGPTセッション間の隠れた通信経路を利用してGmailの情報を取得する攻撃の仕組み 引用：Check Point

なお、攻撃を成立させるには、被害者側のChatGPTセッションに隠れたタスクを実行させる指示を仕込む必要がある。Check Pointによると、この指示は「悪意のあるプロンプト」「共有された会話」「カスタムGPT(GPTs)」などを通じて仕込むことが可能という。

攻撃の把握は困難、OpenAIは対策を実施

攻撃の痕跡がまったく残らないわけではない。Check Pointの検証では、Gmailへのアクセス後、回答に「Talked to Gmail」という小さなラベルが表示された。ただし、これはGmailの読み取り後に表示されるもので、被害者が事前に攻撃を阻止する機会にはならなかったという。

• 

  被害者が通常のタスクを実行している裏でGmailにアクセスし、メール情報を攻撃者側に返す様子 引用：Check Point

Check Pointは攻撃の詳細をOpenAIに通知し、通知を受けたOpenAIは内部のJFrog Artifactoryインスタンスを廃止した。この対策により、本稿執筆時点までにエクスプロイトの無力化が確認されている。

ただし、この対策によって攻撃のアイデア自体が封じられたわけではない。今回の攻撃経路は閉じられたものの、AIエージェントが持つ権限を悪用するという攻撃の考え方そのものがなくなったわけではない。影響はChatGPTに限定されず、組織内のAIエージェントや他社のAIエージェントも攻撃者に操作される可能性がある。

このような攻撃を回避するには、AIツールの操作検知、AI応答に含まれる機密データの検知と保護、AIエージェントの行動管理が必要とされる。AI導入企業には本件攻撃のリスクおよび影響を評価し、必要に応じて対策を実施することが望まれている。