OpenAIはこのほど、「An update on disrupting deceptive uses of AI｜OpenAI」において、2024年10月の脅威インテリジェンスレポートを発表した。レポート全文は「(PDF) Influence and cyber operations: an update」から閲覧することができる。

  • An update on disrupting deceptive uses of AI｜OpenAI

    An update on disrupting deceptive uses of AI｜OpenAI

重要な洞察

OpenAIが脅威インテリジェンスレポートにおいて、重要な洞察として発表した脅威の概要は次のとおり。

  • 脅威アクターはサイバー攻撃の中間段階のタスクを実行するために、OpenAIのモデルを悪用することが多い
  • 脅威アクターはOpenAIのモデルの実験を続けているが、新しいマルウェアの作成、バイラルオーディエンス(悪性の二次情報発信者)の構築に十分な結果を得られていない。これはGPT-4oが脆弱性を悪用する能力を大幅に向上させるものではないとするOpenAIの評価と一致している
  • 米国、ルワンダ、インド、欧州連合(EU: European Union)の選挙に関する、不正なソーシャルメディアコンテンツの生成が試みられたが、OpenAIはこれらを妨害した
  • 中国を拠点とする脅威アクター「SweetSpecter」と疑われる活動を阻止した

脅威アクター「SweetSpecter」の活動阻止

レポートでは、脅威アクター「SweetSpecter」と疑われる活動の阻止について詳細を伝えている。この攻撃はOpenAIの従業員に対して実行されたもので、2024年5月、悪意のある添付ファイル付きスピアフィッシングメールが送付されたという。

  • スピアフィッシングメールの例 - 引用：OpenAI

    スピアフィッシングメールの例 　引用：OpenAI

この攻撃において、ChatGPTユーザーを装う脅威アクターは、従業員に悪意のある添付ファイルを開かせようとした。この添付ファイルにはLNKファイルが含まれており、LNKファイルを開くとおとり文書が表示され、同時にバックグラウンドでマルウェア「SugarGh0st」が実行される仕組みだったとされる。

メールの配送はOpenAIのセキュリティシステムによりブロックされたとのこと。その後、OpenAIは攻撃に関与したChatGPTアカウントのクラスターを特定し、これらを停止した。

その他の脅威アクターの活動防御の概要

加えて、イラン革命防衛隊(IRGC: Iranian Revolutionary Guard Corps)の関連グループと疑われる脅威アクター「CyberAv3ngers」、イランを拠点とする脅威アクター「STORM-0817」のアカウントネットワークを停止したと報告されている。偽情報を生成して拡散させようとしたアカウントの停止など、数多くのOpenAIモデルの悪用事例とその対策の概要を明らかにしている。

  • OpenAIのモデルを使用して生成されたパリオリンピックに関する否定的なコメントと画像の例 - 引用：OpenAI

    OpenAIのモデルを使用して生成されたパリオリンピックに関する否定的なコメントと画像の例 　引用：OpenAI

OpenAIは2024年以降だけでも20以上の悪意のある活動と脅威ネットワークを阻止している。このように脅威アクターはAI(Artificial Intelligence)を積極的に悪用しており、その活用の幅はマルウェアのデバッグから偽コンテンツの生成まで多岐にわたる。

今後も健全な生成AIの活用を推進するため、OpenAIには脅威への継続的な対策が期待される。また、インターネットユーザーには生成された偽コンテンツに惑わされないよう注意することが望まれている。