ESETは11月22日(現地時間)、「Your voice is my password – the risks of AI-driven voice cloning」において、生成AIにより合成した音声を悪用したソーシャルエンジニアリング攻撃の実験に成功したと伝えた。この実験では、従業員が自社の最高経営責任者(CEO: Chief Executive Officer)になりすまして、財務責任者から自分宛てに送金させることに成功しており、生成AIの危険性について注意喚起している。

  • Your voice is my password – the risks of AI-driven voice cloning

    Your voice is my password – the risks of AI-driven voice cloning

これは事前にCEOの許可を得て行っ実験であり、ここで解説する手法をまねることは犯罪となる可能性があることに注意。この実験と同様の攻撃が今後増加する可能性があると懸念されており、企業や組織の経営者には同様の攻撃から組織や従業員を守ることが求められている。

まずはこの攻撃を行うためにジェイク氏(ESETの従業員)は、CEO(以下、ハリーと呼称)に許可を求め同意を得ている。その後、ハリー氏の音声をYouTubeから収集し、生成AIにより数分程度で音声を生成。次にハリー氏の携帯電話に対しSIMスワップ攻撃を行い、電話番号をジェイク氏が所有するデバイスに変更する。そしてこの電話番号を悪用し、ハリー氏のWhatsAppアカウントを乗っ取る。

最後に乗っ取ったWhatsAppアカウントから財務責任者に生成した音声で、「新しい請負業者」としてジェイク氏への送金を要求し、後で送金先口座を連絡すると伝える。その際、ハリー氏の現在の居場所などを伝えて、会話に信憑性を持たせている。その後、送金先の銀行口座を伝えると、16分以内に送金が行われたという。

ESETはこの実験について、次の説得力のある要因が成功の鍵だったと評価している。

  • CEOの電話番号を乗っ取り使用することで、詐称に成功している
  • 生成した音声の内容が、実際の出来事と一致している
  • 生成した音声が本物と区別できない

ESETは生成AIを悪用した同様の攻撃に対抗するために、経営者に次のような予防策を推奨している。

  • 最新の技術について調査を継続し、それに応じたトレーニングと防衛策を講じる
  • すべての従業員に特別な意識向上トレーニングを実施する
  • 多層セキュリティソフトウェアを導入する

ESETはSIMスワップやソーシャルエンジニアリング攻撃を回避するために、次のような対策を推奨している。

  • オンラインに公開する個人情報を制限する。特に住所や電話番号の公開は避ける
  • オンラインに公開した情報を閲覧できるユーザーを制限する
  • 携帯電話にPINコードやパスワードなど追加の保護が提供されている場合は利用を検討する
  • オンラインサービスのアカウントには、多要素認証(MFA: Multi-Factor Authentication)を使用する

ジェイク氏はこの実験とは別に、興味深い攻撃に遭遇している。ある日、他の企業の幹部である友人を装ったWhatsAppのメッセージを受信。ジェイク氏はこの友人の情報を連絡先に登録していないにもかかわらず、電話番号ではなく名前が表示されたという。WhatsApp Businessアカウントは任意の名前、写真、メールアドレスを登録することが可能で、これを悪用したものとみられている。

そして、このアカウントから生成AIで合成した音声を送信すると、高度なソーシャルエンジニアリング攻撃が容易に実現できるため、同様の攻撃で被害が多発する可能性があるとして注意を呼びかけている。今後、生成AIを活用した高度なソーシャルエンジニアリング攻撃は増加する可能性があると懸念されており、企業の経営者や財務責任者には同様の攻撃に注意し、必要な防衛策を構築することが望まれている。