世界で拡大する生成AIの悪用に注意 - NTTデータが振り返る2024年のサイバー犯罪

NTTデータグループは12月10日、2024年のサイバーセキュリティ概況に関する総括と将来予測に関する記者説明会を開催した。2024年は大型イベントに便乗した詐欺行為や、ランサムウェア(身代金要求型ウイルス)被害など、これまで同様、サイバーセキュリティの重要性を認識する事件が相次いだという。金銭目的での生成AIの悪用も世界中で広がっている。

説明会に登壇したNTTデータグループエグゼクティブセキュリティアナリストの新井悠氏は「生成AIが偽情報の創作や拡散に悪用されている実態も明らかになっている。来年以降はAIエージェント技術がより発展し、攻撃側と防御側それぞれの技術競争が激化する可能性もあるだろう」と述べた。

NTTデータグループ技術革新統括本部 Cloud&Infrastructure技術部情報セキュリティ推進室 NTTDATA-CERT担当エグゼクティブ・セキュリティ・アナリスト新井悠氏

大型イベントに便乗した詐欺サイト - ランサムウェア被害も継続

それでは、2024年に発生したサイバーセキュリティに関する出来事を振り返っていこう。

まずは大型イベントに便乗した詐欺サイトの事例だ。2024年の7月26日から8月11日にかけて、第33回夏季五輪がフランス・パリで開催された。新井氏によると、この3週間余りの大会期間中、開会式や競技を配信すると称する偽サイトが多数出現したという。これらのサイトでは、利用者に個人情報やクレジットカード情報を入力させ、フィッシング詐欺を行う手口が確認された。

このほか、暗号資産投資「オリンピックゲームトークン」などと称する、新たな暗号資産への投資を募る偽のICO(新規暗号資産公開)サイトも確認されたとのこと。

偽の五輪競技配信サイトの例

新井氏は「2021年に開催された東京五輪の大会期間中にも同様の偽サイトが多く確認された。大型イベントに便乗するサイバー犯罪活動が増えている。こうしたフィッシングサイトへの入り口はSNSであることが多く、X(旧Twitter)のトレンドに偽情報が混ざっているケースも少なくない」と説明した。

また、ランサムウェア被害が継続中であることも特筆すべき点だ。日本国内でも6月にKADOKAWA、10月にはカシオ計算機がランサムウェア被害に遭った。警察庁によると2024年の上半期(1～6月)でランサムウェアの被害件数は114件で、そのうち大企業が30件、中小企業が73件だった。

「企業の大小にかかわらず被害が広範囲に及んでいる。警察庁がサイバー犯罪者を取り締まるために国際的な連携を強化しているが、犯罪者の勢いは止まっていない。残念ながら、今後もランサムウェア被害が続く可能性は大いにある」(新井氏)

ランサムウェア被害は継続している

フェイクニュースや偽写真 - 世界で広がる生成AIの悪用

新井氏は続いて、金銭目的での生成AIの悪用が世界中で確認され、実用化されていることにも触れた。

一例として挙げたのが、「BNN Breaking」によるフェイクニュースの流布だ。BNN Breakingは香港を拠点とするニュースサイトで2022年に開設された。

同サイトは2023年10月に米国・サンフランシスコ市の市議会議員に関する虚偽のニュースを3本連続して投稿。そのフェイクニュースが同国で大きな話題となり、最終的に大手ニュースサイトに取り上げられるまでに波及し、正しいニュースとして広がってしまった。

その後、内部の従業員からの告発によって、BNN Breakingは他のニュースサイトから記事を生成AIに読み込ませて再編集させた記事を掲載していたことが判明。それだけでも大問題だが、同サイトでは、最終的に生成AIに自動生成させた記事を大量に掲載していたことが判明した。

「同サイトの目的は広告収入による金銭目的であったと思われ、月間アクセス数は1000万件以上あった」(新井氏)という。

BNN Breakingによるフェイクニュース流布。現在、同サイトは閉鎖されている

生成AI悪用の事例はこれだけではない。著名人が亡くなった直後に、その人の伝記が販売されるという事例が相次いでいるというのだ。

例えば、米ニューヨーク・タイムズの元編集長であるジョーゼフ・レリーヴェルド氏は2024年1月に亡くなったが、その報道があった直後にAmazonで伝記が販売され始めた。しかし、事実ではないものを含む、粗雑な内容であったという。

また、同書を生成AIによる文書であることを検出できるツール「GPTZero」に読み込ませたところ、生成AIによって書かれたものである可能性は97%だった。他にも同様の事例が複数認められており、「中には、著名人が亡くなったその日のうちに購入可能になったものもあった」(新井氏)とのことだ。

文章だけでなく、生成AIを悪用して偽写真を作成する事例も増えている。

2024年7月、サイバーセキュリティの教育事業を行っている米KnowBe4の社内システムで内部不正が発生。その後、マルウェアの実行や許可されていないソフトウェアを起動させている従業員がいることを同社の社内監視センターの担当者が発見した。その従業員が連絡に応じないことなどから強制的にPCを隔離、被害はなかったという。

その後の調査で、この従業員は北朝鮮のIT技術者であることが判明した。米国国内に実在する人物になりすまし、生成AIを悪用して履歴書用の偽写真を作成した。採用面接はリモートで実施されたため気付けなかったという。

右側が生成AIによって同社人事に送信された偽の履歴書写真。左が生成のために使用された元画像と思料されるという

新井氏は「北朝鮮が外貨を獲得するために、同国のIT技術者が海外に派遣されている。それにより、得た外貨は北朝鮮の核ミサイル開発の資金源として利用されている可能性が高い」と説明。外務省、警察庁、財務省、経済産業省の4省は3月、「北朝鮮IT労働者に関する企業等に対する注意喚起」を公表し、本人確認の強化について注意を呼びかけている。

生成AIの悪用を見抜くことはできるのか?

生成AIの悪用が世界中で広がっている一方で、生成AIで作成されたコンテンツやサイトを見抜く技術やサービスも普及しつつある。

C2PA(Content Authenticity Initiative)は、デジタルコンテンツの出所や編集履歴を追跡し、その真正性を確認するための技術標準だ。米Adobeや米Microsoft、米Intelなどの大手テクノロジー企業が参画しており、特に偽のAI画像や改ざんされたコンテンツの識別に活用できる。

仕組みとしては、画像や動画にメタデータを埋め込み、撮影時から編集プロセスまでの履歴を記録。利用者がコンテンツの出所や編集履歴を確認できる。現在、「Adobe Photoshop」などのソフトウェアや、ソニーやライカのカメラなどがC2PAに対応している状況だ。

また、生成AIのリスク診断や生成AIに対する不正なプロンプトを検知したり、ディープフェイク画像・音声・動画を検知したりといった生成AIの悪用を防ぐためのソリューション(Security for AI)も次々に誕生している。

「偽情報の特定や検出に使用できる技術も開発されており、来年以降の普及が期待される」(新井氏)