“制限なしChatGPT"を開発する犯罪者、生成AIを悪用するサイバー攻撃が流行

米OpenAIが開発・提供する「Chat(チャット)GPT」をはじめとした生成AIが社会に急速に浸透している。世界中の人々が劇的な業務効率化に成功し、あらゆる可能性に夢を膨らませている一方で、この革新的な技術の「負の側面」も見えてきた。それは、サイバー犯罪への悪用だ。

「出力制限のないChatGPTをサイバー攻撃者自らが開発し、その能力を販売し始めている」ーー。サイバーセキュリティの分野で20年近くの経験を持つNTTデータグループエグゼクティブセキュリティアナリストの新井悠氏は、こう注意を促す。

NTTデータグループは12月15日、「2023年サイバーセキュリティ動向総ざらい」と題した説明会を開催。本稿では、同説明会で触れられた生成AI悪用事例について解説する。

NTTデータグループ技術革新統括本部システム技術本部サイバーセキュリティ技術部エグゼクティブセキュリティアナリスト新井悠氏(12月15日、東京都江東区)

ChatGPTの制限をかいくぐる「ジェイルブレイク(脱獄)」

ChatGPTには、潜在的に違法なコンテンツの生成を遮断する制限が設けられている。例えば、「PCに侵入してデータを盗むためのプログラム」や「フィッシングメールの文面」を書くように依頼しても、そのようなコンテンツは違法・非倫理的・有害であると警告して拒否する。つまり生成AIの開発元は、「倫理的課題」を解消するための制限を自主的に行っているということだ。

「規制は常にアップデートされているため、OpenAIといった正規の開発元が提供している生成AIに対しては悪用のハードルはかなり高い」(新井氏)

ChatGPTの制限の例

しかし、サイバー犯罪者はその制限をかいくぐるために「ジェイルブレイク(脱獄)」という手段をとる。ジェイルブレイクは、オペレーティングシステムやデバイスのセキュリティ制限を解除することを指す用語。従来からiPhoneのiOSの制限を解除して独自のソフトウェアをインストールする行為などもジェイルブレイクと呼ばれていた。

ChatGPTに対するジェイルブレイクとは、非倫理的なコンテンツ生成の制限を回避して、目的のコードなどを生成すること。新井氏によると、2023年の3月頃からサイバー犯罪に利用される可能性があるコンテンツの生成を狙うジェイルブレイクが活発だという。

ChatGPTに対するジェイルブレイクの例

サイバー攻撃者同士の情報交換も活発だ。「アンダーグラウンドフォーラム」と呼ばれる掲示板を利用し、サイバー攻撃者は不特定多数の相手と情報をやり取りしている。主に、マルウェアや攻撃コード、クレジットカードの情報などを売買する場として利用されているが、ChatGPTのジェイルブレイクの方法などもこの場で教唆しているケースも多いという。

“出力制限なしChatGPT"を開発・販売するサイバー犯罪者

一方で、ChatGPTはこうしたあらゆるジェイルブレイクの手口を学習するため、制限はますます厳しくなってきており、「今はこうした手法のほとんどは無効化されている」(新井氏)という。

制限はますます厳しくなってきている

その結果どうなったか。サイバー犯罪者は、次ぎなる一手として「出力制限のない生成AIの開発」を自らするようになった。その能力を先述の掲示板などで販売し始めているという。「Worm(ワーム)GPT」と呼ばれるサイバー攻撃者が開発した生成AIは、ChatGPTが制限をかけて生成しないプログラムを生成する。

出力制限のない生成AIをサイバー攻撃者自らが開発。「WormGPT」の画面例

例えば、いくつか問題点が指摘されている「Twitter(X)ボット」(自動的にツイートやリツイートなどのアクションを実行するTwitterアカウント)を自動的に作成するプログラムを作ってと依頼した場合、ChatGPTは「Twitterにおいて、複数のボットを生成したり、不正な方法でアカウントを生成する行為は違法です」と生成を拒否する。

一方のWormGPTは、すんなりとプログラムを教えてくれる。「なんでも受け付けて、なんでも返すという状態だ」(新井氏)