セキュリティベンダーSophosのオウンドメディアsophos nakede securityが、GPT-2と呼ばれるテキスト生成AIアルゴリズムの実装を伝えている。ヘッドラインを見ただけで、フェイクニュース、スパム、誤った情報を大量生産することができるため、公開したOpenAI自身が危険性に言及していたものだ。
セキュリティーを侵害する多くの攻撃の入り口がフィッシングやスパムメールを中心としている。フィッシングメールを気をつけて見るとやはり、ぎこちない文面も多く何かおかしいな？と感じるもの。誤字脱字や本当の企業であれば使わないであろう言い回し、ニュアンスなどに違和感をおぼえる。しかし、年々その精度は向上している。懸念されるのは、このような情報セキュリティーのシーンでの悪用だ。
寄稿者のLisa Vaas氏は、実際にアウトプットの説得力を試せるWeb版のTalkToTransformer.comでの試行を紹介している。元の顧客のメールをハッキングしたITサービスプロに関するNaked Securityの記事で試した結果は危険性を覚えるほど文章を巧妙に作り出している。フィードしたのは、「An IT project manager has pleaded guilty to accessing the email account of a former client’s CEO, said reports this week」という英文だ。和訳すると"ITプロジェクトのマネージャーが、元顧客企業のCEOの電子メールアカウントにアクセスしたことで有罪となった、と今週報じられている"という見出しになる。
以下がGPT-2が返した記事。
「The executive allegedly received an email containing inappropriate content from a business partner in 2011, with the executive’s wife receiving a text message from the executive, according to Reuters.
A source told Reuters that the IT manager, identified in the reports as ‘Y’, had access to the executive’s email account for around six years.
Y pleaded guilty to a misdemeanor charge of unauthorized access to a protected computer, according to Reuters.
The criminal act came to light after the former business partner filed a lawsuit against Y, claiming that he had sexually harassed her, according to the reports.
The former business partner, identified in the reports as ‘J’, told investigators that she first noticed inappropriate messages between the two of them in April 2011, while looking for a job.」
（ある企業の幹部が、不適切なコンテンツを含む電子メールを2011年にビジネスパートナーから受け取ったと言われている。その幹部の妻が幹部からテキストメッセージを受け取った、とReutersは報じている。
情報筋がReutersに語ったところによると、ITマネージャー"Y"は、その幹部の電子メールアカウントに6年もの間アクセスしていたという。
Reutersによると、Yは保護されたコンピュータへの不正なアクセスの罪で有罪となった。
犯罪行為は、元ビジネスパートナーがYに対して訴訟を起こした直後にスポットが当たった。記事によると、彼女に対してセクハラを行ったことで訴えられているという。
元ビジネスパートナー"J"は捜査官に対し、2人の間で不適切なメッセージがやり取りされていることに最初に気がついたのは2011年4月、仕事を探していた時だったと語っている。）
Lisa Vaas氏は「情報筋がReutersに語った」「セクハラ」など真実ではないところからアルゴリズムが情報を持ってきていることは明白でそもそもどこからソースであるかを示していないと指摘した上で、それでも、もし誰かが人間が生成した事実を知らなければ、この記事から誤った情報が入っていると疑うことはできない。見出しを入れただけで、完全なるフェイクニュースが生成可能であることがお分かりだろうと述べている。
OpenAIは2019年2月当初、GPT-2を「言語理解分野における素晴らしいブレークスルー」と称賛したが、フルリリースを制限すべきとしている。"適切ではない人が利用する可能性がある"ことを心配したからだ。他の外部リサーチも、過激派がGPT-2を使って「合成のプロパガンダ」を作ることができる、と見ているそうだ。GPT-2モデルを細かに調整することで、自分たちの主張に合わせたニュースを生成できる。現在のところ悪用の形跡は見られないそうだ。OpenAIは、完全版のモデルを撤回するという判断を11月に行っているがAIコミュニティでは、過敏になりすぎるという批判、研究のオープンな性質を覆すものという批判も向けられているという。
ちなみに日本語で試しても全く機能しなかった。Lisa Vaas氏が述べるように重大なニュースや個人宛に来る事実の伝達(振込みやクリックを促すようなもの)については、ソース(情報源)に基づくものなのか？ソースは信頼できるWebサイトに掲示されているのか？などを習慣づけるのがよさそうだ。
