「AI脅威論」はどこへ向かうのか？

Ahthropicの一研究者の発言からにわかに広がった「AI脅威論」は、以前から各方面からの指摘があったとはいえ、業界内の話題を瞬く間に超えて大きな社会問題にまで発展しつつある。

最近行われた米中首脳会談でもアジェンダに取り上げられるほどの喫緊の問題と認識されていて、これまでの急激な開発スピードで驚異的な性能レベルに到達したAI開発は、現在大きな転換期を迎えている。しかし、その解決に至る議論では立場の違いにより意見は大きく食い違っており、まさしく漂流状態に陥っている印象がある。

1.Anthropic研究者の去就とCEO Dario Amodeiの声明文

業界内では多くの関係者が懸念する問題ではあったが、「AI脅威論」がにわかに大きく取り上げられるようになったきっかけは、現在最も性能が高いと言われるAnthropicのAI開発の最前線にいた研究者が「AI開発者たちはAIが2020年代末までには我々を全員殺しかねないと真剣に思っている」という発言とともにAnthropicを去ったという報道だった。

CEOのDario Amodeiの反応は早かった。かねてより、AIの使途について米政府と意見の食い違いを見せていたAmodeiは「We Must Pace The Frontier(我々は最前線の歩みを調整しなければならない)」と題する声明文を発表し、急激な発達を遂げるAIの開発ペースについて重大な提言を行った。

• 

  Anthropic CEOのDario Amodei氏 (出所:Anthropic)

AI開発の最先端を走るAnthropicのCEO、Amodeiは下記の2つの重大な懸念点を挙げた。

• AI開発の最前線では、AIが自律的に自己改良を行う「再帰的自己改善(RSI)」が始まっていて、開発ペースはさらに加速され、近い将来AIの能力が人間の理解を超え制御不能になるレベルに進化するリスクが現実となっている。
• AIエージェントによる自律的開発の過程で、AI開発のクリーンルームを抜け出して外部のサイトに攻撃を仕掛ける事例が急増している。

さらに、Amodeiは直接の競合となる同業他社に対し開発競争に一定のルールを設けることを提案したが、この提案にこれまで犬猿の仲と目されていたOpenAIのSam AltmanとSpaceX AIのElon Muskが賛同した事により事態は急速に進展している。Amodeiは業界における一定ルールの構築のために、3段階のステップを提案している。

• 開発の過程に外部の評価者を置き、安全性に関する取り組みの順守を確認/報告させる機能を組み込み、開発ペースを調整させる。
• AI開発に関わる主要な企業と政府がこの共通の目的に向かって「民主的に協調」し、実効性のある法規制を整備する。
• AIの悪用やサイバー兵器化といったグローバルリスクを防ぐために多国間の足並みを揃え開発ペースの検証と調整を行う体制を作る。

Amodeiの提言は理路整然としていて、この通りに事が運べば解決可能と見えるが、実行にはかなりハードルが高い。業界を牽引するリーダー達も「安全確保は自社の問題」と主張する慎重派も多い。確かに、各社はまさに熾烈な競争を繰り広げており、AIデータセンターの構築に巨額投資を継続する状況で「減速」との提言はなかなか受け入れ難い問題ではある。しかし、世界最高性能の「Claude」を開発した実績を持つAnthropicから発せられた提言は、今後の世界に発せられた「警告」のようにも映る。

2.核開発問題との類似点と相違点

「AI脅威論」について識者の中には、核開発との類似点を挙げたうえで「核兵器の脅威よりも深刻な問題」と指摘する向きもある。

核開発に関わったアインシュタインをはじめとする研究者たちが、その脅威を真っ先に認識し兵器使用への禁止の提言を行ったのが類似点だ。しかし、結局その提言は無視され戦争で使用された結果、悲惨な結末を招いた事は歴史的な事実として世界中の一般人が認識するところであり、その脅威について世論を喚起する事ができる。

しかし、AIの場合は、登場してたった数年ほどの浅い歴史でしかなく、その急速な技術の発展と広範な一般ユーザーへの普及によって、一般人の多くは「便利なもの」、「ビジネスには必須となる知識」、「AIにより新薬の開発が加速される」などの認識にとどまり、脅威の対象になるということがなかなか実感できない。また核開発のペースはそのスパンが数年単位であったのに対し、AI開発のスピードは数か月の単位で進化し、しかも自律的な自己改良の機能によって、こうしている間にも着実に進化している。AIエージェントの登場は、AI同士の対話を生み、開発現場で人間が介在する場面は少なくなりつつある。

こうした今までに我々が経験してこなかった分野での相違点が、一般人を巻き込む世論を形成することを難しくしている。

3.米中首脳会談では本格議論に至らずとも、動きが速い業界

そんな中、米中首脳会談でアジェンダの中に「AI脅威論」が急遽取り上げられたことは驚きだったが、予想通り本格議論には至らなかった。

これまで圧倒的優位にあった米国に対し、猛追する中国はその差を急速に詰めつつある。AI技術が国家安全保障上の戦略的重要事項である現在、両国首脳がAmodeiが提案したステップ通りに事を進めると期待するのはいかにも楽観的過ぎるだろう。

それでも、識者/業界の動きはペースを上げながら進んでいる。OpenAIのAltmanはAmodeiとともに国連安全保障理事会に出席し、AIの安全性をめぐる基準づくりでの国際的な協力の必要性を訴えた。しかし、この会議には中国からの参加はなかった。

ごく最近、「AIの生みの親」とも呼ばれノーベル物理学賞受賞のトロント大学のJeffrey Hinton教授は他の著名な研究者との連名で「AI開発の自動化が知能爆発を引き起こすリスク」について声明を発した。Hinton教授はAI開発効率化におけるGPU活用にいち早く目をつけた人物だ。この動きを受けてか、当初はAI開発減速に慎重なスタンスだったNVIDIAのJensen　Huangも自律型AIエージェントの安全対策を開発から運用まで監視し、クリーンルームからの逸脱を感知すると自動的に停止する「Open Agent Safety Platform」と呼ばれるソフトウェア基盤を発表した。監視はCPU側で行われ、その機能はNVIDIAのCPU「Vera」でスタートするが、近いうちにx86アーキテクチャーCPUにも広げる予定という。

半導体業界で長年勤務した私自身、AI開発の功罪については大きな関心があるが、目まぐるしい業界の動きが正しい道筋を提示し、国際協力を導くことを切に願っている。