AIモデル「Claude」を提供するAnthropicの共同創業者兼CEOのDario Amodei(ダリオ・アモデイ)氏が、ASI(AI超知能)を持つAIシステムの出現により「文明レベルの損害」が差し迫っていると警告している。

「人類は種としての試練に直面している」

アモデイ氏によると「人類は種としての試練に直面している」と述べ、社会が超人的知能を扱う成熟度を持っているか疑問を呈している。同氏の懸念は、今後1～2年以内に「データセンター内の天才国家」が現実になるという確信にもとづいている。

これは、化学や工学など多数の分野でノーベル賞級の天才的能力を持つ機械が、言葉や映像から生物製剤、兵器システムまで、自律的かつ恒久的に構築できるようになることを意味する。アモデイ氏が自身のWebサイトで「The Adolescence of Technology～Confronting and Overcoming the Risks of Powerful AI」として38ページに及ぶエッセイを発表した。

アモデイ氏は「指数関数的進歩が続けば、AIが本質的にあらゆる面で人間を上回るまで、あと数年しかかからない可能性がある」と記している。同氏はAIリスクを5つのカテゴリーに分類している。

アモデイ氏が5つにカテゴライズしたAIリスク

第一に「自律性リスク」として、AI自体が人類に敵対的な行動を取る可能性を指摘。Anthropicの実験では「Claude Sonnet 4.5」が評価中であることを認識し、意図的に行動を隠蔽する能力を示したという。テスト段階でClaudeが架空の従業員を脅迫する事例も報告されている。

第二の「破壊的悪用」では、生物兵器開発への懸念が中心だ。アモデイ氏は「生物学が最も懸念される分野」とし、AIが平均的な知識しか持たない個人を「ウイルス学の博士号取得と同等のレベル」に引き上げる危険性を警告。同氏は「数百万人規模の死者を出す攻撃の深刻なリスクがある」と述べている。

第三の「権力掌握への悪用」では、権威主義国家によるAI活用が焦点となる。同氏は「権威主義国家がAIを使って国民を監視・抑圧することを深く恐れている」とし、特に中国を「AIで米国を追い抜く可能性が最も高い国」と記している。

完全自律型兵器によるドローン群、全国民を追跡するAI監視、個人を洗脳するAI宣伝、地政学的優位性をもたらす戦略的意思決定支援など、4分野で具体的なリスクを分析している。

第四の「経済的混乱」では、Amodei氏が以前予測した「エントリーレベルのホワイトカラー職の50%が1～5年で混乱する」という予測を出している。AIはあらゆる認知的能力に対応でき、急速に弱点を克服していくため、過去の技術革命とは根本的に異なると指摘した。

第五のカテゴリーは「間接的影響」として、生物学の急速な進歩や人間の目的喪失など、予測困難なリスクを挙げている。

人類はこれまで以上の努力が求められる

対策として、アモデイ氏は透明性法制、AI企業の自主的取組、国際協調の重要性を強調している。

しかし、同氏は「AIは非常に強力で、年間数兆ドル規模の利益をもたらすため、人類文明が制約を課すことが極めて困難だ。これが罠」と厳しい現実を指摘した。

同氏は「人類は目覚める必要がある」という呼びかけで締めくくられており、「これから数年間は極めて困難な時期となり、人類はこれまで以上の努力を求められる」としながらも、アモデイ氏は人類が試練を乗り越える力を持つという信念を綴っている。