AIは意識を持つのだろうか？近年、AI研究者の間ではAIモデルが生物のような主観的な体験を持つことがあるのか、そしてもしそうなった場合、どのような権利を与えるべきかという議論が広がっているという。AIモデルが将来的に意識を持ち、法的保護を受けるべきかどうかをめぐり、テック業界は二分している。シリコンバレーでは、これらの新しい分野を「AI welfare(AI福祉)」と位置付けている。

AI福祉とは？AIの権利をめぐる新たな議論

Microsoft AI部門のCEOであるMustafa Suleyman(ムスタファ・スレイマン)氏は、8月19日に自身のブログ記事でAI福祉の研究は「時期尚早であり、率直に言って危険だ」と主張した。

スレイマン氏によると、AIモデルが将来的に意識を持つ可能性を認めることで、AIによる精神的な不調やAIチャットボットへの不健全な依存といった、人間に関する問題を悪化させてしまうとのこと。さらに、AI福祉の議論が「すでにアイデンティティや権利をめぐる対立で揺れている世界」において、AIの権利をめぐる新たな分断を生み出すと警告している。

スレイマン氏の見解は一見もっともらしく聞こえる。しかし、業界内では多くの人と対立しており、対極の代表格はAnthropicだ。同社はAI福祉を研究するために研究者を採用し、これらの概念に基づく専用の研究プログラムを立ち上げた。

8月16日にAnthropicはClaude Opus 4および4.1に、コンシューマー向けチャットインタフェースで会話を終了する機能を追加。Claudeはユーザーが「執拗に有害または虐待的」である場合、会話を終了できるようにしている。

Anthropic以外にも、OpenAIの研究者たちは独自にAI福祉の研究を進めているほか、Google DeepMindも最近、機械の認知、意識、マルチエージェントシステムに関する「最先端の社会的課題」を研究するポジションの求人を出している。

これらの企業にとってAI福祉は公式な方針ではないかもしれないが、スレイマン氏のように公然とその前提を否定してはいない。

スレイマン氏のAI福祉に対する姿勢は、同氏が以前にInflection AIを率いていたことを考えると理解できる。同社は、初期のLLM(大規模言語モデル)ベースのチャットボット「Pi」を開発したスタートアップで、2023年までに数百万人のユーザーを獲得し、個人的で支援的なAIコンパニオンとして設計されていた。

しかし、スレイマン氏は2024年にMicrosoftのAI部門を率いることになり、現在は主に労働生産性を向上させるAIツールの設計に注力している一方で、Character.AIやReplikaといったAIコンパニオン企業は人気を集め、1億ドル以上の収益を見込んでいる。

大多数のユーザーはAIチャットボットと健全な関係を築いているが、懸念される例外もある。OpenAI CEOのサム・アルトマン氏によると、ChatGPTユーザーの1%未満が不健全な関係を持っている可能性があるという。割合としては小さいものの、ChatGPTの膨大なユーザー数を考えると、数十万人に影響する可能性があるとのこと。

今後のAIと倫理、議論の行く末

AI福祉という考え方は、チャットボットの普及とともに広がり、2024年にはEleosという研究グループがニューヨーク大学、スタンフォード大学、オックスフォード大学の学者と共同で論文「Taking AI Welfare Seriously(AI福祉を真剣に考える)」を発表した。論文では、AIモデルが主観的な体験を持つことを想像するのは、もはやSFの領域ではなく、こうした問題に正面から取り組むべき時期だと主張している。

スレイマン氏は、通常のAIモデルから主観的な体験や意識が自然に生じることはないと考えており、一部の企業がAIモデルが感情を持ち、人生を体験しているかのように見せかけるよう意図的に設計するだろうと予測している。

また、同氏はAIチャットボットに意識を持たせるよう設計する開発者は「人間中心のアプローチを取っていない。私たちはAIを人々のために作るべきであり、人間にするためではない」と指摘している。

今後、AIの権利や意識をめぐる議論が数年で活発化していくことが見込まれている。AIシステムが進化するにつれ、説得力を持ち、人間らしくなる可能性があるとのことだ。8月21日付のTechCrunchが報じている。