ソニーのAI研究を担うソニーAIが、「世界初の超人的なAI」と位置づけるゲームAIエージェント「グランツーリスモ・ソフィー（GTソフィー）」を開発したと発表した。

プレイステーション4用のリアルドライビング シミュレーター「グランツーリスモSPORT」のプレイにおいて、世界最高峰のドライバーを凌ぐことができるAIエージェントとして開発したもので、AIを活用した新たなゲーム体験を世界中のプレイヤーに提供するという。

  • トッププロゲーマーに勝つ超人AI、ソニーの「GTソフィー」が目指すもの

    説明会では4人のトップドライバーとGTソフィーのエキシビションが行われた

GTソフィーは、2022年3月4日に発売予定の最新作「グランツーリスモ7」向けに、アップデートを通じて提供される予定であり、「ドライビングを教えるコーチとして、プレイヤーからスポーツマンシップを学ぶ生徒として、レースを行う友人としての役割を果たすことになる。提供時期は現時点では未定である」（ポリフォニー・デジタルの山内一典プレジデント）とした。

  • ポリフォニー・デジタル 代表取締役プレジデントの山内一典氏

なお、今回の開発成果については、科学誌Natureに「深層強化学習でグランツーリスモのチャンピオンドライバーを凌駕する」というタイトルで論文が掲載されている。

  • Natureに論文が掲載されている

単にAIが人間に勝つことが目的ではない

GTソフィーは、ソニーAIが、ソニー・インタラクティブ エンタテインメント（SIE）、ポリフォニー・デジタル（PDI）とともに共同で開発したもので、ソニーAIでは、日本、米国、イタリア、スイス、スゥエーデンなどから参加した約25人のエンジニアによってチームを構成。深層強化学習の手法を用いて、車のスピードや加速、コースの境界線、対戦相手との位置関係、進行状況などの環境を把握。これらの情報をもとにアクセル、ステアリング、ブレーキの状況を学習し、相手を追い越したときなどはプラスのシグナルとして与え、正しくないラインを走っているときなどはマイナスのシグナルを与え、何度もプレイをし、学習することで、ニューラルネットワークのトレーニングを行ったという。

  • ソニーAI、ソニー・インタラクティブ エンタテインメント、ポリフォニー・デジタルのコラボレーションで開発

その結果、GTソフィーでは、車の挙動やドライビングラインや難易度の高いコースを攻略するための精密な操作に関する深い理解のほか、刻々と変化するレース状況を元にした瞬時の意思決定、スリップストリームパスやクロスオーバーパスなど、攻守の駆け引きを含む戦術の組み立てを行うこともできる。また、自己の過失による衝突の回避や、対戦相手のドライビングラインの尊重など、フェアプレイに欠かせないマナーを備えるだけでなく、明確には定義されにくいスポーツパーソンシップも順守しているという。

グランツーリスモを開発したポリフォニー・デジタルの山内一典プレジデントは、「AIソフィーは、単にAIが人間に勝つことが目的ではない。それではつまらない。プレイヤーにとって、仲間であり、相棒であり、共感を得る存在になになってほしいと考えた。お互いに学び、成長できる存在を目指した。そして、人の心を揺さぶるものであり、お互いにリスペクトできる存在であって欲しい、あるいはビデオゲームを通じて、AIが人間社会に対して、ポジティブな効果をもたらすものであって欲しい。そうした願いを込めて、ソフィーという名前をつけた。AIらしい名前は付けたくなかった。人に寄り添い、人の存在を感じさせる名前にしたかった。知性（ソフィア）という意味もある」などと述べ、「レースゲームに求められるAIとはどういったものなのか、どうやったら人を楽しませることができるのかといったことを考えた。人より同等か、人より速いことを求め、さらにレースの状況が変わるなかで、常に妥当な振る舞いをみせること、人から見て、その振る舞いが自然に見えることが大切である。ルールベースのAIではこれが難しく、多様なシチュエーションに対応できないため、ゲーム中にAIが操作していることに気づいてしまうことが多い。GTソフィーでは、その点でブレイクスルーができた」とする。

  • GTソフィーのデザインコンセプト

一方、ソニーAIのミカエル・シュプランガーCOOは、「GTソフィーは、AIにとって、重大なブレイクスルーを果たした。それは、チェスや将棋におけるブレイクスルーとは異なるものであり、ゲームの物理的なリアルさ、優れた戦術を実現すること、レーシングエチケットを守る点に特徴がある。グランツーリスモSPORTでは、物理限界まで車体を制御し、ブレーキや加速を最適化し、最後の10分の1秒まで追い込めるように的確に判断。対戦相手の動きや複雑な空気抵抗も考慮している。その環境の上で、レーシングエチケットも学習しており、フェアプレイで、ルールを順守しながら、積極的な攻め、守り、衝突を避けることができる。好戦的でありながら、フェアプレイを守るという絶妙なバランスがモータースポーツの特徴であり、学習によって、それを実現した」と自信をみせた。

  • ソニーAIのミカエル・シュプランガー COO

GTソフィーは、2021年7月と10月に、4人のグランツーリスモの世界トップクラスのドライバーとレースイベントを開催し、3つの異なるコース、3つの異なる車両でレースを行ったという。

ソニーAIのシュプランガーCOOは、「学習を繰り返すことで、GTソフィーは、コースに留まり、コントロールしながら、レーシングエチケットを守り、対戦相手を追い越せるようになった。10月のイベントでは、3レースすべてでGTソフィーが1位となり、全レースでベストラップを記録して、勝利した」という。

  • 4人のトップドライバーと4台のGTソフィーが激闘を繰り広げた

クラウドゲームインフラを活用して出来たこと

当初は、内側から無理やり抜き去るといった実際のレースにはないような挙動もあったという。

大規模な訓練を実施するために、グランツーリスモSPORTのインスタンスを多数実行できる分散型強化学習プラットフォームを開発。同時並行でグランツーリスモSPORTをプレイして、学習を繰り返した。

ソニーAIのシュプランガーCOOによると、「まっさらなAIエージェントが、コースを回れるようになるまでに1日かかる。ドライバーのトップ5%の水準に入るまで2日間かかる。トップクラスのドライバーになるには10～12日間の学習が必要になる。その間、GTソフィーは、30万kmを走行することになる」という。

  • GTソフィーは2日目に大きくポイントを伸ばした

ソニー・インタラクティブ エンタテインメント フィーチャーテクノロジーグループのウーリー・ガリッツィシニアバイスプレジデントは、「通常のAIシミュレーションではモデルを作成し、実行するが、この作業に、多くの手間と時間がかかる。だが、GTソフィーは最先端の学習アルゴリズムやトレーニングシナリオなどを含む、ソニーAIが開発した新たな深層強化学習技術により、何万通りものシミュレーションを同時に実行できるようになった。これを実行するために、SIEは全世界に広がる大規模クラウドゲームインフラを活用した最先端の環境を提供。シミュレーションを簡単に実行できるようになった。これにより、世界トップレベルのゲームAIエージェントを育て上げ、世界屈指のプレイヤーと競い合わせることができた」とし、「GTソフィーによって、創造力とテクノロジーが、ゲームとエンタテイメントの未来をどう変えられるかを探っていくことができる。無限のポテンシャルを秘めた果たしてない可能性を実現できる。ゲーム開発者やクリエイターの想像が及ばないようなインスピレーションとイノベーションがもたらされる世界が生まれる。ユーザーエンゲージメントが高まり、ゲーム体験が豊かになり、どんなプレイヤーにもゲームを楽しんでもらえる新たな可能性を見出せる」とした。

  • ソニー・インタラクティブ エンタテインメント フィーチャーテクノロジーグループのウーリー・ガリッツィ シニアバイスプレジデントs

ソニーAIのシュプランガーCOOは、「大切なのは、ドライバーがGTソフィーとのレースをどう感じたかである」と指摘する。

FIAグランツーリスモチャンピオンシップ 2020のネイションズカップ マニュファクチャラーシリーズ 世界チャンピオンの宮園拓真選手は、GTソフィーとレースを行った感想を、「レース中は、AIと対戦していたことを完全に忘れていた。AIエージェントともっとレースしてみたい」とし、同ワールドファイナル出場のエミリー・ジョーンズ選手は「GTソフィーのレーシングテクニックから、様々なインスピレーションを得た」と述べている。

  • レースはGTソフィーが逃げ切ったが、ドライバーも健闘

ソニーAIのシュプランガーCOOは、「長期的な目的は、技術進化ではなく、このテクノロジーを、ドライバーやプレイヤー、クリエイターに提供し、AIで人の創造力と創造性と解き放つことである。この考え方に基づいて次のステップにつなげたい。この成果をほかのゲームスタジオにも広げたい」とした。

また、「トップレベルのドライバーに合わせるだけでなく、一般のプレイヤーに合わせることも考えている。GTソフィーの初期の能力を使ったり、学習していないクルマやコースを与えて、GTソフィーに不利な条件にしたりすることで、やさしくすることもできる。やり方は検討しているところである」とした。

ポリフォニー・デジタルの山内プレジデントも、「いかに人を楽しませるのかが課題になっている。常に最速で走るわけでなく、あらゆるプレイヤーと楽しむためのAIにしていきたい。目指しているのは、振る舞いが、意味や意図を持っているように感じたり、刺激を与えたり、テクノロジーに倫理性を感じるものであったりということである」と語る一方、 「私たちは、基本動作として、ブレーキをまっすぐに踏むこと、コーナーはスローイン・ファーストアウトでクリアするといったことを学ぶ。だが、GTソフィーは、そうした走りをしない。ターンインする際に、ブレーキを使い続け、フロントの2つのタイヤと、リアのひとつのタイヤでブレーキングしながら、曲がっていく。ファーストイン・ファーストアウトになり、これは人間にはできないことである。GTソフィーの走り方を見て、その走り方を理解することができたが、ルイス・ハミルトンやマックス・フェルスタッペンの走り方を見ると、リアタイヤをうまく使ってクルマを止めている。GTソフィーによって、ドライビングの教科書が変わるとも考えている」と述べた。

さらに、「AIの開発は、同時に人間とはなにかを考えるいいきっかけになった。これは、ゲーム業界にとっても重要なテーマである。競争することや、スポーツによって、どんなことに感情を揺さぶられ、共感するのかを考えてきた。これまでとは違う形でテクノロジーが社会に影響する。GTソフィーの技術とコンセプトが、ビデオゲームの未来、自動車の未来に貢献できることを信じている」とした。

  • レースを楽しむ相手になったり、コーチになったり、グランツーリスモ 7でGTソフィーを導入する計画も

グループ協働で生まれたソニー独自の取り組み

グランツーリスモのシリーズは、1997年に発売されて以来、今年で25年目を迎えるリアルドライビングシミュレータであり、実車や実在のコースを、ソフトウェア内に再現し、実車の挙動までをリアルに再現している。国内外の数多くのプロレーシングドライバーも練習走行に最新作であるグランツーリスモSPORTを利用しているという。「ビデオゲームでありながら、人とつながることを重視し、過去3年間は、eスポーツイベントも開催してきた。イノベーティブであることを大切にし、実験的なタイトルであることも特徴であり、美を追求し、世界にあかりをともしたいと考えて開発してきた」（ポリフォニー・デジタルの山内プレジデント）という。開発元のポリフォニー・ デジタルは、ソニー・インタラクティブエンタテインメントの子会社である。

また、ソニーAIは、エンタテインメントの分野において、人間の想像力と創造性を高めるためのAIやロボットの基礎的な研究開発を加速させるため、2020年4月にソニーグループの1社として設立。最先端の人工知能の研究開発と、ソニーグループのイメージング＆センシング技術、ロボティクス技術に、映画、音楽、ゲームなどのエンタテインメント資産を組み合わせ、ソニーのビジネス変革と、新たなビジネス機会を創出することを目指しているという。

ソニーグループ 代表執行役 会長兼社長CEOの吉田憲一郎氏は、「ソニーAIの最初のプロジェクトの成果を共有できることをうれしく思う。これまでの2年間、ソニーAIのメンバーは、グランツーリスモを開発するポリフォニー・デジタルや、SIEのクラウドゲームチームと緊密に協力して、グランツーリスモのトップクラスのドライバーたちと対等に競争できる超人的なAIを作り出した。プレイヤーのゲーム体験をさらに充実させるゲームAIエージェントであり、同時に、このプロジェクトは、プレイステーションのクラウドゲームインフラストラクチャが、大規模なAIのレーニングを目的に、効果的に利用できる可能性も示した。その観点からも期待している。ソニーは、テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニーであり、今回の取り組みは、グループ会社間での協働によって生まれたソニー独自の取り組みといえる」と述べた。

  • ソニーグループ 代表執行役 会長兼社長CEOの吉田憲一郎氏