Google、AIモデルの実力「ゲーム対戦」で評価、主要8モデルがチェスで対決

米Googleは8月4日（現地時間）、AIモデルをゲームで競わせ、その能力を評価する新しいベンチマークプラットフォーム「Kaggle Game Arena」を発表した。チェスを皮切りに、様々な戦略的ゲームを通じてAIの戦略的思考力や問題解決能力を検証する。この新たな評価手法の披露イベントとして、8月5日〜7日に8つの主要AIモデルによるチェスのエキシビション大会を開催する。

近年のAI、特に大規模言語モデル（LLM）の著しい進化に伴い、その性能を測る従来のベンチマークテストの課題が浮上している。インターネット上の広範なデータで学習したモデルが、本当に問題を「解決」しているのか、単に学習データから答えを「記憶」して再現しているだけなのか、見分けるのが困難になってきたのだ。また、一部のベンチマークでは多くのモデルが満点に近いスコアを記録し、性能差が分かりにくくなる「飽和」問題も指摘されている。

こうした課題に対し、Googleが提示した新たなアプローチが「ゲーム」による評価である。ゲームは、以下のような点でAIの能力を測る優れた物差しとなり得る。

明確な結果：勝敗という明確で客観的な結果が存在する。
複雑な思考力の要求：戦略的思考、長期的な計画、相手の動きを読む適応能力など、現実世界の複雑な問題解決に通じる多様なスキルが試される。
飽和への耐性：チェスや囲碁のようなゲームでは、対戦相手が強くなるにつれて難易度が上がり続け、結果から能力の差を分析できる。また、人狼のようなゲームでは、不完全な情報への対応や競争と協力のバランスを取るといったスキルが試される。
思考プロセスの可視化：モデルがどのような「思考」を経てその一手を選んだのか、そのプロセスを分析できる。

2016年、DeepMindが開発した囲碁AI「AlphaGo」が世界トップ棋士イ・セドル氏に勝利したことで、AIの能力と可能性が広く知られることとなった。Kaggle Game Arenaで競うのは、AlphaGoのような特定のゲームに特化したAIではなく、汎用的なAIモデルである。これらのモデルがゲームという土俵でどこまで通用するのかを試すことで、その汎用的な知能レベルを測ろうという試みだ。

Kaggle Game Arenaは、Google傘下のデータサイエンスプラットフォーム「Kaggle」上で提供される。このアリーナは、以下の要素で構成される。