Microsoftは2017年6月14日(現地時間)、AI(人工知能)と強化学習を利用し、Atari 2600用「Ms. Pac-Man(ミズ・パックマン)」を最高得点を目指す実験を行った。同社は2017年初頭にカナダの深層学習系スタートアップMaluubaを買収しているが、同チームが作成したAI手法を使用し、Atari 2600版ミズ・パックマンの最高得点999,990ポイントを実現したと、公式ブログで説明している。

999,999ポイントに達した瞬間(画像はすべて公式動画より抜粋)

Maluubaチームが「Hybrid Reward Architecture」と呼ぶAIは、150人以上のエージェントを使用して、ミズ・パックマンのプレイ方法を習得した。例えば特定のエージェントが"パワー・ペレット"(パワーアップアイテム)を見つけ出し、別のエージェントは"ゴースト"(幽霊)を避ける動きを行うことから名付けたという。各AIエージェントは独創的に行動しつつも、各AIから得た情報を元に判断を下すトップエージェントが最適な道を選択する。

AIから見たミズ・パックマンのフィールド状態

ミズ・パックマンを対象にした理由として、Maluuba ProgramManagerのRahul Mehrotra氏は、「知的なアルゴリズムを構築するため」にゲームを選択したと説明。アーケード版共同制作者の一人であるSteve Golson氏も当初は「(ミズ・パックパンを)征服するのはほぼ不可能」と述べていた。Maluubaチームは「自然言語処理など他のAI研究分野で進歩を遂げるためには、実際に複雑な問題解決が必要」(Maluuba ResearchManagerのHarm Van Seijen氏)と、本取り組みを説明している。

阿久津良和(Cactus)