AtCoderは6月18日、Sakana AIと共同でAIによるアルゴリズム開発能力を評価する新たなベンチマーク「ALE-Bench(ALgorithm Engineering Benchmark)」を開発したことを発表した。
両社が開発したALE-Benchは、AtCoderが主催する「AtCoder Heuristic Contest(以下、AHC)」の最適化問題をもとに構成されている。既存のベンチマークでは評価が難しかったAIが開発した最適化アルゴリズムの性能を客観的かつ定量的に測定可能だという。
また、ALE-Benchで扱うタスクは創造性、高度な推論能力、継続的な改善能力を要するため、このベンチマークは最適化アルゴリズムの性能評価だけでなくAI分野全体の研究開発を前進させる基盤として期待できるとのことだ。