中国のDeepSeekがコスト効率性で業界を驚かせているが、米スタンフォード大学などがわずか50ドルのクラウドコンピューティングコストで、高性能なAIモデルの開発に成功したという。

OpenAIのo1-previewを最大27%上回る性能

2月3日、Fei-Fei Li氏らスタンフォード大学とワシントン大学の合計10人の研究者は「Test-time scaling」「Budget Forcing」などの手法を用いてモデルの性能改善を図ったとする論文を公開した。

Test-time scalingは推論時に追加の計算資源を活用して言語モデルの性能を向上させる手法。この手法を用いて強力な推論能力の獲得を図るにあたって、テスト時の計算量を制御するBudget Forcingも組み合わせた。

研究者らは、Googleの「Gemini 2.0 Flash Thinking Experimental」をベースに、既存のAIモデルから学習を抽出する「蒸留」を用いた。トレーニングには厳選した1000問の質問データセットを使用、16台のNVIDIA H100 GPUを使用し、所要時間は26分だったという。

モデルの能力として、数学のMATHとAIME24において、OpenAIのo1-previewを最大27%上回る性能が出たと報告している。モデルは「s1」としてデータ、コードとともににGithubにてオープンソースとして公開している。TechCrunchなどが報じている。