Microsoftは10月15日、独自の大規模言語モデル「MAI-Base-2」の事前学習を完了したと発表した。総パラメータ数は2.8兆で、約1万6,000基のNVIDIA GB200 GPUを38日間学習に使用したとしている。

  • Microsoft、2.8兆パラメータの独自AI「MAI-Base-2」。1万6,000基のNVIDIA GB200で38日間学習

    Microsoft、2.8兆パラメータの独自AI「MAI-Base-2」。1万6,000基のNVIDIA GB200で38日間学習

MAI-Base-2は、入力に応じてモデルの一部を動作させるMoE（Mixture of Experts）方式を採用した基盤モデル。総パラメータ数2.8兆のうち、実際の推論で使用するアクティブパラメータ数は約800億。2026年8月から9月にかけて、合計50兆トークンものデータを用いて学習を実施して開発した。Microsoftは6月にも独自の推論モデル「MAI-Thinking-1」を発表している。今回のMAI-Base-2は次世代モデルの基盤となるもので、現在は事後学習を進めている段階にある。