米Thinking Machines Labは7月15日(現地時間)、初の自社開発基盤モデル「Inkling」を発表した。モデルの重みを公開するオープンウェイト方式を採用しており、Apache 2.0ライセンスで公開した。
Thinking Machinesは、OpenAIの元最高技術責任者(CTO)であるミラ・ムラティ(Mira Murati)氏が設立したAIスタートアップである。同社は、単一企業が一律に提供する万能型モデルよりも、組織が固有の知識や業務に応じて調整できるAIの方が優れた成果を出すと主張している。
今回公開したInklingについて、「現時点で総合的に最も強力なモデルではない」と明言している。その一方で、マルチモーダル対応や効率的な推論、同社のカスタマイズプラットフォーム「Tinker」でのファインチューニングのしやすさを組み合わせることで、カスタマイズに適したオープンウェイトの「出発点」になるとしている。
Inklingは、複数の専門ネットワークを使い分けるMixture-of-Experts(MoE)型Transformerで、総パラメータ数は9750億、推論時に有効になるパラメータは410億である。最大100万トークンのコンテキストウィンドウに対応し、テキスト、画像、音声、動画を含む45兆トークンで事前学習した。公開モデルはテキスト、画像、音声を入力として受け取り、テキストやプログラムコードを出力する。
設計面では、特定分野のベンチマークで最高値を狙うのではなく、推論、エージェント、コーディング、指示追従、事実の正確性、画像・音声理解といった幅広い領域でバランスの取れた汎用性能を持たせることを優先したという。
特徴の一つが、推論時に使う思考量を調整できる点だ。開発者は「effort」の設定を変更することで、生成トークン数と性能、コスト、応答時間のバランスを調整できる。同社の評価によれば、エージェント型コーディング能力を測る「Terminal Bench 2.1」では、NVIDIAのオープンウェイトモデル「Nemotron 3 Ultra」と同程度のスコアに、平均生成トークン数を約3分の1に抑えて到達したとしている。
モデル構造は基本的にDeepSeek-V3系のMoE構成を踏襲している。各層に256のルーティング対象エキスパートと2つの共有エキスパートを配置、トークンごとに6つを稼働させる。学習にはNVIDIA GB300 NVL72システムを使用した。
事後学習の初期段階では、Moonshot AIの「Kimi K2.5」を含むオープンウェイトモデルが生成した合成データを用いて教師ありファインチューニングを実施した。その後、合成環境と人間が作成した環境を用いた大規模な強化学習を行い、ロールアウト数を3000万回超に拡大したという。
Inklingの重みは現在、Hugging Faceで公開されている。また、Thinking MachinesのTinkerでは、64Kまたは256Kトークンのコンテキスト長を選択し、ファインチューニングに利用できる。
Thinking Machinesは同時に、総パラメータ数2760億、推論時の有効パラメータ120億の軽量版「Inkling-Small」をプレビューした。現在はテストを進めており、完了後にモデルの重みを公開する予定である。

