小さなサイズにGPT-3.5レベルの推論力、オープンソースのLLM「Mixtral」躍進

ChatGPTが登場してから1年が経ち、再び新興企業によって大規模言語モデル(LLM)の可能性が広がろうとしている。今回はフランスの設立から1年も経っていない企業から始まっている。→過去の「シリコンバレー101」の回はこちらを参照。

Mixtralが注目される理由

下はHugging FaceのLMSYS Chatbot Arenaリーダーボード(1月26日更新)である。

• 

  実力の評価にさまざまな要素がからむLLM、LMSYSリーダーボードではチェスのELOレーティングに似た投票システムを採用。相対評価でモデルを比較し、ポイントを割り当てている。

クローズド(プロプリエタリ)なモデルで占められているトップ10に、オープンソースのモデルで唯一、昨年12月にリリースされた「Mixtral 8x7B」が入っている。開発しているのは、Deepmind、Metaに在籍していた研究者3人が昨年4月に設立したMistral AIである。

LLMの開発競争は激化の一途であり、市場で頭角をあらわすためのアピール合戦も加熱している。そうした中で、Mistral AIは同社のLLMリリースのマーケティングに資金や労力をほとんど費やしていない。

Discordでコミュニティをサポートし、あとはブログ記事を公開した程度で、BitTorrentのマグネットリンクとHugging Faceを通じて最初の言語モデル「Mistral 7B」をリリースした。驚くことに、それだけで瞬く間に存在が広く知られ、Mistral 7Bのリリース成功で評価額が約20億ドルに上昇。Andreessen Horowitzが主導する最新の資金調達ラウンドで3億8,500万ユーロを調達した。