ChatGPTが登場してから1年が経ち、再び新興企業によって大規模言語モデル(LLM)の可能性が広がろうとしている。今回はフランスの設立から1年も経っていない企業から始まっている。→過去の「シリコンバレー101」の回はこちらを参照。
Mixtralが注目される理由
下はHugging FaceのLMSYS Chatbot Arenaリーダーボード(1月26日更新)である。
-
実力の評価にさまざまな要素がからむLLM、LMSYSリーダーボードではチェスのELOレーティングに似た投票システムを採用。相対評価でモデルを比較し、ポイントを割り当てている。
クローズド(プロプリエタリ)なモデルで占められているトップ10に、オープンソースのモデルで唯一、昨年12月にリリースされた「Mixtral 8x7B」が入っている。開発しているのは、Deepmind、Metaに在籍していた研究者3人が昨年4月に設立したMistral AIである。
LLMの開発競争は激化の一途であり、市場で頭角をあらわすためのアピール合戦も加熱している。そうした中で、Mistral AIは同社のLLMリリースのマーケティングに資金や労力をほとんど費やしていない。
Discordでコミュニティをサポートし、あとはブログ記事を公開した程度で、BitTorrentのマグネットリンクとHugging Faceを通じて最初の言語モデル「Mistral 7B」をリリースした。驚くことに、それだけで瞬く間に存在が広く知られ、Mistral 7Bのリリース成功で評価額が約20億ドルに上昇。Andreessen Horowitzが主導する最新の資金調達ラウンドで3億8,500万ユーロを調達した。
Mixtralが注目を集めているのは、その小さなサイズに比して強力なパフォーマンス、そしてオープンソース(Apache 2ライセンス)であることだ。GPT-3やGPT-4などは、1000億パラメータ以上の巨大なモデルであり、ホストするには大規模なサーバインフラを必要とする。
