rinna、Qwen2.5とDeepSeek R1を利用した「Qwen2.5 Bakeneko 32B」シリーズ公開

rinnaは2月13日、Qwen2.5とDeepSeek R1を利用して日本語テキストの生成能力を持った「Qwen2.5 Bakeneko 32B」シリーズを開発し、Apache-2.0 Licenseで公開したことを発表した。

rinnaのモデル公開

同社はこれまで、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する基盤モデルを公開してきた。2021年4月よりHugging Faceに公開しているrinnaのモデルは累計920万ダウンロード、1200Likesを記録しているという。

同社は今回、アリババのLLMであるQwen2.5 32Bに対し日本語継続事前学習した「Qwen2.5 Bakeneko 32B」、対話形式で指示を遂行するように学習した「Qwen2.5 Bakeneko 32B Instruct」、DeepSeek R1の出力を用いて蒸留学習した「DeepSeek R1 Distill Qwen2.5 Bakeneko 32B」を開発し、公開した。