楽天グループは、経済産業省やNEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）が進める日本の生成AI開発力強化のためのプロジェクト「GENIAC」での採択（2025年3月からの第3期公募）を受け、「長期記憶メカニズムと対話型学習を融合した最先端の生成AI基盤モデルの研究開発」を８月より開始することを発表した。

Hugging Faceに設置してあるRakuten AI

Rakuten AI 2.0やRakuten AI 2.0 miniのような軽量LLMやSLMをApache 2.0ライセンスのオープンソースで公開し、開発を進めている同社。採択を受け、８月から研究を開始するのは、既存技術では難しかったという、"より長く複雑な日本語の文脈に合わせた処理を可能とする"LLMの開発。Rakuten AI 2.0は、複数のサブモデル（エキスパート）に分割されるMOE(Mixture of Experts)アーキテクチャ、ユーザーの嗜好に近づけるファインチューニングSimPO （Simple Preference Optimization with a Reference-Free Reward/arxiv.org）などの特徴を持つが、新たな研究では、言語モデルのメモリ機能を拡張する技術を組み込み、応答生成時にアクセス可能な情報量を飛躍的に増加させることが可能になるという。

楽天のAIリサーチ統括部 楽天技術研究所 副部長の平手 勇宇氏は、「本研究開発を通じて、日本語に最適化され、かつ高度にパーソナライズされたAIエージェントの実現と、社会全体におけるAI活用の可能性拡大に貢献していきたいと考えています。」と述べる。同社は、2024年３月に独自の独自の形態素解析器を用いて日本語に最適化したLLMを公開している(ニュースリリース)。