サイバーエージェントは11月2日、70億パラメータ・3万2000トークン対応の日本語LLM（大規模言語モデル）を公開した。同社は23年5月に自然言語処理技術の発展に向け、最大68億パラメータの日本語LLM「CyberAgentLM」を一般公開した。新モデルはこのCyberAgentLMが強化されたバージョン2となる。

  • 70億パラメータ・3万2000トークン対応の日本語LLMを公開

    70億パラメータ・3万2000トークン対応の日本語LLMを公開

今回公開されたモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルである「CyberAgentLM2-7B」と、チャット形式でのチューニングを行った「CyberAgentLM2-7B-Chat」の2種類。CyberAgentLM2-7B-Chatは入出力の長さとして3万2000トークンに対応し、日本語の文章として約5万文字を一度に処理することができるという。

同社は今後もLLMの開発とビジネス活用を進め、モデルの公開や産学連携などの取り組みを通じて国内における自然言語処理技術の発展につなげていきたい考えだ。