リコーは1月31日、日本企業の業務での活用を目的として、企業ごとのカスタマイズに対応する130億パラメータのLLM（Large Language Models：大規模言語モデル）を開発したことを発表した。2024年春からカスタム可能なLLMをクラウド環境で提供開始する。まずは日本国内で先行して提供し、順次海外へも展開する予定。

同社によると、日本語と英語での学習において学習データの比率を工夫したことで、日本語としての文法や回答が正確で精度が高い特徴があるという、日本企業の情報資産の活用に適したモデルを実現したとのことだ。

高い日本語性能を確認

今回リコーが開発したLLMは、米Meta Platformsが提供する「LLM Llama2-13B」をベースとしながら、日本語と英語のオープンコーパスを追加学習させて開発したもの。学習に利用するコーパスの選定、誤記や重複の修正などデータクレンジング、学習データの順序や割合を最適化するカリキュラム学習などの点で、独自の工夫を組み込んだという。

モデルは特にNLI（Natural Language Inference：自然言語推論）における性能の高さを特徴としている。日本語LLMの性能評価で広く使われる日本語ベンチマークツール「llm-jp-eval」を用いた評価の結果、スコアの平均値が最も高く優れた性能であることを確認できたようだ。

  • 既存システムを音声制御可能なインタフェースにアップデートするという

    既存システムを音声制御可能なインタフェースにアップデートするという

カスタム可能なLLMとして提供開始

このLLMに企業独自の情報や知識を取り入れることで、ユーザーごとの業種や業務に合わせた高精度なAIモデルの構築も可能だ。このようなカスタムLLMを業務に活用し、業務文書の要約や質問応答の作業をAIに置き換えることで、業務ワークフローの最適化と業務効率化が図れる。

AWSを活用し低コストでの開発を実現

LLMはパラメータ数が多いほどより多くの情報を処理でき学習能力が高まるが、これに伴って大きな計算リソースが必要になるだけでなく、学習や運用の難易度が上がるため開発難易度も高くなる。

今回リコーが開発したLLMは「AWS LLM開発支援プログラム」によるサポート提供を受けており、AWS Trainiumアクセラレータを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、従来手法の開発と比較して45%のコスト低減と12%の開発期間短縮を実現したという。