ELYZA、医療業界に特化した日本語LLM基盤「ELYZA-LLM-Med」を開発

ELYZAは7月14日、内閣府が設置した「戦略的イノベーション創造プログラム（SIP）」が公募したSIP第3期補正予算「統合型ヘルスケアシステムの構築における生成AIの活用」のうち、テーマ1「医療LLM基盤の研究開発・実装」における研究開発課題「日本語版医療LLMの開発ならびに臨床現場における社会実装検証」で、医療領域における国産の特化LLM基盤の開発を担当したことを発表した。

この研究で構築した日本語版医療LLM「ELYZA-LLM-Med」シリーズは、総合点で国内最高レベルの性能を達成し、現場の医療タスクにおいてはグローバルトップ水準を超える精度を実現したという。

今回の特化LLM基盤開発において有効性を検証したアプローチは、特定の領域における特化モデル開発において汎用性の高いアプローチであり、多くの領域で横展開が可能と考えられるという。

「ELYZA-LLM-Med」を開発した

プロジェクトの概要

プロジェクトのメンバーとして、さくらインターネットの組織内研究所であるさくらインターネット研究所が研究代表として共同研究機関を統括し、ELYZA、東京大学松尾・岩澤研究室が医療特化型LLMの開発を、ABEJAがデータの調達や加工・LLMシステムの開発を担当した。

また、個人情報を扱う場面では、セキュアな計算基盤環境を保有する理化学研究所にて検証を実施。今回焦点を当てるユースケース群については、国際医療福祉大学や藤田学園藤田医科大学などの医療機関と連携しながら、データの取得や加工を進めた。

開発したモデル群

研究では、「電子カルテ標準化のための情報変換」および「レセプト（診療報酬明細書）の確認修正内容の提案」の2つのユースケースについて、各ユースケースの基盤となる日本語版汎用医療LLMの開発と、各ユースケースを解くための日本語版汎用医療LLMの適合に向けたモデル開発を行った。

「ELYZA-LLM-Med」は、今回開発した日本語版医療特化LLMシリーズの総称。「ELYZA-Med-Base-1.0-Qwen2.5-72B」は各ユースケースの基盤となる日本語版汎用医療LLM。海外製のオープンなモデルである「Qwen2.5-72B-Instruct」をベースに、複数の医療関連コーパスを用いた継続事前学習を実施した。

「ELYZA-Med-Instruct-1.0-Qwen2.5-72B（UC1）」は、「ELYZA-Med-Base-1.0-Qwen2.5-72B」に追加の事後学習を行い、「電子カルテ標準化のための情報変換」に適合するよう調整を施したモデル。

「ELYZA-Med-Instruct-1.0-Qwen2.5-72B（UC2）」は、「ELYZA-Med-Base-1.0-Qwen2.5-72B」に追加の事後学習を行い、「レセプト（診療報酬明細書）の確認修正内容の提案」に適合するよう調整を施したモデル。