三菱電機、エッジAI機器で動く“軽い”製造業向け言語モデル　追加学習対応

三菱電機は、エッジデバイスで動作する製造業向け言語モデルを開発したと6月18日に発表。製造業に特化した事前学習をさせており、さまざまなユースケースへ適用できるという。また、独自開発の学習データ拡張技術により、ユーザーの用途に最適化した回答生成も実現可能。この発表に関する報道陣向けの説明会を、同社が同日開催した。

三菱電機が開発した、エッジAIデバイスで動く「製造業向け言語モデル」のデモの様子。「工場のライントラブルのアラートの発生状況や履歴を見える化するには?」という問いに対し、既存設備に必要なコンポーネントを追加することで稼働状況を時系列にグラフ化したり、過去の稼働状況も比較したりできることを、完全なオフライン環境にあるエッジAIデバイスが提案している

今回のデモ用エッジデバイスとして使われた「NVIDIA Jetson Orin Nano」(左)。右にあるのは「EdgeCortix SAKURA-II」。いずれも市販品で、数万円程度で購入できるものだという

デモ環境の概要

三菱電機が展開するAI技術ブランド「Maisart」(マイサート)の開発成果のひとつ。アマゾンウェブサービスジャパンが提供する「AWSジャパン生成AI実用化推進プログラム」に参画し、AWSのサポートのもとで開発したという。このサポートには、言語モデルの学習に必要なGPUやAWS Trainiumなどのコンピューティングリソースの調達支援、分散トレーニングの環境構築支援、AWSクレジットの提供、AWS生成AIイノベーションセンターによる科学的観点からのアドバイザリーなどが含まれる。

近年の生成AIの普及により、大規模言語モデル(LLM)の活用が拡大している。一方でその利用には莫大な計算コストとエネルギーを要することから、それらの削減が社会課題とされる。また、データプライバシーや機密情報管理の観点から、オンプレミス環境下での生成AIの利用ニーズも増えている。こうした状況を背景に、三菱電機はエッジデバイスでも動く製造業向け言語モデルを新たに開発した。

今回、開発した技術の特長は以下の2点。

製造業ドメインに特化し、エッジデバイスへの実装が可能な言語モデルを開発。製造業ユーザーのAI導入を支援
効果的なタスク特化学習を可能とする独自の学習データ拡張技術を開発、ユーザーの用途に最適化した回答生成を実現

三菱電機も参画している、「LLM-jp」(LLM勉強会)が公開している日本語継続事前学習済みのベースモデルに対し、三菱電機が保有するFA(Factory Automation)事業などのさまざまなデータを用いたドメイン特化型の学習を施すことで、製造業特化の言語モデルを開発。製品マニュアルやコールセンター応対履歴といった、三菱電機が独自に保有する権利的・倫理的に問題のないデータで学習させたとしている。さらに、独自の拡張技術で生成した学習データを用いることで、効果的なタスク特化学習(後述)もできるようにした。

また、今回開発した言語モデルは、限られたハードウェアリソースの中でも動作可能なサイズとなっていることも特徴。量子化などでモデル精度を保ったままデータサイズを圧縮する技術によって言語モデルを軽量化した。

これにより、従来はメモリ不足で実行できなかった処理が、エッジデバイスなど計算リソースに制約のある環境でも動作可能であることを確認。低遅延かつプライバシーに配慮した処理も行え、顧客情報を扱うコールセンターといったオンプレミス(自社運用)環境下をはじめ、スマートファクトリーやエッジロボティクス、エネルギー制御といった多様な分野で、ユーザーの生成AI運用にかかる各種コスト削減に寄与するとしている。

今回の開発技術のもうひとつの特徴は、ユーザーの用途に最適化した回答生成を実現するために、独自の「学習データ拡張技術」(特許登録済)を開発したことだ。製造業のユーザーが個別に保有する、用途別データを用いた追加学習にも対応する。

学習データ拡張技術の“キモ”は、タスクデータから「望ましくない回答」を自動抽出し、「望ましい表現」を出力しやすい言語モデルの学習用データを充実化することにある。

たとえば、問い合わせや文章生成指示といった、ある入力内容に対して「望ましい回答」が紐付けられた用途別学習用データから、正しい回答例文とテキストの類似性は高いものの、「入力された問いに対する回答としては正しくない回答テキスト」を抽出。

これを同一入力に対する「望ましくない回答」と見なすことで、ある入力に対する「望ましい回答」と「望ましくない回答」のペアを疑似的に自動生成し、望ましい表現を出力しやすい言話モデルの学習用データを充実化させる。

具体的な例として、「(機器の)電源オンのままバッテリ交換してもいいですか?」という問いには、「パッテリの交換時は、必ずシーケンサの電源をオフにした状態で実施してください」という回答を対になる「望ましい回答」として学習。

その上で、「バッテリを節約するためには……」といった類似性は高いものの、ユーザーが今知りたくて聞いていることとは関連がない(正しくない)回答を「望ましくない回答」とし、「望ましい回答」と対になるよう自動生成。後者を出力しやすいよう、言話モデルの学習用データを強化していく。

今回開発した言語モデルでは、製造業のユーザーが個別に保有する用途別データを用いた追加学習も行え、ユーザーごとに異なる用途にあわせた回答を生成できる言語モデルを構築可能。個別のドメインやタスクなどを考慮した、細かいニーズにも対応できるとする。

なお三菱電機では、同社のFA製品に関する知識の正誤を問うタスクで、今回開発した言語モデル(パラメータ数約18億)の評価を実施している。同社では、ドメイン・タスク特化学習を施すことで、ベースモデルと比べてタスク正解率が約40ポイント改善し、正解率77.2%を達成したとアピール。これはOpenAIが提供する言語モデル「GPT-4o」(52％、パラメータ数非公開)と比べても高い正解率だとした。