NEC×東レエンジニアリング、「Obbligato×生成AI」の実証結果を報告

NECと東レエンジニアリングは、2024年8月から11月の期間にかけて、設計業務の効率化と技術伝承を目指し、NECが開発した「Obbligato」と生成AIを使った検証プロジェクトを実施した。本稿では、その取り組みの概要と見えてきた課題や効果を紹介していく。

Obbligato×生成AIの取り組み

今回のプロジェクトの主軸となったObbligatoは、開発プロセス改革に取り組む日本の顧客の声を継続的に製品強化に反映しながら、30年以上にわたって販売・サポートしているPLM(製品の企画や設計から生産、販売、廃棄に至るまでのライフサイクル全体を統合的に管理する仕組み)ソリューション。

企画～設計～生産～保守に至る製品ライフサイクル全般にわたり、ものづくりの基準情報であるBOM(Bill Of Materials)とBOP(Bill of Process)を核に、多種多様な技術情報を連鎖・集約・共有し、エンジニアリングチェーンとサプライチェーンをつないで、変動対応力・競争力を強化することができるという特徴を持つ。

NECが開発した「Obbligato」

両社が行った検証プロジェクトは、東レエンジニアリングが導入済みだったObbligatoとLLM(大規模言語モデル)を連携させ、技術情報に関する質問に対しLLMが過去の製品開発で蓄積された情報をもとにチャット形式で回答するかを検証するというもの。

今回の取り組みは、2024年2月に開催された「Obbligatoユーザフォーラム2023」の懇親会において、両社がObbligatoでのAI活用について意見交換をしたことをきっかけに進められたもので、6月に東レエンジニアリングとNECの連名で取り組みの開始を発表し、7月に検証キックオフ、11月には検証を完了している。

検証のスケジュール

6つのケースについて検証

プロジェクトでは「マニュアル検索」「社内規定検索」「DR文書検索」「機器発注仕様書検索」「図面検索」「該非判定」という6つのケースについて検証が行われた。

この6つのケースは「文書が多い(ファイル、ページ数)」「資料記載中のキーワードで検索する術がない」「経験が乏しく、欲しい情報が見つけづらい」「過去情報を共有できていない」「担当者不在時に資料を引き出せない」「既存LLMは最新の情報か分からない」といった背景から選ばれたという。

全体的な評価の結果としては、「マニュアルとの相性が良く、技術系文書は悪い傾向」にあることが分かったという。

東レエンジニアリング情報システム部門 DX推進室長本田顕真氏は、マニュアルとの相性が良かった理由として「元資料が文章で構成されており、単純明快」であることを挙げている。

「しっかりと体系立てられた文章で構成されているマニュアルの場合、LLMとの相性が良いことが分かりました。一方で長い手順の場合、生成AIが途中を省略してしまい、誤解を招くため、手順は回答させずに元資料のリンク提供に留めるなどの考慮が必要であることが分かりました」(本田氏)

東レエンジニアリング情報システム部門 DX推進室長本田顕真氏

反対に技術系文書との相性が悪かった理由としては「元資料の独自性や専門性が高く、語句が短く関連性が希薄」であることが要因だと考えられるという。

「専門性、独自性が強いため、元資料の構成に大きく影響し、生成AIの回答精度は低い結果となりました。また元資料自体のデータ品質やフォーマットに依存するため、フォーマットに応じた細かなシステム上の設定が必要となることが考えられます」(本田氏)

検証を元に「バーチャル社員」が入社

また、本田氏は今回の検証で得られた知見を元に「Obbligatoに登録されている属性値情報を生成AIの検索キーワード対象にしたい」「曖昧検索と完全一致検索を質問(プロンプト文)の書き方で指定したい」「プロンプト文のテンプレート化」「追加質問を可能にしたい」といった要望をNEC 製造業ソリューション部門製造システム統括部 PLMアプリケーショングループディレクターの田上光輝氏にNEC側に訴える場面もあった。