清水建設がRAGの失敗を糧にして進めるAIエージェントの導入とは

同カンファレンスでは、清水建設 NOVAREイノベーションセンター AI共創グループ グループコンダクターの古川慧氏が、「衝撃のRAG精度93%｜清水建設が描くAIエージェント主導の建設DX戦略」というタイトルの下、講演を行った。

清水建設はどのような形でAIエージェントを構築し、活用しているのだろうか。

• 

  清水建設 NOVAREイノベーションセンター AI共創グループ グループコンダクター 古川慧氏

2年前からRAG導入に取り組むも回答精度に難

清水建設はAIエージェントより先にRAGの導入に取り組んだ。LLMが普及しても社内の知識に基づいて答えられないことから、2023年春に建設施工計の技術文書を対象にRAGを構築することになった。

50問の理解度テストによって構築したRAGの精度を評価したところ、読み取りの正答率が35％、読み取りできなかった割合が10％と、想定していた回答精度が得られなかったという。

誤答の要因としては、複雑な図や数値の扱いがある。「複雑な図を読み解くには知識が必要です。また、同じ文書でもミリの表記や単位が異なる場合があり、LLMはこうした処理は苦手です」と古川氏は説明した。

こうした経緯から、「RAGを単純に構築しただけでは業務で利用することは難しいと感じた」と古川氏は語った。

失敗の要因は「技術の壁」と「組織の壁」

古川氏は、RAGの初期導入が失敗してしまった要因として、「技術の壁」と「組織の壁」を挙げた。

技術の壁とは、社内文書の特徴や業務知識の理解不足を指す。建設関連の文書は複雑な図、写真、図面が多いほか、数値的な根拠を求められるが、上述したように、RAGはこうしたコンテンツの処理が得意ではない。

また、経営層の理解を得ないままRAGの導入を進めてしまったため、経営層からは「嘘をつくAIは使えない」「お客様に迷惑をかけることになる」などネガティブな言葉をいただく結果となったという。建設業は経営層が強いため、経営層の理解を得てから、現場に展開する必要があったという。

そこで、古川氏はRAGの勉強からやり直すことにした。具体的には、他社の事例の調査、アルゴリズムや改善策の勉強、定量的に評価できる仕組みづくりを行った。

「他社が惜しげもなくノウハウを公開していたので助かりました。損保ジャパンの事例は参考になりました。勉強をやり直した結果、チューニングの重要性をあらためて実感しました」（古川氏）

RAGを活用した3種のサービスをトライアル

その後、東京大学発のAIスタートアップであるLightblueの支援を受け、同社のサービス「Lightblue Assistant」を活用してRAGを再構築した。建設の図表を読むことにフォーカスしてチューニングを実施したところ、約400問の社内テストで、検索の正答率が97.3％、回答の正答率が93.0と驚異的な結果をたたき出した。

その後、以下の3種類のサービスを試行開発して、支店でトライアルを実施した。外勤・内勤のいろいろな職種の298名に参加してもらい、中には役員や部署中も含まれる。

• KAI：各部署の事務所マニュアル
• AI生き字引プロジェクト：建設技術部が保有すぐ工種ごとの技術詳細
• 技術文書検索アシスタント：施工管理の基礎となる全社の建築技術資料

参加者が十分サービスを活用できるよう、トライアルを実施する前に、ハンズオン説明会を実施するとともに、利用ガイドラインの周知を徹底した。総質問数は半年間で2万6000回に達し、かなり活用された。ただし、2万1000回が内勤者によるもので、「現場に届いていないと感じました」と古川氏は話した。

トライアル後にアンケートをとったところ、回答者192名中、64％が「利用したい」と答えたそうだ。改善要望として、「アイデアをもらいたい」「一歩踏み込んだ内容が欲しい」という意見が出ているが、古川氏は「AIエージェントができると変わるのではと前向きにとらえています」と語っていた。

トライアルを経た後、今年4月より経営層の理解も得てサービスを全社に展開した。既に3000名が利用している。初期のRAG導入で苦言を呈していた経営層も「とても良い。さまざまな分野で使わせたい」と太鼓判を押しており、既にヘビーユーザーとのこと。今では味方になってくれているそうだ。

PoCが進むAIエージェント

そして、AIエージェントの出番だ。実は、古川氏は2023年の春の時点で、AIエージェントの構想を描いていた。AIはデザイナーをサポート・アシストする仲間と定義し、「DAICE（Designers Assistant Intelligence for Creative Enhancement）」というAIエージェントのコンセプトを策定した。

「デザイナーとしてはおもしろくはないが、建物を建てる上で重要な作業がある。目指すところは、これらをAIに行ってもらい、デザイナーにはおもしろいことに注力してもらう」（古川氏）

現在のところ、推論モデルの課題が解消され、VLMが画像を読み取れるようになってきており、外部のツールの連携に取り組んでいるという。古川氏はPoCを実施しているAIエージェントとして、「機器選定エージェント」を紹介した。

• 

  清水建設のAIエージェントの構成

「機器選定エージェント」では、図面を読み込ませて質問を入力すると、Webから情報を取得し、計算を行い、機器を選定してくれる。古川氏は、「AIエージェントによって何でもできるようにはしません。一つずつ積み重ねていきます」と述べた。

• 

  「機器選定エージェント」のイメージ

最後に、古川氏は今後の展望について、「RAGの轍を踏まないために、AIが仕事を奪うと思われないようにします」と語った。ちなみに、以下のプレゼンテーションの言葉はAIに作ってもらったとのことだが、いかがだろうか。

• 

  AIが作成した締めの言葉