日本IBMは6月26日、オンラインとオフラインのハイブリッドでメディア向けの勉強会を開催。米国ボストンで開催された年次イベント「Think」で発表したAI活用のためのデータスタックを簡素化する新たな取り組みなどが紹介された。

AIエージェントに必要なデータとは

冒頭、説明に立った日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 部長の四元菜つみ氏は3月に同社が公表した「AIプラットフォームサービス」を引き合いに出した。同サービスはAIアプリケーション基盤やAIエージェント共通基盤、AIゲートウェイ、AIモデル管理(LLM)基盤、AIセキュリティ/ガバナンスで構成している。

  • 日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 部長の四元菜つみ氏

    日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 部長の四元菜つみ氏

その中でもAIのデータ管理にまつわるものとして、2023年から提供している「IBM watsonx.data」に関する大幅な機能拡張が紹介された。まず、四元氏は市場環境について言及し、同社が行った調査結果を示した。

調査結果によると、85%の経営層が関心を持っているが、60%以上のAIプロジェクトが失敗するのではないかという予測結果となっており、77%の企業がデータ処理について不安を抱えている状態だという。

同氏は「AIエージェントで多くのことをやりたいと考えており、データも必要だとは思っているが、それに対する不安や課題を抱えている企業が非常に多い状況。では、AIエージェントに必要なデータとは何か？エージェントは、仕事を任せる相手になり得る存在のため、どのような仕事を任せるかにより、どのようなデータが必要なのかというのは当然変化する」と指摘。

例えば、人事であれば就業規則や組織図、営業では製品の型番や価格、顧客ごとの契約、調達では過去の見積書や発注書、請求書などがそれぞれ必要となり、さまざまなドキュメントが使用する。また、単純に1つのPDFで済む話ではなく、ExcelやPowerPoint、Wordといったファイル形式に加え、PDFも画像や表が挿入されていたり、二段組の論文をはじめ形式・量ともに膨大なものになるとのこと。

  • AIエージェントに必要なデータの概要

    AIエージェントに必要なデータの概要

四元氏は「どのようなお客さまもチャットでAIに話しかけてみようという段階から、RAG(検索拡張生成)で自社のデータを活用する段階にきているが、RAGでさえ多くの課題があると考えている」との認識だ。

同氏が指摘するRAGの課題とは複数ドキュメント(ex.請求書、発注書、契約書など)間の関係性やアクセス権、表・図からの読み込みをはじめ、より正確なデータへの理解が必要のほか、要約、検索のユースケースでは従来のRAGで対応できるものの個人情報の扱い、データ集計、計算などに課題があるという。さらに、これらの課題に対する作り込みやユースケースにもとづく、データ蓄積方式の決定は構築・運用が非効率で継続利用が困難になっている。

  • 従来のRAGではアプローチの限界を迎えている

    従来のRAGではアプローチの限界を迎えている

watsonx.data PremiumでAIデータ活用を加速

そのため、同社ではwatsonx.dataの機能拡張により、こうした課題の解決を支援する。今回、watsonx.dataに「watsonx.data Integration」「同Intelligence」「watsonx BI」の各製品を組み合わせ「watsonx.data Premium」としてスイート製品を提供する。

IntegrationはAIに必要なデータの前処理・統合を行い、Intelligenceはデータに対する意味付けを司るセマンティックレイヤを構築し、データガバナンスを実現。watsonx BIはビジネス洞察のためのAIエージェントとして位置づけており、それぞれの製品はスタンドアロン製品としても提供する。また、今後は買収完了を発表したDataStaxのテクノロジーをwatsonx.dataに統合し、AIアプリケーション・エージェントへの対応を強化していく方針だ。

  • watsonx.dataは従来のRAGの課題を解決するという

    watsonx.dataは従来のRAGの課題を解決するという

四元氏は「データの前処理として、例えばテキストの抽出やベクトルの埋め込み、データの項目の値の抽出などを行い、さまざまなユースケースで処理していく。ただ、多様なユースケースを処理していくには1つのエンジンでは対応が難しいことから、マルチエンジンを搭載したwatsonx.dataがユースケースに応じて最適な処理を実行していく。一言でwatsonx.dataを表すとAIのためのデータ基盤だ。簡易性や高性能な生成AI、AIエージェントを実現するための“次世代データレイクハウスソリューション”と当社では位置付けている」と説明した。

  • 機能拡張したwatsonx.dataの概要

    機能拡張したwatsonx.dataの概要

実際、従来型のRAGを組んだ構成と比較すると、同社内のテストではAIの回答精度が40%向上したことを確認したという。同氏は「簡単にすぐに始めることができ、その後の運用もコストを抑えることができるのが大きな特徴。他社のソリューションと比べた優位性は、簡易性と効率性が担保できること、そしてデータへの意味付け/分類機能を有している点となる」と、そのメリットを説く。

新たなwatsonx.dataが示す実力

続いて、日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 Data領域担当の丹羽輝明氏がデモンストレーションを行った。デモは「調達業務における従来RAGとwatsonx.dataの比較」「watsonx.dataを支えるテクノロジーと高精度を実現するメカニズム」の2つだ。

  • 日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 Data領域担当の丹羽輝明氏

    日本IBM テクノロジー事業本部 データ・プラットフォーム事業部 製品統括営業部 Data領域担当の丹羽輝明氏

調達業務における従来RAGとwatsonx.dataの比較では、AIエージェントでの想定業務フローは(1)「特定の部品を注文したい」、(2)「どこから注文できるかを確認」、(3)「最安値で稟議を通したいのでそれぞれの仕入先からの実績ベースで金額を確認」、(4)「注意事項を確認」となる。

検証の結果、従来のRAGを利用した場合、watsonx.dataと同じ質問をしても誤回答が混在したという。

仕入先は2社のはずが3件表示(仕入先別ではなく情報源のPDFごとの明細を出力)し、ドキュメントから抽出した情報の意味・属性を理解できずに誤った回答を生成したほか、チャンクサイズ調整やプロンプトの工夫を行えば正しい生成が可能だが、都度のチューニングは非現実的であることが判明。

また、watsonx.dataはキャンペーン価格を考慮した回答だったが、チャンクが分かれてしまったため正しい文脈を理解できず、キャンペーンに関する言及がなかったとのことだ。丹羽氏は「watsonx.dataはチューニングをほとんどしなくても、高精度なRAGが実現できる」と強調した。

  • 従来のRAGでは誤回答が混在した

    従来のRAGでは誤回答が混在した

watsonx.dataの機能拡張を支える3つのキーテクノロジー

こうしたことをwatsonx.dataが実現している背景には3つのキーテクノロジーの存在があると同氏は述べ、そのまま次のデモに移った。まず1つ目がドキュメントやデータの前処理をローコードで実現する「Data Integration for Unstructured Data」について。

これは、ドキュメントやデータの前処理のフローをローコードで作成・実行できるもの。取り込んだドキュメントの重複排除、PII(Personally Identifiable Information：個人識別用情報)やHAP(ヘイト、虐待、冒涜)の下降、用語のへの意味付け、適切なサイズのチャンキングなどを実施する。

  • 「Data Integration for Unstructured Data」の概要

    「Data Integration for Unstructured Data」の概要

2つ目はIBM Researchの研究結果にもとづくデータ読み込み技術「Watson Document Understanding」。この技術はOCRではなく、人間と同じようなテキスト、表、画像の正しい識別と順序立てた読み込みを可能としており、政策な理解・読み込みを行うことでAIの回答精度を向上させている。

元の非構造化データに対して「ページのレイアウト特定」「キー、バリュー(項目とその内容)のレイアウト特定」「バリュー(値)の読み取り」「キー、バリュー以外の箇所に関するデータの読み込み」と4段階でドキュメントを理解し、データの読み込みを実現しており、人間を介することなくデータの直接読み込みを可能としている。

  • 「Watson Document Understanding」の概要

    「Watson Document Understanding」の概要

そして、3つ目がマルチエンジンとセマンティックレイヤによる最適な回答の生成だ。丹羽氏は「最適な結果をAIに返すために賢くなければなりません。賢いというのは抽出されたデータに対して、ベクトル検索なのか、もしくは数値を計算するようSQL検索をした方が良いのかなど、どのような検索を行えばいいのかを自動的に判断できるように進化している」と話す。

RAGやSQL RAG,Graph RAG、Agentic RAGなどのソリューション層を導入してアプリケーションからの問合せに応じて、目的に適したエンジンを活用できるようにロジックを強化するとともに、ドキュメントデータに意味づけを行うセマンティックレイヤを導入することで、最適なデータ抽出を支援するという。

  • マルチエンジンとセマンティックレイヤによる最適な回答の生成の概要

    マルチエンジンとセマンティックレイヤによる最適な回答の生成の概要

最後に再びスピーカーは四元氏に移った。同氏は「どのようなデータの整備、意味づけ、蓄積が必要なのかということを徹底的に考え、watsonx.dataの大幅な機能拡張を行った。これにあたり、IBM Researchの研究成果やオープンソースプロジェクトで得られた技術を要素を取り込んだことに加え、DataStaxの買収で新技術を製品に組み込みなど、あらゆる手段を使ってお客さまの課題に対して貢献できるような製品にしている」と述べ、結んだ。