RAG、セキュリティ、推進体制から見る、企業の生成AI活用を成功に導く勘所

生成AI活用の課題と現状

世の中に急速に普及しつつある生成AI。ビジネスシーンにおいて直近1～2年で言われていることが組織内におけるAIの活用が“実験段階”から“ビジネス価値の創出”に本格的に移行したことだ。とは言え、実際の現場では精度の問題やセキュリティ、組織体制と苦労が絶えないのも事実。本稿ではサーバーワークスにおける、顧客への生成AI支援の取り組みについて紹介する。

同社はAWS(Amazon Web Services)専業のクラウドインテグレーターとして「構築と移行、運用のプロフェッショナル」を自負している。今回、サーバーワークスカスタマーサクセス部 CS4課課長の村上博哉氏に顧客事例を交えながら、生成AIに関する課題を説明してもらった。

サーバーワークスカスタマーサクセス部 CS4課課長の村上博哉氏

帝国データバンクのアンケート調査では「生成AI活用の課題は何ですか？」との問いに関して、挙げられた主な課題は「AI運用のノウハウが不足している」「生成AIが出力する情報の精度が低い」「そもそも生成AIをどのように活用すべきか不明」の3つが上位を占めた。この結果を受け、村上氏は「生成AIを組織で活用していくにあたり、課題としては精度、セキュリティ、推進体制の3点に集約されます」との認識を示す。

アンケート調査で浮き彫りとなった生成AIに関する課題

精度向上のための取り組みとRAGの活用

まずは、精度に関して。同氏によると現状で最も多いユースケースは、LLM(大規模言語モデル)と自社のデータと組み合わせて回答を出すRAG(検索拡張生成)となっており、多くの組織で課題を抱えているという。

そのため、生成AIに対しては“正しい期待値を持つ”ことが肝要だという。具体的には、生成AIの活用において、ハルシネーションを完全になくすことはできず、LLM(大規模言語モデル)は文章の続きの単語を予測していることから、100％の精度を期待すべきではないということだ。

村上氏は「思ったような回答が出ないということがあります。RAGそのものを運用していくには、どのようなことに取り組めば良いのか分からないのです。PoC(概念実証)を進める際は、どの程度の水準で社内またはエンドユーザーに対してリリースできるのかなど、リリースの基準をはじめとしたゴールの設定や、定量評価の手法を明確にすることが重要です」と話す。

また、同氏は「そもそもRAG自体がハルシネーションを抑制するための手段の1つです。データソースにないものは回答しないなど、ハルシネーション対策をプロンプトでも行うべきです。また、よくある勘違いとしてデータを投入すれば投入するほど、賢くなるというものがあります。実際は検索精度、回答精度ともに下がる傾向にあるため、どのような情報にもとづいて回答を生成するのか、どのようなデータを投入すれば良いのかなど精査する必要があります」と指摘する。

では、どのように精査を行えばいいのだろうか。その点について村上氏はデータの整理に生成AIを活用し、自動化していくことを提示している。AWSの生成AIサービス「Amazon Bedrock」にはPDFのデータをマークダウン形式に変換を行う「Advanced parsing」があり、AWS以外にもオープンソースのツールがあるため、活用していくことを推奨している。

これにより、非構造化データを構造化データに変換し、データの精度を高めて投入するデータを精査できるというわけだ。

建設機器メーカーにおける事例では「Advanced parsing」を利用してPDFをマークダウンに変換し、精度を高めている

また、精度改善に向けた評価指標や仕組みについては、想定質問と模範解答を組み合わせたデータセットを作り、実際に質問を生成AIに投げたときに、どれだけ近しい回答なのかを人間が評価する手法が望ましいとのことだ。

同氏は「人がチェックするのは手間がかかるのですが、最もやりやすい手法です。どのように回答して欲しいかは人間が分かっているため点数を付けやすいことから、お客さまには初手としては人によるチェックをした方が良いという話をします。規模が大きくなってきた際には、評価自体を生成AIにさせる方法を紹介しています」と説明している。

生成AIにおけるセキュリティリスクと対策

続いては、セキュリティだ。セキュリティリスクの中でも特に注意すべき事項としては、AIへの指示(プロンプト)に不正な入力を混ぜることで、AIが意図しない動作をさせ、機密情報の漏えいや不正な情報の生成・操作を行うサイバー攻撃手法である「プロンプトインジェクション」のほか、差別的な表現、暴力的な表現をするなど倫理的ではない回答してしまうことに配慮すべきとのことだ。

セキュリティリスクと、その対策

このようなセキュリティリスクに対しては、OWASPが公開したLLMに関するリスクトップ10の「OWASP Top 10 for LLM Applications」の活用を提言。

村上氏は「お客さまから生成AI特有のリスクやセキュリティ対応を聞かれた際に使います。リスクの概要と、それを緩和するためにどのような施策あるのか1ページで端的にまとまっていることから、入門編として全体感を知ることができるものです。さらに、一般的な対策としてデータの暗号化やアクセス権限の話などは必ずします」と力を込める。

「OWASP Top 10 for LLM Applications」の概要

また、Amazon Bedrockのガードレールに加え、「AWS Well Architectedフレームワーク」でネットワークの保護から認証、適切なIAM権限設定、適切なアクセスコントロールまで、セキュリティの柱に沿ってレビューを行う。

AWSを利用する場合は「AWS Well Architectedフレームワーク」に沿ってレビューすることを推奨している

同氏は「OWASP Top 10 for LLM Applicationsでは一般的な話でのセキュリティ対策となります。当然、AWSの話は出てこないのでAWSに落とし込む際には、AWS Well Architectedフレームワークなどを使い、具体的な話をしていきます」と述べている。

PoCから本番導入へ、推進体制の構築

最後は推進体制についてだ。生成AIの活用に限らず、何かしらのプロジェクトがPoC止まりに終始することも少なくない。その点に関して村上氏は以下のように話す。

「先に進まないのは2種類あると思います。1つは曖昧になってしまうことです。終わってもいなければ、進んでもいないような状態は一番避けるべきです。もう1つは設定したゴールにリソースを投下しても、その水準に達しないため中止するパターンです。どちらかと言えば後者は正常な判断ですが、曖昧になることは防がなければなりません。前述のようにゴールを設定して改善のサイクルを回し、定量評価を行うことは必要です」(村上氏)

ゴールを設定して改善のサイクルを回し、定量評価を行うことが重要だという

さらに、同氏は「PoCと言いつつ、どんどん要件が出たり、PoCで作ったものを本番環境で利用したりすることなどもあるため、そもそもプロトタイピングはそういうものではないという意識付けをします。PoCで構築したものではなく、本番環境に適用させるために要件定義からすべて行う必要があります」と続けた。

企業が生成AI導入で成功するためのポイント

ここまで、3つの課題をもとに企業における生成AIの活用に関する対応について聞いてきたが、成功している企業に共通するポイントは気になるところだ。村上氏は「スピードと少人数で進めること、そして小さく始めて早く失敗することです」との認識を示す。

村上氏

同氏は「スピードについてはボトムアップ、トップダウンの両輪で進めていくことを推奨しています。ボトムアップだけだと、現場がやる気があっても上席の人がそこまでのモチベーションがないとプロジェクトがストップしますし、逆にトップダウンだけだと上から言われてやるような感じになってしまいます。また、少人数の観点では、まずは一部署からでもスタートすべきです。小さく早くは、PoCなどできるだけ小さいスコープでリリースまで持っていき、利用したユーザーからフィードバックを集めて改善を行うお客さまは成功している印象があります」とのことだ。

こうした生成AIの導入に関する企業の課題に対し、同社でも支援策としてAWS向けの「生成AIワークショップ」や「生成AI PoC伴走支援」を用意している。村上氏は、その特徴について「お客さまの状況に応じて、どのような支援が必要か要望を伺い、支援できる点です。また、当社はAWS プレミアティアサービスパートナーという強みがあり、お客さまの紹介に加え、これまでの実績を多く活かせています」と話す。

サーバーワークスでは「生成AIワークショップ」や「生成AI PoC伴走支援」を用意している

最後に将来的に組織・企業における生成AIの活用は、どのように進化していくのか尋ねてみた。同氏は「パーソナライズ化されていくと思います。昨年にMetaのマーク・ザッカーバーグ氏は1つの汎用的なAIがあるのではなく、それぞれの人に応じた自分専用のAIができるということを言っています。まさに、最近の流れを見ると多くのエージェントが登場しており、MCP(Model Context Protocol)でつないでパーソナライズ化していく方向になっていくのではないでしょうか」と予想していた。