生成AI活用のPoCはなぜ成功しないのか？本番稼働に不可欠な2つのポイント

ChatGPTの登場に端を発した生成AIブーム。プログラミング言語を記述しなくとも自然言語を用いたチャット形式でAIを活用できるため、ビジネスの場面においても活用が期待される。最近ではテキストだけでなく音声や画像を生成可能である、マルチモーダルなAIも活躍の場が広がりつつある。

その反面、特にビジネスの現場においては多くの企業が生成AI導入のPoC（Proof of Concept：概念実証）段階で止まってしまい、実業務での運用までに至らない例も多い。Ridgelinez執行役員パートナーの水谷広巳氏は「PoCから次のステップである本番稼働に移行しているプロジェクトは全体の3分の1ほど。残り3分の2はPoCで終わってしまっている」と指摘した。

Ridgelinez 執行役員パートナー水谷広巳氏

Ridgelinezがこのほど、生成AI活用をPoCから実運用へ進められない問題とその解決策について、記者向けの勉強会を開催した。勉強会では、同社がこれまでにテクノロジーコンサルティングを行う中で培った知見が紹介された。

生成AI活用がPoC止まりで終わる4つの要因

冒頭、水谷氏は「生成AIはツールを活用するだけなら簡単。多少のお金さえ払えばChatGPTやそれに似たツールを使い始めることはできる」と説明した。では、なぜ多くの企業がPoCで終わり、本番稼働へと移行できないのだろうか。

多くのプロジェクトがPoCで終わるという

水谷氏は本番稼働に移行する際の課題として、「生成AI技術の選定」「非機能要件と既存システムの連携」「戦略なきPoC」「運用コストと投資対効果」の4点を挙げた。

生成AIのサービスや製品はリリースが早く、さらにハイパースケーラーをはじめプレイヤーも多いため、最適な技術の選定が難しい。また、選定したとしてもすぐに陳腐化してしまうため、技術選定が困難だ。

PoCから本番稼働へ移行する際に、それまで問題ではなかったシステムの性能やケイパビリティ、セキュリティに関する問題が顕在化する場合がある。加えて、既存のビジネスプロセスとの統合が複雑になる可能性もある。

また、生成AI関連サービスやツールの多くはすぐに使い始めることができるが、その反面、身近なところから戦略なく始めてしまったために、生成AIの利用の広がりに欠ける場合があるという。

さらに、PoCから本番稼働への移行に伴って運用コストが高額になる可能性もある。特にLLMのAPIに関するコストは利用の中で膨らむ可能性があるため、注意が必要。そうした点でも、投資対効果を判断するために生成AI活用の戦略が求められる。

生成AIを社内に定着させるために必要な2つの要素

これらの課題に対し、水谷氏は「戦略」と「アーキテクチャ」の2点が不可欠だと説明。「生成AIがはやっているからと、戦略もなくとりあえず使い始めるのではPoCから本番稼働へ移行できない。経営戦略としてどれだけの投資をしてどのような効果が期待できるのかを判断しなければいけない」と、話していた。

本番稼働へ移行するために検討すべき事項

また、「自社のあるべき姿を描いて、ツールの導入にどれだけのコストをかけてどのようなリターンが得られるのかを判断することは、生成AIではない他のツールを導入する際にも当たり前にやっているはず。生成AIはあまりにも流行しすぎていて、前のめりに焦ってしまい裏目に出る場合も多い」と指摘していた。

アーキテクチャの選定においても、複数のベンダーを比較しながら、ときにはマルチクラウドのように複数の生成AIを組み合わせて活用する必要がある。将来新しいツールやサービスが出たときに、アーキテクチャ戦略がしっかりしていないとすべてのシステムを入れ替えなければいけない事態にもなりかねない。

「単に生成AIと言っても、企業で使う際にはフロントエンドやバックエンド、連携先の情報ソースなど3つの階層に分けられる。既存システムとの整合性を保持しつつ、モデルだけを入れ替えたいといった要望が出たときにアーキテクチャデザインに沿って対応できるようにしておくことが重要」（水谷氏）

生成AIアーキテクチャのイメージ

生成AI活用のコンサルティングサービスを手掛けるRidgelinezだが、社内での生成AI活用の割合は6割を超えるそうだ。しかし、同社がこれまで支援してきた企業における生成AIの活用は多くの場合1割程度。多くても2割に満たないほどだという。そこで、上席執行役員パートナーの伊藤清隆氏に、社内における生成AI定着のヒントについて質問した。すると、以下のような返答だった。

「当社は社内で生成AI活用勉強会を頻繫に実施している。単に導入するだけでなく、認知を広げて使ってもらうところまでサポートする。実際に使ってもらうとユーザーから不満や意見が出るので、それを反映して改良し、再度使ってもらう。このキャッチボールを繰り返したことで、ある時点から急速に現場で使ってもらえるようになった」（伊藤氏）