言語系AIサービスの効果はどう測る? 導入企業が設定した"KPI"

ガートナー ジャパンは11月12日～14日、年次カンファレンス「Gartner Symposium/ITxpo 2018」を都内にて開催した。本稿では、NTTコミュニケーションズ（以下、NTT Com） AI推進室 担当部長 福田亜希子氏による講演「言語系AI導入におけるKPIをどのように設定すべきか」の模様をレポートする。

言語系AIサービス「COTOHA」

人手不足解消や顧客体験(CX)の向上などを目的に、バーチャルアシスタントやチャットボットの活用が進んでいる。AI技術を活用して、入力された音声から必要なテキストを抽出したり、話し言葉を正しく理解して答えを導いたりと、近年のバーチャルアシスタントやチャットボットの発展は目覚ましいものがある。

こうしたなかで課題の1つとして浮上してきたのが、これらAIサービスの効果をどう測るかだ。ビジネスへ適用する以上、PoCで終わらせてしまうのではなく、一定の指標で成果を測定し、次の取り組みに反映していくことが重要だ。

「言語系AIは、質問に対して返答／問い直しを行うAIサービスです。言葉を理解し、答えを推論して提示します。NTT Comでは『COTOHA』という言語系AIサービスを提供し、日本語の高度なコミュニケーションから業務処理までお客様のビジネス改革をサポートしています」(福田氏)

NTTコミュニケーションズ AI推進室 担当部長 福田亜希子氏

COTOHAシリーズでは、NTTグループが40年以上にわたって研究してきた日本語解析技術を採用している。日本最大級の日本語辞書群を使って、述語項構造などを用いた深い意味解析ができることが大きな特徴だ。福田氏は、次のように例文を挙げて日本語解析の難しさを説明する。

「日本語は、ごく普通の言葉でも解析の難しさがあります。例えば、『昨日サラダと焼き肉を食べた』の主語は『私』ですが、『昨日妹と焼き肉を食べた』なら主語は『私』と『妹』になります。同じ言葉の並びでも、主語が補完されたり、助詞の働きが変わったりするのが面白いところです。AIが答えをユーザーに返す際にも『昨日食べた妹さんは美味しかったですか』にならないようにする必要があります」(福田氏)

AIに学習させる際のポイントは、言葉の意味を与えた上でAIに処理させ、言葉同士の関係性を正しく把握できるようにすることだという。

このCOTOHAは現在、「バーチャルアシスタント」「チャット＆FAQ」「翻訳サービス」「API」の4つの領域でサービスを展開しているが、講演ではこのうち、バーチャルアシスタント「COTOHA Virtual Assistant」と翻訳サービス「COTOHA Translator」の2つについて、事例を交えながら、活用のポイントや何をKPIに設定したかなどが紹介された。