KDDIとKDDI総合研究所は11月26日、チャット上のやり取りにおいて人間の応対を学習し高精度に再現するAIエージェントを開発したことを発表した。このAIエージェントにはKDDI総合研究所が開発して特許を取得した、ハルシネーション抑制技術が用いられている。

AIエージェントが過去の適切な応対を参考にして応対の流れを構造化した上で、不足している情報を自律的に収集してファクトチェックし応対文を生成することにより、ハルシネーションを抑制しつつ回答精度の向上を実現している。

技術開発の背景

KDDI総合研究所はAIの活用においてハルシネーション抑制が重要だとして、早期から研究開発に着手してきた。海外大学との共同研究を経て、2023年12月には今回のAIエージェントの基礎となる技術を開発。2024年7月には情報通信研究機構との共同研究にも同技術を活用するなど、ハルシネーション抑制技術の開発を進めてきた。

auチャットサポート窓口への問い合わせでは、約80%の簡単な質問に対してはAIチャットボットが自動で回答し、残り約20%のAIチャットボットでは対応しきれない難易度の高い質問についてのみ、スタッフにエスカレーションする仕組みで運用されている。

近年は利用者からの問い合わせが多様化および高度化しており、スタッフの応対を必要とするケースは月間で約16万件に上るという。しかしその一方で、スタッフの経験やスキルによて応対品質や効率にばらつきが生じることが課題となっていた。

  • auチャットサポート窓口におけるAIエージェント活用例

    auチャットサポート窓口におけるAIエージェント活用例

開発した技術の概要

AIで応対文を生成する際の手法として、RAG（Retrieval-Augmented Generation：検索拡張生成）が知られている。RAGはマニュアルを参照しながら、定型的に回答する場合などに高い精度を示す。

しかし、同社が今回開発したようなAIエージェントの対象となる、AIチャットボットで対応しきれない難易度の高い質問に対しては、単純にRAGを適用した場合の回答精度は20%程度とされる。

これは、難易度の高い質問に回答するためにはスタッフの暗黙知を考慮した上で自律的に情報を収集する必要がある一方で、複数のマニュアルを参照する中で情報が混合し、ハルシネーションが発生するためだと考えられる。

auチャットサポート窓口における過去の応対履歴には、利用者に対し有効な回答ができた場合など、参考にすべき事例が多く含まれる。これらの応対事例は利用者からの相談内容や、その時々の状況に合わせてスタッフが対応したものであり、背景や文脈が多様かつ複雑な一方で、スタッフの暗黙知を抽出できる可能性がある。

AIエージェントの開発においては、過去の参考にすべき事例を複数組み合わせ、かつハルシネーションを抑制しながら利用することを目指し、まずは利用者からの問い合わせの要点を整理した。

さらに、過去の参考にすべき事例を基に、「適用条件を確認する」「確認方法を提示する」のような応対パターンを分析し、構造化。この応対パターンに基づいて仮組みした応対文に対して、社内マニュアルから追加情報を収集し、ファクトチェックすることでハルシネーションを抑制しつつ自律的に最適な応対文案を生成する。

問い合わせの対応時間を約70%削減

auチャットサポート窓口でAIエージェントを利用した結果、回答精度約は90%を実現した。スタッフが質問に対する回答文を作文する作業をAIエージェントが代替し、スタッフは提示された回答文案を確認および編集するだけで迅速に対応可能だったという。

その結果、問い合わせ一人当たりの応対時間を従来よりも約70%削減できる見込みとなり、スタッフの応対品質のさらなる均一化にも寄与する可能性が示された。

このAIエージェントは他部署や他業種への展開が可能な汎用パッケージとして開発が完了しており、今後は類似の問い合わせ応対への活用を進め、社内でのユースケース拡大とグループ会社への横展開を推進するとともに、商用提供を目指すとのことだ。