NTTは、セキュリティ事故対応や一般的なユーザーサポート対応における問い合わせ履歴から、熟練オペレーターの判断プロセスを約9割という高い精度で可視化する、世界初のAI技術を開発したと8月1日に発表した。

  • 熟練者の判断プロセスの抽出と可視化の概略
    (出所:NTT Webサイト)

同成果は、NTT サービスイノベーション総合研究所によるもの。詳細は、7月27日から8月1日までオーストリア・ウィーンで開催された自然言語処理に関する国際会議「ACL 2025」にてファインディングスに採録された。

セキュリティ事故対応やユーザーサポートなどの現場では、より専門性の低い人材への業務のアウトソースや、大規模言語モデル(LLM)などによる対応の自動化技術が強く求められている。しかし、それらを実用化するには、問い合わせ対応業務の中核を担う熟練オペレーターが、どのように考え、どのようなノウハウのもとに対応しているのかを理解する必要がある。

しかし、そうした熟練者の独自の思考やノウハウに基づく対応業務は、その判断プロセスが見えづらいことが課題となっていた。そのため、問い合わせ対応におけるノウハウの継承が進まず、熟練者の人材不足が深刻化するという問題が発生している。そこでNTTは今回、LLMを用いて問い合わせ履歴を分析し、熟練者の判断プロセスを高精度で可視化するAI技術を開発することにした。

今回開発された技術ではまず、テキスト化されたすべての問い合わせ履歴について、LLMを用いて「質問」や「提案」を抽出し、同じ内容のものを統合した「統合質問リスト」と「統合提案リスト」が作成される。

  • 「質問」と「提案」を抽出し、統合リストを作成
    (出所:NTT Webサイト)

次に、問い合わせ履歴を対象に、統合質問リストと統合提案リストをLLMに参照させる。そして、対話が統合質問リストのどの質問と回答に該当し、統合提案リストにあるどの提案につながる対話だったかが分析。その結果、質問と回答から提案に至るまでがフローのかたちで構造化される。すべての問い合わせ履歴に対して同様の分析を行うことで、問い合わせ履歴が構造化されたフローへと変換される。

  • 問い合わせ履歴の構造化
    (出所:NTT Webサイト)

各構造化フローにおいて、そこに出現する質問または提案から、次の質問または提案への遷移を1ステップと定義する。そして、その出現回数をLLMにカウントさせ、出現回数が多いものが上位とするツリー構造へと変換。これにより、質問・判断フロー(フローチャート)が生成されるという仕組みだ。

  • 質問・判断フローチャートの構築
    (出所:NTT Webサイト)

続いて、今回の技術の精度を確認するため、自然言語処理技術の評価などに用いられる公開データセット「FloDial」を用いた実験が行われた。FloDialに含まれる問い合わせ履歴から、今回の技術で作成したフローチャートと、FloDialに含まれる正解フローチャートを比較。それぞれのフローチャートにすべての問い合わせ履歴を抽出し、同一のものであるかが判定された。

その結果、正解フローチャートにおける質問・提案のツリー構造を約9割再現できることが確認された。つまり、明確な構造を持たない自由な自然言語による対話から、熟練者の判断フローを高い解釈性と視認性を備えたフローチャート形式で、精度よく抽出できることが示されたかたちだ。

今回のAI技術は、セキュリティ事故対応やコールセンター業務などの問い合わせ対応において、たとえ新人であっても熟練者レベルの対応が再現可能になる点が最大の特徴だ。現時点では、理想的な公開データセットFloDialを用いた方式の確認ができた段階であり、今後は実務における問い合わせ履歴を用い、情報の欠落や対話の飛躍などがある場でも利用可能なよう、抽出・可視化の精度向上を目指すとする。

今回可視化されたフローチャートは解釈性が高く、人手での修正も容易なことから、業務ノウハウの継承だけでなく、問い合わせ対応の自動化への応用も期待されるという。このフローチャートに基づき自動応答システムを構築することで、システムの応答根拠が明確となり、安心して問い合わせ業務を任せることが可能となるとしている。