設備の異常音を1つの見本で検出可能に、東芝がフィジカルAI向け「聴覚」を開発

このフィジカルAI関連ニュースのまとめ

・東芝が設備音と作業者の発話を現場ごとに認識できる2つのAI技術を開発
・1つの音の見本でも異常音を検出でき、現場ごとのAIモデルの追加学習が不要
・訂正記録とLLMを活用して専門用語の認識精度を高め、約3年後の実用化を目指す

東芝は10月22日、現場ごとに異なる設備音や警報音、作業者の発話などを認識する2つのAI技術を開発したと発表した。

開発したのは、検出したい音の見本を少量登録するだけで、長時間の録音から同じ種類の音が発生した区間を見つける「Few-shot音響イベント検出技術」と、利用者による音声認識結果の訂正記録を蓄積し、現場固有の専門用語や設備名の認識精度を高める「誤り訂正記録活用型音声認識技術」となる。

東芝が開発した2つのAI技術の概要。少量の見本から設備の異常音などを検出する技術と、利用者による訂正記録から専門用語の音声認識精度を高める技術で構成される (提供:東芝)

両技術の成果は、オーストラリア・シドニーで開催された音声・音響信号処理分野の国際会議「Interspeech 2026」で発表されたという。

音や会話に含まれる現場の知識をAIへ

製造や社会インフラの現場では、設備の稼働音、異常音、警報音、作業音に、設備の状態や故障の兆候を示す情報が含まれている。

作業者の会話にも、確認すべき場所や判断の根拠、設備固有の名称、熟練者が蓄積したノウハウなどが含まれる。これらをデータ化できれば、設備監視や作業記録の省力化に加え、熟練者の知識を若手へ継承する手段として活用できる。

しかし、従来の音認識技術では、設備や異常の種類ごとに大量の音を収集し、それぞれへ正常・異常などのラベルを付け、専用AIモデルを学習させる必要があった。

異常音は発生頻度が低いため、学習に必要なデータを集めにくい。別の工場へ移すと背景にある設備音や反響も変わり、認識性能が低下する可能性もあった。

1つの音の見本から異常の発生区間を検出

Few-shot音響イベント検出技術は、検出したい音の見本と現場で収録した音を、あらかじめ多様な音を学習した音基盤モデルへ入力する。

音基盤モデルがそれぞれの特徴を抽出し、時間方向に比較。両者の類似度が基準を超えた区間を、見本と同じ種類の音が発生した区間として検出する。

Few-shot音響イベント検出技術の仕組み。見本と現場の収録音を音基盤モデルで特徴量へ変換し、類似度が高い区間を対象音の発生区間として検出する (提供:東芝)

検出対象ごとに専用モデルを作るのではなく、音基盤モデルが抽出した特徴を比較するため、新たなAIモデルの学習を必要としない。1つの音の見本でも動作し、設備の異常音や警報音など、検出対象を現場に応じて切り替えることも可能だという。

背景音を除き、検出したい音の特徴を抽出

実際の現場では、登録する見本と現場の収録音の双方に、設備の稼働音や作業者の会話などが混入する。そのまま比較すると、異なる背景音が類似度の計算へ影響し、検出漏れや誤検出が発生する可能性がある。

東芝は、現場の収録音から背景音の特徴を推定し、その特徴を見本の音から除去。背景音を除いた目的音の特徴と現場の収録音を比較することで、騒音環境でも目的の音を検出しやすくした。

雑音環境への対応方法。見本と現場の収録音から背景音の特徴を抽出し、その影響を抑えた目的音の特徴を比較することで、騒音下での検出性能を高める (提供:東芝)

音響イベント検出の公開ベンチマーク「DCASE 2024 Task 5」の検証用データによる評価では、追加学習なしでF値62.4％を達成した。

従来1位の方式はF値70.6％だったが、生物の鳴き声を使った追加学習を行っていた。東芝は追加学習を行わず、それに次ぐトップクラスの性能を確認したとしている。

利用者の訂正を専門用語の認識へ反映

2つ目の誤り訂正記録活用型音声認識技術は、音声認識モデルによる誤った書き起こしと、利用者が直した正しい表記の組み合わせを蓄積することで精度を向上させるというもの。

例えば、音声認識が「減速機」を「原則機」と誤認識した場合、利用者が訂正した結果を保存する。以降、同じ言葉を含む発話を認識すると、過去の訂正記録をLLMへ入力し、文脈に合う表記へ補正する。

誤り訂正記録活用型音声認識技術の概要。音声認識による誤った表記と利用者が訂正した正しい表記を記録し、LLMを活用して新たな発話の認識結果を補正する (提供:東芝)

訂正記録を増やすだけで現場固有の専門用語や製品名、設備名へ対応でき、音声認識モデルそのものの再学習や辞書の継続的な更新を必要としない。

異なる誤り方をした場合でも、音声から正しい専門用語の候補を捉えることができれば、関連する訂正記録をLLMへ与えることで補正できるという。

約3年後をめどに実用化へ

東芝は、2つの技術を製造、エネルギー、社会インフラ、物流、建設などにおける設備監視や保守業務、専門用語を含む作業記録や保守報告書の作成支援、コンタクトセンターの応対記録など幅広い業務に適用させることを検討していくとするが、現時点で適用先や事業化のスケジュールは確定していないとする。ただし、特定のユースケースでは実用性能を得られたとの評価もあり、利用しやすい形へ整えながら、約3年後をめどに実用化する考えだ。

今後は、異常音の発生を検出するだけでなく、検出結果に基づいてどのような対策を取るべきかをAIが判断する技術にも研究対象を広げるともしており、映像やセンサデータに加え、設備音や作業者の発話をフィジカルAIの「聴覚」として活用し、現場の状況や熟練者の知識を理解・蓄積・共有する音・音声理解基盤の実現を目指すとしている。