NVIDIAは10月28日、音声認識モデル「Nemotron 3.5 Transcribe」と、多言語音声データセット「Granary v2」を公開した。Nemotron 3.5 Transcribeはオープンウェイトで提供され、Hugging FaceやModelScopeから利用できる。
-
「NVIDIA Nemotron 3.5 Transcribe」公開。40言語対応の音声認識AI、話者分離や翻訳にも対応
Nemotron 3.5 Transcribeは、文字起こしに加えて話者分離、翻訳、音声内容に対する質問応答を1つのモデルで実行できるAIモデル。40言語の文字起こし、31言語と英語間の翻訳、13言語での話者分離に対応し、最大1時間の録音と最大8人の話者を扱える。
モデルは約300億パラメータ規模で、1トークンあたり実際に動作するのは約40億パラメータ。英語の音声認識ベンチマークでは平均WER 5.33%を記録したという。ローカル実行にも対応し、量子化版をRTX Spark、DGX Spark、Jetson AGX Thorなどで利用可能。vLLMや「NeMo-Speech.cpp」による推論にも対応する。
