目录
NVIDIA Nemotron 3.5 Transcribe 将多语言转写、说话人标签、翻译和音频问答整合到一个开放权重模型中。首先通过提示词指定所需语言和输出格式,如果仍存在词汇识别错误,再使用 Granary v2 和 NeMo Speech 进行适配。
要点#
- 支持 40 种语言的转写、31 种语言与英语之间的双向翻译,以及 13 种语言的说话人识别。
- 可处理最长 1 小时、最多包含 8 位说话人的录音,但面向录制音频设计,不适用于实时流式处理。
- Granary v2 提供涵盖 48 种语言、463,062 小时音频的数据清单,以及用于准备训练数据的可复用流水线。
- 在 NVIDIA 的医疗领域案例中,与使用最佳提示词的基线相比,留出数据上的词错误率相对降低了 45.8%,但在通用英语上的表现略有下降。
模型能做什么#
Nemotron 3.5 Transcribe 于 2026 年 10 月 28 日发布,开发者可以通过同一个检查点请求不同的输出。通过指令,可以要求模型生成带说话人标签的转写、英语翻译,或回答有关录音的问题。词级时间戳有助于实现课堂录像的可搜索播放等功能。
支持的任务因语言而异。支持 40 种语言的转写,并不意味着所有语言都能使用翻译或说话人识别功能,音频问答则使用英语进行训练。在多语言应用中采用该模型前,请查看模型卡中的各语言任务支持表。
检查点可从 Hugging Face 和 ModelScope 获取。部署时,可使用用于推理服务的 vLLM、用于本地运行的 NeMo-Speech.cpp,以及发布信息中列出的服务商托管端点等。NVIDIA 报告称,该模型可在单张 NVIDIA GPU 上运行,但仍需确认实际工作负载所需的显存和吞吐量。
先从准确的提示词入手#
在考虑训练之前,先指定语言、文字系统和转写规范。NVIDIA 针对医疗音频给出的指令会列出“HbA1c”和“metformin”等候选术语,要求使用标准拼写,并指定仅在音频有依据时使用这些术语。
请明确以下选择。
- 保留还是删除填充词。
- 用文字表示数字,还是采用常见的数字写法。
- 保留原语言,还是翻译成英语。
- 根据需要包含说话人标签和时间戳。
请使用有代表性的录音评估提示词。在 NVIDIA 的医疗领域研究中,指定英语和拉丁字母后,整个基准测试的词错误率(WER)从 30.8% 降至 23.8%。这一结果支持先尝试调整提示词,但并不表明其他领域也能获得同样的改善。
Granary v2 提供什么#
Granary v2 提供数据清单,以及使用 NeMo Curator 构建的可复用数据整理流水线。公开版本涵盖 48 种语言、16 个源语料库。这些数字描述的是公开数据集,并不代表模型全部训练数据的构成。
该流水线会生成明确的标准参考文本。同一段话可以生成“I paid, uh, twenty-five euros,”“I paid, uh, €25,”“I paid €25.”等写法。这对于既要求识别正确、又要求格式一致的应用很重要。数据清单还包含来源、质量标记、上下文相关术语和衍生任务标签。
请使用公开数据清单,或将流水线应用于您有权处理的录音。原始音频需要遵循各语料库的原始许可证另行下载。Granary 的 HiFi 阶段会剔除包含噪声、削波失真和多位说话人的片段,以满足需要更干净音频的用途。这个子集可能无法代表识别难度较高的会议录音。
何时适合微调#
即使经过充分优化的提示词仍无法准确处理反复出现的词汇、口音或书写规范时,微调就能发挥作用。NVIDIA 的医疗领域训练方案结合了约 153 小时的合成语音、29 小时带口音的英语和 63 小时的医疗录音。
最有说服力的结果来自按说话人互不重叠的方式划分数据的评估。在留出的 2,764 个片段上,使用最佳提示词时的 WER 为 22.44%,适配后降至 12.17%,相对降低了 45.8%。关键词 WER 也从 9.2% 降至 6.5%。整个基准测试上更大的改善包含了用于调优的片段,因此请使用留出数据的结果判断泛化性能。
这也存在取舍。LibriSpeech test-clean 的 WER 从 1.54% 升至 1.69%。除了领域评估外,也请保留针对通用语音的独立检查。NVIDIA 建议至少使用 100 个带标签的真实音频片段来选择检查点。请单独评估应用中重要的人名、药品商品名、单位及其他专有实体等。
谨慎解读基准测试#
发布信息报告称,该模型在 Hugging Face Open ASR Leaderboard 上的英语平均 WER 为 5.33%,在 Artificial Analysis 上的 AA-WER 为 2.8%。两者的评估方法不同,不应直接比较。说话人识别有单独的指标,仅凭转写准确率无法判断发言是否分配给了正确的人。
吞吐量也需要核实测试条件。NVIDIA 报告称,在单张 RTX PRO 6000 Blackwell Server Edition GPU 上,使用 NVFP4 精度、30 秒音频片段和高并发设置,可在不到 3 分钟内处理 100 小时音频。这是批处理吞吐量,并不保证上传 1 小时音频后的响应时间。请使用实际录音长度进行测试,并人工检查人名、说话人切换和有关音频的回答。
下一步#
将一个固定提示词应用于 100 条有代表性的带标签录音,记录转写错误和专业术语错误,为模型适配建立基线。
来源: https://huggingface.co/blog/nvidia/nemotron-transcribe-granary
目录
