Nvidia推出可提示式语音转录模型Nemotron 3.5
Nvidia推出30B混合专家架构转录模型Nemotron 3.5 Transcribe，支持40种语言转录及31种语言与英语互译，英语词错率5.33%，位居Hugging Face开放ASR排行榜首位。该模型支持自然语言提示词指令，用户可设定上下文、请求逐字稿或清洁版本，并可进行说话人归因及音频问答。
Nvidia于周三发布了最新的多语言转录模型Nemotron 3.5 Transcribe。该公司表示，这款开放权重的新模型在Hugging Face的开放ASR开源模型排行榜英语榜单上排名第一，平均词错误率为5.33%，同时在两项说话人识别基准测试中也位居榜首。
但更值得关注的是，这是一款可提示式的转录模型。所谓可提示，是指用户可以在模型进行转录之前给出具体指令。通常来说，这意味着为转录设定上下文，例如告知模型某个音频文件是一段英语医学讨论，并提供一份医学术语列表。
用户还可以要求模型标注每位说话人的身份，或就音频内容向模型提问。用户可以要求获取逐字稿或经过整理的版本，并指定数字的格式化方式等。
Nvidia将这些功能与翻译能力整合到了单一的检查点（checkpoint）中，这有助于简化围绕这些功能构建应用的工作。
理论上，设定这些上下文信息可以降低错误率。但代价是，这类模型的体量远大于传统转录模型——后者的参数量通常在十亿以下。而Nemotron 3.5 Transcribe是一个300亿参数的混合专家（MoE）模型，激活参数为40亿。
不过，这并非一个全新概念。近期业内已出现其他可提示式语音转文字模型，例如Mistral的Voxtral系列模型以及AssemblyAI的Universal 3 Pro。
而Nvidia则能够以更少的激活参数达到与Voxtral相近的错误率。根据Artificial Analysis的基准测试，Nemotron的词错误率为2.81%，而Voxtral Small为2.77%，但前者的激活参数约为40亿，后者为240亿。不过，该对比衡量的是准确率与激活参数数量之间的关系，而非运行时性能或内存需求。
该模型可转录40种语言，并支持其中31种语言与英语之间的互译。说话人识别功能支持其中13种语言，并能区分最多八个不同的说话人声音。音频问答功能则仅针对英语进行了训练。
开发者可以通过vLLM部署该模型，或使用NeMo-Speech.cpp在本地运行。Nvidia表示，该模型可在单张GPU上运行，支持的硬件范围从Jetson AGX Thor、DGX Spark到Blackwell数据中心GPU。
由于这是一款开放权重模型（采用OpenMDW-1.1许可协议），用户可以借助NeMo Speech的微调工具等，根据自身需求对模型进行微调，以降低错误率。
在一项医学转录案例研究中，Nvidia表示，通过微调，在未参与训练的说话人数据上，词错误率从最佳提示下的22.44%降至12.17%，相对降幅达45.8%。整个适配流程在单台GB300上耗时约14个GPU小时。
Nvidia还同步发布了Granary v2，这是一个基于NeMo Curator构建的可复用数据整理流水线，并附带覆盖48种语言、16个来源语料库、总计约463,062小时音频的公开数据清单。开发者可以在自己的录音数据上运行该流水线，以便为模型定制化做数据准备。需要说明的是，上述数据描述的是此次发布的数据集，并不代表Transcribe模型完整的训练数据组合或采样权重。