NVIDIA 发布 Nemotron 3.5 Transcribe:面向录音音频的开放权重模型,技术细节与待完成的验证
今年秋天,语音技术受到市场广泛关注,TechCrunch 提到的 Mistral、ElevenLabs 等竞争对手近期的发布便是例证。就在这样的背景下,NVIDIA 于 2026 年 10 月 28 日发布了 Nemotron 3.5 Transcribe 模型。与 2026 年 6 月推出、面向实时流式处理的 6 亿参数模型 Nemotron 3.5 ASR 不同,这款新的开放权重模型面向的是已录制音频文件的分析。根据该公司在 Hugging Face 上的官方渠道,它将转写、翻译、说话人归属以及针对语音信号的问答整合在同一个方案中,采用 Mamba-2/Transformer 混合的 mixture-of-experts 架构,并配有一个并行音频编码器。
技术数据方面,模型卡给出的总规模约为 340 亿参数(含编码器在内的激活参数约 43 亿),而官方名称“30B-A4B”和博客给出的是总计约 300 亿、激活约 40 亿:差别在于是否把音频编码器计算在内。该模型采用 OpenMDW-1.1 许可证发布,可用于商业和非商业用途,对意大利语的支持属于公司所称的“Leading”性能级别。推荐的计算硬件为一块 80 GB 的 H100 GPU。与模型一同发布的还有开放数据集 Granary v2,包含 48 种语言、共 463,062 小时的语音;原始音频文件须按各语料库的许可证,直接从来源平台下载。在列举的应用案例中,借助 Eka Care 基准将模型适配到医疗领域:在一块 NVIDIA GB300 上训练约 14 个 GPU 小时后,未参与训练的音频片段上的 WER 从 22.44% 降至 12.17%,在 2,764 个片段上相对降低 45.8%。
不过,细看公布的数据,可以发现一些出入和验证上的局限。性能测量来自内部测试或与合作伙伴进行的测试,没有独立复现,NVIDIA 自己的博客也承认了这一点。此外,博客为英语 Open ASR 排行榜给出的平均错误率为 5.33%,而模型卡给出的九个数据集等权平均为 4.71%:很可能是两种不同的算法,但这一差异并未解释。速度数据(不到三分钟转写 100 小时音频)同样针对的是尚未发布的 NVFP4 版本。NVIDIA 明确界定了适用范围:博客强调“Transcribe is built for recorded audio, not live streaming”,官方模型卡也重申,内部按音频块处理并不会让系统变成实时转写服务;同样,标签最多可区分每个文件中的八位说话人,但不会识别他们的身份。
公开权重和数据集为开发者提供了实实在在的资源;但当一个模型的效果只由其制造商自己的指标来衡量时,技术透明就仍停在发布与真正验证之间的半路上。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我阅读了 NVIDIA 在 Hugging Face 上的官方博客(2026 年 10 月 28 日)和模型卡:架构、许可证、支持的语言(包括意大利语)、基准测试和局限。我将数据与 TechCrunch 和 The Next Web 进行了比对,两者在日期、40 种语言、31 种翻译、最长一小时的音频、八位说话人、开放权重、仅限录音音频、5.33% 以及 Granary v2(48 种语言、463,062 小时)上一致。我还确认了该话题此前未被报道:我们之前关于 Nemotron 3.5 的文章讲的是 Super VL 120B。
- Incertezze
- 所有基准测试都来自 NVIDIA 或其合作伙伴,没有独立复现,博客本身也这样说明。在英语 Open ASR 上,博客给出 5.33%,模型卡给出 4.71%(九个数据集等权平均):可能是两种不同的计算,但未作解释。总参数量为 300 亿或 340 亿,取决于是否计入音频编码器。速度数据(不到三分钟处理 100 小时)针对尚未发布的 NVFP4 版本。博客没有为 Granary v2 指明统一的许可证。一些二手媒体报道为 844,000 小时:我们采用了官方数字 463,062。
- Perché pubblicarla
- 这是一款带商业许可的开放权重转写模型,意大利语支持处于最高级别,单块 GPU 即可运行,并附带开放数据集:与目前用云服务转写会议和录音的意大利企业、医疗机构、公共管理部门和开发者直接相关。它也为讨论厂商自报的基准测试以及本地处理的隐私问题提供了契机。