'一张生成的标题卡,写着“Ming-3.0-audio-tiny vs Voxtral 4B TTS”,副标题是“两块 GPU 却没有 TTS 基准,对比一块 GPU 和一张价目表”,三个标签分别写着“Ming:MIT,Talker 可选”、“Voxtral:CC BY-NC 4.0”、“Voxtral:70 ms 到首段音频”,页脚写着“Ming 的语音数据未公布;Voxtral 的数据来自 Mistral 自己的单 H200 基准测试。两者均未经独立复现。”'
Engineering & Research

Ming-3.0-audio-tiny 与 Voxtral 4B TTS:一个是附带了声音的倾听者,另一个则除此之外别无卖点

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

如果你只想生成语音,别的什么都不做,这场对比大约三十秒就能完成。Voxtral 4B T​TS是一个文本转语音模型:输入文本,输出 24 kHz 音频,二十种预设音色,九种语言,一份已公布的延迟表,以及禁止你出售生成结果的许可条款。Ming-3.0-audio-tiny是一个音频语言模型,碰巧包含一个语音生成器——一个 1.4 GB 的 Talker 被硬接到一个 17.74 GB 的 Thinker 上,带有三个具名音色和一条克隆路径,栖身于一个评估部分从未衡量过语音合成的仓库中。如果语音就是产品,那么这场比较还没开始就已结束。像这次发布这类发布背后的、有记录的 AI 故障和智能体事件,都收录在OrcaRouter AI 事件档案库中,其中每条记录都带有自己的来源、严重程度、置信等级和争议标记。

这个问题更有意思的版本是另一个:你正在构建一个必须理解音频并能用语音回应的东西,而你在决定是买一个两者都能做的模型,还是把一个监听器接到一个专用语音上。正是在这里,三十秒会变成一下午,因为这两个选项会在不同地方出问题,而且只有其中一个附带一个你可以据此规划的数值。

许可证比基准测试更具决定性

先从无论多少评估都无法解决的问题说起。Voxtral 4B TTS 采用 CC BY-NC 4.0——非商业许可——这一许可继承自构建该模型时使用的参考语音数据集:EARS、CML-TTS、IndicVoices-R 以及一个阿拉伯语自然音频数据集。Mistral 在模型卡上明确说明了这一点,并引导商业用户使用其 API。因此,这些权重对研究和个人使用开放,而商业路径是按费率表付费,而不是下载权重。

Ming-3.0-audio-tiny 在卡片元数据中以及它所指向的 GitHub 仓库的 LICENSE 中均标注为 MIT。值得注意的是:Hugging Face 仓库本身并不包含 LICENSE 文件,随附的两个参考音色也没有各自独立的条款。MIT 在这里是一项真正宽松的声明,但它是元数据中的声明,而非产物中的文件,采购部门会注意到这一点。

• 商业使用 — Ming:可以,MIT,权重和代码。Voxtral:不可通过权重;供应商 API 是获准途径。

• 包含的语音 — Ming:三个命名语音,其中两个以带转录文本的参考 WAV 形式提供。Voxtral:二十个预设。

• 语言 — Ming:模型整体支持中文和英文,没有单独的 Talker 语言列表。Voxtral:英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、阿拉伯语和印地语。

• 输出 — Ming:Talker 产生什么就输出什么;声卡既不指定采样率,也不指定容器格式。Voxtral:24 kHz、WAV、PCM、FLAC、MP3、AAC 或 Opus。

• 你运行的内容——Ming:Thinker,17.74 GB,外加第二台设备上的 1.4 GB Talker 和 1.6 GB VAE。Voxtral:单个 GPU 上的一个 BF16 检查点,至少需要 16 GB。

{{1}}已发布的语音质量{{/1}}——Ming:无。{{2}}Voxtral:同样没有{{/2}},但提供了一张延迟和吞吐量表格,这总比什么都没有强。

最后一行是对本次比较证据基础的诚实总结。两家供应商都没有公布自然度评分、说话人相似度数据,或合成语音的词错误率。Mistral 公布了它的速度有多快;inclusionAI 公布了模型听得有多好。没有人公布过这两者中任何一个听起来有多好。

Mistral 的数字究竟说明了什么

Voxtral 表是一个服务基准测试,正确解读它很重要。在单块 NVIDIA H200 上使用 vLLM-Omni 0.18.0、500 字符输入和十秒参考音频片段测得:

• 并发数 1 — 延迟 70 毫秒,实时系数 0.103,每块 GPU 每秒约 119 个字符。

• 并发数 16 — 331 毫秒,RTF 0.237,约每秒 879 个字符。

• 并发数 32 — 552 毫秒,RTF 0.302,约每秒 1,431 个字符。

由此得出两点。第一,RTF 会随并发上升——从 0.103 到 0.302——所以批处理带来的吞吐提升真实存在,但呈次线性;字符量大约提升到十二倍,而实时因子大约增加到八倍。第二,并发为 1 时 70 毫秒的首音频延迟,是决定语音智能体是否让人觉得“有生命感”的关键数字,而 Ming-3.0-audio-tiny 没有这个数字。不是更差的数字,而是根本没有。

Mistral 把这一切都标记为未复现且由厂商运行,事实也确实如此。但至少这是一个附带方法的声明:明确的硬件、明确的运行时版本、明确的输入长度、明确的参考长度。你本可以重建这套测试框架。

A screenshot of the Voxtral-4B-TTS-2603 model card on Hugging Face, showing the Like and Follow counts, the Text-to-Speech and 9 languages tags, arXiv 2603.25551, and a licence line reading CC BY-NC 4.0.

Ming 的语音路径无法回答的问题

这个微型模型的语音输出在卡片中用三句话描述:内置声音或参考声音、三个具名声音、从参考音频片段及其精确转录文本进行克隆。部署指南补充了操作细节——Talker 作为第二阶段运行,耗时 0.18 秒,输出上限为一个 token,温度为 0.0,因为它不生成文本。

在代码库的任何地方,都没有关于合成输出的采样率、自然度指标、与参考音频片段的相似度指标,也没有说明这三个声音是同一说话人的不同音区,还是真正不同的说话人。评估图片涵盖识别、音频智能和文本。语音生成是厂商在亮点中宣传却完全没有评估的唯一能力。

A screenshot of the talker directory inside the Ming-3.0-audio-tiny Hugging Face repository, showing an AudioVAE subfolder and a commit history whose most recent entry is three days old.

这不是丑闻,而是一个规划约束。使用 Voxtral,你可以在听到声音之前就估算部署规模:一张卡、16 GB、并发为 1 时每秒 119 个字符,以及商业路径的价目表。使用 Ming,你先确定硬件规模(两张卡,第二张利用率为 0.18),然后通过生成一些内容来了解声音。

当合并模型本来就是正确答案时

Talker 确实有真正的用武之地,而且并不是“更便宜的 TTS”。而在于:同一个模型听到了音频,现在又能就它开口说话。Ming-3.0-audio-tiny 接受音频加文本指令并返回文本,或返回文本加语音。针对一段录音提出的问题,可以一次性直接口头回答,无需把转写文本序列化后交给第二个模型。不会出现“ASR 说的是‘their’,TTS 却读错了”这类失败,因为既没有第二个模型,也没有可能被弄坏的中间文本。

这对语音问答很重要,对倾听房间里的声音并作出回答的助手很重要,对任何需要就刚刚听到的内容用一句话给出答案的场景也很重要。但对旁白、有声书、配音或任何文本来自其他地方的工作负载来说,这并不重要——而这些正是 Voxtral 所针对的工作负载,它支持二十种音色和九种语言,相比之下 Ming 只有三种音色和两种语言。

• 同模型连续性——Ming:是的,从音频到语音一次前向传递。Voxtral:输入的是文本,所以聆听那一半必须来自其他地方。

• 音色多样性——Ming:三个命名音色外加克隆功能。Voxtral:二十个预设音色外加参考语音自适应。

• 流式 — Ming:未提供;Talker 是一个阶段,而不是流。Voxtral:模型卡宣称支持流式和批量推理,且厂商自己的 API 演示就是参考实现。

• 多语言语音 — Ming:中文和英文。Voxtral:九种语言,并标注了方言。

• 成本结构 — Ming:硬件固定投入,两张卡,不按字符计费。Voxtral:权重可免费用于非商业用途,其余一切通过 API 按字符计费。

路由器能为语音产品带来什么,又不能带来什么

OrcaRouter 两者都不提供。Ming-3.0-audio-tiny 是一个由你运行的模型检查点,而 Voxtral 4B TTS 可通过 Mistral 自己的 API 访问;两者都不在我们的目录中,本文也不构成托管其中任何一方的要约。路由器在语音产品中的定位,是围绕语音的文本:生成脚本、将其翻译成 Voxtral 支持的九种语言、撰写来电者所述内容的摘要、判断某个片段是否需要人工处理。这些都是普通的文本调用——一个密钥即可调用 200 多个文本模型,按提供商标价、0% 加价,并具备 自动故障转移,这样即使某个上游服务一时出了问题,一批一万个音频片段也不会停滞。

在配音流水线中,这是实实在在的节省;而在单模型演示中,这不过是舍入误差。它也没有触及本文要讨论的问题,即声音到底好不好。

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Voxtral 4B TTS across six dimensions: commercial licence, voices, languages, published speech score, hardware, and what each is actually for, with a footer noting that Ming speech figures are unpublished and Voxtral figures are Mistral's own single-H200 benchmark.

如何在未先试听其中任何一个的情况下进行选择

如果产品是语音,就选择 Voxtral,并为许可证预留预算:先运行非商业权重进行评估,然后对于任何要发布的产品,改用 API,按当前每字符费率计费。你会得到一张延迟表、二十种音色、九种语言,以及一个已通过 vLLM-Omni 测试的运行时。你放弃了商业自托管的权利,而对许多团队来说,这才是真正的决定。

如果产品是“偶尔会说话”的理解型产品,就选择 Ming-3.0-audio-tiny,按两块 GPU 做预算,并把 Talker 当作尚未验证的功能——先构建回退方案。用全部三种声音生成二十句话,听一遍,并保留以后换成专用 TTS 模型的选项。架构可以干净地支持这种替换,因为 Thinker 反正会返回文本;Talker 只是附加组件,而不是主干。

而在这两种情况下,都要把你测量的内容记录下来。两家供应商都没有这么做,而第一个为这两款模型中任何一款公布自然度或相似度数值的团队,都将是在帮整个领域一个忙——包括供应商自己。

第三十二个答案(修订版)

本文开头的简版说,这个比较三十秒就能结束。如果语音就是你的产品,而且你愿意支付许可费,那它确实三十秒就结束。如果你要构建的是一个先听再说的东西,那就要花更长时间,因为这两个选项并不能互相替代:一个是没长耳朵的嗓子,另一个是长着耳朵、却配了一副从未被评测过的嗓子。那三十秒只把你带到问题面前。而本文余下的部分,才是让你弄清楚自己真正需要其中哪一个的环节。