一张生成的标题卡,标题为“一只耳朵,一张嘴”,用于 Ming-3.0-audio-flash 与 Sesame Preview 的对比。四个标签分别写着“22 次下载”“完全没有 API”“MIT 权重”和“一个应用,而非模型”。左侧面板标注为“Ming-3.0-audio-flash”,展示了四个声源图标——一个扬声器、一扇门、一个钢琴键和一群人——并配有说明文字“什么都能听见”;右侧面板标注为“Sesame Preview”,展示了一个带有同心圆环的麦克风,并配有说明文字“需要听起来像人”。
Guides & Insights

Ming-3.0-audio-flash 与 Sesame Preview:一个能听见一切,另一个只需听起来像人

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

这两个并非竞争对手。Ming-3.0-audio-flash是一个拥有 1260 亿参数的音频-语言混合专家模型,以 MIT 许可证发布,其列出的五项任务是语音识别、长音频理解、非语音声音与音乐的感知、音频推理,以及——作为可选的第五项——语音回应。Sesame Preview是一款消费级语音助手,具有四种个性、一个 iOS 和 Android 应用,并且完全没有 API。第二个不需要知道摔门声听起来是什么样。第一个正是为此而打造的。把它们并排对比之所以有用,只是因为它迫使我们提出大多数音频模型比较都会跳过的问题:你买的是一只耳朵,还是一张嘴?像这样的发布背后有记录的 AI 故障和智能体事件,都收录在 OrcaRouter AI Incident Archive中,每条记录都带有自己的来源、严重程度、置信度等级和争议标记。

这样的时间安排让这种错位更加明显。Ming-3.0-audio-flash 于2026年9月3日上线 Hugging Face,没有任何公告,并在那里搁置了六周,直到10月15日至19日之间,服务代码、示例和重写后的模型卡片才发布——GitHub 仓库创建于15日,而卡片到19日仍在编辑。该列表显示22次下载。Sesame Preview 自春季以来一直在公开提供,其可下载的研究产物 CSM-1B 自2025年3月起就一直在 Hugging Face 上,上个月下载量约130,000次,点赞数约2,500。一个有用户基础却没有仓库。另一个有仓库却还没有用户。

每个都是由什么制成的

Ming-3.0-audio-flash 将音频编码器和投影器与混合专家语言主干相结合,并配备可选的 Talker 模块,可将模型的文本输出转换为语音。总参数为 1260 亿,每次推理步骤激活 65 亿——Hugging Face 侧边栏列出的是 128B,模型卡片未对这一差异作出解释。输入为音频加文本指令。输出为文本,或带合成语音的文本。它支持中文和英语,并明确指出了口音和方言。

Sesame Preview 没有任何公开资料以这种详细程度描述过。公开的是这款应用:一个语音界面,具有四个具名人格、记忆、连接器,并且自 2026 年 10 月起具备编排其他智能体的能力。同样公开的还有 CSM-1B,这是 Sesame 的 Apache-2.0 研究检查点——一个预测第一个音频码本的 Llama 主干,以及一个预测其余部分的更小深度解码器,通过 Kyutai 的 Mimi 编解码器以 24 kHz 解码,仅支持英语。模型卡称其为“基础生成模型”,而 Sesame 已明确表示,驱动交互式演示的是它的一个微调衍生版本,而不是该检查点本身。

• 可下载内容——Ming:完整的 126B 检查点、处理器、分词器、Talker 资源。Sesame:CSM-1B,一个 10 亿参数的基础模型,并非应用中的那个声音。

• 你可以调用的东西 —— Ming:一个兼容 OpenAI 的端点,部署在 vLLM-Omni 或 SGLang 上,前提是你自己托管它。Sesame:一个应用。没有端点,也没有用于生产级语音的模型 ID。

• 它听什么——Ming:语音、方言、噪声、多个说话人、非语音声音、声学场景、音乐。Sesame:对话中你的声音。

• 它说了什么——Ming:文本,可选通过内置语音或参考克隆语音生成语音。Sesame:专为呼吸、犹豫和打断而打造的语音。

• 语言 — Ming:中文和英语。Sesame:官方为英语;该应用自身的指引将法语、意大利语、德语、西班牙语、中文、日语和韩语列为“早期”。

• 许可证 — Ming:MIT。Sesame:应用服务条款;Apache-2.0 仅适用于研究检查点。

A generated two-column card titled 'Different jobs'. The 'Ming-3.0-audio-flash' column reads listens to speech noise music scenes, answers with text optional speech, runs on your eight GPUs, licence MIT, users 22 downloads, evaluable yes. The 'Sesame Preview' column reads listens to your voice in conversation, answers with expressive speech, runs on iOS and Android, licence app terms with Apache-2.0 on CSM-1B, users a public app, evaluable by ear only. The footer reads 'Ming download count from its Hugging Face listing. Sesame has no API or model card for the production voice.'

评估的不对称是完全的

借助 Ming-3.0-audio-flash,你可以把同一句话生成一百遍,然后逐一试听。你可以把同一段嘈杂的会议录音喂给它,再核对转写文本。你可以基于自己的音频算出自己的错误率,而这个错误率是一个真正属于你的数字。

使用 Sesame Preview,你无法生成任何东西。没有端点,没有用于生产语音的检查点,也没有为其发布的基准测试。你可以试听这个应用并形成看法,而这个看法就是你全部的证据。研究检查点 CSM-1B 是可测试的——你可以运行它、微调它、测量它——但它明确不是让 Sesame 声名鹊起的那个语音背后的模型。

这是一种罕见的对比:开放模型是唯一能被评估的,尽管闭源模型是唯一拥有真实用户基础的。这种倒置值得细细思量,因为通常的论点恰恰相反:闭源产品本应是拥有过往成绩记录的一方。

A screenshot of the sesame/csm-1b model page on Hugging Face, showing the Sesame organisation, text-to-speech and Transformers tags, English, the Apache-2.0 licence, an access agreement gate, and a downloads-last-month figure of 129,861, with the model's CSM 1B release notes beginning below.

两者真正相接之处

只有一处重叠,那就是 Talker。Ming-3.0-audio-flash 能够生成语音,其语音方案的可配置性远高于一个四音色应用:vLLM-Omni 路径内置 IP 音色,模型目录自带预设参考音色及匹配的转录文本,你还可以传入任意参考 WAV 及其精确转录文本进行克隆。带延迟指标的流式语音已有可运行示例。SGLang 路径完全不支持语音——它仅支持文本——在选择服务栈之前值得了解这一点。

但可配置性并不等同于质量,而且 Ming 仓库根本没有发布任何语音质量评估。它的三个基准测试板块涵盖语音识别、音频智能和文本。没有 MOS 分数,没有偏好测试,也没有韵律比较。因此,对于“Ming 听起来比 Sesame 更好”这一说法,诚实的立场是:没有人测量过它,而最有资格发表意见的人——Sesame 的用户——从未听过 Ming。

Ming's Talker 能给你而 Sesame 无法给你的,是语音所有权。一段参考音频及其转写文本,模型就能用那个声音说话,在你的硬件上,以 MIT 许可运行,中间没有第三方介入。如果你的产品声音是品牌资产,那就不是功能对比。这完全是另一类事物。

硬件,以及它为何决定了这其中大部分

Ming-3.0-audio-flash 在完整 128K 上下文并带语音输出时的参考服务配置是跨八块 80 GB H800 GPU 的张量并行。四块 GPU 可获得经过验证的 SGLang 配置,但仅限文本。仓库指出,全音频配置在 GPU 7 上为 Talker 分配了独立的内存预算。

Sesame Preview 没有硬件要求,因为它没有部署。这不是在拿它开玩笑;这正是其真正的价值主张。一个团队如果希望在移动应用中拥有富有表现力的语音,又不想操心 GPU,就可以通过供应商交付 Sesame 形态的行为,而且永远不必看到 YAML 文件。

接下来的成本比较完全不在一个量级。八块 H800 是一项附带折旧计划的资本决策,而一个应用不过是一次下载。之所以要把两者放在一起比较,唯一原因是它们都能说话,但说话的成本并不是值得关注的变量——真正值得关注的是聆听的成本,而 Sesame 并不出售这个。

每一个真正更擅长的是什么

Ming-3.0-audio-flash 在一切涉及理解音频而非生成音频的方面都更出色。长录音、多说话人、背景噪声、音乐、声学场景,以及关于说了什么、怎么说的提问。它自己的规格页声称可在方言和口音之间进行复杂识别;其基准测试面板由厂商运行且未经审计,但它们确实存在,这已经比本场对决中的竞争对手所能提供的更多。

Sesame Preview 作为一个产品更胜一筹。它有记忆,有连接邮件、日历和云盘的连接器,有自己用于浏览和执行的界面,支持基于 OAuth 的 MCP,而且自十月起还能编排其他智能体。这些没有一项是语音模型的功能;它是一个助手,而语音只是它的界面。Ming 这些全都没有,也不声称自己具备。

还有一个尚未有定论的延迟问题。对话助手的成败取决于话轮转换——Sesame 正是凭借足够逼真的迟疑和打断时机建立了声誉,以至于早期听众以为电话那头是真人。Ming-3.0-audio-flash 的接口是请求-响应式的:输入音频加指令,输出文本或语音。虽然存在流式示例,但流式输出响应并不等同于处理 barge-in(用户打断),而且该代码库并未声称支持双工。

如果你真的在选择

你很可能并不是在这两者之间做选择,而这一点值得直说。现实中的决策是“Ming-3.0-audio-flash 对比托管式音频理解 API”和“Sesame Preview 对比你的应用已经在用的那个语音方案”。把它们配成一对,是因为二者都是近期有新闻的音频模型,而不是因为买家会把它们放在一起权衡。

话虽如此,一个随之而来的问题——我到底该不该自托管一个开放音频模型——却是这两款产品共同逼出来的。Ming 为主张自主掌控提供了理由:MIT 许可、可审查、可修改,请求路径上没有厂商介入。Sesame 则为不该自建提供了理由:一个开箱即用的应用,其能力你的团队要花一年才能复现。大多数团队应该先用托管版本,直到托管版本以某种他们能明确指出的方式让他们失望为止。

OrcaRouter 在这一决策中的作用范围很窄,值得精确说明。我们不托管 Ming-3.0-audio-flash,也不托管 Sesame Preview——前者是你要自行运行的 checkpoint,后者是一个应用。路由层能给你的是一套比较框架:超过 200 个模型汇聚在一个密钥之下,按提供商标价、不额外加价,这样你真正拿来与自托管 Ming 权衡的那些托管音频模型,就能在同一份流量上做 A/B 对比,并且当某条链路劣化时自动故障转移。这样你就能弄清楚八块 GPU 的押注是否划算,而不必先押下去。

悬而未决的问题

Ming-3.0-audio-flash 四天前才可运行,目前有 22 次下载。本文撰写当天,它的模型卡片被编辑过。它的基准测试数字是图片,语音质量尚未评估,其服务配置假设了一种大多数团队并不拥有的机架。这些都不构成否决理由——这正是一次低调发布第一周的样子,而早期“我们所知”类文章正是对此的恰当回应。

与此同时,Sesame Preview 不断将功能发布到一个背后没有已发布模型的产品中。你能听到的内容与你能检查的内容之间的差距,正是这家公司的全部写照,而且一年来这一点从未改变。

真正值得关注的不是某个基准测试,而是双方是否各自缩小了自己的差距:是 Ming 拿到一家运营方和一个延迟数字,还是 Sesame 发布一个真正就是 app 里那个声音的检查点。哪一方先做到,就能说明这两种路线中哪一种正在胜出。

A screenshot of the inclusionAI Ming-3.0-audio-flash model card on Hugging Face, showing the audio-understanding, audio-reasoning and speech-to-text tags, English and Chinese, the headline 'Hear clearly. Understand deeply. Act intelligently.', and the summary stating 126B total parameters with 6.5B activated per inference step.