一张为 Realtime 1 对比 Gemini 3.8 Live 生成的标题卡,将 1074 的竞技场 Elo 和 93.2% 的任务成功率与 30.1% 的智能体任务完成得分形成对比,另附一个 OrcaRouter 标志。
Guides & Insights

Realtime 1 对比 Gemini 3.8 Live:竞技场赢家是那个无法完成任务的一方

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

在 Artificial Analysis 的语音到语音榜单上,Gemini 3.8 Live 的 arena Elo 是所有语音模型中最高的——1074,领先于 GPT-Live-1 的 1037,并明显高于 Eleven Realtime Max 的 990。它在该对比组中还拥有最高的任务成功率,93.2%。而它在智能体任务完成率上的得分为 30.1%,是四者中最弱的数字。这三个数字描述的是同一个模型,而当你把它与下面这个模型放在一起时,理解它们为何能共存就成了全部问题:MAI Realtime 1,即微软于2026年11月17日发布的新语音到语音模型,它针对的正是 Gemini 3.8 Live 最不擅长的方面。

这些模型里,有一个是对话高手。另一个则被当作操作者来推销。两者都没有公布足够的信息,来证明在你的工作负载上哪个是哪个,但它们失败的方向相反,而这比一个所有分数都接近的记分板更有用。

关于语音模型用途的两种不同押注

Google 对 Gemini 3.8 Live 的定位既明确又克制:它是面向“大多数无需推理延迟的低延迟语音智能体体验”的默认 Live API 模型,另有一个同系列模型——Gemini 3.8 Live Extended Thinking——用于在交互过程中需要“更高后台推理”的场景。这种划分说明,Google 认为基础模型并不适合承担哪些任务。真正的思考能力存在于那个同系列模型之中。

微软对 MAI Realtime 1 的定位恰恰相反。它宣称的是“具备自然对话流和精确可控性的语音到语音”,其架构明确分为两层:快速系统让对话保持实时,而更难的任务会被“路由到更强的推理引擎,且不会出现尴尬的停顿”。微软并不是在推销一个更会说话的模型,而是在推销一个调度器:它说得足够好,能让通话保持不中断,同时由其他东西来完成工作。

• G​emini 3.8 Live——一个模型,刻意追求速度;推理能力则由一个独立、更重的兄弟模型提供,可按部署选择使用。

• MAI Realtime 1 — 一个产品,背后有两个引擎,按轮次升级,而不是按部署升级。

• 实际区别在于——Google 要求你在集成时选择一个设置。Microsoft 则要求你信任模型内部的路由器,并按 token 为其推理层级付费。

独立数据如何评价 G​emini 3.8 Live

这是这场对决中拥有实际测量数据的一方,而且这些数据很不错:

• 语音到语音指数——74.5,而 Extended Thinking 变体为 82.6。该指数在智能体列上对其扣分,而不是在对话方面。

• 语音推理(Big Bench Audio)— 91.7%。表现强劲,在 Extended Thinking 上达到 97.7%。

• 对话动态 — 96.1%。这正是竞技场 Elo 分数的来源:它处理通话中人类节奏的能力,几乎与任何已测量的系统相当。

• Arena Elo — 1074,在对比集中最高。这实际上体现了人类偏好,而且它远未处于该列表的底部。

• 任务成功率——93.2%,也是该组中最高的。

• 智能体任务完成率(τ-Voice)——30.1%。这是异常值,也是综合指数低于扩展思考版本的原因。

• 首个音频输出耗时——1.18 秒。不是最快的——Eleven Realtime Max 只需 0.57 秒——但已经足够快,让"没有推理延迟"这一说法显得可信。

• 混合成本——按 Artificial Analysis 的归一化口径,约为每小时 0.84 美元。Google 自己的价目表显示,音频输入为每分钟 0.005 美元,音频输出为每分钟 0.018 美元;在持续双向通话中,这更接近每小时 1.38 美元;这一差距是计量惯例造成的,并不矛盾,也不应把任一数字当作另一个来引用。

把智能体指标与任务成功率指标对照起来看,就会浮现出一个重要现象。93.2% 的任务成功率紧挨着 30.1% 的智能体完成率,这意味着该模型非常擅长评测框架认定为对话式的任务,却不太擅长那些需要它跨步骤规划并使用工具的任务。这是两种不同的测量工具,而二者不一致本身就是发现。G​emini 3.8 Live 大概会比 MAI Realtime 1 更擅长对话。至于它能否在那段对话结束时把预约订好,则是另一个问题;而根据目前唯一可获得的公开证据,它在这方面是较弱的那一半。

A screenshot of Artificial Analysis's Speech to Speech AI Model & Provider Leaderboard page captured 18 November 2026, showing the page heading, the methodology summary covering reasoning quality, conversational dynamics, generation time and price, the Speech to Speech Index / Speed / Cost per Hour chart panels, and the Related Links rail; the individual model rows in the charts are not legible at this capture size.

微软的数据说明了什么,答案是一个数字

MAI Realtime 1 没有独立评分。截至 11 月 18 日,Artificial Analysis 尚未收录该模型。Microsoft 自己在模型页面上公布的只有一个准确率数字:在 Big Bench Audio 上为 98.8%,页面上标注为在该基准的口语推理问题上的准确率;此外还有一张 P50 首音频时间卡片,以及一条“BigBench Audio 上的 P50 延迟”的说明文字。没有 τ-Voice 数据,没有支持语言列表,没有该百分位数背后的分布数据,也没有在准确率数字旁附上方法说明。把它与 Artificial Analysis 测得的 Gemini 3.8 Live 在同一基准上的 91.7% 相比,你就是在拿厂商自己的评测对比第三方的评测:这两个数字并不是同一类对象,把 98.8% 当作领先七个百分点,恰恰是本文试图避免的那种粉饰。该公司更宽泛的说法是,该模型处于 Big Bench Audio 和 τ-Voice 的性能-价格帕累托前沿上,并且它在质量、速度和价格上胜过 GPT Realtime 2.1——这是与 OpenAI 按 token 计费的推理语音模型相比较,而不是与 Gemini 3.8 Live 相比较。

因此,今天对这两款模型进行任何直接比较,都是在拿第三方实测的性能数据与厂商自己公布的标志性数字作对比。这并不是跳过这场对决的理由,而是要求我们精确厘清双方各自实际承诺了什么。

微软具体承诺的内容包括:每音频分钟 0.01 美元,推理价格为每百万输入 token 1.00 美元、每百万输出 token 5.00 美元,提供兼容 O​penAI Realtime API 的接口,推出有限访问的 Foundry 预览版且在公开预览前不计费,在 MAI Labs 提供仅限成人参与的两分钟非商业演示,供应商报告 Big Bench Audio 成绩为 98.8%,并给出一个 P50 延迟数字但背后没有分布数据,已点名将在 Dynamics 365 Contact Center 和 Dragon Copilot 的护士培训模拟中部署,以及在 Agoda 和 Reservations.ai 进行早期测试。

它尚未承诺的内容包括:语言、τ-Voice、数据驻留、数据保留期限或 GA 日期。

A screenshot of Microsoft's MAI Realtime 1 model page captured 18 November 2026, showing the 98.8% Big Bench Audio accuracy figure, a 'Start a conversation' button, $0.01 per audio minute pricing, $5 per 1M output tokens, and a P50 time-to-first-audio card labelled 'P50 Latency on BigBench Audio'.

成本比较,正确做法

单看语音产品线,差距并不小。Gemini 3.8 Live 音频一分钟(输入和输出合计)在 Google 的价目表上是 0.023 美元。MAI Realtime 1 每分钟 0.01 美元,这还未计入推理费用。大约是 2.3 倍;而且与 ElevenLabs 的对比不同,Google 这边没有合规费或平台费来进一步拉大这一差距。

但有趣的成本差异不在于费率,而在于推理账单落在哪里。G​emini 3.8 Live 对高难度轮次的答案是你要部署的另一个模型——G​emini 3.8 Live Extended Thinking,按 Artificial Analysis 的基准为每小时 $3.50,在该指数上为 82.6。那是一个部署决策,按音频小时计价,无论某一给定轮次是否需要它。MAI Realtime 1 的答案则是按轮次升级、按 token 计价,当高难度轮次很少时更便宜,而当大多数轮次都高难度时更贵。

• 大多是简单轮次,偶尔出现升级——MAI Realtime 1 的逐令牌模型胜出,而且优势很大。

• 大多是棘手的对话轮次——Gemini 3.8 Live Extended Thinking 每小时 3.50 美元的固定价格是更可预测的工具,而当你需要预测呼叫中心预算时,可预测性本身就有其价值。

• 混合流量且没有明确划分——你要在一个站得住脚的按小时估算和一个必须实测的按 token 估算之间做选择。这是两类不同的采购对话。

值得一提的是,G​oogle 的免费套餐可免费使用 G​emini 3.8 Live 的输入和输出,但有速率限制。对于原型而言,这相比注册表单加等候名单是实实在在的优势。

语言,它比基准测试更能决定对局结果

Gemini 3.8 Live 沿袭了 Live API 的多语言行为,Google 的文档也将非英语对话视为常规用法。MAI Realtime 1 的发布材料没有列出任何一种支持的语言。微软的语音传承可追溯至 Dragon——一款以英语部署见长的临床听写产品——而 Transcribe 2 的发布公告提到多语言错误率减半,但那指的是转写模型,而非实时模型,也不是一份语言清单。

如果你的智能体只服务一个英语市场,这只是个脚注。如果它服务三个市场,MAI Realtime 1 还不是你可以评估的候选方案,因为预览版不会告诉你它在所需语言中的表现。

在任一供应商敲定之前,如何进行对比

两个模型都使用 OpenAI Realtime API——Google 的 Live API 是通过其自有接口实现,Microsoft 则是明确按设计如此。Gemini 一侧密切相关,但会话语义并不完全相同,因此要为适配器预留工作量,而不是简单替换 base URL;按 Microsoft 自己的说法,MAI Realtime 1 一侧更接近可直接替换。

决定这场对比的评估并不是一次基准测试运行,而是一次任务完成运行:给每个模型相同的二十个真实请求,这些请求需要一次工具调用和第二步操作,然后统计有多少个能完成。G​emini 3.8 Live 的 30.1% 智能体得分构成了你的先验预期——它应该能完成大约六个。如果 MAI Realtime 1 落在这一水平附近,那么在这个工作负载上,价格优势不会给你带来任何好处。如果它接近 Eleven Realtime Max 在同一测试框架上取得的 87%,那就说明微软的双层设计做到了它声称的事情,这场对决也就结束了。

这项评估需要为语音模型背后的推理层进行埋点监测,因为在 Microsoft 一侧,第二步实际上就发生在那里。OrcaRouter 正是该层接入的地方:一个密钥即可使用 200+ 模型,按供应商标价、0% 加价,自动故障转移,因此卡住的推理调用不会变成实时通话中四秒的沉默,并且一套路由 DSL,让升级路径成为一条规则,而不是你在语音处理器中维护的代码。MAI Realtime 1 本身不在我们的目录中——它可通过 MAI Labs 和 Foundry 有限访问预览版获取——因此我们路由的是它所交接的一切,另外如果你走 G​oogle 路线,还包括 G​emini 3.8 Live 的同系列模型。

预览对采购时间线的影响

把两条可用性路径并排放在一起,这种不对称就不再关乎模型本身,而开始关乎要花多久才能知道任何情况。Gemini 3.8 Live 今天已在 Google 的 Live API 上全面可用,其免费层级在有限速率下覆盖输入和输出,这意味着一次为期两天的激增就能在本周末前产出一个任务完成度数字。MAI Realtime 1 则是一份注册表、一个候补名单、一个仅限成年人且时长两分钟的非商业演示,以及一个预览版——Microsoft 表示在公开预览开始前不会对其计费。

这些是不同类型的阻力,会利好不同的团队。如果你现在就需要一个答案,而且这个答案必须经得起签发票的人质疑,G​emini 3.8 Live 会给你一份经过测量的性能画像,背后有公开的测试框架,还有一个你可以拿来争论的公开费率。如果你有富余的工程能力,而且本季度没有截止期限,那么 Microsoft 预览版是该类别中最便宜的有用实验——每分钟一美分,眼下不花什么钱,但面对的是一个没有第三方测量过的模型,使用的还是你可能已经很熟悉的界面。

• 本周先做原型,下季度再做决定——两种做法都行,而且两边都有免费额度,意味着这个实验几乎不花什么成本。

• 本周做原型,下个月上线——用 Gemini 3.8 Live,因为 MAI Realtime 1 没有 GA 日期,也无从预测。

• 数据不能离开你的租户或你的区域——根据已公开的条款,这两者都不是答案;G​oogle 在 Live API 上有区域控制,而 Microsoft 对 Realtime 1 的数据驻留问题则未作任何表态。

A generated two-column scoreboard titled 'MAI Realtime 1 vs Gemini 3.8 Live — the scoreboard'. Left column MAI Realtime 1: arena Elo not scored, task success not published, agentic not published, reasoning 98.8% vendor, cost $0.01 plus tokens. Right column Gemini 3.8 Live: arena Elo 1074, task success 93.2%, agentic 30.1%, reasoning 91.7%, cost $0.84 per hour. Footer reads 'Gemini figures per Artificial Analysis; the 98.8% is Microsoft own, unaudited.'

这适合谁来分摊

如果产品本身就是一场对话,就选择 G​emini 3.8 Live。如果价值在于智能体听起来如何、它如何处理被打断、回答有多快,以及它在六种语言中的表现有多好,那么它拥有其价格区间内所有产品中最佳的实测表现,并且提供免费套餐来证明这一点。只有当你的通话需要以完成的操作收尾,而不是一次处理得当的交流时,30.1% 的智能体评分才重要。

如果产品本身就是一笔交易——预订、理赔,或跨系统的查询——并且你能接受在 Microsoft 另行发布之前仅支持英语,那就该认真对待 MAI Realtime 1。每分钟一美分,且处于不计费预览阶段,这是判断供应商侧路由器是否胜过你的应用侧路由器的最便宜方式。风险不在钱上,而在于你将基于一个模型发布产品,而该模型唯一公布的准确率数字是它自己的 98.8%,背后没有复跑、没有 τ-Voice 分数、没有语言列表,也没有延迟分布——本月唯一能弥合这一差距的人就是你,靠你自己的监测手段。

双方都没有做的是公布那个能一锤定音的数字:真实对话中有多大比例需要第二个引擎。Google 的答案是卖给你第二个模型,让你按部署自行决定。微软的做法是按每一轮对话决定,并据此向你收费。两者都是诚实的设计。今天只有其中一种可以衡量,而且它不是更便宜的那一种。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新