为 Ultramarine 1 Flash 与 Gemini 3.5 Flash-Lite 生成的双栏标题卡,副标题为“一件人工制品,还是一个答案”。Ultramarine 1 Flash:输出“Excel、演示文稿或备忘录”,输入每 100 万 $0.15,输出价格每 100 万 $0.50,上下文 131,072,输入“文本和文档”。Gemini 3.5 Flash-Lite:输出“文本”,输入每 100 万 $0.30,输出价格每 100 万 $2.50,上下文 1,048,576,输入“文本、图像、语音、视频”。丝带:“一个撰写文档,一个撰写回复”。
Guides & Insights

Ultramarine 1 Flash 与 Gemini 3.5 Flash-Lite:交付产物和回答问题,是两种不同的产品

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

先从结束争论的那句话开始,而不是从引发争论的那句话开始。 Gemini 3.5 Flash-Lite接受文本、图像、语音和视频,并返回文本。 Ultramarine 1 Flash接收文本,返回一份已就地编辑好的 Excel 工作簿、PowerPoint 演示文稿或 Word 文档,并且已经读取并写入了这些工作所依托的业务系统。两者都很便宜。Google 的模型在 Artificial Intelligence Index 上得分 22,每完成一项任务花费 0.19 美元;Paper Instruments 则在其内部测试套件上报告每项任务 0.13 美元。两个数字足够接近,成本这笔账算是打了个平手,剩下的问题便是:你买的究竟是一个答案,还是一份交付物——因为在这个问题上,这两款模型根本不在同一个市场里。

它们也并非在同一时间、出于同一原因而被构建出来。Gemini 3.5 Flash-Lite 于 2026 年 7 月正式全面可用,是 Google 最具成本效益的一档,价格约为 3.6 Flash 的五分之一。Ultramarine 1 Flash 于 2026 年 10 月 14 日发布,是对 GLM-5.3 Flash 进行强化学习后训练的产物,目标是一份可直接交付给客户的成果,而非一条回复。

规格线,两侧

Ultramarine 的数据来自 Paper Instruments 公布的 API 费率及其自行公布的评测结果;其上下文数字是技术报告中所述的训练配置。G​emini 的数据则是 G​oogle 的费率表加上 Artificial Analysis 的测量值,凡属测量值之处均已标注。

• 输入价格——Ultramarine 1 Flash 每百万 token 0.15 美元,对比 Gemini 3.5 Flash-Lite 0.30 美元。G​oogle 在输入方面的价格是它的 2 倍。

• 输出价格 — 每百万 $0.50 对比 $2.50。5 倍,而这一项才是文档任务成本真正累积的地方。

• 缓存输入 — 每百万 $0.03(优惠 80%),对比 $0.03(优惠 90%)。相同的绝对数值,却由不同的折扣得出。

• 上下文窗口 — 训练配置中为 131,072 个 token,相比之下为 1,048,576。Google 则多出 8 倍。

• 最大输出 — 未公布 vs 65,536 tokens。

• 输入 — 文本和文档工作 vs 文本、图像、语音和视频。

• 每完成一项任务的成本——PI Knowledge Work 上为 $0.13,而 Intelligence Index 上为 $0.19。这是开篇两个数字中的第二个,也是最需要谨慎对待的一个。

• 输出速度——Ultramarine 1 Flash 未公布,而 Gemini 3.5 Flash-Lite 为每秒 425.0 个输出 token,在同级别 148 个模型中排名第四。

A generated scoreboard titled 'Ultramarine 1 Flash vs Gemini 3.5 Flash-Lite - the scoreboard', with six shared rows. Ultramarine 1 Flash: input price $0.15 per 1M, output price $0.50 per 1M, context 131,072, inputs 'text and documents', cost per task $0.13, independent score 'none'. Gemini 3.5 Flash-Lite: input price $0.30 per 1M, output price $2.50 per 1M, context 1,048,576, inputs 'text, image, speech, video', cost per task $0.19, independent score Index 22. Footnoted that Ultramarine figures are vendor-reported and Gemini 3.5 Flash-Lite figures are per Artificial Analysis.

速度数值中的延迟数值

Gemini 3.5 Flash-Lite 是迄今人们测过的速度最快的模型之一。但它启动也很慢。Artificial Analysis 记录到,在 Google 自家 API 上,它的首 token 时间为 8.13 秒,而同等价位区间的模型首 token 时间中位数仅为 1.85 秒。该模型一旦开始输出,速度可达每秒 425 个 token,但启动却要花上八秒。

这不是缺陷;这是服务路径的一种属性,它告诉你这个层级是为哪些工作负载设计的。批处理分类任务、提取流水线、后台代理——它们都不会注意到八秒的启动时间,而它们都能从大约一秒内完成 500 个 token 的响应中获得巨大收益。而等待聊天回复的人只会注意到等待本身,别的都无关紧要。“Flash”这个词描述的是吞吐量,而不是响应能力,二者并不是同一种衡量指标。

Ultramarine 1 Flash 完全没有公布任何速度或延迟数据。Paper Instruments 没有公布,任何第三方也没有。没有任何依据可以声称它比 Google 的模型更快或更慢,任何告诉你相反说法的人,都是在根据架构进行推测,而不是在读一个具体数字。技术报告确实披露的是它训练时所处的运行范围:131,072 token 的上下文、智能体循环最多 250 轮,以及在窗口使用达到 85% 或剩余 30,000 token 时触发的上下文压缩,以先到者为准。一个在设计上就会压缩自身上下文的运行框架,是为那些否则会溢出的长任务而构建的——这暗示了其任务的形态,而不是对它产出速度的衡量。

一项“任务”值多少,取决于基准是谁写的。

$0.13 和 $0.19 看起来差不多,衡量的却是不同的东西,而这恰恰是并排对比表会向你隐藏的部分。

Intelligence Index 是由十项评估组成的综合指标——数学、编程、推理、智能体工作。它的任务都有评分器可以核验的答案。Gemini 3.5 Flash-Lite 的 22 分来自一个与模型没有利益关系的评估方,是真实得分;其 $0.19 是在该测试套件中每完成一项任务的实测成本。G​oogle 还拥有两项冗长度记录中更体面的那项:完成 Intelligence Index 需输出 5900 万个 token,在 60 个中排名第 23,并且相对于 9500 万的中位数,被描述为相当简洁。这是一个被设计成不会东拉西扯的模型。

PI Knowledge Work 则不是这样。它是一套可直接交付给客户的交付物,按照专为该任务撰写的评分标准进行评分,因为一份尽职调查备忘录并没有可供核对的正确答案。Ultramarine 1 Flash 在此项上得分为 59.3,每项任务成本 0.13 美元,而 Claude Fable 5 为 57.8,成本 8.19 美元,GPT-5.6 Sol 为 55.0,成本 2.09 美元。该厂商报告称,其评测套件与 Artificial Analysis Intelligence Index 的相关性为 r = 0.81——这是个很可观的数字,但却是二手数据。一个评测套件中的任务并不是另一个套件中的任务:一道推理题可能只有几十个 token,而一份董事会演示文稿则是一次长时间、智能体式的运行,最终产出一个文件。这两个每任务数据并非同一事物的计量单位,把它们相减,是在对类别错误做算术。

经得起那番批评的那部分更狭窄,但确实有用。Paper Instruments 衡量 token 效率时,对照的不是它自己:在其全部六项基准测试中,Ultramarine 1 Flash 的输出 token 比它所源自的 GLM-5.3 Flash 模型少 6.5%——3050 万对 3270 万,推理部分也计入——同时在六项基准的每一项上都胜过对方。同一套测试集,同一个评测框架,双方均被纳入测量。按 token 计费的费率卡来算,一个用更少输出换来更好结果的模型,就是打了两次折扣。

A screenshot of the Artificial Analysis model page for Gemini 3.5 Flash-Lite, showing an Intelligence Index of 22, 425.0 output tokens per second, $0.30 input and $2.50 output per 1M tokens with a 90% cache discount, a measured $0.19 per completed Intelligence Index task, 59M output tokens of verbosity ranked 23rd of 60 and a 1,048,576-token context window.

一个密钥,两种工作模式

Gemini 3.5 Flash-Lite 在 OrcaRouter 上提供服务,输入每百万 token 0.30 美元、输出每百万 token 2.50 美元,即直接按供应商标价转售,每 token 不加价——因此 Google 一调价,这里当天就会生效,我们这边无需部署。与之并列的是本次对比反复提到的模型:GPT-5.6 Sol、Claude Fable 5 和 GLM-5.3 Flash,即 Ultramarine 1 Flash 训练时所基于的基础模型,它们都能从同一个端点和同一个密钥访问。

对这套组合来说,这一点比典型的正面对决更重要,因为工作负载是混合的。围绕百万级 token 窗口和四种输入模态构建的文档流水线,与围绕可交付成果生成型智能体构建的流水线是不同的流水线,而这两者通常共存于同一个团队中。路由规则可以把扫描件或音视频输入留在 Google 的模型上,并把从文本到可交付成果的路径发送到别处,同时在首选失败时使用声明的回退方案——一份契约而不是两份,而且当你改变由哪个模型处理长任务的想法时,无需更改代码。

Ultramarine 1 Flash 本身并不在我们的产品目录中;目前获取它的途径是供应商自己的 API,以及转售它的第三方平台。

我实际上会如何做决定

两种情况,都能干净利落地解决。

如果输入中包含任何非文本内容——拍摄的合同、通话录音、屏幕截图、视频演示——那么 Google 的模型是两者中唯一能够接受该请求的模型。这不是偏好问题,而是能力边界,它直接终结了针对该工作负载的比较。

如果产出本身就是付费购买的成果——一个模型、一套演示文稿、一份备忘录、一份会被人打开并编辑的文档——那么问题就变成:经过后训练的专业模型能否胜过高效的通用模型,而 Ultramarine 1 Flash 就是那个专业模型。支持这一点的证据来自厂商,基于厂商的基准测试,且是在发布仅一天后,因此应将其视为一种假设,而非一项发现。不过,这是一个具体且可检验的假设:在 Paper Instruments 领先的六个套件中的四个上,最大的幅度出现在 JobBench 和 FrontierFinance 上,这两者最接近真实的交付工作;而在 APEX-Agents 1.1 和 DiligenceBench 这两项智能体循环与研究任务上,Gemini 3.8 Flash 和 Claude Fable 5 领先,Ultramarine 1 Flash 位列第三。

尚未解决的问题并不是哪个模型更好,而是这种产出交付物的行为,在接触到并非由 Paper Instruments 任何人撰写的文档时,是否还能站得住脚。该公司已将其方法公布得足够详细,恰好会招来这样的测试,却没有公布能让人们不经由其 API 就能运行它的权重。这两个事实都至关重要,而其中只有一个可能很快改变。

A screenshot of OrcaRouter's own model page for google/gemini-3.5-flash-lite, headed 'Gemini 3.5 Flash-Lite', showing vision, audio, tools, JSON and reasoning capability tags, a 1M-token context, up to 65k output tokens, text + image + video + file + audio input, and the served rate of $0.30 input and $2.50 output per 1M tokens.

像这样的比较,也正是故障模式暴露之处:OrcaRouter AI Incident Archive 收录了这类模型背后有记录的 AI 事件和智能体故障,其中每个条目都带有各自的来源、严重程度、置信度等级和争议标记。

本文中的对比3

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新