为 Ultramarine 1 Flash 与 GPT-5.6 Luna 生成的双栏标题卡,副标题为“没有任何基准测试同时包含这两个模型”。Ultramarine 1 Flash:输入价格每 100 万 $0.15,输出价格每 100 万 $0.50,上下文 131,072,每任务成本 $0.13,独立评分“无”,共同基准测试“无”。GPT-5.6 Luna:输入价格每 100 万 $0.20,输出价格每 100 万 $1.20,上下文 1,050,000,每任务成本 $0.18,独立评分 Index 37,共同基准测试“无”。横幅:“两种每任务成本,两套不同的测试套件”。
Guides & Insights

Ultramarine 1 Flash 对比 GPT-5.6 Luna:两个从不现身同一排行榜的模型

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

关于这组对比,首先值得注意的,是厂商自家图表里缺了什么。Paper Instruments 于 2026 年 10 月 14 日发布 Ultramarine 1 Flash,附了六张基准测试表,以及一张覆盖三十多个模型配置的成本—质量图。GPT-5.6 Luna不在图上。低推理强度没有,中等没有,最高档也没有。它的同门 GPT-5.6 Sol 在每个推理强度档位上都赫然在列;一个叫 GPT-6 Luna 的模型也在,成绩 58.3、每任务 $0.11;而 GPT-5.6 Luna 压根没有出现。再看另一边,Artificial Analysis 收录了 GPT-5.6 Luna——智能指数 37、每完成一个任务 $0.18、每秒输出 115.4 个 token——却完全没有 Ultramarine 1 Flash 的条目。两个发布相隔三个月的模型,都瞄准廉价、大批量的工作负载,却从来没有任何第三方在包含其中一个的基准测试上测过另一个。

这种缺失本身就是对比。GPT-5.6 Luna 是 OpenAI GPT-5.6 系列中快速、高性价比的一档,于 2026 年 7 月 9 日发布,在十项评估组成的综合测评中拥有独立评分。Ultramarine 1 Flash 是 GLM-5.3 Flash 的强化学习后训练版本,定价为每百万 token 输入 $0.15 / 输出 $0.50,旨在生成 Excel 工作簿、幻灯片和 Word 备忘录,而不是答案,并且只带有其制造方公布的数字。以下内容讨论的是,从这种安排中能得出什么、不能得出什么。

这两条记录究竟位于何处

Luna 的数值是 Artificial Analysis 在 OpenAI 自家 API 上进行的测量。Ultramarine 的数值则是 Paper Instruments 公布的费率及其自行发布的评估结果,其中上下文数值取自其技术报告中的训练配置。

• 独立评分——在最大努力下,Intelligence Index 得分为 37,在其所属类别的 148 个模型中位列第四,这是 GPT-5.6 Luna 的成绩;而 Ultramarine 1 Flash 则没有任何形式的独立评估。

• 输入价格,按费率卡计算——每百万 token 0.20 美元 vs 0.15 美元。Paper Instruments 模型在输入侧便宜 25%。

• 输出价格——每百万 $1.20 对 $0.50。2.4 倍,是这组配对中差距最大的一项。

• 缓存输入——Luna 每百万 $0.02(优惠90%),相较 $0.03(优惠80%)。仅差一美分,却对 OpenAI 有利。

• 背景 — Luna 的价目表上是 1,050,000 tokens,而 Ultramarine 的训练配置中是 131,072。窗口是八倍,也是差距并不接近的唯一一行。

• 最大输出 — 128,000 个词元,相比之下未公开。

• 每项已完成任务的实测成本——在 Intelligence Index 上,Luna(最高强度)为 $0.18;而在 PI Knowledge Work 上,Ultramarine 1 Flash 为 $0.13。两套不同的评测套件,两类不同的任务,两个看似可比、实则不可比的数字。

• 首个 token —— Luna 在 OpenAI API 上以最大努力运行时耗时 121.46 秒,而该价格档位的中位数为 1.85 秒;Ultramarine 1 Flash 则未以任何形式公布该数据。

A generated scoreboard titled 'Ultramarine 1 Flash vs GPT-5.6 Luna - the scoreboard', with six shared rows. Ultramarine 1 Flash: rate card $0.15 / $0.50, cached input $0.03 per 1M, context 131,072, cost per task '$0.13, PI Knowledge Work', independent score 'none', shared benchmark 'none'. GPT-5.6 Luna: rate card $0.20 / $1.20, cached input $0.02 per 1M, context 1,050,000, cost per task '$0.18, Intelligence Index', independent score Index 37, shared benchmark 'none'. Footnoted that Ultramarine figures are vendor-reported and unaudited, GPT-5.6 Luna figures are per Artificial Analysis, and the two per-task costs come from different suites.

两分钟才出现的首个 token,以及为什么这是一种设置而非缺陷

那个 121.46 秒的数字值得单独说明,因为这类数字常被当作缺陷来引用,而实际上它只是一个参数。

GPT-5.6 Luna 在最高推理强度下,会在输出任何内容之前先进行推演。在 Intelligence Index 上,它一旦开始运行,每秒可产生 115.4 个输出 token,完成整套测试总共需要 1.5 亿个输出 token——在同类 60 个模型中按冗长度排名第 41,Artificial Analysis 称其有些冗长,而中位数为 9500 万。37 的 Index 得分是在该最高设置下测得的。

该模型支持可配置的努力程度,这意味着同一组需要两分钟才开始响应的权重,可以被调到一个立即响应的级别,但得分更低。OpenAI 没有在 Artificial Analysis 记录中公布按努力程度划分的细分数据,因此这一降幅的大小并未披露——一次默认调用低于 37,至于低多少,OpenAI 之外无人测量过。对于扇出步骤,即一百个廉价调用各自草拟一些简短内容,那才是正确的配置。对于链条末尾的单个困难任务,最大努力程度才是。两者是同一个模型,且都没有配置错误。

Ultramarine 1 Flash 没有公布任何延迟数据、吞吐量数据,也没有公布首 token 时间。它的技术报告确实披露了其训练和评估所处的运行边界——131,072 tokens 的上下文、智能体循环上限为 250 轮、在窗口用到 85% 或剩余 30,000 tokens 时触发压缩——而一个为压缩自身工作记忆而构建的运行框架,就是为长任务而构建的运行框架。这是关于任务形态的推断,而不是关于速度的证据;诚实的立场是:这场比较的一方存在经过测量的延迟问题,而另一方则没有任何测量。

可交付基准能衡量哪些智能指数无法衡量的东西

这两个模型从未相遇,并不是日程安排上的偶然。这些基准测试有意衡量不同的东西。

让 Luna 拿到 37 分的 Intelligence Index 是由十项评测综合而成的指标——AA-Briefcase、GDPval-AA、AutomationBench 等——每一项都配有评分者可核验的答案。这正是它可复现的原因,也是为什么一个与任何模型都没有利益关联的评测者,能够运行它并为所有人发布一个可比较的数字。

PI Knowledge Work 之所以被打造出来,正是因为专业工作中可复现的部分并不是真正重要的部分。一份尽职调查备忘录无法编译。一份董事会材料没有单元测试。一个内含实时预测的定价模型会以选择题评分器无法察觉的方式出错。因此,Paper Instruments 转而编写评分细则,每个任务一份,每一条标准都被画成可接受答案之上的一条边界,而不是对某一个答案的要求。其报告将一条会拒绝三个正确回答中的两个的过拟合标准,与一条会接受三个错误回答的模糊标准进行对比,然后展示重写后的版本与边界相匹配——这既公正地展示了这件事为何困难,也公正地警告了单个评分细则分数应当承载多少权重。

这些结果数字究竟价值几何,直白地说:Ultramarine 1 Flash 在该套件上得分 59.3,每项任务成本 0.13 美元。GPT-5.6 Sol 是 Luna 更大的同门模型,得分 55.1,成本 2.09 美元,并出现在全部六张 Paper Instruments 表格中——JobBench 上为 45.4,而 Ultramarine 为 62.9;FrontierFinance 上为 46.8,而后者为 53.3;APEX-Agents 1.1 上为 51.5,而后者为 57.0。供应商报告称,其套件与 Artificial Analysis Intelligence Index 的相关系数为 r = 0.81,这是一个严肃的数字,也是一个二手数字。没有任何第三方在任何东西上运行过 Ultramarine 1 Flash。

A screenshot of the Artificial Analysis model page for GPT-5.6 Luna (Max), showing a score of 37 on the Artificial Analysis Intelligence Index against a class median of 13, 115.4 output tokens per second, $0.20 input and $1.20 output per 1M tokens with a 90% cache discount, a measured $0.18 per completed Intelligence Index task, 150M output tokens of verbosity against a 95M median, and a banner noting the release of GPT-6 Luna.

以同样方式对双方进行衡量的比较

在这一配对中,恰好有一类测量,其中任何一方的数字都不取决于对方的方法论:token 效率,它由单一测试框架在单一测试套件内测得。

Artificial Analysis 记录到 GPT-5.6 Luna 完成 Intelligence Index 需消耗 1.5 亿输出 token,比同级别 9500 万的中位数高出 58%。这个数字就藏在每任务 0.18 美元的背后——一个写得很多的快速模型,并不是购买一个已完成任务的最省钱方式,而冗长程度排名让其中的原因一目了然。

Paper Instruments 对其自家模型给出了相反的说法,而且是以一种可核查、而非仅凭断言的方式提出的。在其全部六项基准测试中,Ultramarine 1 Flash 的输出 token 数比它进行后训练所基于的模型 GLM-5.3 Flash 少了 6.5%——3050 万对 3270 万,且包含推理部分——同时在六项测试上的得分都更高。这一比较的两边都是在相同任务上运行的同一套测试框架,因此它不会受到笼罩着这里其他一切的那种批评。而且它所指的方向也并非唾手可得:后训练带来的结果,变得话多的和变得话少的同样常见。

对于任何账单主要由输出 token 决定的人来说,这是该发布中最具可迁移性的事实。它并不是说 Ultramarine 1 Flash 比 GPT-5.6 Luna 更节省。它说的是,按基础模型衡量两者中较短者的这一关系成立——而且是在一个公司外部无人复现过的测试套件上。

自己运行测试

GPT-5.6 Luna在 OrcaRouter 上提供服务,价格为每百万 token 输入 $0.20、输出 $1.20,effort 等级可按请求单独设置。这是服务商标价的原样透传,不按 token 加收任何费用,对于一个价格已经变动过一次的模型来说,这一点很重要——OpenAI 在今年早些时候实施的 80% 降价在此得到体现,而无需任何人重新谈判合同。同一个端点还可访问 GPT-5.6 Sol、Claude Fable 5、DeepSeek V4 Flash 和 GLM-5.3 Flash,其中最后一个是 Ultramarine 1 Flash 训练所基于的基座模型,并以完全相同的 $0.15 / $0.50 价目表提供服务。

Ultramarine 1 Flash 不在我们的产品目录中;通往它的途径是供应商自己的 API 以及转售它的第三方平台。这种不对称正是这项比较的实际体现。这两个模型中,有一个你今天就可以放进生产路径,背后有路由回退,面前有测得的 p50。另一个则要在供应商的端点上试点,并依据其自身输出来评判。

哪一个才是值得跑的测试,而且它很便宜:把同一批文档分别发给两者,按 Luna 的默认强度和它的最大强度,然后比较产物和账单。这位专家的整套论点在于,它的输出需要更少的返工。这在一个下午就能测出来,而且在一个没有人公布过共同记分牌的配对上,这是唯一能定论的证据。

A screenshot of OrcaRouter's own model page for openai/gpt-5.6-luna, headed 'GPT-5.6 Luna', showing vision, tools, JSON and reasoning capability tags, a 1M-token context, up to 128K output tokens, text + image + file input, and the served rate of $0.20 input and $1.20 output per 1M tokens.

这一立场,以已知与未知来表述

已知,且有来源:GPT-5.6 Luna 在一项由十项可核查评估构建的指数上得分 37,每完成一项任务收费 $0.18,拥有 1,050,000 个 token 的窗口,而在能拿到这 37 分的努力水平下,首个 token 的生成可能需要略超两分钟。它每 token 成本低廉,在其档位中能力不俗,而且——根据 Artificial Analysis 自己的测量——倾向于比同类模型多写 58%。

据其制造者报告、未经复现:Ultramarine 1 Flash 在一套由评分标准评定的金融、法律、咨询与运营交付物测试中获得 59.3 分,每项任务成本 0.13 美元,相比之下 Claude Fable 5 为 57.8 分、每项 8.19 美元,GPT-5.6 Sol 为 55.1 分、每项 2.09 美元;同时它在全部六个测试套件上都胜过自己的基础模型,且生成的 token 数少了 6.5%。

未知:这些东西中是否有任何部分能在一份并非由 Paper Instruments 任何人撰写的文档中存留下来,模型在负载下的延迟表现如何,以及供应商页面上那句“模型权重即将推出”是否会兑现为实际发布。

任何从中选出赢家的文章,都是凭空发明了一个赢家。可以明确说的是:如果你在投入之前需要一个经过验证的分数,GPT-5.6 Luna 是这对组合中唯一拥有该分数的模型;而如果你的工作产出是要交付的成果,而不是一个答案,那么那个有意思的论断完全在另一边,而且还没有任何没为此拿钱做测试的人检验过它。

像这样的比较,也正是故障模式暴露之处:OrcaRouter AI Incident Archive 收录了这类模型背后有记录的 AI 事件和智能体故障,其中每个条目都带有各自的来源、严重程度、置信度等级和争议标记。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新