一张生成的标题卡,主标题为“Gemini Decision 1 vs Laya”,副标题为“上下文长度与拥有成本的对比”;左栏内容为 262,144 词元窗口,支持文本、图像、视频、音频和 PDF 输入,每 100 万输入词元 0.10 美元,并提供托管端点;右栏内容为 512 词元窗口,仅支持文本,Apache-2.0 权重,4.21 亿参数,可免费自行托管;页脚注明 Laya 的词长数据来自其自身的模型卡,而 Gemini 的数据则来自 Artificial Analysis 和 Google 的文档。
Engineering & Research

Gemini Decision 1 对阵 Laya:262,144 个租用 Token 对比 512 个自有 Token

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

两种决策模型,两个数字从相反两端描述同一个设计选择。 Gemini Decision 1在 Google 自家 API 上,一次调用可接收 262,144 个 token 的输入和最多 1,000 个键入的问题,价格为每百万输入 token $0.10。 Laya在其英语检查点上接收 512 个 token 的文本,运行在你已经付费使用的 T4 上,并采用 Apache-2.0 许可。这意味着在上下文窗口上相差 512 倍,在价格上相差无穷倍,而且方向相反;没有任何基准测试能挽救这种比较,因为这两个模型并非为同一任务而构建。

Convai Innovations 于 2026 年 9 月 18 日发布了 Laya,在同一个代码库中提供三个检查点:一个 421M 的 ModernBERT-large 英语模型、一个 322M 的 mmBERT-base 多语言模型,以及一个类型化决策变体。Google 于 2026 年 11 月 11 日发布了 Gemini Decision 1,但未公布权重、参数数量或基础模型。唯一能把两者放在同一基准上比较的数字,来自一个只收录了其中之一的排行榜——Gemini Decision 1 在 Artificial Analysis Decision Index v2.1 上得分为 66,在十八个模型中排名第九,而 Laya 并不在该榜单上。

一个 512-token 窗口在早餐前排除了什么

从约束条件入手,因为它比任何准确率数字都更快地排除掉整个产品类别。

• 共享输入 — Gemini Decision 1 最多读取 262,144 个 token,覆盖输入内容以及每一个问题。Laya 的英文检查点读取 512 个 token,仅此而已。多语言检查点默认读取 1,024 个 token,并可通过 max_len=8192 提高到 8,192;此时,Convai 自己的模型卡报告称,在上下文最多约 4,000 个 token 时,20 个长文档请求中有 16 到 18 个能正确完成,而“超出该范围后结果会有所不同”。

• 模态 — Gemini Decision 1 可在同一请求中接受文本、图像、视频、音频和 PDF。Laya 只接受文本。扫描的理赔表单、通话录音或产品照片,在上游某环节将其转换为文字之前,都不能作为输入;而这种转换是由另一个模型完成的,具有单独的成本,也有其自身的错误。

• 每次调用的问题数 — 对于 Gemini Decision 1 最多可达 1,000 个,彼此隔离,一次完成。Laya 以单一状态回答你发送的问题,而其自有文档指出,实际天花板约为每道选择题五十个选项,再往上模型的每选项 token 预算就会变得紧张。

• 价格 — Gemini Decision 1 每百万输入 token 为 0.10 美元,Artificial Analysis 测得每百万任务为 345 美元,且不提供上下文缓存和 Batch API。Laya 采用下载形式:英语检查点约 808 MB,不按调用收费,在 T4 上每次决策运行约 32.8 毫秒。

• 许可证与分发 — Apache-2.0 权重,无托管依赖,并提供 pip install laya 入口点。Gemini Decision 1 仅在 v1beta 的 Gemini Developer API 上提供,免费层级为每分钟 200 次请求,并附有受支持与不受支持功能的文档化列表。

A generated diagram headed 'Why 512 tokens decides the architecture', showing three branches: under 512 tokens of text, one state and many calls suit a 421M encoder on a T4 at 32.8 milliseconds; over 512 tokens or non-text input, something upstream has to convert the document, recording or screenshot into words; and many questions about one long input fit 1,000 isolated questions in one billed read of a 262,144-token context, with a footer citing the Laya model card for timings and Google documentation and Artificial Analysis for context and pricing.

记分牌上显示的是这两种情况之一,而那并不是平局。

Gemini Decision 1 的 66 分由六项加权评估综合而成,其中 45% 建立在私有数据之上,评分方式为准确率减去附加在答案上的 Brier 惩罚。对于一款发布日模型而言,它的优势与劣势异常分明:在 AA-Omniscience-Decision 上以 66.3 在十八个模型中排名第一,在 HLE-MultiChoice 上以 48.7 排名第一,但在 AA-Paperclip 上以 56.8 排名第九,文档通过率为 33%,采用全有或全无的判定方式;在 When2Call 上以 80.5 排名第十四。总排名第九,在测试知识与弃答的方面排名第一,在抽取与工具选择的方面处于中游。

A screenshot of the Artificial Analysis page for Gemini Decision 1, showing the Decision Index of 66 ranked 9 of 18, 211 ms per task, $0.10 per 1M input tokens and $345 per 1M tasks, a 262k-token context window with text and image input, and a comparison summary calling it above average on the index but particularly expensive and slower than average.

Laya 没有可比的数值,项目在自己的模型卡中说明了原因。基础检查点在该类型化决策基准上的零样本得分为 0.362——低于 0.461 的多数类基线,接近随机水平。主要分数 0.766 需要在该基准自身的训练集划分上进行微调。Convai 的总结句正是任何评估中都应采用的表述:Laya 是一个可快速专精的基础模型,而不是零样本决策引擎。

这并不是一个应当拿来对照前沿实验室模型打分的弱点;这是一种不同的产品定位。Gemini Decision 1 被宣传为一种已经擅长决策的产品。Laya 则被宣传为一种在你训练它之后才会擅长你的决策的产品,而到那时,它公布的数据——在类型化决策上以 0.766 对同类产品的 0.727,在 AG News 上以 0.950 对 0.910——在它被拟合的任务上具有竞争力。

人们实际搭建的两条流水线

因为两者的能力几乎不重叠,所以最诚实的表述方式不是“选哪一个”,而是“你手头是这两项工作中的哪一项”。

Gemini Decision 1 适合的工作。一段长输入到来——一份 60 页的合同、一小时的电话录音、一文件夹的扫描发票——并且必须对它做出许多判断。在一次计费读取中,对一张工单应用四十条策略规则;按照评分标准对一百个候选答案打分;一个路由决策,其依据分散在一份没人愿意分块的文档中。Google 自己的文档正是列举了这些:请求路由、同时跨多条规则进行策略检查、依据评分标准对候选答案打分、工具选择、对实时媒体进行低延迟分类。1,000 个问题的上限和多模态输入正是该产品存在的全部理由,而它们是 Laya 无论出价多高都做不到的两件事。

这正是 Laya 适合的工作。 一个简短的状态和一项决策,在每次调用成本是约束、标签集由你掌握的规模下。将工单分诊到你自己的分类体系、意图分类、在运行昂贵模型前设置是/否门控。在 T4 上,421M 编码器以 32.8 毫秒运行,每次调用基本是免费的;而且由于答案空间是按请求组装的,而不是固化到词表头中,你今天下午发明的 schema 无需重新训练就能被接受——不过要让它准确,确实需要训练数据。

这种组合并不新奇:{{1}}Laya{{/1}} 作为快速的第一阶段,处理它训练时所针对的 80% 流量;而大型托管评分器则用于那些需要从长输入或非文本输入中获取证据的条目。这种模式比把所有内容都发送给 {{2}}Google{{/2}} 成本更低,也比在合同上运行 {{3}}421M{{/3}} 编码器更能优雅地失败。

成本比较究竟落在何处

在低用量下,Laya 的经济性既无可匹敌,也无关紧要。T4 每月要花几百美元,无论你是否使用;而 100 万个 Gemini Decision 1 任务按 345 美元计算,是一笔需要有人审批的预算项。每月决策量低于几十万次时,托管端点通常仅凭节省的工程工时就能胜出——没有训练任务、没有标签集,也没有服务栈。

A screenshot of the Artificial Analysis Decision Index v2.1 methodology page, listing six weighted evaluations - AA-Paperclip at 30%, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 and AA-Symmetry v1.1, five of them at 15% and When2Call at 10% - with AA-Paperclip described as 30% of the score and built on 1,500 private documents.

在高用量下,这笔账就会反转,而有一点比交叉点更重要:只有当模型已经能在你的任务上表现良好时,Laya 的边际成本才接近零。如果做不到,标注才是真正的账单。Convai 的说明明确指出,公开数据正是通过微调产生的,因此诚实的比较是:每百万次托管任务 $345,对比一块 GPU 加上标注足够多示例以达到你可信校准的成本。这两者都不是按 token 计费的价格,假装不是这样的比较,等于拿租赁价格和建筑项目相比。

接下来是延迟形态,而正是在这一点上,这两个产品完全不再是替代品。Gemini Decision 1 在该指数上测得每个任务 211 毫秒——作为客户消息背后的路由跳转尚可,用于逐帧循环则勉强。Laya 在 T4 上的 32.8 毫秒,才是使逐帧和逐键决策成为可能的数字,而这是再多的 Google 基础设施也无法弥合的优势,因为它源自其 4.21 亿参数规模,而非前沿规模的多模态模型。

路由两者皆非的部分

OrcaRouter 这两个模型都不提供。Laya 是 Apache-2.0 权重,需自行运行;而 Gemini Decision 1 是 Google 自家 API 上仅提供概率的端点——决策模型不是聊天补全目标,我们不会列出无法提供服务的内容。目录中的决策模型是 TypeSafe 的 typesafe/jev-1.14,在同一指数上为 66.23,如果你在意用单个密钥发起评分调用的话。

真正应该放在路由器后面的调用,是这两个模型都依赖、却都不执行的那一步:转换步骤。Laya 的 512 token 窗口意味着上游模型必须先把手稿、录音或截图转换成简短状态,Laya 才能对其进行判断;而 Gemini Decision 1 的每任务成本,主要取决于你交给它多少上下文。选择并更换该上游模型是这条流水线中反复出现的决策,也正是我们专为此而构建的:一个 OpenAI 兼容密钥背后有 200 多个模型,提供商目录价按 0.0% 加价率透传,因此供应商降价当天即可生效,并且提供商性能下降时可自动故障转移。只需针对路由器编写一次,你自有的编码器和租用的评分器就都保持可替换。

本周做什么

如果你的输入超过一页、包含任何非文本内容,或需要就它回答超过几个问题,那么 Laya 就不是候选方案,决策将在 Gemini Decision 1 及其托管同类产品之间,依据价格和通过率来做出。Google 的文档用一段话列出了该模型支持的功能;在围绕它进行设计之前请先阅读,因为不支持列表——不支持缓存、不支持批处理、不支持 Flex 或 Priority、问题指令中不支持媒体——比支持列表更长。

如果你的输入是一句话或一个简短的 JSON 数据块,而且标签集是你自己的,那么使用托管模型就是代价高昂的做法。下载 Laya,标注 500 个示例,进行微调,并在信任置信度之前检查校准——这正是其作者所设计的工作流,而且他们自己的模型卡对基础检查点与微调后检查点之间的差距讲得异常清楚。

你不应该做的是,把 66 与 Laya 卡片上的某个数字进行比较。它们是在不同的测评工具上产生的:其中一个是低于多数类基线的零样本分数,另一个是六项私有数据评估的加权综合分数。唯一值得进行的比较,是在你自己标注的条目上进行的比较,而这两个模型中只有一个能以这种方式运行。