一张生成的双列记分板卡片,标题为“ScaleDown Classify 对比 Microsoft-Decision-1——记分板”,其中 ScaleDown Classify 的各行写着未说明的方法、厂商声称的结果、没有语言列表、1M token 上下文、一句话说明和私有权重;相对地,Microsoft-Decision-1 这边则是有详细文档记录的方法、没有列出结果、25 种带附加说明的语言、32,768 token 上下文、没有说明,也没有微调路径。
Engineering & Research

ScaleDown Classify 与 Microsoft-Decision-1:一个公布数字,另一个公布方法

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

ScaleDown Classify 和 Microsoft-Decision-1 是本次对比中的两个闭源、托管式选项。两者都不发布权重,都不是可供下载的东西,并且都建立在同一个前提之上:一个决策——哪个类别、哪个选项、这些中的哪一个——应当从模型的概率中读出,而不是由生成循环以文本形式写出。Microsoft-Decision-1 自 2026 年 10 月 8 日起在 Microsoft Foundry 上正式可用,是一个由 Microsoft 后训练的 90 亿参数密集解码器,支持 25 种语言,上下文长度为 32,768 个 token。ScaleDown Classify 是一个托管式评分标准引擎,价格为每百万输入 token 0.05 美元、每百万输出 token 0 美元,输入上限为 100 万 token,标签数量上限为二十个。将两者区分开来的不是能力。而是每家公司愿意公开其自身模型的哪些信息,而它们选择了相反的两半。

披露倒置

Microsoft-Decision-1 的 Foundry 文档以不同寻常的详细程度描述了其评估。公开和社区决策基准,以及留出的内部数据集。指标包括准确率和校准误差。选项顺序有变化。配对统计检验。对与之比较的每个模型都使用完全相同的评估框架。然而随后它报告称,该模型“与领先的决策模型表现相当,并领先于以相同方法评估的其他开放决策模型”——却完全没有公布任何数字。没有准确率数值,没有校准误差,没有按基准划分的表格。

Microsoft 确实发布的是一份局限性清单,而且这份清单很出色。分数会随措辞和选项顺序而变化。即使问题表述不佳,仍然会返回一个分数。校准在熟悉的任务类型上最强。不会生成任何解释。该模型列出的优势是推理、规则应用以及对提示格式的稳健性;其列出的弱点是专业领域知识和非英语表现。

ScaleDown Classify 运行的正是那项策略的镜像。其文档在操作层面对如何撰写请求作了详尽说明——评分标准被描述为分类请求中最重要的部分,需以直接的 yes/no 问题表述,避免使用否定式,并保持各标准互不重叠,以免概率质量被不可预测地分割——而厂商的营销则带有准确率和成本方面的宣称,包括一个约五亿参数的模型在一项简单分类任务上达到 91.7%,而一个 720 亿参数的模型为 88.6%。这些都没有附属于任何已描述的方法论,而且 ScaleDown Classify 在任何公开测试基准上都没有公布预期的校准误差。

所以,选择就在两类供应商之间:一类告诉你它是如何测量的,却不告诉你它发现了什么;另一类告诉你它发现了什么,却不告诉你它是如何测量的。两者都算不上完全披露,也都不应被当作完全披露来对待。

A screenshot of ScaleDown's /classify API reference page, captured 14 October 2026, showing the POST /classify endpoint description, the text, chunks and optional document input fields, and the required labels array of name-and-rubric objects that the documentation describes as the most important part of the request.

语言:一种会发布计数,另一种什么都不发布

Microsoft-Decision-1 列出了 25 种受支持的语言,并明确指出覆盖范围、质量和校准“可能因语言而异”,还点名非英语、尤其是低资源语言属于表现不佳的领域。这是一则可用的披露:它告诉你该模型支持多语言,大致告诉你其多语言程度如何,也告诉你哪些地方不应信赖它。

ScaleDown 的 Classify 文档并未公布语言列表。API 参考中没有任何内容说明评分标准评分会处理哪些语言,也没有说明用非英语表述的评分标准是否表现相同,而评分标准指南——将其表述为直接的“是/否”问题,避免使用否定表达——的写法隐含地假设调用方是讲英语的人,并且用英语撰写评分标准。对于一个在实践中将被指向国际支持工单的分类器来说,这就是你在正式采用之前需要弥合的差距,而这个差距只有你自己的评估才能弥合。

如果你需要一份有据可查的语言足迹,那么这一比较到此为止,微软默认胜出。如果你只用英语,数量就不是一个因素,其余决定取决于输入长度和阈值。

上下文:32,768 个 token,对比 100 万

Microsoft 说明单次调用最多支持 32,768 个 token。ScaleDown 说明其输入上限为 100 万 token,并表示无论是单独发送一个分块,还是作为五十个分块批次的一部分发送,每个分块的校准都完全相同,共享配置文件按每次请求计费一次。就原始数字而言,这是三十倍的差异,也是这两个产品之间最大的单一差距。

它换来的不是吞吐量——而是你是否需要一个分块层。一个支持线程、一个带历史记录的工单、一段简短的检索片段:这些全都能塞进 32k 里,还能留出空间放问题架构,而两个模型在这种规模下大致相当。一份完整合同、一份多页政策文档、一段很长的检索上下文或一张扫描表单:这些没有一个能塞进 32k,而 Classify 的文档路径——base64 的 JPEG、PNG、TIFF 或 PDF,单页或多页,提取出的文本会返回到 ocr_text 字段中——意味着文档可以以字节形式传入,而不必作为预处理过的文本。

这两个数字均出自供应商自身。ScaleDown 的百万 token 说法尚未获得独立证实,而第三方目录中该模型的收录信息将上下文长度标为“不适用”,并未照搬这一数字——这属于目录收录的限制,而非相互矛盾。

解释:一个拒绝,一个收取双倍费用

Microsoft-Decision-1 不提供任何解释,而模型页面将这一点列为一项局限性,而非一种设计选择。ScaleDown Classify 会针对其最高标签返回一句解释,文档也对该句子的性质做了谨慎说明:它是在最高标签确定之后生成的,因此它是对该决策的说明,而不是对它的质疑;它是自由形式的;并且它会以 2 倍计费的输入 token 重新发送标签和评分标准。它仅适用于带有单一文本或文档输入的单一标签请求——多标签请求和批量请求永远不会返回它。

对于人工审核队列而言,那句话往往就是审核员接受某个分类与审核员重做该分类之间的区别,这也让对进入人工处理的那部分流量收取 2 倍附加费变得很容易证明其合理性。对于自动化流水线而言,它是账单上的无用负担,应该关掉。

两者都是封闭的,这会改变你能测试的内容。

• 权重——两者均不提供;ScaleDown 可按需提供企业自托管与授权,微软的页面则完全没有记录任何微调途径

• 选项上限 — ScaleDown 每次请求 20 个标签,多标签模式下为 16 个,独立评分;Microsoft-Decision-1 的选项集上限未在模型页面上说明

• 批量推理 — ScaleDown 记录每次请求针对共享标签配置文件最多 50 个分块;微软的页面将批量推理列为已禁用

• 计费披露 — Classify 的费率已标明,为每百万输入 token 0.05 美元、每百万输出 token 0 美元;Foundry 的每 token 费率未在模型页面上标明

• 价格结构 — Classify 在多标签模式下会随标签数量倍增,启用推理后则翻倍;Foundry 的费率按 token 计费,未公布标签倍率

• 空答案 — 即使什么都匹配不上,Classify 也会返回一个胜出结果,因此阈值由你来定;Microsoft 声明的行为是,即使问题表述不当,也仍会返回一个分数

两者都是闭源的,其后果在两种情况下都一样:你无法检查产物,所以唯一的验证方式就是行为验证。这就使得一组留出的、由你自己标注的数据成为必需,也使得更换供应商的代价变成重跑那套评估,而不是改一次代码。

A screenshot of the OrcaRouter models catalogue, captured 14 October 2026, showing the header '210 models, 16 providers, one API key, one bill' and the filter row for input modalities, context length, input price, status, access tier, series and supported parameters.

OrcaRouter 在基于任一者构建的流水线中处于什么位置

这两个模型都不在我们的目录中,此处所作的任何陈述也不构成可用性承诺——两者都是结构化评分端点,而非聊天补全目标,而且路由层并不是它们任何一个所需要的东西。我们所提供的是它们之上的那一层:一个兼容 OpenAI 的密钥背后超过 200 个生成式模型,它们负责生成分类器所评判的草稿,按供应商标价原样传递,0% 加价,并配有路由 DSL,可将多个模型组合为一次调用,还能在服务路径降级时自动故障转移。如果由某个决策模型来把关你的生成层被允许交付什么,那么生成层正是你的正常运行时间风险所在,而这正是一个密钥能够整合起来的那一半。

该选哪一个

如果你需要一份有据可查的语言覆盖清单,如果你本就身处 Azure 体系之内,或者对你们的采购而言,大型供应商的合规姿态比公开的准确率数字更重要,那就选择 Microsoft-Decision-1。同时也要接受这一点:你将完全依靠自己的数据来评估它,因为微软选择不给你任何其他东西。

如果你的输入超过 32k 个 token,如果你希望把抽取步骤并入分类调用,或者如果你想要一套无需重新训练任何内容即可改写的按标签评分标准,就选择 ScaleDown Classify。请接受:准确率方面的论据来自供应商自身且未经复现,没有公布任何校准数值,而且你将需要自行编写置信度阈值和一个兜底标签。

能够定夺此事的那个测量——两个模型在完全相同的输入上、相同的选项顺序、相同的阈值扫描下运行,且由没有任何利益牵涉的人来执行——两家厂商都尚未公布。在其中一方运行它之前,最诚实的解读是:微软是更稳妥的默认选择,而 ScaleDown 是能力更强的工具。

A generated two-column scoreboard comparing ScaleDown Classify and Microsoft-Decision-1 across published methodology, published results, supported languages, context length, explanation output and weight access, with a footer reading that both vendors self-report and neither publishes independently audited results.

像这样的比较,也正是故障模式暴露之处:OrcaRouter AI Incident Archive 收录了这类模型背后有记录的 AI 事件和智能体故障,其中每个条目都带有各自的来源、严重程度、置信度等级和争议标记。