Claude Fable 5.2 基准测试：65 在实际耗时上代价几何

Claude Fable 5.2 在 Artificial Analysis Intelligence Index v5.0.1 上得分 65——在 78 个模型中排名第一，领先 Gemini 4 Carbon 五分。这五分伴随着 267 秒的首 token 时间、每个任务 46.8 分钟的实际耗时，以及每次指数运行 26.54 美元的花费；其中每一项都体现了该分数在实践中的真实形态。这就是该评测框架所测到的结果，以及该如何看待它。Claude Fable 5.2 API页面列出了端点与价格；本文讨论的是基准测试。

这九项评估

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。三项终端与自动化任务、两项基于长输入文档的推理任务、两项高难度科学与数学评估、一项前沿代码评估。不使用 Web 代理测试框架，不支持多轮支持模拟，也不进行漏洞检测。

得分及其量表

65，排名第 1/78，基于 v5.0.1。只有重新在 v5.0.1 上评分的模型才能归入同一张表；v4.3 和 v4.3.2 的分数属于不同的评估集，任何将它们混合在一起的图表都是无效的。在当前批次中，排在最前面的是 Fable 5.2，为 65 分，Gemini 4 Carbon 为 60 分，其余模型则更靠后，或尚未重新评分。

在一个由九项评估构成的指数上，五个点的差距真实存在，但幅度不大。有用的解读不是“好了百分之五”，而是“在一套困难测试集上的小幅优势”；值得为此付出代价的原因在于方差，而不是原始能力：在错误答案会使整次运行失效的任务上，成功率上的小幅优势会随着步骤累积放大。

挂钟

267 秒到首个 token，在 77 个有延迟数据的模型中排名第 76。 46.8 分钟，为每个任务的总计。 输出速度达到每秒 97 个 token，一旦开始输出，比 Carbon 的 72 快 35%，且几乎不占任何实际耗时。

分布才是关键部分。通过 OrcaRouter 的实时流量，同一模型报告 p50 为 8.09 秒 到首个 token，p95 为 10.00 秒，统计范围为七天内 3560 万个 token。测试框架和网关测量的是不同总体：一个让模型在 HLE-Diamond 上以最大努力思考，另一个是调用方设置的任意努力级别下的中位请求。如果你以最大努力运行 Fable 5.2，就会复现 AA 的数字；在低努力下，你会看到接近网关的数字。

这笔钱

按每百万输入 $8.00、每百万输出 $40.00 计算，每次索引运行为 $26.54——在 77 个中排名第 77，是榜单上最贵的。Gemini 4 Carbon 在同样的九次评估中花费 $5.48。这是为五个指数点付出 4.8 倍的支出，而这是本次比较中最有用的单一比率。

AA 报告称，本次运行的输出 token 为 2.75 亿，verbosity 为 0.97%。请注意，相对于 Carbon 的 2.69% 和 2.05 亿 token，该百分比与计数指向相反方向，因此不应将该百分比作为简洁性声明来引用。

让这一比较成立的比例是：每指数点 $0.41 的基准测试支出，对比 Carbon 的 $0.09。无论你从中得出什么结论，算术都迫使你做出路由决策，而不是单一模型决策：在这个价格下，该模型是一个层级，而不是默认选项。

分数不会告诉你的那些事

这套评测中没有网络安全评测，因此这里没有任何内容能说明漏洞召回或补丁质量——如果你正因这一点而关注前沿模型，那么这很相关。这里也没有跨轮次带工具调用的长时运行智能体评测，而这正是 Fable 5.2 实际所宣传的工作负载；终端任务接近它，但并未复现它。

也没有可靠性衡量指标。OrcaRouter 上的实时流量显示，在七天内，所有上游提供商的非 2xx 率为 10.8%，而 Carbon 为 39.7%。基准测试框架会通过重试来吸收这一点；除非你自行构建，否则你的应用不会。

将其解读为一项决定

如果你的任务看起来像那九项评估，并且可以异步运行，那么每次运行 26.54 美元的 65 次调用对困难情况是合理的，对简单情况则是浪费——按难度分流，并对大多数情况使用更便宜的模型。如果你的任务是交互式的，那么 harness 的数字不是你的数字；网关 8.09 秒的 p50 才是你应该针对设计的指标，而 effort 等级则是决定你最终落在接近八秒还是接近四分钟的那个变量。

在正面对比中，Claude Fable 5.2 与 Claude Fable 5.1以更高价格覆盖上一代，而Gemini 4 Carbon 与 Claude Fable 5.1则覆盖跨厂商组合。LLM 模型列表包含 v5.0.1 同批其余模型的 ID 和价格；在复用任何图表时，请重新核对索引版本，因为同一表格中的 v4.3 分数会使比较失效。