Granite 4.2 3B 发布：IBM 的笔记本级推理模型在 AIME 2025 上声称得分 78.33

今晚你就可以在笔记本电脑上运行 Granite 4.2 3B。这就是头条数字背后的现实：IBM 于 2026 年 8 月 25 日以 Apache-2.0 许可证发布了 Granite 4.2 3B，它是全新 Granite 4.2 系列中三款密集推理模型里最小的一个——Granite 4.2 3B、Granite 4.2 8B 和 Granite 4.2 30B——其模型卡宣称在 AIME 2025 上取得 78.33 分，这个数学推理成绩在几年前只有体积大百倍的模型才能达到。其权重约有 30 亿个参数：bfloat16 格式下占用 6 到 8 GB，实用量化后不到 2 GB。这正是此次发布的意义所在——过去属于数据中心级采购的推理模型，如今一个包里就能装下。

The honest framing has to sit next to that. Every number on the card is IBM's own, printed the day the weights went up, and no independent lab has reproduced any of them. There is no hosted API yet — the card lists no inference provider — so the only way to meet this model today is to run it yourself or wait for a hosted tier to appear. This is a what-we-know-now readout of the smallest member of the family, which means being precise about which claims the repository actually supports. 诚实的表述必须放在旁边。卡上的每一个数字都是IBM自己的，是在权重上线当天印上去的，没有任何独立实验室复现过其中任何一个。目前还没有托管的API——卡片上没有列出任何推理提供商——所以今天要接触这个模型的唯一方式，要么自己运行，要么等待托管服务出现。这是对这个家族中最小成员的一份“就目前所知”的评估，意味着要精确区分仓库实际上支持哪些声明。

发布了什么，又是多么悄无声息

Granite 4.2 是 IBM 的推理系列——这是首个围绕显式思维链（chain-of-thought）构建的 Granite 家族，也是首个在较大模型上大规模加入智能体训练的系列。所有三个尺寸均为 Apache 2.0 许可下的密集、仅解码器 Transformer 模型，分五个阶段使用约 15 万亿 token 进行预训练，全部支持 128K 原生上下文，并可扩展到 512K 长上下文。此次发布并非新闻通稿式官宣：主要信息来源是 Hugging Face 技术博客《Granite 4.2 LLMs：它们是如何构建的》，该文与模型卡一同于 8 月 25 日发布。中国科技媒体在数小时内便跟进报道了这一系列，Ollama 也已列出了 granite4.2:3b 构建。

是什么让3B成为边缘成员

3B 是在 Granite-4.1-3B-Base 基础上进行后训练得到的，它与同系列其他模型的不同之处恰恰在于它所不具备的能力。Granite 4.2 8B 和 Granite 4.2 30B 都接受了 IBM 的智能体强化学习训练——这种训练教会模型在沙盒环境中操作终端、运行代码和搜索网页，这正是这两个模型拥有 SWE-Bench 和 Terminal-Bench 成绩的原因。而 3B 完全跳过了这一训练模块；其模型卡上没有报告任何 SWE-Bench 或 Terminal-Bench 结果，因为该模型从未经过智能体强化学习（agentic-RL）框架的训练。

3B保留的是推理核心和接口：

• 参数 — 3B（根据 safetensors 元数据，含嵌入总计约 4B），基于 Granite-4.1-3B-Base 构建的密集仅解码器 Transformer。

• 架构 — 分组查询注意力（40个头，8个KV头），RoPE（θ=10,000,000），SwiGLU MLP（隐藏大小8,192），RMSNorm，bfloat16。

• 上下文 — 原生支持131,072个token；第五个预训练阶段将窗口扩展至512K。

• 推理模式 — 默认完整思考（<think>...</think>），非思考通过 enable_thinking=False，以及一种低努力模式，在简单问题上花费较短的推理预算。

{{1}}工具调用{{/1}} — {{2}}与 OpenAI 兼容的函数调用{{/2}}，采用{{3}}与较大同系模型相同的架构{{/3}}，经由 {{4}}vLLM 端点{{/4}}提供服务；{{5}}OpenHands、OpenCode 和 Pi 的集成已有文档说明{{/5}}。

• 语言 — 已测试12种：英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文。

• 服务 — Hugging Face Transformers、vLLM（v0.20+，带专用思考解析器）、SGLang、llama.cpp 的 GGUF 构建、FP8/NVFP4/MXFP4 量化以及 Ollama。

供应商报告的数字

该模型卡片列出了强劲的推理得分，而且每一项都是IBM自己得出的。在数学和推理评估中，3B在AIME 2025上为78.33，在2025年2月的HMMT上为66.67，GPQA为54.80，LiveCodeBench v6为69.71。在指令遵循方面：MMLU-Pro为67.84，IFBench为74.33。在长上下文方面，RULER在64K时为67.52，在128K时为55.30。在通用智能体评估中，3B确实具备——基本工具使用，但没有智能体RL模块——其在BFCL v4上为52.41。

这一切都未经独立复现。该模型于8月25日发布；Artificial Analysis 尚无相关条目，也没有任何第三方评估发表。78.33 的 AIME 成绩值得关注：对于一款 3B 级稠密模型而言，这一数字远高于小型开源模型历史所及的范围，而这样的纸面数据恰恰是复现运行要么证实、要么悄然收回的东西。请将本节中的所有数字视为 IBM 的单方面宣称。

哪些是已确认的，哪些不是

经工件确认：权重可下载；许可证为 Apache 2.0；架构、上下文长度、推理模式和工具调用接口均与规格卡片一致；训练配方的文档详尽程度非同寻常，细至数据比例以及用于训练该系列的 NVIDIA GB200 NVL72 集群（由 CoreWeave 托管）。经发布日集成工作确认：Ollama 已收录 granite4.2:3b，卡片中记录了 vLLM、SGLang、Transformers 和 GGUF 的部署路径。

尚未确认：独立基准测试结果；托管API（无论是IBM自家的watsonx还是任何第三方）是否会推出，以及定价如何；512K扩展在真实长文档工作负载下的表现（而非RULER针测试）；以及3B模型的基础工具调用在生产级智能体循环中的表现——它没有agentic-RL训练可供依赖。

3B的竞争领域及其测试方法

3B的赌注在于，小而本地化是一种特性，而非妥协。在其之下，产品家族就到头了——3B是Granite 4.2系列的最低端——而在其周围，托管侧的预算推理赛道竞争激烈，DeepSeek V4 Flash和Gemini 3.5 Flash-Lite锚定了廉价的托管推理层级，小型开放权重推理模型全年不断涌现。3B与它们都有所不同，具体体现在一个方面：它是密集型的，采用Apache-2.0许可，且体积小到一次请求的边际成本仅相当于一块普通GPU的耗电量——但它也是全新的、未经证实的，并且没有任何第三方评估。

这种组合正是路由层证明自身价值的地方。OrcaRouter 并不路由 Granite 4.2 3B——坦白说，它目前可用的方式是自行托管（通过 vLLM、SGLang 或 Ollama），或通过 IBM 自有渠道（一旦上线）——但它所竞争的托管模型都在 OrcaRouter 上，以提供商的列表价格原价转售，零加价，统一由一个 API 密钥接入。如果你正在搭建一个对比测试框架，用来判断 3B 的本地推理是否胜过租用托管的廉价模型，那么一个密钥指向托管模型这一侧，你可以通过单一端点将它和自托管的 Granite 进行 A/B 对比，而自动故障转移能吸收你自己的 GPU 池满载的那些时段。这些托管替代方案一旦降价，转售价格当天就会同步生效。

看什么

{{1}}这个发布将如何被铭记，取决于三件事。{{/1}}{{2}}首先，AIME和GPQA成绩的独立复现——卡片上标注的78.33与第三方实测的78.33之间的差距，正是小模型之说成立与否的关键所在。{{/2}}{{3}}其次，watsonx或其他托管方是否会采用3B模型，以及每token的定价如何；一个不足2GB的量化推理模型可能催生极具价格优势的托管层级。{{/3}}{{4}}第三，低投入推理模式能否在简单问题上保持质量，因为正是这种模式让笔记本级推理模型在真实产品流量中变得可用。{{/4}}{{5}}Granite 4.2 3B是一个真正开放、文档完善的推理模型，它低调发布，明天就能部署在你的硬件上；{{/5}}{{6}}所有悬而未决的问题都会在数周内得到答案。{{/6}}