Inkling vs Nemotron 3 Ultra: 您应该部署哪个开放权重模型?
Guides & Insights

Inkling vs Nemotron 3 Ultra: 您应该部署哪个开放权重模型?

作者

jinhao song

发布日期

返回全部文章

这个 Inkling 与 Nemotron这一对比将两款开放权重模型对决:Inkling(由前 OpenAI CTO Mira Murati 领导的创业公司 Thinking Machines Lab 的首发产品)和 Nemotron 3 Ultra(NVIDIA 的旗舰开放模型)。两者都提供可下载的权重,都面向希望自托管和微调而非租用封闭 API 的团队,并且处于相同的开放权重层级。有趣的是:根据我们掌握的正面交锋数据,Inkling 与 Nemotron 3 Ultra是唯一一个 Inkling 在我们数据的每个基准测试行中都领先的开放对决。下面我们如实列出数据,然后涵盖许可、显存、成本,以及 NVIDIA 的堆栈仍然让 Nemotron 拥有真正优势的地方。

给构建者的说明:这里没有经过审计的面对面基准测试,因此比较的是模型和访问方式,而非得分。OrcaRouter 将可用的 API 模型路由到一个单一的 OpenAI 兼容端点,这样您就可以试用和比较 Inkling 和 Nemotron 3 Ultra,而无需对接多个 SDK。

TL;DR 结论: 选择 Inkling如果您希望在我们的数据中获得更强的原始分数、宽松的 Apache 2.0 许可证、100 万个 token 的上下文窗口以及多模态(文本+图像+音频)输入。选择 Nemotron 3 Ultra如果您已标准化采用 NVIDIA 的企业和硬件栈(NIM 微服务、NeMo、经过认证的 DGX/Blackwell 部署),并且希望获得一个针对该生态系统进行调整的模型。两者均为开放权重且可自行托管。

关键要点

两者都是开放权重的、可下载且可自托管——这是一场开放对开放的较量,而非开放对封闭。

Inkling在每项基准测试中都领先于我们的直接对比数据(MarkTechPost集),涵盖从HLE、AIME 2026到SWE-bench Verified、Terminal Bench 2.1和FORTRESS。

Inkling也领跑独立指数:人工智能分析智能指数41比38,领先于Nemotron 3 Ultra。

许可证差异:Inkling 是 Apache 2.0;Nemotron 3 Ultra 采用 NVIDIA 的开放模型许可——在商业部署前请查看 NVIDIA 的条款以了解详情。

Nemotron的优势在于其定位:即NVIDIA企业/硬件栈的集成,而非我们数据中的基准测试胜出。

注意:Inkling 的基准测试数据由供应商在发布时自行提供;竞争对手的数据来自第三方,未经独立审计。

此处的基准测试来自Inkling发布时的供应商自报数据(Effort 0.99),第三方数据来源于Artificial Analysis和MarkTechPost;以上数据均未经独立审计,竞争对手的数据可能与NVIDIA自家报告的数据存在差异。Inkling的自身规格参数来自Thinking Machines的模型卡。

快速浏览比较

Maker. Inkling: Thinking Machines Lab; Nemotron 3 Ultra: NVIDIA

许可证。Inkling: Apache 2.0(免版税自托管);Nemotron 3 Ultra:NVIDIA 开放模型许可证(请查阅 NVIDIA 条款)

权重。Inkling: 开放 (Hugging Face); Nemotron 3 Ultra: 开放

参数。Inkling:总共975B / 41B活跃(MoE);Nemotron 3 Ultra:不在我们的数据中

上下文。Inkling:最多1M tokens(托管 API 上为256K);Nemotron 3 Ultra:不在我们的数据中

模态. Inkling: 文本+图像+音频输入,文本输出; Nemotron 3 Ultra: 不在我们的数据中

自托管/微调。暗示: 是/是 (Tinker);Nemotron 3 Ultra: 是/是

托管价格。Inkling: 每100万token(AA)入站约$1.87/出站约$4.68;Nemotron 3 Ultra: 不在我们的数据中

标记为“Not in our data”的单元格会被省略而非猜测——请参阅上面的披露说明。

各类别获奖者

推理/知识。胜出者:Inkling; 备注: HLE 29.7% 对比 26.6% (MarkTechPost)

数学。胜者:Inkling; 备注:AIME 2026 97.1% 对 94.2%

编程。获胜者:Inkling备注:SWE-bench 已验证 77.6% vs 70.7%

Agentic(终端)。胜者:Inkling备注: Terminal Bench 2.1 63.8 vs 56.4

安全性(对抗性)。胜者:Inkling (微弱); 备注:FORTRESS 78.0% vs 77.6%

综合智能。胜者:Inkling; 备注:AA Intelligence Index 41 比 38

多模态/音频。获胜者:Inkling备注:文本+图像+音频输入;Nemotron模态不在我们的数据中

企业/硬件适配。胜者:Nemotron 3 Ultra备注:原生NVIDIA栈集成

成本(自托管)。胜出者:平局;备注:两者均免版税用于自托管(每个许可证)

头对头基准测试

以下数据来自MarkTechPost报告的一组一致数据,加上一个来自Artificial Analysis的独立索引。粗体标记领先者。

HLE(无工具)。Inkling:29.7%Nemotron 3 Ultra:26.6%;来源:MarkTechPost

AIME 2026(数学)。Inkling:97.1%Nemotron 3 Ultra:94.2%;来源:MarkTechPost

SWE-bench 已验证(编程)。Inkling:77.6%Nemotron 3 Ultra: 70.7%; 来源: MarkTechPost

Terminal Bench 2.1 (代理型). Inkling: 63.8; Nemotron 3 Ultra: 56.4; 来源: MarkTechPost

FORTRESS(对抗性)。Inkling:78.0%Nemotron 3 Ultra:77.6%;来源:MarkTechPost

AA智能指数。Inkling:41Nemotron 3 Ultra:38; 来源:Artificial Analysis

根据我们掌握的数据,Inkling 取得了一场完胜。需要明确指出:在与 Inkling 进行基准测试的开放竞争对手中,Nemotron 3 Ultra 是被它全面击败的一个。面对其他开放模型如 GLM 5.2、Kimi K2.6 和 DeepSeek V4 Pro,Inkling 互有胜负——但在这里,它每一项都领先。

不过,还是要提防这些注意事项。这些数据是Inkling方面在发布当天自行报告的,而竞争对手的得分由第三方编制,未经独立审计。FORTRESS的差距(78.0%对77.6%)非常小,如果换一种测试条件重新运行,结果可能反转。应将整体趋势视为比精确小数更可靠。

Nemotron 3 Ultra 的胜出之处

Nemotron 3 Ultra的优势不在于我们数据中的得分榜——它在于定位。Nemotron是NVIDIA自己的模型系列,这对于已经致力于NVIDIA技术栈的企业来说具有实际意义:

硬件与软件协同设计。Nemotron 模型旨在 NVIDIA 硬件上流畅运行,并通过 NVIDIA 的企业工具(NIM 推理微服务、NeMo 框架以及经过认证的 DGX/Blackwell 参考部署)呈现。如果你的平台团队已经运行在该技术栈上,Nemotron 能够以最小的摩擦直接接入。

企业支持与打包服务。 由NVIDIA商业机制支持的产品,对于大型组织来说,比年轻初创公司的首次发布更容易采购和支持。

生态系统引力。对于在GPU、驱动程序、推理运行时和模型上统一采用单一供应商的团队,Nemotron减少了活动部件的数量。

这些因素不会出现在基准测试表中,但往往却是企业部署的关键决定因素。

Inkling 获胜之处

我们数据中的每个基准测试。HLE、AIME 2026、SWE-bench Verified、Terminal Bench 2.1 和 FORTRESS 都倾向于 Inkling,独立的 AA Intelligence Index(41 vs 38)也是如此。

更宽松的许可协议。Apache 2.0 几乎是开源许可中最无限制的了。Nemotron 的 NVIDIA 开放模型许可可能包含值得注意的条件(见下文)。

多模态输入。 Inkling 接受文本、图像和音频输入(文本输出)。Nemotron 的模态支持不在我们的数据中。

巨大的上下文窗口。 Inkling的权重支持最多1M个令牌(托管API上为256K)。

可控的思考投入。一个推理投入旋钮可让您在每个请求中权衡成本与深度。

定价与成本 / 总拥有成本

由于两个模型都是开放权重的,因此每个模型的首要成本问题都一样:自托管是免版税的(需遵守每个模型的许可条款)。你支付的是GPU和运维费用,而非权重费用。

对于 Inkling,如果你更喜欢托管服务,第三方提供商的价格(根据 Artificial Analysis)大约为$1.87 / 1M 输入令牌$4.68 / 1M 输出令牌在64K上下文中(缓存约为$0.374 / 1M),在256K上下文中升至约$3.74 / $9.36。微调通过Tinker平台(提供64K和256K上下文选项),享受50%限时发布折扣,并且有一个免费Playground可供试用。Inkling还具有显著的令牌效率(每任务约25K输出令牌),从而降低了实际输出令牌的开销。

对于 Nemotron 3 Ultra,我们的数据中没有按 token 计价的托管定价,因此我们不提供具体数字。定性而言:如果你在现有的 NVIDIA 企业协议内运行它,模型成本可能会整合到更广泛的堆栈交易中,这可能会独立于任何按 token 费率改变 TCO 计算。

许可与部署

许可协议。 Inkling 发布于 Apache 2.0 — 允许商业使用,自托管免版税,条款简单且易于理解。Nemotron 3 Ultra 发布于 NVIDIA’s open model license。我们不会猜测其具体条款;负责任的做法是 直接阅读NVIDIA的条款之后再投入商业部署,因为开放模型许可证可能包含Apache 2.0所没有的使用限制、署名要求或可接受使用条件。实际要点:Inkling的许可证是两者中更宽松且更可预测的。

如何运行Inkling。权重位于Hugging Face(BF16 + 一个用于NVIDIA Blackwell的NVFP4检查点)。VRAM层级:

BF16:约2TB(大致相当于8×B300或16×H200)

NVFP4: ~600GB(大致相当于4×B300或8×H200)

受限设置: Unsloth 1-bit GGUF 量化

支持的运行时包括 SGLang、vLLM、TokenSpeed、Unsloth 和 Hugging Face transformers,并且可以通过 Together AI、Fireworks、Modal、Databricks 和 Baseten 获得托管访问。一个最简单的 vLLM 快速入门示例如下:

vllm serve thinkingmachines/Inkling --tensor-parallel-size 8

如何运行 Nemotron 3 Ultra. Nemotron 3 Ultra 同样是开放权重且可自托管的,它设计为通过 NVIDIA 自身的部署路径运行(基于 NVIDIA 硬件的 NIM 微服务和 NeMo 框架)。我们的数据中没有其精确的 VRAM 占用或每 token 价格,因此请查看 NVIDIA 的模型页面以获取检查点大小和受支持的运行时。

你该选哪个?

选择Inkling如果你想要我们数据中更强的实测性能、最宽松的许可证(Apache 2.0)、多模态输入、100万token的上下文窗口以及一个可在Tinker上微调的token高效模型,那么对于成本敏感的团队以及任何希望部署方式具有最大灵活性的人来说,它是更好的选择。

选择 Nemotron 3 Ultra,如果您的组织已标准化在 NVIDIA 的企业与硬件堆栈上,且更看重这种紧密集成、打包及支持而非基准测试差距。记分板偏向 Inkling;但生态系统可能让 Nemotron 更适合您。

不确定?两者都可以免费自托管,因此低风险的做法是在您自己的代表性任务上原型化 Inkling(通过免费的 Playground 或托管提供商)和 Nemotron(通过 NVIDIA 的部署路径)。基准测试指向一个方向;您的工作负载才是真正的评判者。

要更深入了解Inkling本身,请参阅我们的Inkling AI模型完整评测以及解释文章《什么是Inkling AI?》。至于其他开放权重模型的对比,可以比较Inkling与Kimi K2.6以及Inkling与GLM 5.2,这些结果比这里更为接近。

常见问题

Inkling比Nemotron 3 Ultra更好吗?根据我们掌握的数据,是的。Inkling在每一项一对一基准测试(MarkTechPost数据集)和独立的Artificial Analysis Intelligence指数(41对38)中都领先。不过,这些数据是自我报告或第三方提供的,未经独立审计,而且“更好”还取决于每个模型与你现有技术栈的契合程度。

哪个更适合编程?从数据上看,Inkling 更优:SWE-bench Verified 77.6% 对比 70.7%,Terminal Bench 2.1 63.8 对比 56.4(均来自 MarkTechPost)。照例,在决定前先在自己的代码库上验证一下。

哪个更便宜?两者都是免版税的,可以自托管,所以诚实的答案是“这取决于您的基础设施。”Inkling有公开的托管价格(通过AA,每100万输入/输出代币约1.87美元/4.68美元),并且是代币高效的;我们的数据中没有Nemotron的托管定价,其成本可能包含在更广泛的NVIDIA协议中。

Nemotron 3 Ultra 是开源的么? 它采用的是 开放权重——权重可下载——但附带的许可证是 NVIDIA 的开源模型许可,而非 OSI 批准的标准开源许可证。“开放权重”与“开源”不同。具体条款请查阅 NVIDIA 的规定。相比之下,Inkling 使用的是 Apache 2.0 许可证。

我可以自托管Nemotron 3 Ultra吗? 可以。它是一个开放权重的可自托管模型,旨在通过NVIDIA的部署工具(NIM/NeMo)在NVIDIA硬件上运行。商业使用前请查看许可证。

我能否对Inkling进行微调?可以。Inkling专为定制而生:您可以通过Tinker平台(提供64K/256K上下文选项,且享受发布折扣)进行微调,也可以自行托管Apache 2.0权重的模型,并在您自己的基础设施上进行微调。

结论

在现有数据可比的公开竞品中,Nemotron 3 Ultra 是 Inkling 能够干净击败的对象——在每个基准测试行和独立智能指数上都领先,且拥有更宽松的 Apache 2.0 许可证,并支持多模态与长上下文。Nemotron 3 Ultra 的真正优势不在于得分板,而在于其原生适配 NVIDIA 的企业与硬件生态系统——对于已投身该技术栈的团队而言,这比几个基准点更重要。请牢记这些警示——这些数字均未经独立审计——但如果你依据实测能力和许可自由度做选择,Inkling 是此处更优的选择。


© 2026 OrcaRouter

推理服务商

运营推理平台?让您的模型上线 OrcaRouter。

联系我们

加入我们的社区

DiscordEmailXGitHubYouTube