Jais 3 先落地 vLLM，后登上新闻稿

请查看日期：J​ais-3-375B-A23B 的部署配方，而它并没有说明发布报道所称的内容。该 vLLM 配方页面针对旗舰机型，属于 J​ais 3 系列，带有 2026 年 10 月 5 日的最后更新时间戳。以下权重：J​ais-3-32B、J​ais-3-7B、J​ais-3-3.7B、J​ais-3-0.9B和J​ais-3-MoVA-36B-A4B 于 9 月 29 日上传至 Hub。来自 Institute of Foundation Models 和 Inception42 的新闻稿日期为 10 月 15 日。这个先后顺序才是这里真正的新闻，而且它比公告所讲的故事更好：服务栈并没有手忙脚乱地追赶一个阿拉伯语前沿模型——它提前十天就准备好了。本文要讲的是这种准备在实际中是什么样子、这个系列交付了什么，以及至今无人回答的两个问题。

这些食谱是真实的，而且很具体。

框架支持公告通常只有一句话加一个链接。而这一篇里面带有可执行内容，值得仔细读一读，因为它能在你下载那七百多GB的权重之前，就告诉你部署的实际成本。

• vLLM — 这些配方面向 vllm>=0.30.0/。375B 旗舰模型需要 --tensor-parallel-size 16 --enable-expert-parallel/，运行于 bfloat16 检查点之上，即 IFM 自家参考部署中跨两个 8-GPU 节点的 16× H100 80GB。

• 较小的同系列模型占用更少的资源 — J​ais-3-32B 在 --tensor-parallel-size 2 下提供服务/，J​ais-3-7B 和 J​ais-3-3.7B 在 --tensor-parallel-size 1 下提供服务/。J​ais-3-MoVA-36B-A4B 希望在启用专家并行的情况下使用 TP=2，而它每个 token 的 4B 激活参数正是它不需要节点集群的原因。

• SGLang — 该并行配置面向 sglang>=0.5.20/，其中双节点 375B 配置采用 TP=16 和 EP=16、FlashAttention-3，并显式禁用了多线程权重加载。

• H200 让这笔账的算法变了——单卡 141GB 显存，这款旗舰模型就能装进一个 8 卡 H200 节点。IFM 的说明卡指出，在这种情况下要把张量并行和专家并行降到 8。用一个节点而不是两个，在成本模型里绝不是可以忽略的舍入误差。

• AMD 同样经过了验证 —— 配置页面提供了一个 MI355X 配置，已在 8 卡 gfx950 节点上验证通过，融合 MoE 和统一注意力后端均使用 AITER，并配合 VLLM_ROCM_USE_AITER=1/。只有 NVIDIA 的零日支持故事很常见；而第二个厂商的芯片也经过验证的零日故事则不然。

让这项支持不只是一个兼容性复选框的原因在于，该架构确实是定制的。Hub 配置声明 model_type: k2_horizon/ 和 K2HorizonForCausalLM/，并带有自定义远程代码，375B 版本包含 192 个专家，每个 token 路由 8 个。这类模型通常是在发布数周后才带着发布说明中的补丁列表进入某个框架，而不是带着一份日期早于新闻稿、已经签入的配方。

阿拉伯语原生的智能体，体现在它实际接受的标志上

"Agentic"是公告标题里的那个词，而服务命令正是你能检验它是否有实际意义的地方。它大体上确实有。

• --reasoning-parser k2_horizon/ 将思维轨迹与答案分隔开。思考内容会返回在 reasoning_content/ 中，而答案则返回在 content/ 中，这正是可被记录的思维链与必须用正则表达式从响应体中提取的思维链之间的区别。

• --tool-call-parser k2_horizon/ 与 --enable-auto-tool-choice/ 可开启工具调用功能，该模型支持三种工具调用格式——json/、xml/ 和 xml_typed/——可按请求通过 chat_template_kwargs/ 选择，默认为 xml/。

• 推理深度是每个请求的设置项，而不是部署决策。{"reasoning_effort": "high"}/ 是默认值，所有已公布的数值都是用它生成的； "low"/ 会完全关闭思考，而且 IFM 自己的说明卡表示，low 不建议用于推理强度研究之外的场景。

• 采样参数会随语言而改变，这很不寻常，值得留意。默认值为 temperature 0.2、top_p 0.95、top_k 20。在思考模式下，IFM 要求英语使用 temperature 1.0，阿拉伯语使用 0.7。对于此模型而言，单一的全局 temperature 设置是错误的配置。

• 输出预算很大。卡片建议至少 32,768 个输出 token——这强烈暗示了推理轨迹有多长，而且如果你习惯了 4K 的补全输出，这也是对单次请求超时的一个实实在在的约束。

这个家族实际交付的东西

六个基础检查点，而不是一个。这种覆盖范围比旗舰型号更重要，因为它决定了这一系列究竟只是研究产物，还是能真正承载工作负载的东西。

• Jais-3-0.9B — 0.9B dense、128K 上下文，是唯一一个不是 512K 的成员。通过 YaRN 实现的 RoPE 缩放写在 vLLM 命令里，因此这一个模型的长上下文行为属于显式覆盖，而非训练所得的默认设置。

• J​ais-3-3.7B、J​ais-3-7B、J​ais-3-32B——均为稠密模型，上下文长度全部最高可达 524,288 个 token，IFM 将其描述为小型、中型和大型稠密成员。

• Jais-3-MoVA-36B-A4B —— 一个采用 Mixture-of-Values 注意力的混合专家模型。配方页面给出的数据是 37.44B 存储参数（含嵌入）以及每 token 5.95B 激活参数，而模型卡上标注的是 36B 和 4B。两组数字都来自供应商；它们对嵌入的计数方式不同。在为 GPU 做容量规划时采用配方页面的数字，而在引用该模型时采用模型卡的数字。

• J​ais-3-375B-A23B——旗舰型号，卡片上标注 375B 存储、23B 激活，而配方页面显示 379.17B 和 26.67B。同样的计数差异，同样的解决方式。

• 量化格式与边缘格式已经推出——FP8 构建版本、适用于 llama.cpp 和 Ollama 的 GGUF，以及面向 Apple silicon 的 MLX 4 位、8 位和 bf16，已在 IFM 组织内发布。32B 的 MLX 构建版本于 10 月 1 日发布，3.7B 和 7B 的 GGUF 构建版本于 10 月 13 日发布。没有人需要等待后续版本才能在本地运行这些模型。

• 整个基础系列均采用 Apache 2.0 许可证，inception42 仓库不设任何权限限制。这与该系列如今所竞争的多个阿拉伯语模型相比，立场有着实质性的不同。

同一机构中还有J​ais-ASR——一个基于 J​ais-3-4B 主干构建的语音识别模型，覆盖现代标准阿拉伯语以及 19 个阿拉伯国家的方言，并支持语码转换为英语、法语、西班牙语和意大利语，在 Open Universal Arabic ASR Leaderboard 上报告 22.85% 的 WER 和 8.37% 的 CER。它是一个单独的模型，拥有自己的许可证文件和自己的 vLLM 插件，但正是它让公告在“写作和智能体”之外也提到了“语音”。

数字是供应商提供的，而审计这些数字的也正是这家供应商

下文中的每一项基准测试数据都来自 IFM 自己的模型卡，尚未经过第三方复现。这句话需要放在这些数字之前，而不是之后。

阿拉伯语 MMLU，旗舰版：89.3。带变音符号的阿拉伯语 MMLU：88.2。

• Belebele：95.6。方言阿拉伯语MMLU：89.6。方言识别（QADI）：71.1。Alyah：87.6。

• AraSTEM：95.5。阿拉伯语 GSM8K：86.8。GATmath：98.4。

• 阿拉伯语 IFBench，提示词级严格：93.9。阿拉伯语 IFEval：77.7。FLORES200+ LLM-as-a-judge：91.9。

• 智能体：Terminal Bench 2.1 达 73.8，GDPVal 达 73.2，MCPMark 达 68.5，SWE-Bench Verified（离线）达 70.2，GAIA v2 lit（阿拉伯语）达 50.3。Apex-Agents 则是那个以 18.6 让这份成绩单保持诚实的项目。

方法论说明才是值得记上一功的部分。IFM 会标记那些经过样本质量审计的基准，其中含糊的问题、无效的答案选项和站不住脚的黄金标签均被排除在外；它还会将审计方法、被排除的样本以及经验证的基准清单作为单独合集发布。这不是同行评审，也不会让厂商得分变得独立，但一个会告诉你它清理了自家哪些数字的实验室，比起不这么做的实验室，能让你更有信心地解读。清洗后集合上的得分，也不等同于该基准按常见方式运行时得到的得分，而在拿别人的成绩表作比较之前，带星号的标记才是需要核对的对象。

两件没人回答的事

没有任何定价。Hub 卡片上没有，配方页面上没有，而厂商自己的博客又挡在一道任何自动化读取程序都过不去的机器人验证后面。这个家族中没有任何成员公布过每 token 费率，因此无从与任何东西作比较。今天任何为 J​ais 3 报价的人，报的要么是自己编造出来的东西，要么是某个第三方托管方恰好在自家 GPU 上运行它所收取的费用——那是托管价格，不是模型价格。

不存在任何独立评测。Artificial Analysis 上没有收录条目，没有任何竞技场公布过正面对比结果，也没有任何中立的排行榜跑过这一系列模型。模型卡上把技术报告标注为“即将发布”，代码仓库同样如此。在实验室之外的任何一方实际跑过这些权重之前，AraSTEM 上 95.5 这个分数的正确解读就是“IFM 说它是 95.5”。

如果你想在产生账单之前先试用一下

权重是开放的，采用 Apache 2.0 许可，因此最便宜的评估方式就是用你自己的硬件——而且上面的方案足够简短，今天就能运行。更难的是让这个模型家族真正落地到实际场景中，因为你得搭建一套 16-GPU 集群，或者租一套，才能弄清楚一个没有独立评分的模型是否该进入生产路径。

这正是路由层体现自身价值，而非只给架构图做装饰的场景。OrcaRouter 让你通过一个 API 接入 200 多个模型，并具备自动故障转移，因此阿拉伯语工作负载可以把一部分流量发给尚未验证的模型，让已经过实测的模型承接其余部分——评估会针对真实提示进行，而糟糕的响应或不健康的端点会触发故障转移，而不是把请求一起拖垮。这份目录值得在围绕自托管做规划之前先查看，因为它会变化。如果某个模型今天不在其中，下周可能就会加入；而一旦加入，定价页面才是其费用的可靠来源。

接下来值得关注的很有限，也很具体：技术报告、代码仓库、来自 IFM 之外某方的第一个数字，以及一个已公布的价格。其中任何一项都会改变这篇文章。而这些目前都尚未落地，这正是为什么零日框架支持是此次发布中当前可验证的那部分。

数字无法告诉你的是，这一切在实际应用中是否已经出了问题：围绕这一类模型的有据可查的人工智能事故和智能体故障，都收录在OrcaRouter AI 事故档案中，其中每一条记录都附有各自的来源、严重程度、置信度等级和争议标记。