Jais 3 在登上新聞稿之前，先登陸 vLLM

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

這些食譜是真實的，而且很具體。

框架支援公告通常只是一句話加一個連結。這則公告卻含有可執行的內容，值得仔細閱讀，因為它會在你下載七百多 GB 的權重之前，先告訴你實際部署的成本。

• vLLM — 這些 recipe 的目標為 vllm>=0.30.0/。375B 旗艦模型需要 --tensor-parallel-size 16 --enable-expert-parallel/ 搭配 bfloat16 檢查點，也就是在 IFM 自家的參考部署中，橫跨兩台 8-GPU 節點的 16× H100 80GB。

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — 這份平行化配方針對 sglang>=0.5.20/，其中雙節點 375B 配置採用 TP=16 與 EP=16、FlashAttention-3，並明確停用多執行緒權重載入。

• H200 改變了這道算式——在每顆 GPU 141GB 的情況下，旗艦型號能裝進單一 8-GPU H200 節點。IFM 的規格卡指出，在這種情況下，應將張量平行與專家平行度降至 8。在成本模型裡，用一個節點取代兩個節點，可不是四捨五入就能帶過的差異。

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

這項支援之所以不只是相容性勾選項，在於其架構確實是客製化的。Hub 設定宣告了 model_type: k2_horizon/ 與 K2HorizonForCausalLM/，並搭配自訂遠端程式碼，375B 版本搭載 192 個專家，每個 token 路由 8 個。這類模型通常要在推出後數週才會登上框架，並在發行說明中附上一串修補清單，而不是在記者會前就已簽入的配方。

阿拉伯語原生的代理式，在它實際接受的旗標方面

「Agentic」是公告標題裡的那個詞，而真正能讓你檢驗它是否有意義的地方，就是那些 serving 指令。大致上，確實有意義。

• --reasoning-parser k2_horizon/ 將思考軌跡與答案分隔開來。思考會回傳於 reasoning_content/ 中，而答案則在 content/ 中，這正是可記錄的思維鏈與必須用正則表達式從回應主體中擷取出來的思維鏈之間的差異。

• --tool-call-parser k2_horizon/ 搭配 --enable-auto-tool-choice/ 會啟用工具使用，而模型支援三種工具呼叫格式——json/、xml/ 與 xml_typed/ ——可依每次請求透過 chat_template_kwargs/ 選擇，預設為 xml/。

• 推理深度是每次請求的設定，而非部署決策。 {"reasoning_effort": "high"}/ 是預設值，且所有已公布的數字都是以它產生的；"low"/ 會完全關閉思考，而 IFM 自家的說明卡表示，在推理投入研究之外不建議使用 low。

• 取樣參數會依語言切換，這很不尋常，值得留意。預設為 temperature 0.2、top_p 0.95、top_k 20。在思考模式下，IFM 要求英文使用 temperature 1.0，阿拉伯文使用 0.7。對這個模型而言，單一的全域 temperature 設定是錯誤的配置。

• 輸出預算很大。這張卡建議至少要有 32,768 個輸出 Token——這強烈暗示了推理軌跡會跑多長，而且如果你習慣的是 4K 補全，這也會對你每次請求的逾時設定構成實質限制。

該系列實際出貨的內容

六個基礎檢查點，而不是一個。整體分布比旗艦版本更重要，因為它決定了這個系列是研究產物，還是能實際放在工作負載後面的東西。

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• 量化與邊緣格式已經推出 — FP8 版本、供 llama.cpp 與 Ollama 使用的 GGUF，以及適用於 Apple silicon 的 MLX 4-bit、8-bit 與 bf16，已在 IFM 組織全面發布。32B 的 MLX 版本於 10 月 1 日推出，3.7B 與 7B 的 GGUF 版本則於 10 月 13 日推出。沒有人需要等待後續版本才能在本機執行這些模型。

• 整個基礎系列均採用 Apache 2.0 授權，且 inception42 的儲存庫不設任何限制。這與這個系列如今所競爭的數個阿拉伯模型相比，是實質上不同的立場。

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

這些數字是供應商的，而這家供應商會稽核它們。

下列每一項基準數據都來自 IFM 自家的模型卡，且尚未經第三方重現。那句話必須放在數字之前，而不是之後。

• 阿拉伯語 MMLU，旗艦模型：89.3。含變音符號的阿拉伯語 MMLU：88.2。

• Belebele：95.6。阿拉伯語方言 MMLU：89.6。方言辨識（QADI）：71.1。Alyah：87.6。

• AraSTEM：95.5。阿拉伯語 GSM8K：86.8。GATmath：98.4。

• 阿拉伯語 IFBench，提示層級嚴格：93.9。阿拉伯語 IFEval：77.7。FLORES200+ LLM-as-a-judge：91.9。

• 代理式：Terminal Bench 2.1 為 73.8，GDPVal 為 73.2，MCPMark 為 68.5，SWE-Bench Verified（離線）為 70.2，GAIA v2 lit（阿拉伯語）為 50.3。Apex-Agents 是以 18.6 讓這份成績表保持誠實的那個。

方法論說明才是值得肯定之處。IFM 會標示那些已經過樣本品質審核的基準測試，並排除語意模糊的題目、無效的答案選項與站不住腳的黃金標籤；它也會將審核方法、被排除的樣本以及已驗證的基準測試清單，另行發布成一個獨立集合。這不是同儕審查，也不會讓供應商的分數變得獨立，但一個實驗室若願意告訴你它清理了自己哪些數字，比起不這麼做的實驗室，你能更有信心地解讀它。清理後資料集上的分數，也不等同於該基準測試一般執行方式下的分數；在拿別人的成績表來比較之前，要檢查的正是那些有星號標記的項目。

兩件沒有人回答過的事

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

目前沒有獨立評測。Artificial Analysis 沒有相關條目，沒有任何競技場發布過對戰結果，也沒有任何中立排行榜測試過這個系列。技術報告在模型卡上標示為「即將推出」，程式碼儲存庫也是如此。在實驗室之外的某個單位實際運行這些權重之前，AraSTEM 上 95.5 的正確解讀是「IFM 說 95.5」。

如果你想在有帳單之前先試用看看

權重是開放的，且採用 Apache 2.0，所以最便宜的評估方式就是用你自己的硬體——而上述做法短到足以在今天跑起來。更難的是讓這個系列真正投入實際應用，因為你將得架設一座 16-GPU 叢集，或租用一座，來弄清楚一個沒有獨立評分的模型是否該納入生產路徑。

這正是路由層能真正發揮價值，而非只是點綴架構圖的情況。OrcaRouter 透過單一 API 讓你存取超過 200 個模型，並具備自動容錯移轉，因此阿拉伯語工作負載可以將一部分流量導向未經實證的模型，讓已經過實測的模型吸收其餘流量——評估是針對真實提示進行的，而糟糕的回應或不健康的端點會被容錯移轉，而不是拖垮整個請求。在規劃自行託管之前，值得先查看目錄，因為它會變動。如果某個模型今天不在目錄上，下週可能就會出現，而定價頁面則是了解模型上架後實際費用的可靠來源。

接下來值得關注的範圍狹窄而具體：技術報告、程式碼儲存庫、來自非 IFM 人士的第一個數字，以及已公布的價格。上述任何一項都會改變這篇文章。它們目前都還沒成真，而這正是為什麼零日框架支援是本次發布中目前可驗證的部分。

數字無法告訴你的是，這一切在實際運作中是否出了問題：針對此類模型有記錄的 AI 事件與代理故障，都收錄在the OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級與爭議標記。