Jais 3 landar i vLLM innan det landar i pressmeddelandet

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Recepten är riktiga, och de är specifika.

Meddelanden om ramverksstöd är vanligtvis en mening och en länk. Den här har körbart innehåll, vilket är värt att läsa noggrant eftersom det berättar vad driftsättningen faktiskt kostar innan du laddar ner drygt 700 gigabyte vikter.

• vLLM — recepten riktar sig mot vllm>=0.30.0/. 375B-flaggskeppet vill ha --tensor-parallel-size 16 --enable-expert-parallel/ på en bfloat16-checkpoint, vilket är 16× H100 80GB över två 8-GPU-noder i IFM:s egen referensdriftsättning.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — det parallella receptet riktar sig mot sglang>=0.5.20/, där tvånodskonfigurationen för 375B kör TP=16 och EP=16, FlashAttention-3, och flertrådig viktinläsning uttryckligen inaktiverad.

• H200 förändrar kalkylen — vid 141 GB per GPU får flaggskeppet plats på en enda H200-nod med 8 GPU:er. IFM:s kort säger att man i så fall ska sänka tensor- och expertparallelism till 8. En nod i stället för två är inte en avrundningsskillnad i en kostnadsmodell.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Det som gör stödet till mer än en kompatibilitetskryssruta är att arkitekturen är genuint egenanpassad. Hub-konfigurationerna deklarerar model_type: k2_horizon/ och K2HorizonForCausalLM/ med anpassad fjärrkod, där 375B-modellen har 192 experter och routar 8 per token. Det är den typ av modell som normalt dyker upp i ett ramverk veckor efter lansering med en patchlista i versionsinformationen, inte med ett incheckat recept daterat före pressmeddelandet.

Arabisk-språkig agentisk, i de flaggor den faktiskt tar

"Agentic" är ordet i rubriken för tillkännagivandet, och serving-kommandona är där du kan testa om det betyder något. Det gör det för det mesta.

• --reasoning-parser k2_horizon/ separerar tankespåret från svaret. Tänkandet returneras i reasoning_content/ och svaret i content/, vilket är skillnaden mellan en tankekedja du kan logga och en du måste plocka ut med regex ur svarskroppen.

• --tool-call-parser k2_horizon/ med --enable-auto-tool-choice/ aktiverar verktygsanvändning, och modellen stöder tre format för verktygsanrop – json/, xml/ och xml_typed/ – valbara per begäran via chat_template_kwargs/, med standardvärdet xml/.

• Resonemangsdjup är en inställning per begäran, inte ett driftsättningsbeslut. {"reasoning_effort": "high"}/ är standardinställningen och det som varje publicerad siffra har tagits fram med; "low"/ stänger av tänkandet helt, och IFM:s eget kort säger att low inte rekommenderas utanför forskning om resonemangsansträngning.

• Samplingsparametrar växlar beroende på språk, vilket är ovanligt och värt att uppmärksamma. Standardvärdet är temperature 0.2, top_p 0.95, top_k 20. I tänkandeläge begär IFM temperature 1.0 för engelska och 0.7 för arabiska. En enda global temperaturinställning är fel konfiguration för den här modellen.

• Utgångsbudgeten är stor. Kortet rekommenderar minst 32 768 utgående token – en tydlig antydan om hur långa resonemangsspåren är, och en verklig begränsning för din timeout per begäran om du är van vid 4K-completions.

Vad familjen faktiskt levererar

Sex bascheckpunkter, inte en. Spridningen spelar större roll än flaggskeppet, eftersom den avgör om familjen är en forskningsartefakt eller något man kan sätta bakom en arbetsbelastning.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Kvantiserade format och edge-format finns redan ute — FP8-byggen, GGUF för llama.cpp och Ollama samt MLX 4-bitars, 8-bitars och bf16 för Apple silicon, publicerade i hela IFM-organisationen. MLX-byggena för 32B landade den 1 oktober, GGUF-byggena för 3.7B och 7B den 13 oktober. Ingen väntade på en uppföljande release för att köra dessa lokalt.

• Licensen är Apache 2.0 för hela basfamiljen, utan någon gating på inception42-repositorierna. Det är en väsentligt annan hållning än flera av de arabiska modeller som den här familjen nu konkurrerar med.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Siffrorna är leverantörens, och den här leverantören granskar dem

Varje benchmark-siffra nedan kommer från IFM:s egna modellkort och har inte reproducerats av en tredje part. Den meningen behöver stå framför siffrorna, inte efter dem.

• Arabiska MMLU, flaggskepp: 89,3. Arabiska MMLU med diakritiska tecken: 88,2.

• Belebele: 95,6. MMLU för dialektal arabiska: 89,6. Dialektidentifiering (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. Arabiska GSM8K: 86,8. GATmath: 98,4.

• Arabiska IFBench, strikt på promptnivå: 93,9. Arabiska IFEval: 77,7. FLORES200+ LLM-som-domare: 91,9.

• Agentic: Terminal Bench 2.1 på 73,8, GDPVal på 73,2, MCPMark på 68,5, SWE-Bench Verified (offline) på 70,2, GAIA v2 lit (arabiska) på 50,3. Apex-Agents är den som håller resultatlistan ärlig på 18,6.

Metodanteckningen är den del som är värd att framhålla. IFM märker benchmarkar som har granskats för urvalskvalitet, med tvetydiga frågor, ogiltiga svarsalternativ och oförsvarliga guldetiketter uteslutna, och publicerar granskningsmetodiken, de uteslutna urvalen och den verifierade benchmarklistan som en separat samling. Detta är inte peer review och det gör inte en leverantörs poäng oberoende, men ett labb som berättar vilka av sina egna siffror det har rensat är ett labb man kan läsa med större tillförsikt än ett som inte gör det. Poäng på de rensade uppsättningarna är inte heller samma sak som poäng på benchmarken så som den vanligen körs, och det är de stjärnmärkta markeringarna man bör kontrollera innan man jämför med någon annans resultatblad.

Två saker som ingen har svarat på

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Det finns ingen oberoende utvärdering. Artificial Analysis har ingen post, ingen arena har publicerat head-to-head-resultat, och ingen neutral topplista har kört familjen. Den tekniska rapporten listas på modellkortet som "kommer snart", och detsamma gäller kodförrådet. Tills något utanför labbet kör dessa vikter är den korrekta tolkningen av en 95,5 på AraSTEM "IFM säger 95,5".

Om du vill prova det innan det kommer en räkning

Vikterna är öppna och Apache 2.0, så den billigaste utvärderingen är din egen hårdvara — och recepten ovan är tillräckligt korta för att köra idag. Det som är svårare är att ställa familjen bakom något verkligt, eftersom du skulle sätta upp ett kluster med 16 GPU:er, eller hyra ett, för att ta reda på om en modell utan oberoende poäng hör hemma i en produktionsväg.

Det är fallet där ett routningslager förtjänar sin plats i stället för att bara dekorera ett arkitekturdiagram. OrcaRouter ger dig ett enda API över 200+ modeller med automatisk felväxling, så en arabisk arbetsbelastning kan skicka en del av trafiken till en obeprövad modell och låta något som redan är uppmätt absorbera resten — utvärderingen sker mot verkliga prompter, och ett dåligt svar eller en ohälsosam slutpunkt växlar över i stället för att ta ner begäran med sig. Katalogen är värd att kontrollera innan du planerar kring en självhostning, eftersom den förändras. Om en modell inte finns med i den i dag kan den vara det nästa vecka, och prissidan är den ärliga källan för vad som helst kostar när den väl är med.

Det man bör hålla utkik efter härnäst är snävt och specifikt: den tekniska rapporten, kodförrådet, en första siffra från någon som inte är IFM och ett publicerat pris. Vilken som helst av dem förändrar den här artikeln. Ingen av dem har landat ännu, vilket är precis varför ramverksstödet från dag noll är den del av den här lanseringen som för närvarande går att verifiera.

Vad siffrorna inte kan berätta för dig är huruvida något av det har gått fel i fält: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.