Jais 3 landt in vLLM voordat het in het persbericht landt

Controleer de datum op het J​ais-3-375B-A23B serveringsrecept en er staat niet in wat de berichtgeving over de lancering zegt. De vLLM-receptpagina voor het vlaggenschip van de J​ais 3-familie heeft als datum van laatste bijwerking 5 oktober 2026. De gewichten voor J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B en J​ais-3-MoVA-36B-A4B zijn op 29 september op de Hub verschenen. Het persbericht van het Institute of Foundation Models en Inception42 is gedateerd op 15 oktober. Die volgorde is hier het echte nieuws, en het is een beter verhaal dan het verhaal dat de aankondiging vertelt: de serveerstack hoefde niet halsoverkop een Arabisch frontiermodel bij te benen — hij was tien dagen te vroeg klaar. Dit stuk gaat over hoe die gereedheid er in de praktijk uitziet, wat de familie meelevert, en de twee vragen die nog niemand heeft beantwoord.

De recepten zijn echt, en ze zijn specifiek.

Aankondigingen over frameworkondersteuning zijn meestal een zin en een link. Deze bevat uitvoerbare inhoud, wat het nauwkeurig lezen waard is, want het vertelt je wat de implementatie daadwerkelijk kost voordat je zo'n 700 gigabyte aan gewichten downloadt.

• vLLM — de recepten zijn gericht op vllm>=0.30.0/. Het 375B-vlaggenschip vereist --tensor-parallel-size 16 --enable-expert-parallel/ op een bfloat16-checkpoint, wat neerkomt op 16× H100 80GB verdeeld over twee 8-GPU-nodes in de eigen referentie-implementatie van IFM.

• Kleinere broertjes en zusjes hebben een kleinere voetafdruk — Jais-3-32B draait op --tensor-parallel-size 2/, Jais-3-7B en Jais-3-3.7B op --tensor-parallel-size 1/. Jais-3-MoVA-36B-A4B wil TP=2 met expert-parallelisme ingeschakeld, en de 4B actieve parameters per token zijn de reden dat het geen nodefarm nodig heeft.

• SGLang — het parallelle recept is gericht op sglang>=0.5.20/, waarbij de 375B-configuratie met twee nodes draait op TP=16 en EP=16, met FlashAttention-3, en het multithreaded laden van gewichten expliciet uitgeschakeld.

• H200 verandert de rekensom — met 141 GB per GPU past de flagship op één enkele H200-node met 8 GPU's. De kaart van IFM zegt dat je in dat geval tensor- en expert-parallelisme naar 8 moet terugbrengen. Eén node in plaats van twee is geen afrondingsverschil in een kostenmodel.

• AMD is ook gevalideerd — de recipepagina bevat een MI355X-configuratie die is geverifieerd op een 8-GPU gfx950-node, met AITER voor de gefuseerde MoE en de unified attention-backend, met VLLM_ROCM_USE_AITER=1/. Een day-zero-verhaal met alleen N​VIDIA is gebruikelijk; een day-zero-verhaal waarin de silicon van een tweede leverancier is geverifieerd, niet.

Wat deze ondersteuning meer maakt dan een compatibiliteitsselectievakje, is dat de architectuur echt op maat is. De Hub-configuraties declareren model_type: k2_horizon/ en K2HorizonForCausalLM/ met aangepaste remote code, waarbij de 375B 192 experts heeft en er 8 per token worden gerouteerd. Dat is het soort model dat normaal gesproken weken na de lancering op een framework arriveert met een patchlijst in de release notes, niet met een ingecheckt recept dat dateert van vóór het persbericht.

Arabisch-native agentic, in de flags die het daadwerkelijk aanneemt

"Agentic" is het woord in de kop van de aankondiging, en bij de serveercommando's kun je testen of het iets betekent. Meestal wel.

• --reasoning-parser k2_horizon/ scheidt de denkreeks van het antwoord. Het denken wordt geretourneerd in reasoning_content/ en het antwoord in content/, wat het verschil is tussen een gedachtegang die je kunt loggen en een die je met een regex uit de responsbody moet halen.

• --tool-call-parser k2_horizon/ met --enable-auto-tool-choice/ schakelt het gebruik van tools in, en het model ondersteunt drie indelingen voor tool-calls — json/, xml/ en xml_typed/ — per verzoek selecteerbaar via chat_template_kwargs/, met xml/ als standaard.

• Redeneerdiepte is een instelling per verzoek, geen implementatiebeslissing. {"reasoning_effort": "high"}/ is de standaard en waarmee elk gepubliceerd cijfer is geproduceerd; "low"/ schakelt het denken volledig uit, en de eigen kaart van IFM zegt dat low niet wordt aanbevolen buiten onderzoek naar redeneerinspanning.

• Bemonsteringsparameters verschillen per taal, wat ongebruikelijk is en het waard is om op te merken. Standaard is temperatuur 0.2, top_p 0.95, top_k 20. In de denkmodus vraagt IFM om temperatuur 1.0 voor Engels en 0.7 voor Arabisch. Eén enkele globale temperatuurinstelling is de verkeerde configuratie voor dit model.

• Het uitvoerbudget is groot. De kaart adviseert ten minste 32.768 uitvoertokens — een sterke aanwijzing over hoe lang de redeneertraces duren, en een reële beperking op je time-out per verzoek als je gewend bent aan 4K-completions.

Wat het gezin daadwerkelijk levert

Zes basis-checkpoints, niet één. De spreiding is belangrijker dan het vlaggenschip, want die bepaalt of de familie een onderzoeksartefact is of iets dat je achter een workload kunt zetten.

• Jais-3-0.9B — 0,9B dense, 128K context, het enige model dat geen 512K is. RoPE-schaling via YaRN staat in het vLLM-commando, dus het gedrag bij lange context is hier een expliciete overschrijving in plaats van een aangeleerde standaard.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, allemaal met een context van maximaal 524.288 tokens, door IFM beschreven als kleine, middelgrote en grote dense leden.

• Jais-3-MoVA-36B-A4B — een mixture-of-experts-model met Mixture-of-Values-attentie. De receptpagina zet het op 37,44B opgeslagen parameters inclusief embeddings en 5,95B actief per token, tegenover de 36B en 4B die in de kop van de modelkaart staan. Beide getallen zijn van de leverancier; ze tellen embeddings anders. Gebruik de cijfers van de receptpagina bij het dimensioneren van GPU's en die van de modelkaart bij het citeren van het model.

• J​ais-3-375B-A23B — het vlaggenschip, 375B opgeslagen en 23B actief volgens de kaart, 379,17B en 26,67B volgens de receptpagina. Dezelfde discrepantie in de telling, dezelfde oplossing.

• Gequantiseerde en edge-formaten zijn al uit — FP8-builds, GGUF voor llama.cpp en Ollama, en MLX 4-bit, 8-bit en bf16 voor Apple silicon, gepubliceerd binnen de IFM-organisatie. De MLX-builds voor de 32B verschenen op 1 oktober, de GGUF-builds voor de 3.7B en 7B op 13 oktober. Niemand wachtte op een vervolgrelease om deze lokaal te draaien.

• De licentie is Apache 2.0 voor de hele basisfamilie, zonder enige beperking op de inception42-repositories. Dat is een wezenlijk andere houding dan die van verschillende van de Arabische modellen waarmee deze familie nu concurreert.

Er is ook J​ais-ASR binnen dezelfde organisatie — een spraakherkenningsmodel gebouwd op een J​ais-3-4B-backbone, dat Modern Standaard-Arabisch plus dialecten uit 19 Arabische landen bestrijkt, met code-switching naar Engels, Frans, Spaans en Italiaans, en dat 22,85% WER en 8,37% CER rapporteert op de Open Universal Arabic ASR Leaderboard. Het is een apart model met een eigen licentiebestand en een eigen vLLM-plugin, maar het is de reden dat de aankondiging "spraak" noemt naast "schrijven en agents".

De cijfers zijn van de leverancier, en deze leverancier auditeert ze.

Elk benchmarkcijfer hieronder komt uit IFM's eigen modelkaarten en is niet door een derde partij gereproduceerd. Die zin moet vóór de cijfers staan, niet erna.

• Arabic MMLU, vlaggenschip: 89,3. Arabic MMLU met diakritische tekens: 88,2.

• Belebele: 95,6. Dialectisch-Arabische MMLU: 89,6. Dialectidentificatie (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. Arabische GSM8K: 86,8. GATmath: 98,4.

• Arabische IFBench, strikt op promptniveau: 93.9. Arabische IFEval: 77.7. FLORES200+ LLM-as-a-judge: 91.9.

• Agentisch: Terminal Bench 2.1 op 73,8, GDPVal op 73,2, MCPMark op 68,5, SWE-Bench Verified (offline) op 70,2, GAIA v2 lit (Arabisch) op 50,3. Apex-Agents is degene die de lijst eerlijk houdt op 18,6.

De methodologische toelichting is het deel dat erkenning verdient. IFM markeert benchmarks die op steekproefkwaliteit zijn geauditeerd, waarbij dubbelzinnige vragen, ongeldige antwoordopties en onverdedigbare gouden labels zijn uitgesloten, en het publiceert de auditmethodologie, de uitgesloten steekproeven en de geverifieerde benchmarklijst als een aparte verzameling. Dit is geen peer review en het maakt een leveranciersscore niet onafhankelijk, maar een lab dat je vertelt welke van zijn eigen cijfers het heeft opgeschoond, is een lab dat je met meer vertrouwen kunt lezen dan een lab dat dat niet doet. Scores op de opgeschoonde sets zijn ook niet hetzelfde als scores op de benchmark zoals die gewoonlijk wordt uitgevoerd, en de met sterretjes gemarkeerde cijfers zijn degene die je moet controleren voordat je ze vergelijkt met het scoreblad van iemand anders.

Twee dingen waarop niemand heeft geantwoord

Er is geen prijsstelling. Niet op de Hub-kaarten, niet op de receptpagina's, en de eigen blog van de leverancier zit achter een botuitdaging waar geen enkele geautomatiseerde lezer doorheen komt. Er is geen gepubliceerd tarief per token voor enig lid van deze familie om tegen wat dan ook te vergelijken. Iedereen die vandaag een prijs voor J​ais 3 noemt, noemt iets dat diegene heeft verzonnen, of noemt wat een externe host toevallig rekent voor het draaien ervan op hun eigen GPU's — dat is een hostingprijs, niet een modelprijs.

Er is geen onafhankelijke evaluatie.Artificial Analysis heeft geen vermelding, geen enkele arena heeft onderlinge resultaten gepubliceerd, en geen enkel neutraal leaderboard heeft de familie getest. Het technisch rapport staat op de modelkaart vermeld als "binnenkort beschikbaar", en dat geldt ook voor de code-repository. Zolang niets buiten het lab deze gewichten draait, is de juiste lezing van een 95,5 op AraSTEM "IFM zegt 95,5".

Als je het wilt proberen voordat er een rekening is

De gewichten zijn open en Apache 2.0, dus de goedkoopste evaluatie is je eigen hardware — en de recepten hierboven zijn kort genoeg om vandaag te draaien. Wat moeilijker is, is de familie achter iets echts zetten, want je zou een 16-GPU-cluster moeten opzetten, of er een moeten huren, om erachter te komen of een model zonder onafhankelijke score thuishoort in een productiepad.

Dat is het geval waarin een routeringslaag zijn bestaansrecht verdient in plaats van een architectuurdiagram op te sieren. OrcaRouter geeft je één API voor meer dan 200 modellen met automatische failover, zodat een Arabische workload een deel van het verkeer naar een onbewezen model kan sturen en iets dat al is gemeten de rest kan opvangen — de evaluatie gebeurt op echte prompts, en bij een slechte respons of een ongezond eindpunt wordt overgeschakeld in plaats van dat de aanvraag mee ten onder gaat. De catalogus is het waard om te controleren voordat je rond een self-host plannen maakt, want hij verandert. Als een model er vandaag niet op staat, kan dat volgende week wel zo zijn, en de prijzenpagina is de eerlijke bron voor wat iets kost zodra het erop staat.

Waar we nu op moeten letten, is smal en specifiek: het technische rapport, de coderepository, een eerste getal van iemand die niet IFM is, en een gepubliceerde prijs. Elk van die dingen zou dit stuk veranderen. Geen van die dingen is al een feit, en dat is precies waarom de day-zero-ondersteuning voor frameworks het onderdeel van deze lancering is dat momenteel verifieerbaar is.

Wat de cijfers je niet kunnen vertellen, is of er in de praktijk iets mis is gegaan: de gedocumenteerde AI-incidenten en agent-fouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistingsmarkering heeft.