Jais 3 landet in vLLM, bevor es in der Pressemitteilung landet

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Die Rezepte sind echt, und sie sind konkret

Ankündigungen zur Framework-Unterstützung sind normalerweise ein Satz und ein Link. Diese hier enthält ausführbaren Inhalt, der es wert ist, genau gelesen zu werden, denn sie sagt dir, was das Deployment tatsächlich kostet, bevor du gut 700 Gigabyte an Gewichten herunterlädst.

• vLLM — die Rezepte zielen auf vllm>=0.30.0/. Das 375B-Flaggschiff möchte --tensor-parallel-size 16 --enable-expert-parallel/ auf einem bfloat16-Checkpoint, was 16× H100 80GB über zwei 8-GPU-Knoten im eigenen Referenz-Deployment von IFM entspricht.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — das parallele Rezept zielt auf sglang>=0.5.20/, wobei die Zwei-Knoten-375B-Konfiguration TP=16 und EP=16 sowie FlashAttention-3 verwendet und das mehrthreadige Laden der Gewichte explizit deaktiviert ist.

• H200 verändert die Rechnung — bei 141 GB pro GPU passt das Flaggschiff auf einen einzigen H200-Knoten mit 8 GPUs. In IFMs Karte steht, in diesem Fall Tensor- und Expertenparallelität auf 8 zu reduzieren. Ein Knoten statt zwei ist in einem Kostenmodell kein Rundungsfehler.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Was die Unterstützung über eine bloße Kompatibilitäts-Checkbox hinaushebt, ist, dass die Architektur wirklich maßgeschneidert ist. Die Hub-Konfigurationen deklarieren model_type: k2_horizon/ und K2HorizonForCausalLM/ mit benutzerdefiniertem Remote-Code, wobei die 375B-Variante 192 Experten umfasst und 8 pro Token routet. Das ist die Art von Modell, die normalerweise Wochen nach dem Launch in einem Framework mit einer Patchliste in den Release Notes auftaucht, nicht mit einem eingecheckten Rezept, das vor der Pressemitteilung datiert ist.

Arabisch-nativ agentisch, in den Flags, die es tatsächlich akzeptiert

„Agentic“ ist das Wort in der Schlagzeile der Ankündigung, und an den Serving-Befehlen lässt sich testen, ob es etwas bedeutet. Zum größten Teil tut es das.

• --reasoning-parser k2_horizon/ trennt die Denkspur von der Antwort. Das Denken wird zurückgegeben in reasoning_content/ und die Antwort in content/, was der Unterschied zwischen einer Gedankenkette, die man protokollieren kann, und einer ist, die man per Regex aus dem Antwortkörper herausfiltern muss.

• --tool-call-parser k2_horizon/ mit --enable-auto-tool-choice/ aktiviert die Tool-Nutzung, und das Modell unterstützt drei Tool-Call-Formate — json, xml und xml_typed/ — pro Anfrage auswählbar über chat_template_kwargs/, standardmäßig xml/.

• Reasoning-Tiefe ist eine Einstellung pro Anfrage, keine Deployment-Entscheidung. {"reasoning_effort": "high"}/ ist die Standardeinstellung und der Wert, mit dem jede veröffentlichte Zahl erzeugt wurde; "low"/ schaltet das Denken vollständig aus, und IFMs eigene Karte sagt, dass low außerhalb der Forschung zum Reasoning-Aufwand nicht empfohlen wird.

• Sampling-Parameter wechseln je nach Sprache, was ungewöhnlich ist und beachtet werden sollte. Standardmäßig gilt Temperatur 0.2, top_p 0.95, top_k 20. Im Thinking-Modus verlangt IFM eine Temperatur von 1.0 für Englisch und 0.7 für Arabisch. Eine einzige globale Temperatureinstellung ist die falsche Konfiguration für dieses Modell.

• Das Output-Budget ist groß. Die Karte empfiehlt mindestens 32.768 Output-Token – ein starker Hinweis darauf, wie lange die Reasoning-Traces laufen, und eine echte Einschränkung für Ihr Timeout pro Anfrage, wenn Sie 4K-Completions gewohnt sind.

Was die Familie tatsächlich liefert

Sechs Basis-Checkpoints, nicht einer. Die Streuung ist wichtiger als das Flaggschiff, denn sie bestimmt, ob die Familie ein Forschungsartefakt ist oder etwas, das man hinter eine Workload stellen kann.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Quantisierte und Edge-Formate sind bereits verfügbar — FP8-Builds, GGUF für llama.cpp und Ollama sowie MLX mit 4-Bit, 8-Bit und bf16 für Apple Silicon, veröffentlicht in der gesamten IFM-Organisation. Die MLX-Builds für das 32B-Modell erschienen am 1. Oktober, die GGUF-Builds für das 3.7B- und 7B-Modell am 13. Oktober. Niemand wartete auf ein Folge-Release, um diese lokal laufen zu lassen.

• Die Lizenz ist Apache 2.0 für die gesamte Basis-Familie, ohne Zugangsbeschränkungen für die inception42-Repositories. Das ist eine wesentlich andere Haltung als bei mehreren der arabischen Modelle, mit denen diese Familie jetzt konkurriert.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Die Zahlen sind die des Anbieters, und dieser Anbieter prüft sie.

Jeder unten stehende Benchmark-Wert stammt aus den eigenen Modellkarten von IFM und wurde nicht von Dritter Seite reproduziert. Dieser Satz muss vor den Zahlen stehen, nicht danach.

• Arabisches MMLU, Flaggschiff: 89,3. Arabisches MMLU mit diakritischen Zeichen: 88,2.

• Belebele: 95,6. Dialektales Arabisch MMLU: 89,6. Dialekterkennung (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. Arabic GSM8K: 86,8. GATmath: 98,4.

• Arabisch IFBench, Prompt-Level strikt: 93,9. Arabisch IFEval: 77,7. FLORES200+ LLM-as-a-judge: 91,9.

• Agentisch: Terminal Bench 2.1 bei 73,8, GDPVal bei 73,2, MCPMark bei 68,5, SWE-Bench Verified (offline) bei 70,2, GAIA v2 lit (Arabisch) bei 50,3. Apex-Agents ist derjenige, der die Tabelle bei 18,6 ehrlich hält.

Die Methodiknotiz ist der Teil, der Anerkennung verdient. IFM kennzeichnet Benchmarks, die auf Stichprobenqualität geprüft wurden, wobei mehrdeutige Fragen, ungültige Antwortoptionen und unhaltbare Gold-Labels ausgeschlossen wurden, und veröffentlicht die Audit-Methodik, die ausgeschlossenen Stichproben und die Liste der verifizierten Benchmarks als separate Sammlung. Das ist kein Peer-Review und macht einen Anbieter-Score nicht unabhängig, aber ein Labor, das Ihnen sagt, welche seiner eigenen Zahlen es bereinigt hat, ist ein Labor, das Sie mit mehr Vertrauen lesen können als eines, das dies nicht tut. Scores auf den bereinigten Sets sind außerdem nicht dasselbe wie Scores auf dem Benchmark, wie er üblicherweise durchgeführt wird, und die mit Sternchen versehenen Markierungen sind die, die Sie prüfen sollten, bevor Sie Ihre Scores mit der Tabelle von jemand anderem vergleichen.

Zwei Dinge, die niemand beantwortet hat

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Es gibt keine unabhängige Bewertung. Artificial Analysis hat keinen Eintrag, keine Arena hat Ergebnisse aus direkten Vergleichen veröffentlicht, und kein neutrales Leaderboard hat die Familie getestet. Der technische Bericht ist auf der Model Card als „demnächst verfügbar“ aufgeführt, und das gilt auch für das Code-Repository. Solange nichts außerhalb des Labors diese Gewichte laufen lässt, lautet die korrekte Lesart einer 95,5 auf AraSTEM „IFM sagt 95,5“.

Wenn Sie es ausprobieren möchten, bevor eine Rechnung anfällt

Die Gewichte sind offen und stehen unter Apache 2.0, daher ist die günstigste Evaluierung Ihre eigene Hardware — und die oben genannten Rezepte sind kurz genug, um sie heute auszuführen. Schwieriger ist es, die Familie hinter etwas Reales zu stellen, denn Sie müssten einen 16-GPU-Cluster aufsetzen oder einen mieten, um herauszufinden, ob ein Modell ohne unabhängige Bewertung in einen Produktionspfad gehört.

Das ist der Fall, in dem eine Routing-Schicht ihren Nutzen verdient, statt ein Architekturdiagramm zu schmücken. OrcaRouter bietet Ihnen eine API über mehr als 200 Modelle mit automatischem Failover, sodass eine arabische Arbeitslast einen Teil des Traffics an ein nicht erprobtes Modell senden und etwas bereits Gemessenes den Rest absorbieren lassen kann — die Evaluierung erfolgt anhand echter Prompts, und eine schlechte Antwort oder ein ungesunder Endpunkt wird per Failover umgeleitet, statt die Anfrage mit sich zu nehmen. Der Katalog ist es wert, geprüft zu werden, bevor Sie ein Self-Hosting einplanen, weil er sich ändert. Wenn ein Modell heute nicht darin ist, kann es nächste Woche dabei sein, und die Preisseite ist die ehrliche Quelle dafür, was etwas kostet, sobald es dort ist.

Was als Nächstes zu beobachten ist, ist eng umrissen und konkret: der technische Bericht, das Code-Repository, eine erste Zahl von jemandem, der nicht IFM ist, und ein veröffentlichter Preis. Jedes Einzelne davon würde diesen Beitrag verändern. Nichts davon ist bisher eingetroffen, und genau deshalb ist die Day-zero-Framework-Unterstützung der Teil dieses Launches, der derzeit verifizierbar ist.

Was die Zahlen Ihnen nicht sagen können, ist, ob irgendetwas davon im Praxiseinsatz schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als strittig enthält.