Jais 3 approda in vLLM prima di approdare nel comunicato stampa

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Le ricette sono reali, e sono specifiche.

Gli annunci di supporto dei framework sono di solito una frase e un link. Questo, invece, contiene contenuto eseguibile, che vale la pena leggere con attenzione perché ti dice quanto costa effettivamente il deployment prima di scaricare 700 e passa gigabyte di pesi.

• vLLM — le ricette puntano a vllm>=0.30.0/. Il flagship da 375B richiede --tensor-parallel-size 16 --enable-expert-parallel/ su un checkpoint bfloat16, ovvero 16× H100 80GB su due nodi da 8 GPU nel deployment di riferimento interno di IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — la ricetta parallela è pensata per sglang>=0.5.20/, con la configurazione a due nodi da 375B che esegue TP=16 ed EP=16, FlashAttention-3 e il caricamento dei pesi multithread esplicitamente disabilitato.

• H200 cambia l'aritmetica — con 141 GB per GPU il modello di punta entra in un singolo nodo H200 da 8 GPU. La scheda di IFM indica di ridurre a 8 il parallelismo tensoriale e tra esperti in quel caso. Un nodo invece di due non è una differenza trascurabile in un modello di costo.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Ciò che rende il supporto più di una casella di compatibilità da spuntare è che l'architettura è davvero personalizzata. Le configurazioni dell'Hub dichiarano model_type: k2_horizon/ e K2HorizonForCausalLM/ con codice remoto personalizzato, il 375B con 192 esperti e routing di 8 per token. È il tipo di modello che normalmente arriva su un framework settimane dopo il lancio, con un elenco di patch nelle note di rilascio, non con una ricetta già inserita nel repository e datata prima del comunicato stampa.

Agentico nativo arabo, nei flag che effettivamente accetta

"Agentic" è la parola nel titolo dell'annuncio, e i comandi di serving sono il punto in cui puoi verificare se significa qualcosa. In gran parte, lo fa.

• --reasoning-parser k2_horizon/ separa la traccia di pensiero dalla risposta. Il pensiero viene restituito in reasoning_content/ e la risposta in content/, che è la differenza tra una catena di pensiero che puoi registrare e una che devi estrarre con una regex dal corpo della risposta.

• --tool-call-parser k2_horizon/ con --enable-auto-tool-choice/ attiva l'uso degli strumenti, e il modello supporta tre formati di chiamata degli strumenti — json/, xml/ e xml_typed/ — selezionabili per richiesta tramite chat_template_kwargs/, con valore predefinito xml/.

• La profondità di ragionamento è un'impostazione per singola richiesta, non una decisione di deployment. {"reasoning_effort": "high"}/ è il valore predefinito ed è quello con cui sono stati prodotti tutti i numeri pubblicati; "low"/ disattiva completamente il pensiero, e la scheda di IFM stessa afferma che low non è raccomandato al di fuori della ricerca sullo sforzo di ragionamento.

• I parametri di campionamento cambiano in base alla lingua, il che è insolito e vale la pena notare. I valori predefiniti sono temperature 0.2, top_p 0.95, top_k 20. In modalità thinking IFM richiede temperature 1.0 per l'inglese e 0.7 per l'arabo. Un'unica impostazione globale di temperature è la configurazione sbagliata per questo modello.

• Il budget di output è ampio. La scheda consiglia almeno 32.768 token di output — un forte indizio su quanto a lungo possano protrarsi le tracce di ragionamento, e un vincolo concreto sul timeout per richiesta se sei abituato a completion da 4K.

Ciò che la famiglia rilascia effettivamente

Sei checkpoint di base, non uno. La gamma conta più del modello di punta, perché determina se la famiglia è un artefatto di ricerca o qualcosa che puoi mettere dietro a un carico di lavoro.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• I formati quantizzati ed edge sono già disponibili — build FP8, GGUF per llama.cpp e Ollama, e MLX a 4 bit, 8 bit e bf16 per Apple silicon, pubblicate in tutta l'organizzazione IFM. Le build MLX per il 32B sono uscite il 1º ottobre, quelle GGUF per il 3.7B e il 7B il 13 ottobre. Nessuno aspettava una release successiva per eseguirli in locale.

• La licenza è Apache 2.0 in tutta la famiglia base, senza restrizioni sui repository inception42. Si tratta di una posizione sostanzialmente diversa da quella di diversi modelli arabi con cui questa famiglia ora compete.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

I numeri sono del fornitore, e questo fornitore li verifica.

Ogni valore di benchmark riportato di seguito proviene dalle model card di IFM e non è stato riprodotto da una terza parte. Quella frase deve comparire prima dei numeri, non dopo.

• MMLU arabo, flagship: 89.3. MMLU arabo con segni diacritici: 88.2.

• Belebele: 95,6. MMLU arabo dialettale: 89,6. Identificazione del dialetto (QADI): 71,1. Alyah: 87,6.

• AraSTEM: 95,5. GSM8K arabo: 86,8. GATmath: 98,4.

• IFBench arabo, strict a livello di prompt: 93,9. IFEval arabo: 77,7. FLORES200+ LLM-as-a-judge: 91,9.

• Agentic: Terminal Bench 2.1 a 73,8, GDPVal a 73,2, MCPMark a 68,5, SWE-Bench Verified (offline) a 70,2, GAIA v2 lit (arabo) a 50,3. Apex-Agents è quello che mantiene onesto il quadro a 18,6.

La nota metodologica è la parte che merita credito. IFM contrassegna i benchmark che sono stati sottoposti ad audit per la qualità del campione, con domande ambigue, opzioni di risposta non valide ed etichette gold indifendibili escluse, e pubblica la metodologia di audit, i campioni esclusi e l'elenco dei benchmark verificati come raccolta separata. Questa non è una revisione paritaria e non rende indipendente il punteggio di un fornitore, ma un laboratorio che ti dice quali dei propri numeri ha ripulito è un laboratorio che puoi leggere con maggiore fiducia rispetto a uno che non lo fa. I punteggi sui set ripuliti, inoltre, non sono la stessa cosa dei punteggi sul benchmark così come viene comunemente eseguito, e i contrassegni con asterisco sono quelli da controllare prima di confrontarti con il foglio di qualcun altro.

Due cose a cui nessuno ha risposto

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Non esiste alcuna valutazione indipendente. Artificial Analysis non ha una voce, nessuna arena ha pubblicato risultati testa a testa e nessuna classifica neutrale ha eseguito la famiglia. Il rapporto tecnico è indicato sulla scheda del modello come «prossimamente», e lo stesso vale per il repository del codice. Finché qualcosa al di fuori del laboratorio non esegue questi pesi, la lettura corretta di un 95,5 su AraSTEM è «IFM dice 95,5».

Se vuoi provarlo prima che ci sia una fattura

I pesi sono aperti e con licenza Apache 2.0, quindi la valutazione più economica è il tuo hardware — e le ricette sopra sono abbastanza brevi da poter essere eseguite oggi. La parte più difficile è mettere la famiglia dietro qualcosa di reale, perché dovresti allestire un cluster da 16 GPU, o affittarne uno, per scoprire se un modello senza punteggio indipendente merita di entrare in un percorso di produzione.

È il caso in cui un livello di routing si guadagna il suo posto invece di decorare un diagramma di architettura. OrcaRouter ti offre un'unica API su oltre 200 modelli con failover automatico, così un carico di lavoro in arabo può inviare una parte del traffico a un modello non ancora collaudato e lasciare che qualcosa di già misurato assorba il resto — la valutazione avviene su prompt reali, e una risposta scadente o un endpoint non sano passa al failover invece di far cadere con sé la richiesta. Il catalogo vale la pena di essere controllato prima di pianificare intorno a un self-host, perché cambia. Se un modello non c'è oggi, potrebbe esserci la settimana prossima, e la pagina dei prezzi è la fonte onesta su quanto costa qualsiasi cosa una volta che c'è.

Ciò che c'è da tenere d'occhio in seguito è ristretto e specifico: il rapporto tecnico, il repository del codice, un primo numero da qualcuno che non è IFM e un prezzo pubblicato. Uno qualsiasi di questi cambierebbe questo pezzo. Nessuno di essi è ancora arrivato, ed è esattamente per questo che il supporto al framework dal giorno zero è la parte di questo lancio attualmente verificabile.

Ciò che i numeri non possono dirti è se qualcosa sia andato storto sul campo: gli incidenti documentati di IA e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il grado di gravità, il livello di confidenza e il flag di contestazione.