Jais 3 vs Fanar 2: i due fornitori non concordano su quale punteggio ottenga Fanar 2

J​ais 3 e Fanar 2 sono le due famiglie di modelli arabi di punta del Golfo, e la cosa più utile che chiunque possa dirti sul confronto tra loro è che i numeri forniti dai vendor stessi per Fanar-2-27B-Instruct non corrispondono. La model card di QCRI riporta ArabicMMLU al 74,67% e Belebele all'86,81% per il suo modello instruct da 27B. La J​ais-3-32B card, dell'Institute of Foundation Models e di Inception42, mette lo stesso avversario sulla propria tabella di riferimento e colloca Fanar-2-27B a 66,3 su Arabic MMLU e 61,8 su Belebele. Si tratta di un divario di otto punti su un benchmark e di venticinque punti su un altro, per un solo modello, e nessuno dei due numeri è un'invenzione — sono il risultato di harness diversi, formati di prompt diversi e, nel caso di IFM, di un set di campioni verificato. È anche la cosa più istruttiva di questa pagina, perché significa che un confronto tra J​ais 3 e Fanar 2 costruito a partire dai numeri pubblicati è tanto un confronto tra due pratiche di misurazione quanto tra due modelli.

Le due carte, semplicemente

• Jais-3-32B — decoder-only denso da 32B di IFM, fino a 524.288 token di contesto, Apache 2.0, pesi pubblicati il 29 settembre 2026. Viene fornito con un parser per il ragionamento (k2_horizon), un parser per le chiamate agli strumenti e tre formati selezionabili per le chiamate agli strumenti. Viene servito con parallelismo tensoriale 2 in bfloat16.

• Fanar-2-27B-Instruct — modello denso da 27B di QCRI presso la Hamad Bin Khalifa University, 32.768 token di contesto, Apache 2.0, rilasciato a marzo 2026. Pre-addestrato in modo continuativo da google/gemma-3-27b-pt su circa 166B token arabi e inglesi attraverso tre ricette e poi unito, seguito da una pipeline di post-addestramento in cinque fasi.

• Intervallo di scala — J​ais 3 è una famiglia, sei checkpoint base da 0,9B a 375B, inclusi due modelli mixture-of-experts. La linea linguistica di Fanar 2 è essenzialmente un unico modello instruct da 27B, con modelli affini in altre modalità anziché checkpoint testuali più piccoli.

• Licenza — Apache 2.0 su entrambi i fronti, senza restrizioni su entrambi i fronti. Nessuna delle due famiglie ti fa firmare nulla, il che vale la pena dichiarare perché non è la norma nella regione.

• Architettura di base — J​ais 3 è addestrato da IFM con un'architettura personalizzata (k2_horizon, è richiesto codice remoto personalizzato). Fanar 2 è un pre-addestramento continuo di G​emma 3 27B di G​oogle, il che lo rende un tipo diverso di artefatto: un adattamento ben eseguito anziché un addestramento da zero.

Dove i numeri divergono, e perché non è uno scandalo

Prendi i nomi dei benchmark uno alla volta, perché l'etichetta fa meno lavoro di quanto sembri.

• ArabicMMLU contro Arabic MMLU*La scheda di Fanar indica 74,67% per il benchmark che chiama ArabicMMLU. La tabella di IFM indica 66,3 per la colonna che chiama Arabic MMLU*, dove l'asterisco significa che IFM ha escluso domande con prompt ambigui, opzioni non valide o etichette gold indifendibili. Due set di campioni diversi, uno dei quali ripulito, e nessun obbligo per nessuno dei due laboratori di riportare i risultati dell'altro.

• Belebele, 86,81 contro 61,8 — un divario molto più ampio, e la spiegazione dell'harness qui si spinge ancora oltre. Il dato di Fanar riguarda l'arabo dialettale; la colonna di IFM riporta lo stesso nome di benchmark. Venticinque punti non sono una differenza di arrotondamento, e la conclusione onesta è che almeno una di queste esecuzioni non sta misurando ciò che misura l'altra.

• IF-Eval, 82,97 contro 49,8 — Fanar riporta 82,97 su IF-Eval nella propria tabella di miglioramento. La colonna di riferimento di IFM colloca Fanar-2-27B a 49,8 su Arabic IFEval. Stessa capacità, lingua diversa e set di prompt diverso.

• Ciò su cui entrambi concordano è la forma, se non il livello — Fanar 2 è un grande passo avanti rispetto a Fanar 1. QCRI riporta +7,32 su ArabicMMLU, +10,68 su GSM8K e +8,27 su IF-Eval rispetto al suo predecessore da 9B. Questa affermazione è internamente coerente e nessuno la contesta.

La regola che ne deriva non è "un solo laboratorio sta imbrogliando". È che, per i benchmark in arabo, un numero senza un harness allegato non è un numero. IFM almeno segnala quali delle proprie cifre ha sottoposto ad audit e pubblica i campioni esclusi in una raccolta separata, cosa che la maggior parte dei laboratori non fa — ma è comunque IFM che sottopone ad audit la valutazione di un concorrente fatta da IFM.

Il contesto e il deployment sono gli ambiti in cui il confronto è netto

Queste sono le righe non soggette ad argomenti dell'harness, perché sono fatti architetturali anziché misurazioni.

• Contesto — 524.288 token per J​ais-3-32B contro 32.768 per Fanar-2-27B-Instruct. Sedici volte la finestra, e la scheda di Fanar documenta 54K istruzioni sul contesto lungo usate per raggiungere 16K durante l'addestramento, il che colloca il comportamento addestrato sul contesto lungo ben dentro i 32K nominali.

• Footprint di serving — J​ais-3-32B con TP=2, bfloat16, vLLM ≥ 0.30.0 o SGLang ≥ 0.5.20. Fanar-2-27B è testato con transformers 4.57.6 ed è una shape standard di G​emma 3 27B, quindi si inserisce in qualsiasi stack che esegue già G​emma.

• Strumenti forniti con il modello — Jais 3 include il parser di reasoning, il parser delle chiamate ai tool e una scelta tra i formati di tool json, xml o xml_typed come flag di serving di prima classe. Fanar 2 supporta il tool calling generico più dieci tool Fanar integrati, ma la superficie di integrazione è l'API del fornitore stesso anziché una serie di flag del framework.

• Valutazione di terze parti — nessuna delle due ha una voce su Artificial Analysis, nessuna delle due ha un punteggio nell'arena e nessuna delle due ha una replica indipendente. I numeri di entrambe le famiglie sono riportati dal fornitore e l'articolo lo dice prima di citarli, ogni volta.

Cosa ha Fanar 2 che Jais 3 non ha

Tre cose, e non sono piccole.

• Tracce di ragionamento native in arabo. Fanar 2 è stato addestrato su circa 250.000 esempi di ragionamento in arabo e genera la sua catena di pensiero in arabo invece di tradurla da una traccia in inglese. J​ais 3 espone un parser di ragionamento e riporta solidi numeri agentici in arabo, ma la sua scheda non fa la stessa affermazione sulla lingua in cui avviene il pensiero.

• Mitigazione delle allucinazioni come comportamento progettato. Fanar 2 è addestrato ad astenersi — sondaggio delle conoscenze durante l'addestramento, tracce di verifica strutturate in cinque fasi, risposte "non lo so" calibrate — e racchiude i riferimenti spontanei ai versetti coranici in marcatori di validazione, in modo che un sistema a valle possa verificarli. Quest'ultima caratteristica è insolita e non ha alcun equivalente nella scheda di J​ais 3.

• Un prodotto attorno al modello. QCRI distribuisce un'interfaccia di chat, app per iOS e Android e un'API documentata con un flusso di richiesta di accesso, oltre a modelli gemelli per la generazione di immagini, la comprensione delle immagini e la poesia. Jais 3 è un rilascio di pesi con ricette per framework; il modello vocale si trova accanto a esso, e il resto è un artefatto di ricerca.

Quelle sono differenze di capacità, non differenze di benchmark, e una lettura equilibrata è che Fanar 2 è più rifinito come prodotto mentre Jais 3 è più ambizioso come modello.

Che cosa dicono davvero le colonne agentiche, con l'asterisco allegato

La tabella di IFM è l'unico confronto testa a testa pubblicato tra questi due modelli e non è lusinghiera per Fanar: Terminal Bench 2.1 a 63,7 contro 1,1, GDPVal a 75,5 contro 0,0, MCPMark 66,1 contro 12,1, SWE-Bench Verified 72,4 contro 0,4, elaborazione di file arabi 71,8 contro 0,0.

Leggili per quello che sono. Sono le misurazioni di IFM relative al modello di un concorrente, eseguite da IFM, sull'harness di IFM e pubblicate sulla model card di IFM. Uno zero su GDPVal e uno 0,4 su SWE-Bench Verified per un modello instruct da 27B è plausibile — questi sono benchmark agentici che penalizzano i modelli privi di dati di addestramento per le tool-call su larga scala, e il lavoro agentico di Fanar 2 è orientato ai suoi dieci strumenti piuttosto che a compiti software generici. Ma un laboratorio che riporta il proprio modello vincente in ogni riga di una tabella che ha costruito da sé ti sta dicendo qualcosa sulla sua valutazione, non sul mondo.

L'affermazione difendibile è più ristretta: sull'harness pubblicato di IFM, J​ais-3-32B supera Fanar-2-27B-Instruct su ogni benchmark agentico riportato, e la scheda di Fanar non riporta affatto benchmark agentici, quindi nulla la contraddice e nulla la corrobora. Le prove pubblicate sono unilaterali perché solo una parte ha pubblicato.

Quale scegliere?

Contesto lungo, lavoro agentico o la necessità di scegliere una dimensione del checkpoint: J​ais 3, e sul contesto non c’è partita. Una finestra da 512K contro 32K decide da sola l’elaborazione dei documenti, il lavoro su scala repository e le lunghe traiettorie degli agenti.

Ragionamento in arabo che intendi leggere, comportamento di astensione su cui puoi contare, gestione dei contenuti coranici, o un fornitore con un'app e un percorso di supporto: Fanar 2. La pipeline di post-addestramento di QCRI è davvero elaborata — 4 milioni di istruzioni SFT, 280.000 coppie DPO, cinque fasi, una passata deliberata di riequilibrio delle capacità per evitare che l'adattamento al contesto lungo degradi i compiti in forma breve — e questo si vede in dimensioni che nessuna colonna di una classifica cattura.

Se la decisione è difficile perché entrambi sono plausibili per lo stesso carico di lavoro, ciò che la risolverebbe sono i tuoi stessi prompt, eseguiti su entrambi, valutati secondo i tuoi stessi criteri. Questo è l'esperimento che nessuno ha pubblicato per questi due modelli, e vale più di ogni numero citato sopra.

Eseguirlo è meno lavoro di quanto non fosse una volta. OrcaRouter ti offre un'unica chiave per oltre 200 modelli con 0% di ricarico, con il prezzo di listino del provider passato tal quale, quindi una sfida comparativa tra due checkpoint arabi è un cambio di routing anziché due integrazioni — e la valutazione elemento per elemento è esattamente il caso per cui è costruito il DSL di routing, perché ti consente di inviare lo stesso prompt a entrambi i modelli in un'unica chiamata composta invece di scrivere un harness di confronto. Nessuna delle due famiglie è attualmente nel nostro catalogo; l'elenco dei modelli è il posto dove verificare cosa c'è.

{{1}}Cosa risolverebbe questo{{/1}}

Un'unica esecuzione indipendente di entrambi i modelli su un harness condiviso, pubblicata insieme ai prompt. Questo è ciò che manca, e manca per ogni modello arabo mainstream, non solo per questi due — l'intero settore va avanti con numeri autodichiarati, ed è per questo che una divergenza di otto punti su ArabicMMLU di Fanar 2 può restare di pubblico dominio per sette mesi senza che nessuno la risolva. Finché qualcuno non lo fa, considera la tabella di J​ais 3 come l'argomentazione di IFM e la tabella di Fanar 2 come quella di QCRI, e considera i fatti architetturali — 512K contro 32K, sette checkpoint contro uno, flag del parser contro un'API ospitata — come la parte su cui puoi davvero pianificare.

Ciò che i numeri non possono dirti è se qualcosa è andato storto sul campo: gli incidenti documentati di IA e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'Archivio degli incidenti di IA di OrcaRouter, dove ogni voce riporta le proprie fonti, la gravità, il grado di attendibilità e il flag di contestazione.