Jais 3 vs Fanar 2: De twee leveranciers zijn het niet eens over wat Fanar 2 scoort

J​ais 3 en Fanar 2 zijn de twee toonaangevende Arabische modelfamilies uit de Golf, en het nuttigste dat iemand je kan vertellen over het vergelijken ervan, is dat de eigen cijfers van de leveranciers voor Fanar-2-27B-Instruct niet overeenkomen. De modelkaart van QCRI rapporteert ArabicMMLU op 74,67% en Belebele op 86,81% voor zijn 27B-instructmodel. De J​ais-3-32B-kaart, van het Institute of Foundation Models en Inception42, laat dezelfde tegenstander meedraaien op zijn eigen referentietabel en plaatst Fanar-2-27B op 66,3 voor Arabic MMLU en 61,8 voor Belebele. Dat is een verschil van acht punten op de ene benchmark en vijfentwintig punten op de andere, voor één model, en geen van beide cijfers is verzonnen — ze zijn de output van verschillende evaluatieharnassen, verschillende promptformaten, en in het geval van IFM van een geauditeerde steekproefset. Het is ook het meest leerzame op deze pagina, want het betekent dat een vergelijking van J​ais 3 en Fanar 2 op basis van gepubliceerde cijfers net zo goed een vergelijking van twee meetpraktijken is als van twee modellen.

De twee kaarten, simpelweg

• Jais-3-32B — 32B dense decoder-only van IFM, tot 524.288 tokens context, Apache 2.0, gewichten gepubliceerd op 29 september 2026. Wordt geleverd met een reasoning-parser (k2_horizon), een tool-call-parser en drie selecteerbare tool-call-formaten. Draait op tensorparallelisme 2 in bfloat16.

• Fanar-2-27B-Instruct — 27B dense van QCRI aan de Hamad Bin Khalifa University, 32.768 tokens context, Apache 2.0, uitgebracht in maart 2026. Continu voorgetraind vanuit google/gemma-3-27b-pt op ongeveer 166 miljard Arabische en Engelse tokens via drie recepten en vervolgens samengevoegd, gevolgd door een post-trainingspijplijn van vijf fasen.

• Schaalbereik — Jais 3 is een familie, zes basischeckpoints van 0,9B tot 375B, waaronder twee mixture-of-experts-modellen. De taallijn van Fanar 2 is in wezen één instructmodel van 27B, met verwanten in andere modaliteiten in plaats van kleinere tekstcheckpoints.

• Licentie — Apache 2.0 aan beide kanten, aan beide kanten zonder toegangsdrempel. Geen van beide families laat je iets ondertekenen, wat het vermelden waard is, want dat is niet de norm in de regio.

• Basisarchitectuur — Jais 3 wordt getraind door IFM met een aangepaste architectuur (k2_horizon, aangepaste remote code vereist). Fanar 2 is een continual-pretrain van Google's Gemma 3 27B, wat het een ander soort artefact maakt: een goed uitgevoerde aanpassing in plaats van een training vanaf nul.

Waar de cijfers uiteenlopen, en waarom dat geen schandaal is

Behandel de benchmarknamen één voor één, want het label doet minder werk dan het lijkt.

• ArabicMMLU versus Arabic MMLU* — Fanars kaart vermeldt 74,67% voor de benchmark die het ArabicMMLU noemt. De tabel van IFM vermeldt 66,3 voor de kolom die het Arabic MMLU* noemt, waarbij de ster betekent dat IFM vragen met dubbelzinnige prompts, ongeldige opties of niet te verdedigen gold labels heeft uitgesloten. Twee verschillende steekproefsets, waarvan één opgeschoond, en geen van beide labs is verplicht om die van het andere te rapporteren.

• Belebele, 86,81 versus 61,8 — een veel groter verschil, en de toelichting over de harness strekt hier verder. Fanars cijfer is dialectisch Arabisch; de kolom van IFM vermeldt dezelfde benchmarknaam. Vijfentwintig punten is geen afrondingsverschil, en de eerlijke conclusie is dat ten minste één van deze runs niet meet wat de andere meet.

• IF-Eval, 82,97 versus 49,8 — Fanar rapporteert 82,97 op IF-Eval in zijn eigen verbeteringstabel. De referentiekolom van IFM plaatst Fanar-2-27B op 49,8 op Arabische IFEval. Dezelfde capaciteit, een andere taal en een andere promptset.

• Waar beide partijen het over eens zijn qua vorm, zo niet qua niveau — Fanar 2 is een grote stap vooruit ten opzichte van Fanar 1. QCRI rapporteert +7,32 op ArabicMMLU, +10,68 op GSM8K en +8,27 op IF-Eval ten opzichte van zijn eigen 9B-voorganger. Die bewering is intern coherent en niemand betwist die.

De regel die hieruit volgt is niet "één lab speelt vals". Het is dat voor Arabische benchmarks een getal zonder een eraan gekoppeld testharnas geen getal is. IFM markeert tenminste welke van zijn eigen cijfers het heeft gecontroleerd en publiceert de uitgesloten samples in een aparte verzameling, wat meer is dan de meeste labs doen — maar het is nog steeds IFM dat IFM's evaluatie van een concurrent controleert.

Context en deployment zijn waar de vergelijking zuiver is.

Dit zijn de rijen die niet onderhevig zijn aan harness-argumenten, omdat het architecturale feiten zijn in plaats van metingen.

• Context — 524.288 tokens voor J​ais-3-32B tegenover 32.768 voor Fanar-2-27B-Instruct. Zestien keer zo groot als het venster, en de kaart van Fanar documenteert 54K instructies voor lange context die tijdens de training zijn gebruikt om 16K te bereiken, wat het getrainde gedrag bij lange context ruim binnen de nominale 32K plaatst.

• Serving-voetafdruk — J​ais-3-32B bij TP=2, bfloat16, vLLM ≥ 0.30.0 of SGLang ≥ 0.5.20. Fanar-2-27B is getest met transformers 4.57.6 en heeft een standaard G​emma 3 27B-vorm, dus het past in elke stack die al G​emma draait.

• Tooling die met het model wordt meegeleverd — Jais 3 bevat de reasoning-parser, de tool-call-parser en een keuze uit json, xml of xml_typed toolindelingen als eersteklas serving-flags. Fanar 2 ondersteunt generieke tool calling plus tien ingebouwde Fanar-tools, maar het integratieoppervlak is de eigen API van de leverancier in plaats van een reeks framework-flags.

• Evaluatie door derden — geen van beide heeft een vermelding bij Artificial Analysis, geen van beide heeft een arenascore en geen van beide is onafhankelijk gerepliceerd. De cijfers van beide families zijn door de leverancier gerapporteerd en het artikel zegt dat elke keer voordat het ze citeert.

Wat Fanar 2 heeft dat Jais 3 niet heeft

Drie dingen, en ze zijn niet klein.

• Native Arabische redeneertraces. Fanar 2 is getraind op ongeveer 250.000 Arabische redeneervoorbeelden en genereert zijn gedachtegang in het Arabisch in plaats van te vertalen vanuit een Engelse trace. J​ais 3 stelt een redeneerparser beschikbaar en rapporteert sterke Arabische agentische cijfers, maar zijn modelkaart maakt niet dezelfde bewering over de taal waarin het denken plaatsvindt.

• Het beperken van hallucinaties als ontworpen gedrag. Fanar 2 is getraind om zich te onthouden — kennisbevraging tijdens de training, gestructureerde verificatietraces in vijf stappen, gekalibreerde "Ik weet het niet"-antwoorden — en het verpakt spontane verwijzingen naar Koranverzen in validatiemarkeringen, zodat een downstreamsysteem ze kan controleren. Die laatste functie is ongewoon en heeft geen equivalent in de Jais 3-kaart.

• Een product rond het model. QCRI levert een chatinterface, iOS- en Android-apps en een gedocumenteerde API met een procedure voor toegangsaanvragen, plus zustermodellen voor beeldgeneratie, beeldbegrip en poëzie. J​ais 3 is een release van gewichten met recepten voor frameworks; het spraakmodel staat ernaast, en de rest is een onderzoeksartefact.

Dat zijn verschillen in capaciteiten, niet in benchmarks, en een eerlijke lezing is dat Fanar 2 als product meer af is, terwijl J​ais 3 als model ambitieuzer is.

Wat de agentische kolommen eigenlijk zeggen, met de asterisk erbij.

De eigen tabel van IFM is de enige gepubliceerde rechtstreekse vergelijking tussen deze twee modellen, en die is niet flatteus voor Fanar: Terminal Bench 2.1 op 63,7 tegen 1,1, GDPVal op 75,5 tegen 0,0, MCPMark op 66,1 tegen 12,1, SWE-Bench Verified op 72,4 tegen 0,4, Arabische bestandsverwerking op 71,8 tegen 0,0.

Lees die voor wat ze zijn. Het zijn IFM's metingen van het model van een concurrent, uitgevoerd door IFM, op IFM's harness, en gepubliceerd op IFM's modelkaart. Een nul op GDPVal en een 0,4 op SWE-Bench Verified voor een 27B-instructiemodel is plausibel — dit zijn agentische benchmarks die modellen zonder tool-call-trainingsdata op schaal afstraffen, en Fanar 2's agentische werk is gericht op zijn eigen tien tools in plaats van algemene softwaretaken. Maar een lab dat meldt dat zijn eigen model elke rij wint van een tabel die het zelf heeft gebouwd, vertelt je over zijn evaluatie, niet over de wereld.

De verdedigbare bewering is beperkter: op de door IFM gepubliceerde harness presteert Jais-3-32B beter dan Fanar-2-27B-Instruct op elke gerapporteerde agentische benchmark, en de modelkaart van Fanar rapporteert helemaal geen agentische benchmarks, dus niets spreekt het tegen en niets bevestigt het ook. Het gepubliceerde bewijs is eenzijdig omdat slechts één kant publiceerde.

Welke moet je kiezen?

Lange context, agentisch werk of de behoefte om een checkpointgrootte te kiezen: J​ais 3, en wat context betreft is het geen twijfelgeval. Een venster van 512K tegenover 32K is op zichzelf al bepalend voor documentverwerking, werk op repositoryschaal en lange agenttrajecten.

Arabische redeneringen die je wilt lezen, abstentiegedrag waarop je kunt vertrouwen, omgang met Koraninhoud, of een leverancier met een app en een ondersteuningspad: Fanar 2. De post-trainingpijplijn van QCRI is echt uitgebreid — 4M SFT-instructies, 280K DPO-paren, vijf fasen, een bewuste herverdelingsronde voor capaciteiten om te voorkomen dat langcontextaanpassing kortvormige taken verslechtert — en dat uit zich in dimensies die geen enkele leaderboardkolom vastlegt.

Als de beslissing moeilijk is omdat beide plausibel zijn voor dezelfde werklast, is wat de knoop zou doorhakken je eigen prompts, uitgevoerd tegen beide, gescoord volgens je eigen criteria. Dat is het experiment dat niemand voor deze twee modellen heeft gepubliceerd, en het is meer waard dan elk cijfer dat hierboven wordt genoemd.

Het draaien ervan is minder werk dan het vroeger was. OrcaRouter geeft je één sleutel voor meer dan 200 modellen met 0% opslag, waarbij de lijstprijs van de aanbieder wordt doorgegeven, dus een bake-off tussen twee Arabische checkpoints is een routeringswijziging in plaats van twee integraties — en het scoren per item is precies het geval waarvoor de routing-DSL is gebouwd, want je kunt dezelfde prompt naar beide modellen sturen in één samengestelde aanroep in plaats van een vergelijkingsharnas te schrijven. Geen van beide families staat momenteel in onze catalogus; de modellenlijst is waar je kunt controleren wat er is.

Wat zou dit oplossen?

Eén onafhankelijke run van beide modellen op een gedeelde harness, gepubliceerd samen met de prompts. Dat is wat ontbreekt, en het ontbreekt bij elk mainstream Arabisch model, niet alleen bij deze twee — het hele vakgebied draait op zelfgerapporteerde cijfers, waardoor een verschil van acht punten over de ArabicMMLU van Fanar 2 zeven maanden lang publiekelijk kan blijven bestaan zonder dat iemand het oplost. Totdat iemand dat doet, beschouw de Jais 3-tabel als het argument van IFM en de Fanar 2-tabel als dat van QCRI, en beschouw de architectonische feiten — 512K tegenover 32K, zeven checkpoints tegenover één, parser-flags tegenover een gehoste API — als het deel waar je daadwerkelijk rekening mee kunt houden.

Wat de cijfers je niet kunnen vertellen, is of er in de praktijk iets mis is gegaan: de gedocumenteerde AI-incidenten en agent-fouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistingsmarkering heeft.