Jais 3 vs Fanar 2: De två leverantörerna är inte överens om vad Fanar 2 får för poäng

J​ais 3 och Fanar 2 är de två arabiska flaggskeppsmodellfamiljerna från Gulfen, och det mest användbara någon kan berätta för dig om att jämföra dem är att leverantörernas egna siffror för Fanar-2-27B-Instruct inte stämmer överens. QCRI:s modellkort rapporterar ArabicMMLU på 74,67 % och Belebele på 86,81 % för sin 27B-instructmodell. J​ais-3-32Bs kort, från Institute of Foundation Models och Inception42, kör samma motståndare i sin egen referenstabell och placerar Fanar-2-27B på 66,3 på Arabic MMLU och 61,8 på Belebele. Det är en skillnad på åtta punkter i ett benchmark och tjugofem punkter i ett annat, för en enda modell, och ingen av siffrorna är en fabricering – de är resultatet av olika testramverk, olika promptformat och, i IFM:s fall, en granskad urvalsuppsättning. Det är också det enskilt mest lärorika på den här sidan, eftersom det betyder att en jämförelse av J​ais 3 och Fanar 2 byggd på publicerade siffror är en jämförelse av två mätpraktiker lika mycket som av två modeller.

De två korten, helt enkelt

• J​ais-3-32B — 32B tät decoder-only-modell från IFM, upp till 524 288 tokens i kontext, Apache 2.0, vikter publicerade 29 september 2026. Levereras med en resonemangsparser (k2_horizon), en verktygsanropsparser och tre valbara verktygsanropsformat. Körs med tensor-parallellism 2 i bfloat16.

• Fanar-2-27B-Instruct — 27B dense från QCRI vid Hamad Bin Khalifa University, 32 768 tokens kontext, Apache 2.0, släppt i mars 2026. Kontinuerligt förtränad från google/gemma-3-27b-pt på ungefär 166B arabiska och engelska tokens över tre recept och slogs sedan samman, följt av en efterträningspipeline i fem steg.

• Storleksintervall — J​ais 3 är en familj, sex bascheckpunkter från 0,9B till 375B, inklusive två mixture-of-experts-modeller. Fanar 2:s språklinje är i huvudsak en instruct-modell på 27B, med syskon inom andra modaliteter snarare än mindre textcheckpunkter.

• Licens — Apache 2.0 på båda sidor, ostängda på båda sidor. Ingen av familjerna tvingar dig att skriva under något, vilket är värt att påpeka eftersom det inte är normen i regionen.

• Basarkitektur — J​ais 3 tränas av IFM med en anpassad arkitektur (k2_horizon, anpassad fjärrkod krävs). Fanar 2 är en fortsatt förträning av G​oogles G​emma 3 27B, vilket gör det till en annan typ av artefakt: en väl utförd anpassning snarare än en träningskörning från grunden.

Var siffrorna skiljer sig åt, och varför det inte är en skandal

Ta benchmark-namnen ett i taget, eftersom etiketten gör mindre arbete än den verkar göra.

• ArabicMMLU mot Arabic MMLU* — Fanars kort säger 74,67 % för det benchmark som det kallar ArabicMMLU. IFM:s tabell säger 66,3 för kolumnen som den kallar Arabic MMLU*, där stjärnan betyder att IFM uteslöt frågor med tvetydiga prompter, ogiltiga svarsalternativ eller oförsvarbara guldlabels. Två olika sampelmängder, varav en rensad, och ingen skyldighet för något av labben att rapportera det andra labbets siffror.

• Belebele, 86,81 mot 61,8 — en mycket större skillnad, och förklaringen med testramverket sträcker sig längre här. Fanars siffra är dialektal arabiska; IFM:s kolumn läser samma benchmarknamn. Tjugofem punkter är inte en avrundningsskillnad, och den ärliga slutsatsen är att åtminstone en av dessa körningar inte mäter samma sak som den andra.

• IF-Eval, 82,97 mot 49,8 — Fanar rapporterar 82,97 på IF-Eval i sin egen förbättringstabell. IFM:s referenskolumn placerar Fanar-2-27B på 49,8 på arabiska IFEval. Samma förmåga, olika språk och olika promptuppsättning.

• Vad båda är överens om vad gäller formen, om inte nivån — Fanar 2 är ett stort steg framåt jämfört med Fanar 1. QCRI rapporterar +7,32 på ArabicMMLU, +10,68 på GSM8K och +8,27 på IF-Eval jämfört med sin egen 9B-föregångare. Det påståendet är internt sammanhängande och ingen ifrågasätter det.

Regeln som följer av detta är inte "ett labb fuskar". Det är att för arabiska benchmarks är ett tal utan en kopplad utvärderingsrigg inte ett tal. IFM markerar åtminstone vilka av sina egna siffror som granskats och publicerar de uteslutna urvalen i en separat samling, vilket är mer än vad de flesta labb gör — men det är fortfarande IFM som granskar IFM:s utvärdering av en konkurrent.

Kontext och driftsättning är där jämförelsen är ren

Det här är raderna som inte omfattas av testriggsargument, eftersom de är arkitektoniska fakta snarare än mätningar.

• Kontext — 524 288 tokens för Jais-3-32B mot 32 768 för Fanar-2-27B-Instruct. Sexton gånger fönstret, och Fanars kort dokumenterar 54K långkontextinstruktioner som användes för att nå 16K under träning, vilket placerar det tränade långkontextbeteendet väl inom det nominella 32K.

• Serveringsfotavtryck — Jais-3-32B vid TP=2, bfloat16, vLLM ≥ 0.30.0 eller SGLang ≥ 0.5.20. Fanar-2-27B är testad med transformers 4.57.6 och har en standardform för Gemma 3 27B, så den passar in i vilken stack som helst som redan kör Gemma.

• Verktyg som medföljer modellen — Jais 3 innehåller resonemangstolken, verktygsanropsstolken och ett val av json, xml eller xml_typed verktygsformat som förstklassiga serveringsflaggor. Fanar 2 stöder generiska verktygsanrop plus tio inbyggda Fanar-verktyg, men integrationsytan är leverantörens eget API snarare än en uppsättning ramverksflaggor.

• Tredjepartsutvärdering — ingen av dem finns med hos Artificial Analysis, ingen av dem har ett arena-poäng och ingen av dem har en oberoende replikering. Siffrorna för båda familjerna är leverantörsrapporterade, och artikeln säger det innan den citerar dem, varje gång.

Vad Fanar 2 har som Jais 3 inte har

Tre saker, och de är inte små.

• Inbyggda arabiska resonemangsspår. Fanar 2 tränades på ungefär 250 000 arabiska resonemangsexempel och genererar sin tankekedja på arabiska i stället för att översätta från ett engelskt spår. J​ais 3 exponerar en resonemangstolkare och rapporterar starka agentiska siffror för arabiska, men dess kort gör inte samma anspråk när det gäller vilket språk tänkandet sker på.

• Hallucinationsbegränsning som ett designat beteende. Fanar 2 är tränad att avstå — kunskapsprobering under träning, femstegs strukturerade verifieringsspår, kalibrerade ”jag vet inte”-svar — och det omsluter spontana referenser till koranverser i valideringsmarkörer så att ett nedströms system kan kontrollera dem. Den sista funktionen är ovanlig och har ingen motsvarighet i J​ais 3-kortet.

• En produkt kring modellen. QCRI levererar ett chattgränssnitt, iOS- och Android-appar och ett dokumenterat API med ett flöde för åtkomstbegäran, plus syskonmodeller för bildgenerering, bildförståelse och poesi. J​ais 3 är ett släpp av vikter med ramverksrecept; talmodellen finns vid sidan av det, och resten är en forskningsartefakt.

Det är förmågeskillnader, inte benchmarkskillnader, och en rimlig tolkning är att Fanar 2 är mer färdig som produkt medan Jais 3 är mer ambitiös som modell.

Vad de agentiska kolumnerna faktiskt säger, med asterisken bifogad

IFM:s egen tabell är den enda publicerade direkta jämförelsen mellan dessa två modeller och den är inte smickrande för Fanar: Terminal Bench 2.1 på 63,7 mot 1,1, GDPVal på 75,5 mot 0,0, MCPMark 66,1 mot 12,1, SWE-Bench Verified 72,4 mot 0,4, arabisk filhantering 71,8 mot 0,0.

Läs dem för vad de är. De är IFM:s mätningar av en konkurrents modell, körda av IFM, i IFM:s testramverk och publicerade på IFM:s modellkort. En nolla på GDPVal och en 0,4 på SWE-Bench Verified för en 27B instruct-modell är rimligt — detta är agentiska benchmarks som straffar modeller utan träningsdata för verktygsanrop i stor skala, och Fanar 2:s agentiska arbete är inriktat på dess egna tio verktyg snarare än allmänna mjukvaruuppgifter. Men ett labb som rapporterar att dess egen modell vinner varje rad i en tabell som det har byggt säger dig något om dess utvärdering, inte om världen.

Det försvarbara påståendet är snävare: på IFM:s publicerade testramverk presterar J​ais-3-32B bättre än Fanar-2-27B-Instruct på varje rapporterad agentisk benchmark, och Fanars modellkort rapporterar inte agentiska benchmarkar alls, så inget motsäger det och inget styrker det heller. Den publicerade evidensen är ensidig eftersom bara ena sidan publicerade.

Vilken ska man välja?

Lång kontext, agentiskt arbete eller ett behov av att välja en checkpoint-storlek: Jais 3, och det är inte ens nära när det gäller kontext. Ett fönster på 512K mot 32K avgör dokumentbehandling, arbete i repositoriskala och långa agenttrajektorier på egen hand.

Arabiskt resonemang som du tänker läsa, avståendebeteende du kan lita på, hantering av koraniskt innehåll, eller en leverantör med en app och en supportväg: Fanar 2. QCRI:s efterträningspipeline är verkligen genomarbetad – 4 miljoner SFT-instruktioner, 280 000 DPO-par, fem steg, en avsiktlig ombalansering av förmågor för att förhindra att anpassning till lång kontext försämrar kortformatuppgifter – och det visar sig i dimensioner som ingen leaderboard-kolumn fångar.

Om beslutet är svårt eftersom båda är rimliga för samma arbetsbelastning, är det som skulle avgöra saken dina egna prompter, körda mot båda, poängsatta enligt dina egna kriterier. Det är experimentet som ingen har publicerat för dessa två modeller, och det är värt mer än varje siffra som citerats ovan.

Att köra det är mindre arbete än det brukade vara. OrcaRouter ger dig en nyckel för 200+ modeller med 0 % påslag, leverantörens listpris förs vidare, så en bake-off mellan två arabiska checkpoints är en routingändring i stället för två integrationer — och poängsättning post för post är precis det fallet som routing-DSL:en är byggd för, eftersom den låter dig skicka samma prompt till båda modellerna i ett enda sammansatt anrop i stället för att skriva ett jämförelseramverk. Ingen av familjerna finns i vår katalog just nu; modellistan är där du ser vad som finns.

Vad skulle avgöra detta

En oberoende körning av båda modellerna på en gemensam testrigg, publicerad tillsammans med promptarna. Det är vad som saknas, och det saknas för varje etablerad arabisk modell, inte bara dessa två – hela fältet kör på självrapporterade siffror, vilket är varför en åttapunkts oenighet om Fanar 2:s ArabicMMLU kan ligga offentligt i sju månader utan att någon löser den. Tills någon gör det: betrakta J​ais 3-tabellen som IFM:s argument och Fanar 2-tabellen som QCRI:s, och betrakta de arkitektoniska fakta – 512K mot 32K, sju checkpoints mot en, parserflaggor mot ett hostat API – som den del du faktiskt kan planera utifrån.

Vad siffrorna inte kan berätta för dig är huruvida något av det har gått fel i fält: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.