Jais 3 vs SILMA 9B: Een modeluitdaging tussen twee verschillende tijdperken van Arabische AI

Open SILMA AI's website en het vlaggenschip waarmee het vooroploopt is SILMA TTS v2.0, een tekst-naar-spraakmodel dat 170 ms time-to-first-token voor spraakagenten opgeeft. Scroll naar de footer en er staat nog steeds een link naar een Arabisch LLM-leaderboard, en het model dat deze vergelijking bij naam noemt — SILMA-9B-Instruct-v1.0, een tweetalig Arabisch-Engels 9B-instructmodel van de silma-ai/-organisatie — staat nog steeds op de Hub. Het werd gepubliceerd op 17 augustus 2024. Daartegenover staat Jais 3, de familie van het Institute of Foundation Models en Inception42 waarvan de gewichten op 29 september 2026 verschenen en waarvan de serveerrecepten op 5 oktober werden gestempeld. Dat is een gat van vijfentwintig maanden en een verandering van industriecategorie, en dat maakt dit de vreemdste pagina in de set: geen krachtmeting tussen twee rivalen, maar tussen een checkpoint uit het tijdperk waarin Arabische LLM's werden gescoord op basis van log-likelihood op vertaalde benchmarks en een familie uit 2026 die reasoning-parsers en contextvensters van 512K meelevert. De vergelijking is nog steeds de moeite waard, want teams draaien SILMA 9B nog steeds, en de vraag wat er nodig zou zijn om het te vervangen is een reële vraag.

Wat elke kant eigenlijk is

• Jais 3 is een familie, geen model — zes basischeckpoints, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B en Jais-3-375B-A23B, plus -Uno/ varianten, allemaal Apache 2.0 en allemaal zonder toegangsbeperkingen. De dense modellen bouwen voort op een aangepaste k2_horizon/ architectuur die trust-remote-code vereist.

• SILMA 9B is één checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ is een afgeleide van Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — met vijf safetensors-shards, een conversationele pipeline-tag, en Arabisch en Engels als opgegeven talen.

• De licentie is het meest uitgesproken praktische verschil. Jais 3 is Apache 2.0 zonder poort. SILMA 9B heeft de Gemma-licentie en een poort voor akkoordverklaring: het extra_gated_button_content/ veld van de modelkaart betekent dat je akkoord gaat met de voorwaarden voordat de gewichten jou toebehoren, en de Gemma-licentie bevat gebruiksbeperkingen die Apache 2.0 niet heeft.

• De familie die het verving, is klein. SILMA AI's latere releases zijn SILMA-Kashif-2B-Instruct-v1.0 van januari 2025 en een paar embeddingmodellen van oktober 2024. Er is geen SILMA 9B-opvolger, geen 27B, geen MoE-variant. Het nieuwste artefact van de organisatie is met grote afstand silma-tts/ van maart 2026.

• Context — tot 524.288 tokens bij het grootste deel van de Jais 3-lijn, 128K op de 0.9B. De kaart van SILMA vermeldt helemaal geen contextlengte.

Het benchmarkprobleem, uiteengezet voordat er ook maar een getal wordt genoemd.

De gepubliceerde resultaten van SILMA 9B komen uit een andere meetcultuur dan die van Jais 3, en het verschil is niet gradueel.

• SILMA's cijfers zijn log-likelihoodscores op de Open Arabic LLM Leaderboard-harness — loglikelihood_acc_norm/ tegenover Arabische MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabische EXAMS (51,4), plus een hele reeks vertaalde benchmarks. Het eigen kerncijfer is een Arabic Broad Benchmark-score van 6,15 op 10.

• De cijfers van Jais 3 zijn de nauwkeurigheid van gegenereerde antwoorden op een geauditeerde steekproefset. IFM rapporteert Arabische MMLU op 89,3 voor de 375B, 88,6 voor de 32B, 85,2 voor de 7B en 83,3 voor de 3,7B, waarbij de ster de benchmarks markeert die het heeft opgeschoond van dubbelzinnige vragen, ongeldige opties en onverdedigbare gold labels — en het publiceert de uitgesloten samples.

• Dit zijn niet dezelfde metingen. Log-likelihoodscores voor meerkeuzevragen en de nauwkeurigheid van gegenereerde antwoorden op een opgeschoonde set zullen niet overeenkomen, en het verschil daartussen is geen maatstaf voor modelkwaliteit. 85,2 naast 52,55 zetten en dat een overwinning van 33 punten noemen, zou de meest misleidende zin zijn die op deze pagina mogelijk is, en het is de zin die de meeste vergelijkingsartikelen zouden opschrijven.

• Geen van beide heeft een onafhankelijke score. Voor geen van beide een vermelding in Artificial Analysis. Geen arenaresultaat. Elk cijfer in dit gedeelte is door de leverancier gerapporteerd, door welk lab het ook werd gepubliceerd, en de Jais 3-cijfers bevatten bovendien IFM's eigen voetnoot dat de gebruikte instelling voor redeneerinspanning high/ voor elke run was.

De op grootte afgestemde vergelijking is degene die iets betekent

Als je SILMA 9B hebt, is de eerlijke kandidaat als vervanging voor Jais 3 Jais-3-7B of Jais-3-3.7B, niet het vlaggenschip. Beide zijn dense, beide draaien met tensor-parallelisme 1 in bfloat16 in het vLLM-recept, en beide zijn vrij toegankelijk.

• Voetafdruk — Jais-3-7B bij TP=1 op één enkele GPU tegenover SILMA 9B's Gemma 2 9B met vijf shards. Vergelijkbare hostingkosten, dus de upgrade is een kwestie van kwaliteit en mogelijkheden, niet van hardware.

• Context — 524.288 tokens voor Jais-3-7B tegenover geen gepubliceerd cijfer voor SILMA 9B. Dit is de rij waarin een workload opnieuw wordt gearchitecteerd in plaats van geport.

• Edge- en gekwantiseerde builds — GGUF voor llama.cpp en Ollama op zowel de 3.7B als de 7B, en MLX 4-bit, 8-bit en bf16 voor Apple silicon. SILMA 9B heeft GGUF-conversies, maar het zijn uploads van derden uit 2024 en de leverancier heeft er geen gepubliceerd.

• Arabisch-specifieke oppervlakken — IFM publiceert per checkpoint een volledige Arabische benchmarksuite die dialecten, diakritisering, parsing, IslamicQA, Arabische cultuur en vertaling bestrijkt. De kaart van SILMA rapporteert via de geaggregeerde kolommen van het leaderboard en de eigen brede-benchmarkscore, met veel minder detail per vaardigheid.

• Licentie — Apache 2.0 tegenover de Gemma-licentie plus een toegangspoort. Voor een commerciële Arabische pipeline kan alleen dat verschil al bepalend zijn voor de migratie.

Wat SILMA 9B nog altijd in zijn voordeel heeft

Twee dingen, en geen van beide is een benchmark.

• Het is een Gemma. Een gemma2/ checkpoint draait op elke stack die al Gemma 2 draait — geen --trust-remote-code/, geen aangepaste parserflags, geen architectuurspecifieke modelimplementatie. Jais 3 heeft trust-remote-code nodig, een k2_horizon/ redeneerparser, een k2_horizon/ tool-call-parser, en taalafhankelijke sampling: temperatuur 1,0 voor Engels en 0,7 voor Arabisch in denkmodus tegen een standaardwaarde van 0,2, met minimaal 32.768 uitvoertokens aanbevolen. Het porten is echt werk.

• Het is stabiel, en er is een leaderboard omheen. SILMA AI onderhoudt een Arabic LLM Broad Leaderboard Space, en aan een twee jaar oude checkpoint hangen twee jaar productieverhalen. Dat is niet niets wanneer het alternatief een model is dat drie weken geleden is gepubliceerd, zonder evaluatie door derden, zonder technisch rapport — IFM vermeldt het als 'binnenkort beschikbaar' — en zonder gepubliceerde prijs.

De migratiebeslissing, en hoe je die omkeerbaar maakt.

Vervang SILMA 9B als je workload bestaat uit documenten met een lange context, agentisch toolgebruik, of commercieel gevoelig genoeg is dat de Gemma-licentie een probleem vormt. Alleen al de contextrij rechtvaardigt het: een model zonder gepubliceerd contextcijfer tegenover een model dat tot een half miljoen tokens gaat, is geen moeilijke keuze voor documentwerk.

Houd het als de pipeline vastligt, de Gemma-licentie al is goedgekeurd en alles op standaard transformers draait — want het eerlijke tegenwicht voor de benchmarktabel van Jais 3 is dat de tabel van IFM is, het model drie weken oud is en er geen enkel onafhankelijk cijfer achter al die cijfers zit. Een werkend Arabisch productiepad upgraden naar een drie weken oude checkpoint op grond van leverancierscijfers is de fout die deze vergelijking moet voorkomen.

De manier om beide te krijgen is ze eerst naast elkaar te draaien, en de reden dat dit vroeger duur was, is dat het twee integraties en een vergelijkingsharnas betekende. OrcaRouter maakt dat plat: één API voor meer dan 200 modellen met 0% opslag, de lijstprijs van de provider wordt doorgegeven, zodat een bake-off een routeringswijziging is in plaats van een project — en de routerings-DSL is het juiste hulpmiddel voor de specifieke taak om identieke Arabische prompts naar twee modellen te sturen en de antwoorden te beoordelen, omdat die ze samenvoegt tot één aanroep en beide retourneert. Automatische failover is wat de volgende stap veilig maakt: een pas gepubliceerd model kan een deel van het echte verkeer krijgen, terwijl je gevestigde model de rest opvangt en de verzoeken afhandelt die het nieuwe laat vallen. Geen van beide modellen staat op dit moment in onze catalogus; de modellenlijst is waar je moet kijken voordat je rond een self-host gaat ontwerpen.

Wat te kijken

Vier dingen, in volgorde van de mate waarin ze deze pagina zouden veranderen. Een opvolger van SILMA 9B, die van een mismatch tussen categorieën weer een echte vergelijking zou maken. Elke onafhankelijke evaluatie van een Jais 3-checkpoint, die de hele benchmarksectie overbodig zou maken. Het technische rapport van IFM, dat momenteel als 'binnenkort beschikbaar' staat vermeld. En een gepubliceerde prijs voor Jais 3, waarvan er nergens een te vinden is. Totdat ten minste één daarvan beschikbaar komt, is de verdedigbare interpretatie van deze vergelijking architectonisch — licentie, gating, context, tooling, grootte-ladder — en de scores moeten worden gelezen als twee labs die in twee verschillende jaren twee verschillende dingen meten.