Jais 3 vs SILMA 9B: En modellutmaning mellan två olika epoker inom arabisk AI

Öppna SILMA AI:s webbplats och det flaggskepp den lyfter fram är SILMA TTS v2.0, en text-till-tal-modell som anger 170 ms till första token för röstagenter. Scrolla ned till sidfoten och där finns fortfarande en länk till en topplista för arabiska LLM:er, och modellen som den här matchningen namnger — SILMA-9B-Instruct-v1.0, en tvåspråkig arabisk och engelsk instruct-modell på 9B från silma-ai/-organisationen — finns fortfarande på Hub. Den publicerades den 17 augusti 2024. Mot den står Jais 3, familjen från Institute of Foundation Models och Inception42 vars vikter släpptes den 29 september 2026 och vars serveringsrecept stämplades den 5 oktober. Det är ett gap på tjugofem månader och ett byte av branschkategori, och det gör detta till den märkligaste sidan i uppsättningen: inte en matchning mellan två rivaler, utan mellan en checkpoint från eran då arabiska LLM:er poängsattes med log-likelihood på översatta benchmarks och en familj från 2026 som levererar resonemangsparsers och kontextfönster på 512K. Jämförelsen är ändå värd att göra, eftersom team fortfarande kör SILMA 9B, och frågan om vad som skulle krävas för att ersätta den är en verklig sådan.

Vad varje sida faktiskt är

• Jais 3 är en familj, inte en modell – sex bascheckpunkter, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B och Jais-3-375B-A23B, samt -Uno/ varianter, alla Apache 2.0 och alla utan gating. De densa modellerna bygger på en anpassad k2_horizon/ arkitektur som kräver trust-remote-code.

• SILMA 9B är en checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ är ett derivat av Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — med fem safetensors-shards, en konversationell pipeline-tagg, och arabiska och engelska angivna som dess språk.

• Licensen är den skarpaste praktiska skillnaden. Jais 3 är Apache 2.0 utan någon grind. SILMA 9B bär Gemma-licensen och en bekräftelsegrind: kortets extra_gated_button_content/-fältet innebär att du accepterar villkoren innan vikterna är dina, och Gemma-licensen medför användningsrestriktioner som Apache 2.0 inte har.

• Familjen som ersatte den är liten. SILMA AI:s senare utgivningar är SILMA-Kashif-2B-Instruct-v1.0 från januari 2025 och ett par inbäddningsmodeller från oktober 2024. Det finns ingen efterföljare till SILMA 9B, ingen 27B, ingen MoE-variant. Organisationens nyaste artefakt med god marginal är silma-tts/ från mars 2026.

• Kontext — upp till 524 288 tokens i större delen av Jais 3-serien, 128K på 0,9B. SILMA:s kort publicerar ingen siffra för kontextlängd alls.

Benchmark-problemet, formulerat innan något tal citeras

SILMA 9B:s publicerade resultat kommer från en annan mätkultur än Jais 3:s, och skillnaden är inte en gradskillnad.

• SILMAs siffror är log-likelihood-poäng i testramverket Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ mot Arabic MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4), plus en mängd översatta benchmarks. Dess eget huvudresultat är en Arabic Broad Benchmark-poäng på 6,15 av 10.

• Jais 3:s siffror är träffsäkerhet för genererade svar på en granskad urvalsuppsättning. IFM rapporterar Arabic MMLU på 89,3 för 375B, 88,6 för 32B, 85,2 för 7B och 83,3 för 3,7B, där stjärnan markerar benchmarks som har rensats från tvetydiga frågor, ogiltiga svarsalternativ och oförsvarbara guldetiketter — och de uteslutna proverna publiceras.

• Detta är inte samma mätning. Log-likelihood-poängsättning för flervalsfrågor och träffsäkerhet för genererade svar på en rensad uppsättning kommer inte att stämma överens, och gapet mellan dem är inte ett mått på modellkvalitet. Att ställa 85,2 bredvid 52,55 och kalla det en 33-poängsvinst skulle vara den absolut mest missvisande meningen som finns på den här sidan, och det är meningen som de flesta jämförelseartiklar skulle skriva.

• Ingen av dem har en oberoende poäng. Ingen Artificial Analysis-post för någon av dem. Inget arenaresultat. Varje siffra i det här avsnittet är leverantörsrapporterad av vilket labb som än publicerade den, och siffrorna för Jais 3 har dessutom IFM:s egen fotnot om att inställningen för resonemangsansträngning som användes var hög/ för varje körning.

Den storleksmatchade jämförelsen är den som betyder något

Om SILMA 9B är vad du har, är den ärliga ersättningskandidaten för Jais 3 Jais-3-7B eller Jais-3-3.7B, inte flaggskeppet. Båda är dense-modeller, båda körs med tensor-parallellism 1 i bfloat16 i vLLM-receptet, och båda är utan gating.

• Fotavtryck — Jais-3-7B vid TP=1 på en enda GPU mot SILMA 9B:s fem-shardade Gemma 2 9B. Jämförbar hostingkostnad, så uppgraderingen är en kvalitets- och kapacitetsfråga snarare än en hårdvarufråga.

• Kontext — 524 288 tokens för Jais-3-7B mot ingen publicerad siffra för SILMA 9B. Det här är raden där en arbetsbelastning får en ny arkitektur i stället för att porteras.

• Edge- och kvantiserade byggen — GGUF för llama.cpp och Ollama på både 3.7B och 7B, samt MLX 4-bitars, 8-bitars och bf16 för Apple silicon. SILMA 9B har GGUF-konverteringar, men de är tredjepartsuppladdningar från 2024 och leverantören publicerade inga.

• Arabiskspecifika ytor — IFM publicerar en fullständig arabisk benchmark-svit per checkpoint som täcker dialekter, diakritisering, parsning, IslamicQA, arabisk kultur och översättning. SILMA:s kort rapporterar via leaderboardens aggregerade kolumner och sin egen poäng för breda benchmarks, med betydligt mindre detalj per förmåga.

• Licens — Apache 2.0 mot Gemma-licensen plus en grind. För en kommersiell arabisk pipeline kan den skillnaden ensam avgöra migreringen.

Vad SILMA 9B fortfarande har som talar för sig

Två saker, och ingen av dem är ett riktmärke.

• Det är en Gemma. En gemma2/ checkpoint körs på varje stack som redan kör Gemma 2 – ingen --trust-remote-code/, inga anpassade parserflaggor, ingen arkitekturspecifik modellimplementation. Jais 3 kräver trust-remote-code, en k2_horizon/ resonemangsparser, en k2_horizon/ verktygsanropsparser, och språkberoende sampling: temperatur 1,0 för engelska och 0,7 för arabiska i tankeläge mot en standard på 0,2, med minst 32 768 utdatatoken rekommenderat. Portning är verkligt arbete.

• Den är stabil, och det finns en topplista runt den. SILMA AI underhåller ett Arabic LLM Broad Leaderboard-utrymme, och en två år gammal checkpoint har två års produktionshistorier knutna till sig. Det är inte ingenting när alternativet är en modell som publicerades för tre veckor sedan utan tredjepartsutvärdering, utan teknisk rapport — IFM listar den som kommande — och utan publicerat pris.

Migreringsbeslutet, och hur man gör det reversibelt

Byt ut SILMA 9B om din arbetsbelastning består av dokument med lång kontext, agentisk verktygsanvändning, eller är kommersiellt känslig nog att Gemma-licensen är ett problem. Enbart kontextraden motiverar det: en modell utan publicerad kontextsiffra mot en som går upp till en halv miljon tokens är ingen jämn match för dokumentarbete.

Behåll det om pipelinen är etablerad, Gemma-licensen redan har klarats av och allt körs på vanliga transformers – för den ärliga motvikten till Jais 3:s benchmarktabell är att tabellen är IFM:s, att modellen är tre veckor gammal och att det inte finns någon oberoende siffra bakom något av det. Att uppgradera en fungerande arabisk produktionsväg till en tre veckor gammal checkpoint enbart på grundval av leverantörens siffror är misstaget som den här jämförelsen finns för att förhindra.

Sättet att få båda är att först köra dem sida vid sida, och anledningen till att det brukade vara dyrt är att det innebar två integrationer och en jämförelsemiljö. OrcaRouter kollapsar det: ett API över 200+ modeller med 0 % påslag, leverantörens listpris förs vidare, så en bake-off är en routingändring i stället för ett projekt — och routnings-DSL är rätt verktyg för den specifika uppgiften att skicka identiska arabiska promptar till två modeller och poängsätta svaren, eftersom det sätter samman dem till ett anrop och returnerar båda. Automatisk failover är det som gör nästa steg säkert, genom att låta en nypublicerad modell ta en del av den verkliga trafiken medan din etablerade modell absorberar resten och fångar de förfrågningar som den nya tappar. Ingen av modellerna finns i vår katalog just nu; modellistan är där du ska titta innan du designar runt en egen hostning.

Vad du ska titta på

Fyra saker, i ordning efter hur mycket de skulle förändra den här sidan. En efterföljare till SILMA 9B, som skulle göra en kategorimissmatchning till en riktig matchning igen. Varje oberoende utvärdering av en Jais 3-checkpoint, som skulle göra hela benchmarkavsnittet onödigt. IFM:s tekniska rapport, som för närvarande anges som kommande. Och ett publicerat pris för Jais 3, vilket det inte finns något av någonstans. Tills åtminstone en av dessa landar är den försvarbara tolkningen av denna jämförelse arkitektonisk – licens, gating, kontext, verktyg, storleksstege – och poängen bör läsas som att två labb mäter två olika saker under två olika år.