Jais 3 vs SILMA 9B: Una sfida tra modelli tra due diverse ere dell'IA araba

Apri il sito di SILMA AI e il prodotto di punta con cui si presenta è SILMA TTS v2.0, un modello text-to-speech che dichiara 170 ms di time-to-first-token per gli agenti vocali. Scorri fino al piè di pagina e c'è ancora un link a una classifica di LLM arabi, e il modello che questo confronto nomina — SILMA-9B-Instruct-v1.0, un modello instruct bilingue arabo e inglese da 9B dell'organizzazione silma-ai/ — è ancora sull'Hub. È stato pubblicato il 17 agosto 2024. Di fronte a esso si trova Jais 3, la famiglia dell'Institute of Foundation Models e Inception42, i cui pesi sono arrivati il 29 settembre 2026 e le cui ricette di serving sono state contrassegnate il 5 ottobre. Si tratta di un divario di venticinque mesi e di un cambio di categoria industriale, e rende questa la pagina più strana dell'insieme: non un confronto tra due rivali, ma tra un checkpoint dell'epoca in cui gli LLM arabi venivano valutati in base alla log-verosimiglianza su benchmark tradotti e una famiglia del 2026 che offre parser di ragionamento e finestre di contesto da 512K. Vale comunque la pena fare il confronto, perché i team eseguono ancora SILMA 9B, e la domanda su cosa servirebbe per sostituirlo è reale.

Cosa sia realmente ogni lato

• Jais 3 è una famiglia, non un modello — sei checkpoint di base, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B e Jais-3-375B-A23B, più -Uno/ varianti, tutte Apache 2.0 e tutte senza gate. I modelli densi si basano su un'architettura personalizzata k2_horizon/ che richiede trust-remote-code.

• SILMA 9B è un checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ è un derivato di Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — con cinque shard safetensors, un tag di pipeline conversazionale, e arabo e inglese dichiarati come sue lingue.

• La licenza è la differenza pratica più netta. Jais 3 è Apache 2.0 senza alcun gate. SILMA 9B è coperto dalla licenza Gemma e da un gate di accettazione: il campo extra_gated_button_content/ della scheda significa che accetti i termini prima che i pesi siano tuoi, e la licenza Gemma comporta restrizioni d'uso che Apache 2.0 non prevede.

• La famiglia che l'ha sostituita è piccola. Le versioni successive di SILMA AI sono SILMA-Kashif-2B-Instruct-v1.0 di gennaio 2025 e una coppia di modelli di embedding di ottobre 2024. Non esiste un successore di SILMA 9B, nessun 27B, nessuna variante MoE. L'artefatto più recente dell'organizzazione, di gran lunga, è silma-tts/ di marzo 2026.

• Contesto — fino a 524,288 token sulla maggior parte della linea Jais 3, 128K sul modello 0.9B. La scheda di SILMA non pubblica alcun dato sulla lunghezza del contesto.

Il problema del benchmark, enunciato prima che venga citato qualsiasi numero

I risultati pubblicati di SILMA 9B provengono da una cultura della misurazione diversa da quella di Jais 3, e la differenza non è una questione di grado.

• I numeri di SILMA sono punteggi di log-verosimiglianza sul sistema di valutazione Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ rispetto ad Arabic MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4), più una serie di benchmark tradotti. Il suo dato principale è un punteggio Arabic Broad Benchmark di 6,15 su 10.

• I numeri di Jais 3 rappresentano l'accuratezza delle risposte generate su un insieme di campioni sottoposto ad audit. IFM riporta Arabic MMLU a 89,3 per il 375B, 88,6 per il 32B, 85,2 per il 7B e 83,3 per il 3.7B, con l'asterisco che contrassegna i benchmark da cui ha ripulito domande ambigue, opzioni non valide ed etichette gold indifendibili — e pubblica i campioni esclusi.

• Non sono la stessa misurazione.Il punteggio di log-verosimiglianza a scelta multipla e l'accuratezza delle risposte generate su un set ripulito non coincideranno, e il divario tra i due non è una misura della qualità del modello. Mettere 85,2 accanto a 52,55 e definirlo un vantaggio di 33 punti sarebbe la frase più fuorviante disponibile su questa pagina, ed è la frase che scriverebbe la maggior parte degli articoli di confronto.

• Nessuno dei due ha un punteggio indipendente. Nessuna voce su Artificial Analysis per nessuno dei due. Nessun risultato nelle arene. Ogni cifra in questa sezione è dichiarata dal fornitore, ovvero dal laboratorio che l'ha pubblicata, e i dati di Jais 3 riportano inoltre la nota a piè di pagina di IFM secondo cui l'impostazione dello sforzo di ragionamento utilizzata era alta/ per ogni esecuzione.

Il confronto a dimensioni corrispondenti è quello che significa qualcosa

Se SILMA 9B è quello che hai, il candidato onesto come sostituto di Jais 3 è Jais-3-7B o Jais-3-3.7B, non il modello di punta. Entrambi sono densi, entrambi girano con tensor parallelism 1 in bfloat16 nella recipe vLLM, ed entrambi sono privi di gating.

• Ingombro — Jais-3-7B con TP=1 su una singola GPU contro il Gemma 2 9B a cinque shard di SILMA 9B. Costo di hosting comparabile, quindi l'upgrade è una questione di qualità e capacità, non di hardware.

• Contesto — 524.288 token per Jais-3-7B rispetto a nessun dato pubblicato per SILMA 9B. Questa è la riga in cui un carico di lavoro viene riarchitettato anziché portato.

• Build edge e quantizzate — GGUF per llama.cpp e Ollama sia sul 3.7B sia sul 7B, e MLX a 4 bit, 8 bit e bf16 per Apple silicon. SILMA 9B ha conversioni GGUF, ma sono upload di terze parti del 2024 e il fornitore non ne ha pubblicata nessuna.

• Superfici specifiche per l'arabo — IFM pubblica per ogni checkpoint una suite di benchmark arabi completa che copre dialetti, diacritizzazione, parsing, IslamicQA, cultura araba e traduzione. La scheda di SILMA riporta attraverso le colonne aggregate della classifica e il proprio punteggio sui benchmark generali, con molti meno dettagli per singola capacità.

• Licenza — Apache 2.0 contro la licenza Gemma più un gate. Per una pipeline araba commerciale, questa sola differenza può decidere la migrazione.

Cosa ha ancora da offrire SILMA 9B

Due cose, e nessuna delle due è un benchmark.

• È una Gemma. Un gemma2/ checkpoint gira su ogni stack che esegue già Gemma 2 — nessun --trust-remote-code/, nessun flag personalizzato del parser, nessuna implementazione di modello specifica per l'architettura. Jais 3 richiede trust-remote-code, un k2_horizon/ parser di ragionamento, un k2_horizon/ parser di tool-call, e campionamento dipendente dalla lingua: temperatura 1.0 per l'inglese e 0.7 per l'arabo in modalità thinking rispetto a un default di 0.2, con almeno 32,768 token di output consigliati. Il porting è un vero lavoro.

• È stabile e attorno ad esso c'è una classifica. SILMA AI mantiene uno spazio Arabic LLM Broad Leaderboard, e un checkpoint di due anni porta con sé due anni di storie di produzione. Non è poco, quando l'alternativa è un modello pubblicato tre settimane fa, senza valutazione di terze parti, senza rapporto tecnico — IFM lo elenca come prossimamente disponibile — e senza prezzo pubblicato.

La decisione di migrazione, e come renderla reversibile

Sostituisci SILMA 9B se il tuo carico di lavoro riguarda documenti a contesto lungo, l'uso agentico di strumenti, o è commercialmente sensibile al punto che la licenza Gemma rappresenta un problema. La sola riga del contesto lo giustifica: un modello senza un valore di contesto pubblicato rispetto a uno che arriva a mezzo milione di token non è una scelta difficile per il lavoro sui documenti.

Tienilo se la pipeline è consolidata, la licenza di Gemma è già stata chiarita e tutto gira su transformers stock — perché il contrappeso onesto alla tabella di benchmark di Jais 3 è che la tabella è di IFM, il modello ha tre settimane e non c'è alcun numero indipendente dietro nulla di tutto ciò. Aggiornare un percorso di produzione arabo funzionante a un checkpoint vecchio di tre settimane sulla base dei dati del fornitore è l'errore che questo confronto esiste per prevenire.

Il modo per ottenere entrambe le cose è eseguirli prima fianco a fianco, e il motivo per cui un tempo era costoso è che comportava due integrazioni e un banco di confronto. OrcaRouter lo elimina: un'unica API su oltre 200 modelli con 0% di ricarico, prezzo di listino del provider passato così com'è, così un confronto è una modifica al routing anziché un progetto — e il DSL di routing è lo strumento giusto per il compito specifico di inviare prompt arabi identici a due modelli e valutare le risposte, perché li compone in un'unica chiamata e restituisce entrambi. Il failover automatico è ciò che rende sicuro il passo successivo, permettendo a un modello appena pubblicato di prendere una fetta di traffico reale mentre il tuo modello consolidato assorbe il resto e intercetta le richieste che il nuovo perde. Attualmente nessuno dei due modelli è nel nostro catalogo; la lista dei modelli è il posto dove guardare prima di progettare attorno a un self-host.

Cosa guardare

Quattro cose, in ordine di quanto cambierebbero questa pagina. Un successore di SILMA 9B, che trasformerebbe un disallineamento di categoria di nuovo in un vero confronto. Qualsiasi valutazione indipendente di un checkpoint di Jais 3, che renderebbe superflua l'intera sezione sui benchmark. Il rapporto tecnico di IFM, attualmente indicato come in arrivo. E un prezzo pubblicato per Jais 3, che non esiste da nessuna parte. Finché almeno uno di questi elementi non si concretizza, la lettura difendibile di questo confronto è architetturale — licenza, gating, contesto, tooling, scala dimensionale — e i punteggi vanno letti come due laboratori che misurano due cose diverse in due anni diversi.