Jais 3 vs. SILMA 9B: Eine Modell-Herausforderung zwischen zwei verschiedenen Epochen der arabischen KI

Öffnen Sie die Website von SILMA AI und das Flaggschiff, mit dem sie wirbt, ist SILMA TTS v2.0, ein Text-to-Speech-Modell, das 170 ms Time-to-First-Token für Voice Agents angibt. Scrollen Sie zum Footer, und dort ist immer noch ein Link zu einem arabischen LLM-Leaderboard, und das Modell, das dieses Matchup nennt — SILMA-9B-Instruct-v1.0, ein 9B bilinguales Arabisch- und Englisch-Instruct-Modell von der silma-ai/ Organisation — ist noch auf dem Hub. Es wurde am 17. August 2024 veröffentlicht. Dagegen steht Jais 3, die Familie vom Institute of Foundation Models and Inception42, deren Gewichte am 29. September 2026 veröffentlicht wurden und deren Serving-Rezepte auf den 5. Oktober datiert wurden. Das ist eine Lücke von fünfundzwanzig Monaten und ein Wechsel der Branchenkategorie, und es macht dies zur seltsamsten Seite im Set: kein Matchup zwischen zwei Rivalen, sondern zwischen einem Checkpoint aus der Ära, als arabische LLMs noch per Log-Likelihood auf übersetzten Benchmarks bewertet wurden, und einer 2026er-Familie, die Reasoning-Parser und 512K-Kontextfenster mitliefert. Der Vergleich lohnt sich immer noch, denn Teams betreiben immer noch SILMA 9B, und die Frage, was es brauchen würde, um es zu ersetzen, ist eine echte.

Was jede Seite tatsächlich ist

• Jais 3 ist eine Familie, kein Modell — sechs Basis-Checkpoints, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B und Jais-3-375B-A23B, plus -Uno/ Varianten, alle Apache 2.0 und alle ohne Zugangsbeschränkung. Die Dense-Modelle bauen auf einer benutzerdefinierten k2_horizon/Architektur auf, die trust-remote-code erfordert.

• SILMA 9B ist ein Checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ ist ein Derivat von Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — mit fünf safetensors-Shards, einem Conversational-Pipeline-Tag sowie Arabisch und Englisch als deklarierte Sprachen.

• Die Lizenz ist der deutlichste praktische Unterschied. Jais 3 steht unter Apache 2.0 ohne Zugangshürde. SILMA 9B trägt die Gemma-Lizenz und eine Zustimmungshürde: Das Feld extra_gated_button_content/ der Modellkarte bedeutet, dass Sie die Bedingungen akzeptieren, bevor die Gewichte Ihnen gehören, und die Gemma-Lizenz enthält Nutzungsbeschränkungen, die Apache 2.0 nicht kennt.

• Die Familie, die es ersetzt hat, ist klein. SILMA AIs spätere Veröffentlichungen sind SILMA-Kashif-2B-Instruct-v1.0 vom Januar 2025 und ein Paar Embedding-Modelle vom Oktober 2024. Es gibt keinen SILMA-9B-Nachfolger, kein 27B, keine MoE-Variante. Das mit Abstand neueste Artefakt der Organisation ist silma-tts/ vom März 2026.

• Kontext — bis zu 524.288 Tokens bei den meisten Modellen der Jais-3-Reihe, 128K beim 0,9B. SILMAs Karte gibt überhaupt keine Angabe zur Kontextlänge an.

Das Benchmark-Problem, dargelegt, bevor irgendeine Zahl zitiert wird

Die veröffentlichten Ergebnisse von SILMA 9B stammen aus einer anderen Messkultur als die von Jais 3, und der Unterschied ist keine Frage des Grades.

• SILMAs Zahlen sind Log-Likelihood-Werte auf dem Harness des Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ gegenüber arabischem MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4) sowie einer ganzen Reihe übersetzter Benchmarks. Sein eigenes Aushängeschild ist ein Arabic Broad Benchmark Score von 6,15 von 10.

• Die Zahlen von Jais 3 geben die Genauigkeit generierter Antworten auf einem auditierten Stichprobensatz an. IFM meldet Arabic MMLU mit 89,3 für das 375B, 88,6 für das 32B, 85,2 für das 7B und 83,3 für das 3,7B, wobei der Stern Benchmarks kennzeichnet, die von mehrdeutigen Fragen, ungültigen Optionen und nicht vertretbaren Gold-Labels bereinigt wurden – und veröffentlicht die ausgeschlossenen Stichproben.

• Dies sind nicht dieselbe Messgröße. Multiple-Choice-Log-Likelihood-Bewertung und die Genauigkeit generierter Antworten auf einem bereinigten Datensatz stimmen nicht überein, und die Differenz zwischen ihnen ist kein Maß für Modellqualität. 85,2 neben 52,55 zu setzen und es einen 33-Punkte-Sieg zu nennen, wäre der irreführendste Satz, der auf dieser Seite möglich ist, und es ist der Satz, den die meisten Vergleichsartikel schreiben würden.

• Keines der beiden hat einen unabhängigen Score. Für keines von beiden gibt es einen Eintrag bei Artificial Analysis. Kein Arena-Ergebnis. Jede Zahl in diesem Abschnitt ist eine Anbieterangabe des Labors, das sie veröffentlicht hat, und die Jais-3-Zahlen tragen zusätzlich IFMs eigene Fußnote: Laut dieser war die verwendete Reasoning-Effort-Einstellung hoch/ für jeden Durchlauf.

Der größenabgeglichene Vergleich ist derjenige, der etwas bedeutet.

Wenn du SILMA 9B hast, ist der ehrliche Ersatzkandidat für Jais 3 Jais-3-7B oder Jais-3-3.7B, nicht das Flaggschiff. Beide sind Dense-Modelle, beide laufen im vLLM-Rezept mit Tensor-Parallelität 1 in bfloat16, und beide sind ohne Zugriffsbeschränkung.

• Speicherbedarf — Jais-3-7B bei TP=1 auf einer einzigen GPU gegen das aus fünf Shards bestehende Gemma 2 9B von SILMA 9B. Vergleichbare Hosting-Kosten, sodass das Upgrade eine Frage von Qualität und Leistungsfähigkeit ist und nicht eine der Hardware.

• Kontext — 524.288 Tokens für Jais-3-7B gegenüber keiner veröffentlichten Angabe für SILMA 9B. Dies ist die Zeile, in der eine Workload neu architektiert statt portiert wird.

• Edge- und quantisierte Builds — GGUF für llama.cpp und Ollama sowohl für das 3.7B- als auch das 7B-Modell sowie MLX 4-Bit, 8-Bit und bf16 für Apple Silicon. SILMA 9B hat GGUF-Konvertierungen, aber sie sind Drittanbieter-Uploads aus 2024 und der Anbieter hat keine veröffentlicht.

• Arabischspezifische Oberflächen — IFM veröffentlicht pro Checkpoint eine vollständige arabische Benchmark-Suite, die Dialekte, Diakritisierung, Parsing, IslamicQA, arabische Kultur und Übersetzung abdeckt. SILMAs Karte berichtet über die aggregierten Spalten des Leaderboards und ihren eigenen Broad-Benchmark-Score, mit weitaus weniger Details pro Fähigkeit.

• Lizenz — Apache 2.0 gegenüber der Gemma-Lizenz plus einer Zugangshürde. Für eine kommerzielle arabische Pipeline kann allein dieser Unterschied über die Migration entscheiden.

Was SILMA 9B noch zu bieten hat

Zwei Dinge, und keines davon ist ein Benchmark.

• Es ist ein Gemma. Ein gemma2/-Checkpoint läuft auf jedem Stack, der bereits Gemma 2 ausführt — kein --trust-remote-code/, keine benutzerdefinierten Parser-Flags, keine architekturspezifische Modellimplementierung. Jais 3 benötigt trust-remote-code, einen k2_horizon/-Reasoning-Parser, einen k2_horizon/-Tool-Call-Parser und sprachabhängiges Sampling: Temperatur 1,0 für Englisch und 0,7 für Arabisch im Denkmodus gegenüber einem Standardwert von 0,2, wobei mindestens 32.768 Ausgabetokens empfohlen werden. Die Portierung ist echte Arbeit.

• Es ist stabil, und es gibt ein Leaderboard dazu. SILMA AI unterhält einen Bereich für das Arabic LLM Broad Leaderboard, und an einem zwei Jahre alten Checkpoint hängen zwei Jahre Produktionsgeschichten. Das ist nicht nichts, wenn die Alternative ein Modell ist, das vor drei Wochen veröffentlicht wurde, ohne Bewertung durch Dritte, ohne technischen Bericht – IFM führt es als „coming soon“ – und ohne veröffentlichten Preis.

Die Migrationsentscheidung und wie man sie umkehrbar macht

Ersetzen Sie SILMA 9B, wenn Ihre Workload langkontextige Dokumente, agentische Tool-Nutzung oder kommerziell sensibel genug ist, dass die Gemma-Lizenz ein Problem darstellt. Allein die Kontextzeile rechtfertigt es: Ein Modell ohne veröffentlichte Kontextangabe gegenüber einem, das bis zu einer halben Million Token geht, ist für Dokumentenarbeit keine knappe Entscheidung.

Behalten Sie es, wenn die Pipeline eingespielt ist, die Gemma-Lizenz bereits geklärt wurde und alles mit Standard-Transformers läuft — denn das ehrliche Gegengewicht zu Jais 3s Benchmark-Tabelle ist, dass die Tabelle von IFM stammt, das Modell drei Wochen alt ist und keine unabhängige Zahl dahintersteht. Einen funktionierenden arabischen Produktionspfad aufgrund von Herstellerangaben auf einen drei Wochen alten Checkpoint umzustellen, ist der Fehler, den dieser Vergleich verhindern soll.

Der Weg, beides zu bekommen, ist, sie zuerst parallel laufen zu lassen, und der Grund, warum das früher teuer war, ist, dass es zwei Integrationen und eine Vergleichsumgebung bedeutete. OrcaRouter macht das zunichte: eine API über 200-plus Modelle mit 0 % Aufschlag, Listenpreis des Anbieters durchgereicht, sodass ein Bake-off eine Routing-Änderung statt eines Projekts ist — und die Routing-DSL ist das richtige Werkzeug für die spezifische Aufgabe, identische arabische Prompts an zwei Modelle zu senden und die Antworten zu bewerten, weil sie sie in einem Aufruf zusammenfasst und beide zurückgibt. Automatisches Failover macht den nächsten Schritt sicher: Es lässt ein neu veröffentlichtes Modell einen Teil des echten Traffics übernehmen, während Ihr etabliertes Modell den Rest aufnimmt und die Anfragen auffängt, die das neue Modell fallen lässt. Keines der Modelle ist derzeit in unserem Katalog; die Modellliste ist der Ort, an dem Sie nachsehen sollten, bevor Sie um ein Selfhosting herum planen.

Was zu sehen

Vier Dinge, geordnet danach, wie stark sie diese Seite verändern würden. Ein SILMA 9B-Nachfolger, der aus einer Kategorie-Verfehlung wieder einen echten Vergleich machen würde. Jede unabhängige Bewertung eines Jais-3-Checkpoints, die den gesamten Benchmark-Abschnitt überflüssig machen würde. IFMs technischer Bericht, der derzeit als „in Kürze erscheinend“ gelistet ist. Und ein veröffentlichter Preis für Jais 3, den es nirgends gibt. Bis mindestens eines davon eintrifft, ist die belastbare Lesart dieses Vergleichs architektonisch – Lizenz, Gating, Kontext, Tooling, Größenleiter –, und die Punktzahlen sollten als zwei Labore gelesen werden, die zwei verschiedene Dinge in zwei verschiedenen Jahren messen.