Jais 3 vs SILMA 9B : un défi de modèles entre deux ères différentes de l’IA arabe

Ouvrez le site web de SILMA AI et le produit phare qu'il met en avant est SILMA TTS v2.0, un modèle de synthèse vocale annonçant 170 ms de temps jusqu'au premier token pour les agents vocaux. Faites défiler jusqu'au pied de page et il y a encore un lien vers un classement des LLM arabes, et le modèle que cette comparaison nomme — SILMA-9B-Instruct-v1.0, un modèle instruct bilingue arabe-anglais de 9B de l'organisation silma-ai/ — est toujours sur le Hub. Il a été publié le 17 août 2024. Face à lui se trouve Jais 3, la famille de l'Institute of Foundation Models et d'Inception42, dont les poids sont arrivés le 29 septembre 2026 et dont les recettes de service ont été estampillées le 5 octobre. Cela représente un écart de vingt-cinq mois et un changement de catégorie industrielle, et cela en fait la page la plus étrange de l'ensemble : non pas une confrontation entre deux rivaux, mais entre un checkpoint de l'époque où les LLM arabes étaient évalués par log-vraisemblance sur des benchmarks traduits et une famille 2026 qui livre des parseurs de raisonnement et des fenêtres de contexte de 512K. La comparaison vaut encore la peine d'être faite, car des équipes font encore tourner SILMA 9B, et la question de ce qu'il faudrait pour le remplacer est bien réelle.

Ce qu'est réellement chaque camp

• Jais 3 est une famille, pas un modèle — six checkpoints de base, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B et Jais-3-375B-A23B, plus -Uno/ variantes, toutes sous Apache 2.0 et toutes sans restriction d'accès. Les modèles denses reposent sur une architecture personnalisée k2_horizon/ nécessitant trust-remote-code.

• SILMA 9B est un checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ est un dérivé de Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — avec cinq fragments safetensors, une étiquette de pipeline conversationnel, ainsi que l'arabe et l'anglais déclarés comme ses langues.

• La licence est la différence pratique la plus marquante. Jais 3 est sous Apache 2.0, sans restriction d'accès. SILMA 9B relève de la licence Gemma et d'un portail de validation : le champ extra_gated_button_content/ de la fiche signifie que vous acceptez les conditions avant que les poids ne vous soient attribués, et la licence Gemma comporte des restrictions d'usage qu'Apache 2.0 n'a pas.

• La famille qui l'a remplacée est petite. Les versions ultérieures de SILMA AI sont SILMA-Kashif-2B-Instruct-v1.0 de janvier 2025 et une paire de modèles d'embedding d'octobre 2024. Il n'existe pas de successeur de SILMA 9B, pas de 27B, pas de variante MoE. L'artefact le plus récent de l'organisation, et de loin, est silma-tts/ de mars 2026.

• Contexte — jusqu'à 524 288 tokens sur la majeure partie de la gamme Jais 3, 128K sur le 0.9B. La fiche de SILMA ne publie absolument aucune valeur de longueur de contexte.

Le problème de référence, énoncé avant toute citation de chiffre.

Les résultats publiés de SILMA 9B proviennent d’une culture de mesure différente de celle de Jais 3, et la différence n’est pas une question de degré.

• Les chiffres de SILMA sont des scores de log-vraisemblance sur le harnais Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ face à Arabic MMLU (52,55), AlGhafa (71,85), ARC Challenge Arabic (78,19), ACVA (78,89), Arabic EXAMS (51,4), ainsi qu'une série de benchmarks traduits. Son propre chiffre phare est un score Arabic Broad Benchmark de 6,15 sur 10.

• Les chiffres de Jais 3 correspondent à la précision des réponses générées sur un ensemble d'échantillons audité. IFM rapporte un score MMLU en arabe de 89,3 pour le 375B, 88,6 pour le 32B, 85,2 pour le 7B et 83,3 pour le 3,7B, l'astérisque indiquant les benchmarks qu'il a nettoyés des questions ambiguës, des options invalides et des labels de référence indéfendables — et il publie les échantillons exclus.

• Ce ne sont pas les mêmes mesures. L'évaluation par vraisemblance sur choix multiples et l'exactitude des réponses générées sur un ensemble nettoyé ne concorderont pas, et l'écart entre les deux n'est pas une mesure de la qualité du modèle. Placer 85,2 à côté de 52,55 et parler d'une victoire de 33 points serait la phrase la plus trompeuse disponible sur cette page, et c'est la phrase que la plupart des articles comparatifs écriraient.

• Aucun des deux ne dispose d’un score indépendant. Aucune entrée Artificial Analysis pour l’un ou l’autre. Aucun résultat d’arène. Chaque chiffre de cette section est rapporté par le fournisseur, quel que soit le laboratoire qui l’a publié, et les chiffres de Jais 3 portent en outre la note de bas de page propre à IFM indiquant que le réglage d’effort de raisonnement utilisé était élevé/ pour chaque exécution.

La comparaison appariée par taille est celle qui compte.

Si vous disposez de SILMA 9B, le candidat honnête pour remplacer Jais 3 est Jais-3-7B ou Jais-3-3.7B, et non le modèle phare. Tous deux sont denses, tous deux fonctionnent avec un parallélisme tensoriel de 1 en bfloat16 dans la recette vLLM, et tous deux sont sans restriction d'accès.

• Empreinte — Jais-3-7B avec TP=1 sur un seul GPU face aux cinq shards du Gemma 2 9B de SILMA 9B. Coût d'hébergement comparable : la mise à niveau relève donc de la qualité et des capacités plutôt que du matériel.

• Contexte — 524 288 tokens pour Jais-3-7B contre aucun chiffre publié pour SILMA 9B. C'est la ligne où une charge de travail est ré-architecturée plutôt que portée.

• Versions Edge et quantifiées — GGUF pour llama.cpp et Ollama sur les 3,7B et 7B, ainsi que MLX 4 bits, 8 bits et bf16 pour Apple silicon. SILMA 9B dispose de conversions GGUF, mais ce sont des téléversements tiers de 2024 et le fournisseur n'en a publié aucune.

• Surfaces spécifiques à l’arabe — IFM publie une suite complète de benchmarks arabes par checkpoint couvrant les dialectes, la diacritisation, l’analyse syntaxique, IslamicQA, la culture arabe et la traduction. La fiche de SILMA rapporte via les colonnes agrégées du classement et son propre score de benchmark général, avec bien moins de détails par capacité.

• Licence — Apache 2.0 face à la licence Gemma, avec en plus un verrou. Pour un pipeline arabe commercial, cette différence à elle seule peut décider de la migration.

Les atouts que SILMA 9B a encore

Deux choses, et aucune des deux n’est un benchmark.

• C'est un Gemma. Un gemma2/ checkpoint fonctionne sur chaque stack qui exécute déjà Gemma 2 — sans --trust-remote-code/, sans indicateurs de parseur personnalisés, sans implémentation de modèle spécifique à l'architecture. Jais 3 a besoin de trust-remote-code, un k2_horizon/ parseur de raisonnement, un k2_horizon/ parseur d'appels d'outils, et un échantillonnage dépendant de la langue : température 1,0 pour l'anglais et 0,7 pour l'arabe en mode réflexion par rapport à une valeur par défaut de 0,2, avec au moins 32 768 tokens de sortie recommandés. Le portage est un vrai travail.

• Il est stable, et il y a un classement autour de lui. SILMA AI maintient un espace Arabic LLM Broad Leaderboard, et un checkpoint vieux de deux ans a deux ans de récits de production qui lui sont rattachés. Ce n'est pas rien quand l'alternative est un modèle publié il y a trois semaines, sans évaluation tierce, sans rapport technique — IFM le répertorie comme bientôt disponible — et sans prix publié.

La décision de migration, et comment la rendre réversible

Remplacez SILMA 9B si votre charge de travail porte sur des documents à contexte long, sur l'utilisation d'outils agentiques, ou si elle est suffisamment sensible sur le plan commercial pour que la licence Gemma pose problème. La seule ligne relative au contexte suffit à le justifier : un modèle sans chiffre de contexte publié face à un autre qui atteint un demi-million de tokens, ce n'est pas un arbitrage serré pour le travail documentaire.

Gardez-le si le pipeline est stabilisé, si la licence Gemma a déjà été validée et si tout tourne sur des transformers standard — car le contrepoids honnête au tableau de benchmarks de Jais 3, c’est que ce tableau est celui d’IFM, que le modèle a trois semaines et qu’aucun chiffre indépendant ne l’étaye. Mettre à niveau une chaîne de production arabe qui fonctionne vers un checkpoint vieux de trois semaines sur la foi des chiffres d’un fournisseur, c’est l’erreur que cette comparaison a pour but de prévenir.

Pour obtenir les deux, il faut d'abord les exécuter côte à côte, et la raison pour laquelle cela coûtait cher auparavant est que cela impliquait deux intégrations et un harnais de comparaison. OrcaRouter élimine cela : une API unique pour plus de 200 modèles avec 0 % de marge, prix catalogue du fournisseur répercuté, donc un comparatif est un changement de routage plutôt qu'un projet — et le DSL de routage est l'outil idéal pour la tâche spécifique consistant à envoyer des invites arabes identiques à deux modèles et à noter les réponses, car il les compose en un seul appel et renvoie les deux. Le basculement automatique est ce qui rend l'étape suivante sûre, permettant à un modèle nouvellement publié de prendre une part du trafic réel tandis que votre modèle établi absorbe le reste et rattrape les requêtes que le nouveau laisse tomber. Aucun des deux modèles n'est dans notre catalogue pour l'instant ; la liste des modèles est l'endroit où regarder avant de concevoir autour d'un auto-hébergement.

Que regarder

Quatre choses, par ordre de l’ampleur des changements qu’elles apporteraient à cette page. Un successeur de SILMA 9B, qui transformerait une inadéquation de catégorie en véritable confrontation. Toute évaluation indépendante d’un checkpoint de Jais 3, ce qui rendrait inutile toute la section sur les benchmarks. Le rapport technique d’IFM, actuellement annoncé comme prochainement disponible. Et un prix publié pour Jais 3, alors qu’il n’en existe aucun nulle part. Jusqu’à ce qu’au moins l’un de ces éléments se concrétise, la lecture défendable de cette comparaison est architecturale — licence, contrôle d’accès, contexte, outillage, échelle de tailles — et les scores doivent être lus comme ceux de deux laboratoires qui mesurent deux choses différentes lors de deux années différentes.