Jais 3 vs Fanar 2 : Les deux fournisseurs ne sont pas d'accord sur le score de Fanar 2.

J​ais 3 et Fanar 2 sont les deux familles de modèles arabes phares du Golfe, et la chose la plus utile que l'on puisse vous dire à propos de leur comparaison est que les propres chiffres des fournisseurs pour Fanar-2-27B-Instruct ne concordent pas. La fiche modèle du QCRI indique ArabicMMLU à 74,67 % et Belebele à 86,81 % pour son modèle instruct 27B. La fiche de J​ais-3-32B, de l'Institute of Foundation Models et d'Inception42, évalue le même adversaire sur sa propre table de référence et place Fanar-2-27B à 66,3 sur Arabic MMLU et 61,8 sur Belebele. C'est un écart de huit points sur un benchmark et de vingt-cinq points sur un autre, pour un seul modèle, et aucun des deux chiffres n'est une fabrication — ils proviennent de différents harnais, de différents formats d'invite, et, dans le cas d'IFM, d'un ensemble d'échantillons audité. C'est aussi la chose la plus instructive de cette page, car cela signifie qu'une comparaison de J​ais 3 et Fanar 2 construite à partir de chiffres publiés est autant une comparaison de deux pratiques de mesure que de deux modèles.

Les deux cartes, tout simplement

• Jais-3-32B — 32B dense de type décodeur uniquement d'IFM, jusqu'à 524 288 tokens de contexte, Apache 2.0, poids publiés le 29 septembre 2026. Livré avec un analyseur de raisonnement (k2_horizon), un analyseur d'appel d'outils, et trois formats d'appel d'outils sélectionnables. Fonctionne avec un parallélisme tensoriel de 2 en bfloat16.

• Fanar-2-27B-Instruct — 27B dense de QCRI à l'Université Hamad Bin Khalifa, 32 768 tokens de contexte, Apache 2.0, publié en mars 2026. Préentraîné de manière continue à partir de google/gemma-3-27b-pt sur environ 166B tokens arabes et anglais selon trois recettes, puis fusionné, suivi d'un pipeline de post-entraînement en cinq étapes.

• Gamme d'échelles — J​ais 3 est une famille, six checkpoints de base allant de 0,9B à 375B, dont deux modèles mixture-of-experts. La gamme linguistique de Fanar 2 se résume essentiellement à un modèle instruct de 27B, avec des modèles frères dans d'autres modalités plutôt que de plus petits checkpoints texte.

• Licence — Apache 2.0 des deux côtés, sans restriction des deux côtés. Aucune des deux familles ne vous fait signer quoi que ce soit, ce qui mérite d’être précisé, car ce n’est pas la norme dans la région.

• Architecture de base — J​ais 3 est entraîné par IFM avec une architecture personnalisée (k2_horizon, code distant personnalisé requis). Fanar 2 est un pré-entraînement continu du G​emma 3 27B de G​oogle, ce qui en fait un artefact d'un autre genre : une adaptation bien exécutée plutôt qu'un entraînement à partir de zéro.

Là où les chiffres divergent, et pourquoi ce n'est pas un scandale

Prenez les noms de benchmarks un par un, car le libellé fait moins de travail qu’il n’y paraît.

• ArabicMMLU versus Arabic MMLU* — La fiche de Fanar indique 74,67 % pour le benchmark qu'elle appelle ArabicMMLU. Le tableau d'IFM indique 66,3 pour la colonne qu'il appelle Arabic MMLU*, l'astérisque signifiant qu'IFM a exclu les questions dont les invites étaient ambiguës, les options invalides ou les étiquettes de référence indéfendables. Deux ensembles d'échantillons différents, dont l'un a été nettoyé, et aucune obligation pour l'un ou l'autre laboratoire de déclarer ceux de l'autre.

• Belebele, 86,81 contre 61,8 — un écart bien plus grand, et l’explication du harnais va encore plus loin ici. Le chiffre de Fanar correspond à l’arabe dialectal ; la colonne d’IFM affiche le même nom de benchmark. Vingt-cinq points ne sont pas une différence d’arrondi, et la conclusion honnête est qu’au moins une de ces exécutions ne mesure pas ce que l’autre mesure.

• IF-Eval, 82,97 contre 49,8 — Fanar rapporte 82,97 sur IF-Eval dans son propre tableau d'amélioration. La colonne de référence d'IFM situe Fanar-2-27B à 49,8 sur l'IFEval arabe. Même capacité, langue différente et ensemble d'invites différent.

• Ce sur quoi les deux s'accordent quant à la forme, sinon quant au niveau — Fanar 2 représente un grand pas par rapport à Fanar 1. QCRI rapporte +7,32 sur ArabicMMLU, +10,68 sur GSM8K et +8,27 sur IF-Eval par rapport à son propre prédécesseur 9B. Cette affirmation est cohérente en soi et personne ne la conteste.

La règle qui en ressort n’est pas « un laboratoire triche ». C’est que, pour les benchmarks arabes, un chiffre sans harnais attaché n’est pas un chiffre. IFM signale au moins lesquels de ses propres chiffres il a audités et publie les échantillons exclus dans une collection distincte, ce que la plupart des laboratoires ne font pas — mais c’est toujours IFM qui audite l’évaluation d’un concurrent par IFM.

Le contexte et le déploiement sont les aspects où la comparaison est nette.

Ce sont les lignes non soumises aux arguments de harnais, car ce sont des faits architecturaux plutôt que des mesures.

• Contexte — 524 288 jetons pour Jais-3-32B contre 32 768 pour Fanar-2-27B-Instruct. Seize fois la fenêtre, et la fiche de Fanar documente 54 K instructions à contexte long utilisées pour atteindre 16 K pendant l'entraînement, ce qui place le comportement de contexte long entraîné bien à l'intérieur des 32 K nominaux.

• Empreinte de service — J​ais-3-32B en TP=2, bfloat16, vLLM ≥ 0.30.0 ou SGLang ≥ 0.5.20. Fanar-2-27B est testé avec transformers 4.57.6 et présente une architecture G​emma 3 27B standard, il s'intègre donc dans n'importe quelle pile exécutant déjà G​emma.

• Outillage fourni avec le modèle — Jais 3 inclut le parseur de raisonnement, le parseur d'appels d'outils et un choix de formats d'outils json, xml ou xml_typed en tant qu'options de serving de premier ordre. Fanar 2 prend en charge l'appel d'outils générique ainsi que dix outils Fanar intégrés, mais la surface d'intégration est l'API propre au fournisseur plutôt qu'un ensemble d'options de framework.

• Évaluation par des tiers — ni l'une ni l'autre ne dispose d'une entrée dans Artificial Analysis, ni d'un score d'arène, ni d'une réplication indépendante. Les chiffres des deux familles sont rapportés par les fournisseurs, et l'article le précise avant de les citer, à chaque fois.

Ce que Fanar 2 a que J​ais 3 n'a pas

Trois choses, et elles ne sont pas anodines.

• Traces de raisonnement en arabe natif. Fanar 2 a été entraîné sur environ 250 000 exemples de raisonnement en arabe et génère sa chaîne de pensée en arabe plutôt que de la traduire à partir d'une trace en anglais. J​ais 3 expose un analyseur de raisonnement et rapporte de solides résultats agentiques en arabe, mais sa fiche ne fait pas la même affirmation concernant la langue dans laquelle le raisonnement se déroule.

• L'atténuation des hallucinations comme comportement conçu. Fanar 2 est entraîné à s'abstenir — sondage des connaissances pendant l'entraînement, traces de vérification structurées en cinq étapes, réponses « je ne sais pas » calibrées — et il encapsule les références spontanées à des versets coraniques dans des marqueurs de validation afin qu'un système en aval puisse les contrôler. Cette dernière fonctionnalité est inhabituelle et n'a pas d'équivalent dans la fiche de J​ais 3.

• Un produit autour du modèle. QCRI propose une interface de chat, des applications iOS et Android, et une API documentée avec un processus de demande d'accès, ainsi que des modèles apparentés pour la génération d'images, la compréhension d'images et la poésie. J​ais 3 est une publication de poids accompagnée de recettes pour frameworks ; le modèle vocal l'accompagne, et le reste est un artefact de recherche.

Ce sont des différences de capacités, pas des différences de benchmark, et une lecture juste est que Fanar 2 est plus abouti en tant que produit tandis que J​ais 3 est plus ambitieux en tant que modèle.

Ce que disent réellement les colonnes agentiques, avec l’astérisque attaché

Le tableau d'IFM lui-même est le seul comparatif direct publié entre ces deux modèles, et il n'est pas flatteur pour Fanar : Terminal Bench 2.1 à 63,7 contre 1,1, GDPVal à 75,5 contre 0,0, MCPMark à 66,1 contre 12,1, SWE-Bench Verified à 72,4 contre 0,4, traitement de fichiers en arabe à 71,8 contre 0,0.

Lisez-les pour ce qu’elles sont. Ce sont les mesures d’IFM portant sur le modèle d’un concurrent, exécutées par IFM, sur le harnais d’évaluation d’IFM, et publiées sur la fiche de modèle d’IFM. Un zéro sur GDPVal et un 0,4 sur SWE-Bench Verified pour un modèle instruct de 27B sont plausibles — ce sont des benchmarks agentiques qui pénalisent les modèles dépourvus de données d’entraînement à grande échelle sur les appels d’outils, et le travail agentique de Fanar 2 est orienté autour de ses propres dix outils plutôt que de tâches logicielles générales. Mais un laboratoire qui rapporte que son propre modèle remporte chaque ligne d’un tableau qu’il a construit vous renseigne sur son évaluation, pas sur le monde.

L'affirmation défendable est plus restreinte : sur le harnais publié d'IFM, Jais-3-32B surpasse Fanar-2-27B-Instruct sur chaque benchmark agentique rapporté, et la fiche de Fanar ne rapporte aucun benchmark agentique, donc rien ne la contredit et rien ne la corrobore non plus. Les preuves publiées sont unilatérales parce qu'un seul côté a publié.

Lequel choisir

Contexte long, travail agentique ou besoin de choisir une taille de point de contrôle : J​ais 3, et en matière de contexte, il n'y a pas photo. Une fenêtre de 512K face à 32K décide à elle seule du traitement de documents, du travail à l'échelle d'un dépôt et des longues trajectoires d'agents.

Raisonnement en arabe que vous avez l’intention de lire, comportement d’abstention sur lequel vous pouvez compter, traitement du contenu coranique, ou un fournisseur avec une application et un parcours de support : Fanar 2. Le pipeline de post-entraînement de QCRI est véritablement élaboré — 4 M d’instructions SFT, 280 K paires DPO, cinq étapes, une passe délibérée de rééquilibrage des capacités pour empêcher l’adaptation au contexte long de dégrader les tâches de format court — et cela se manifeste dans des dimensions qu’aucune colonne de classement ne capture.

Si la décision est difficile parce que les deux sont plausibles pour la même charge de travail, ce qui permettrait de trancher, ce sont vos propres prompts, exécutés sur les deux, notés selon vos propres critères. C’est l’expérience que personne n’a publiée pour ces deux modèles, et elle vaut plus que tous les chiffres cités ci-dessus.

L'exécuter demande moins de travail qu'auparavant. OrcaRouter vous donne une seule clé pour plus de 200 modèles, avec 0 % de marge, le prix catalogue du fournisseur étant répercuté tel quel, de sorte qu'un comparatif entre deux checkpoints arabes se résume à un changement de routage plutôt qu'à deux intégrations — et la notation élément par élément est exactement le cas pour lequel le DSL de routage est conçu, car il vous permet d'envoyer le même prompt aux deux modèles en un seul appel composé au lieu d'écrire un harnais de comparaison. Aucune des deux familles ne figure à notre catalogue pour l'instant ; c'est dans la liste des modèles qu'il faut vérifier ce qui est.

Qu'est-ce qui réglerait cela ?

Une exécution indépendante des deux modèles sur un harnais partagé, publiée avec les prompts. C'est ce qui manque, et cela manque pour chaque modèle arabe grand public, pas seulement ces deux-là — tout le domaine repose sur des chiffres auto-déclarés, c'est pourquoi un désaccord de huit points sur l'ArabicMMLU de Fanar 2 peut rester public pendant sept mois sans que personne ne le résolve. Jusqu'à ce que quelqu'un s'en charge, considérez le tableau de Jais 3 comme l'argument d'IFM et le tableau de Fanar 2 comme celui de QCRI, et considérez les faits architecturaux — 512K contre 32K, sept points de contrôle contre un, des indicateurs d'analyse syntaxique contre une API hébergée — comme la partie sur laquelle vous pouvez réellement planifier.

Ce que les chiffres ne peuvent pas vous dire, c'est si quelque chose a mal tourné sur le terrain : les incidents d'IA documentés et les défaillances d'agents concernant les modèles de cette classe sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, sa gravité, son niveau de confiance et son indicateur de contestation.