Jais 3 vs Fanar 2: Die beiden Anbieter sind sich nicht einig, welche Punktzahl Fanar 2 erzielt.

J​ais 3 und Fanar 2 sind die beiden arabischen Flaggschiff-Modellfamilien aus der Golfregion, und das Nützlichste, was man Ihnen über einen Vergleich sagen kann, ist, dass die eigenen Zahlen der Anbieter für Fanar-2-27B-Instruct nicht übereinstimmen. Die Modellkarte von QCRI meldet ArabicMMLU mit 74,67 % und Belebele mit 86,81 % für das 27B-Instruct-Modell. Die J​ais-3-32B-Karte vom Institute of Foundation Models and Inception42 lässt denselben Gegner auf ihrer eigenen Referenztabelle laufen und setzt Fanar-2-27B bei Arabic MMLU auf 66,3 und bei Belebele auf 61,8. Das ist eine Acht-Punkte-Lücke bei einem Benchmark und fünfundzwanzig Punkte bei einem anderen, für ein einziges Modell, und keine der beiden Zahlen ist erfunden — sie sind das Ergebnis unterschiedlicher Testumgebungen, unterschiedlicher Prompt-Formate und im Fall von IFM eines auditierten Stichprobensatzes. Es ist außerdem die lehrreichste einzelne Sache auf dieser Seite, denn sie bedeutet, dass ein Vergleich von J​ais 3 und Fanar 2 anhand veröffentlichter Zahlen ebenso ein Vergleich zweier Messpraktiken wie zweier Modelle ist.

Die beiden Karten, schlicht und einfach.

• Jais-3-32B — 32B dichtes Decoder-only-Modell von IFM, bis zu 524.288 Token Kontext, Apache 2.0, Gewichte veröffentlicht am 29. September 2026. Wird mit einem Reasoning-Parser (k2_horizon), einem Tool-Call-Parser und drei auswählbaren Tool-Call-Formaten ausgeliefert. Läuft bei Tensor-Parallelität 2 in bfloat16.

• Fanar-2-27B-Instruct — 27B-Dense-Modell von QCRI an der Hamad Bin Khalifa University, 32.768 Token Kontext, Apache 2.0, veröffentlicht im März 2026. Kontinuierlich vortrainiert von google/gemma-3-27b-pt auf etwa 166 Mrd. arabischen und englischen Token über drei Rezepte hinweg und dann zusammengeführt, gefolgt von einer fünfstufigen Post-Training-Pipeline.

• Größenbereich — Jais 3 ist eine Familie, sechs Basis-Checkpoints von 0,9B bis 375B, darunter zwei Mixture-of-Experts-Modelle. Die Sprachlinie von Fanar 2 ist im Wesentlichen ein Instruct-Modell mit 27B, mit Geschwistern in anderen Modalitäten statt kleinerer Text-Checkpoints.

• Lizenz — Apache 2.0 auf beiden Seiten, ohne Zugangsbeschränkung auf beiden Seiten. Keine der beiden Familien lässt Sie irgendetwas unterschreiben, was erwähnenswert ist, denn das ist für die Region nicht die Norm.

• Basisarchitektur — J​ais 3 wird von IFM mit einer eigenen Architektur trainiert (k2_horizon, benutzerdefinierter Remote-Code erforderlich). Fanar 2 ist ein Continual-Pretraining von G​oogles G​emma 3 27B, was es zu einer anderen Art von Artefakt macht: eine gut umgesetzte Anpassung statt eines Trainingslaufs von Grund auf.

Wo die Zahlen auseinandergehen, und warum das kein Skandal ist

Nimm die Benchmark-Namen einen nach dem anderen, denn das Label leistet weniger Arbeit, als es den Anschein hat.

• ArabicMMLU versus Arabic MMLU* — Fanars Karte gibt 74,67 % für den Benchmark an, den sie ArabicMMLU nennt. IFMs Tabelle gibt 66,3 für die Spalte an, die sie Arabic MMLU* nennt, wobei der Stern bedeutet, dass IFM Fragen mit mehrdeutigen Prompts, ungültigen Optionen oder nicht vertretbaren Gold-Labels ausgeschlossen hat. Zwei verschiedene Stichprobensätze, einer davon bereinigt, und keine Verpflichtung für eines der Labore, den des anderen zu melden.

• Belebele, 86,81 gegenüber 61,8 — eine deutlich größere Lücke, und die Erklärung des Harness reicht hier noch weiter. Fanars Angabe bezieht sich auf dialektales Arabisch; in der Spalte von IFM steht derselbe Benchmark-Name. 25 Punkte sind keine Rundungsdifferenz, und die ehrliche Schlussfolgerung ist, dass mindestens einer dieser Durchläufe nicht das misst, was der andere misst.

• IF-Eval, 82,97 gegenüber 49,8 — Fanar meldet in seiner eigenen Verbesserungstabelle 82,97 bei IF-Eval. Die Referenzspalte von IFM führt Fanar-2-27B mit 49,8 bei Arabic IFEval auf. Dieselbe Fähigkeit, andere Sprache und anderes Prompt-Set.

• Worüber beide sich in der Form, wenn auch nicht im Niveau, einig sind — Fanar 2 ist ein großer Sprung gegenüber Fanar 1. QCRI meldet +7,32 auf ArabicMMLU, +10,68 auf GSM8K und +8,27 auf IF-Eval gegenüber seinem eigenen 9B-Vorgänger. Diese Behauptung ist in sich stimmig, und niemand bestreitet sie.

Die Regel, die sich daraus ergibt, lautet nicht „ein Labor schummelt“. Sie besagt: Bei arabischen Benchmarks ist eine Zahl ohne angehängtes Harness keine Zahl. IFM markiert zumindest, welche der eigenen Zahlen geprüft wurden, und veröffentlicht die ausgeschlossenen Stichproben in einer separaten Sammlung – was mehr ist, als die meisten Labore tun –, aber es bleibt dabei: IFM prüft IFMs Bewertung eines Konkurrenten.

Kontext und Deployment sind die Bereiche, in denen der Vergleich eindeutig ausfällt.

Diese Zeilen unterliegen nicht den Harness-Argumenten, weil sie architektonische Fakten und keine Messungen sind.

• Kontext — 524.288 Token für J​ais-3-32B gegenüber 32.768 für Fanar-2-27B-Instruct. Sechzehnmal so groß wie das Fenster, und Fanars Karte dokumentiert 54K Long-Context-Instruktionen, die während des Trainings verwendet wurden, um 16K zu erreichen, was das trainierte Long-Context-Verhalten weit innerhalb der nominellen 32K verortet.

• Serving-Footprint — J​ais-3-32B mit TP=2, bfloat16, vLLM ≥ 0.30.0 oder SGLang ≥ 0.5.20. Fanar-2-27B ist mit transformers 4.57.6 getestet und entspricht der Standardform von G​emma 3 27B, sodass es sich in jeden Stack einfügt, auf dem bereits G​emma läuft.

• Mit dem Modell ausgeliefertes Tooling — Jais 3 enthält den Reasoning-Parser, den Tool-Call-Parser und eine Auswahl von json, xml oder xml_typed Tool-Formaten als First-Class-Serving-Flags. Fanar 2 unterstützt generisches Tool-Calling plus zehn integrierte Fanar-Tools, doch die Integrationsoberfläche ist die eigene API des Anbieters und nicht eine Reihe von Framework-Flags.

• Bewertung durch Dritte — weder gibt es einen Eintrag bei Artificial Analysis noch einen Arena-Score noch eine unabhängige Replikation. Die Zahlen beider Modellfamilien sind Herstellerangaben, und der Artikel weist jedes Mal darauf hin, bevor er sie zitiert.

Was Fanar 2 hat, das J​ais 3 nicht hat

Drei Dinge, und sie sind nicht klein.

• Native arabische Reasoning-Traces. Fanar 2 wurde mit etwa 250.000 arabischen Reasoning-Beispielen trainiert und erzeugt seine Gedankenkette auf Arabisch, anstatt aus einem englischen Trace zu übersetzen. J​ais 3 stellt einen Reasoning-Parser bereit und meldet starke arabische Agentic-Kennzahlen, aber seine Modellkarte erhebt nicht denselben Anspruch über die Sprache, in der das Denken stattfindet.

• Halluzinationsminderung als gestaltetes Verhalten. Fanar 2 ist darauf trainiert, auf eine Antwort zu verzichten – Wissenssondierung während des Trainings, strukturierte Verifikationsspuren in fünf Schritten, kalibrierte „Ich weiß es nicht“-Antworten – und es hüllt spontane Verweise auf Koranverse in Validierungsmarker, damit ein nachgelagertes System sie prüfen kann. Dieses letzte Merkmal ist ungewöhnlich und hat kein Gegenstück in der Jais-3-Karte.

• Ein Produkt rund um das Modell. QCRI liefert eine Chat-Oberfläche, iOS- und Android-Apps sowie eine dokumentierte API mit einem Zugriffsanfrage-Workflow, außerdem Schwestermodelle für Bildgenerierung, Bildverständnis und Poesie. J​ais 3 ist eine Veröffentlichung von Gewichten mit Framework-Rezepten; das Sprachmodell steht daneben, und der Rest ist ein Forschungsartefakt.

Das sind Unterschiede bei den Fähigkeiten, nicht bei den Benchmarks, und eine faire Lesart ist, dass Fanar 2 als Produkt ausgereifter ist, während Jais 3 als Modell ehrgeiziger ist.

Was die agentischen Spalten tatsächlich sagen, mit dem Sternchen daran

IFMs eigene Tabelle ist der einzige veröffentlichte direkte Vergleich zwischen diesen beiden Modellen, und er ist wenig schmeichelhaft für Fanar: Terminal Bench 2.1 bei 63,7 gegen 1,1, GDPVal bei 75,5 gegen 0,0, MCPMark 66,1 gegen 12,1, SWE-Bench Verified 72,4 gegen 0,4, arabische Dateiverarbeitung 71,8 gegen 0,0.

Lies sie als das, was sie sind. Es sind IFMs Messungen eines Modells eines Wettbewerbers, von IFM durchgeführt, auf IFMs Harness, und veröffentlicht auf IFMs Model Card. Eine Null bei GDPVal und eine 0,4 bei SWE-Bench Verified für ein 27B-Instruct-Modell sind plausibel – dies sind agentische Benchmarks, die Modelle bestrafen, denen es an Tool-Call-Trainingsdaten in großem Umfang fehlt, und die agentische Arbeit von Fanar 2 ist auf seine eigenen zehn Tools ausgerichtet statt auf allgemeine Software-Aufgaben. Aber ein Labor, das berichtet, dass sein eigenes Modell jede Zeile einer von ihm erstellten Tabelle gewinnt, erzählt dir etwas über seine Evaluierung, nicht über die Welt.

Die verteidigbare Aussage ist enger: Auf dem von IFM veröffentlichten Harness übertrifft Jais-3-32B Fanar-2-27B-Instruct bei jedem berichteten agentischen Benchmark, und Fanars Model Card berichtet überhaupt nicht über agentische Benchmarks, sodass ihr nichts widerspricht und auch nichts sie bestätigt. Die veröffentlichte Evidenz ist einseitig, weil nur eine Seite veröffentlicht hat.

Welches soll man wählen?

Langer Kontext, agentische Arbeit oder die Notwendigkeit, eine Checkpoint-Größe zu wählen: J​ais 3 – und beim Kontext ist das keine knappe Entscheidung. Ein 512K-Fenster gegen 32K entscheidet allein über Dokumentenverarbeitung, Arbeit im Repository-Maßstab und lange Agenten-Trajektorien.

Arabisches Reasoning, das Sie lesen möchten, Enthaltungsverhalten, auf das Sie sich verlassen können, Umgang mit Koraninhalten oder ein Anbieter mit einer App und einem Support-Pfad: Fanar 2. QCRIs Post-Training-Pipeline ist wirklich ausgefeilt – 4 Mio. SFT-Anweisungen, 280.000 DPO-Paare, fünf Stufen, ein bewusster Durchlauf zur Neuausbalancierung der Fähigkeiten, damit die Langkontext-Anpassung nicht Kurzform-Aufgaben verschlechtert – und das zeigt sich in Dimensionen, die keine Leaderboard-Spalte erfasst.

Wenn die Entscheidung schwerfällt, weil beide für dieselbe Arbeitslast plausibel sind, wäre das, was sie klären würde, Ihre eigenen Prompts, ausgeführt mit beiden und bewertet nach Ihren eigenen Kriterien. Das ist das Experiment, das niemand für diese beiden Modelle veröffentlicht hat, und es ist mehr wert als jede der oben genannten Zahlen.

Es zum Laufen zu bringen ist weniger Arbeit als früher. OrcaRouter gibt dir einen einzigen Schlüssel für über 200 Modelle mit 0 % Aufschlag, wobei der Listenpreis des Anbieters durchgereicht wird, sodass ein Bake-off zwischen zwei arabischen Checkpoints eher eine Routing-Änderung ist als zwei Integrationen – und die Bewertung Punkt für Punkt ist genau der Fall, für den die Routing-DSL gebaut ist, denn sie erlaubt es dir, denselben Prompt in einem einzigen zusammengesetzten Aufruf an beide Modelle zu schicken, statt ein Vergleichs-Harness zu schreiben. Keine der beiden Familien ist derzeit in unserem Katalog; in der Modellliste kannst du nachsehen, was verfügbar ist.

Was würde das klären

Ein unabhängiger Durchlauf beider Modelle auf einem gemeinsamen Harness, veröffentlicht zusammen mit den Prompts. Das ist es, was fehlt, und es fehlt bei jedem gängigen arabischen Modell, nicht nur bei diesen beiden — das gesamte Feld stützt sich auf selbst gemeldete Zahlen, weshalb eine Acht-Punkte-Diskrepanz bezüglich Fanar 2s ArabicMMLU sieben Monate lang öffentlich stehen bleiben kann, ohne dass sie jemand auflöst. Bis das jemand tut, behandle die J​ais-3-Tabelle als Argument von IFM und die Fanar-2-Tabelle als das von QCRI, und behandle die architektonischen Fakten — 512K gegen 32K, sieben Checkpoints gegen einen, Parser-Flags gegen eine gehostete API — als den Teil, mit dem man tatsächlich planen kann.

Was die Zahlen Ihnen nicht sagen können, ist, ob irgendetwas davon im Praxiseinsatz schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als strittig enthält.