Jais 3 vs Fanar 2：2つのベンダーはFanar 2のスコアについて一致していない

J​ais 3 と Fanar 2は湾岸地域の2大旗艦アラビア語モデルファミリーであり、両者を比較するうえで誰もがあなたに伝えられる最も有用なことは、ベンダー自身がFanar-2-27B-Instructについて公表している数値が一致していないということです。QCRIのモデルカードは、同社の27B instructモデルについてArabicMMLUを74.67%、Belebeleを86.81%と報告しています。J​ais-3-32Bのカードは、Institute of Foundation ModelsとInception42によるもので、同じ対戦相手を独自の参照表で評価し、Fanar-2-27BをArabic MMLUで66.3、Belebeleで61.8としています。これは1つのベンチマークで8ポイント、別のベンチマークで25ポイントの差であり、1つのモデルについてのもので、どちらの数値も捏造ではありません。それらは異なるハーネス、異なるプロンプト形式、そしてIFMの場合は監査済みのサンプルセットから出た出力です。また、これはこのページで最も教訓的な点でもあります。なぜなら、公表された数値から組み立てられたJais 3とFanar 2の比較は、2つのモデルの比較であると同時に、2つの測定実践の比較でもあるからです。

その2枚のカード、率直に言えば

• J​ais-3-32B — IFM による 32B の dense decoder-only モデルで、最大 524,288 トークンのコンテキスト、Apache 2.0、重みは 2026年9月29日に公開。推論パーサー（k2_horizon）、ツール呼び出しパーサー、および選択可能な3つのツール呼び出しフォーマットを備えています。bfloat16 でテンソル並列度 2 で提供されます。

• Fanar-2-27B-Instruct — ハマド・ビン・ハリーファ大学のQCRIによる27Bのdenseモデル。コンテキスト長は32,768トークン、Apache 2.0、2026年3月リリース。継続的事前学習の基盤はgoogle/gemma-3-27b-ptで、約166Bのアラビア語および英語トークンを用いて3つのレシピにわたり継続的事前学習を行い、その後マージしたうえで、5段階のポストトレーニングパイプラインを経ています。

• スケール範囲 — Jais 3 はファミリーで、0.9B から 375B までの6つのベースチェックポイントがあり、2つの Mixture-of-Experts モデルを含みます。Fanar 2 の言語系ラインナップは、実質的に27Bのinstructモデル1つで、より小さいテキストチェックポイントではなく、他のモダリティに兄弟モデルが存在します。

• ライセンス — 双方とも Apache 2.0、双方ともゲートなし。どちらのファミリーも署名を求めてくることはなく、これはこの地域では標準的ではないため、明言する価値があります。

• ベースアーキテクチャ — Jais 3 は IFM によってカスタムアーキテクチャで訓練されている（k2_horizon、カスタムリモートコードが必要）。Fanar 2 は Google の Gemma 3 27B の継続的事前学習であり、そのためこれは別種の成果物である：ゼロから訓練したものというより、巧みに実施された適応である。

数字が食い違うのはどこで、なぜそれはスキャンダルではないのか

ベンチマーク名は一つずつ扱いましょう。というのも、そのラベルは見た目ほど仕事をしていないからです。

• ArabicMMLU 対 Arabic MMLU* — Fanarのカードは、ArabicMMLUと呼んでいるベンチマークで74.67%と述べている。IFMの表は、Arabic MMLU*と呼ぶ列について66.3と示しており、アスタリスクはIFMが曖昧なプロンプト、無効な選択肢、または擁護できない正解ラベルを持つ質問を除外したことを意味する。二つの異なるサンプルセットがあり、一方はクレンジングされている。そしてどちらのラボも他方の結果を報告する義務はない。

• Belebele、86.81 対 61.8 — さらに大きな開きであり、ハーネスに関する説明はここでいっそう無理を来している。Fanarの数値はアラビア語方言のものであり、IFMの列にも同じベンチマーク名が記されている。25ポイントは丸めの違いでは済まず、率直な結論としては、これらの実行の少なくとも一方は、もう一方が測定しているものを測定していないということだ。

• IF-Eval、82.97 対 49.8 — Fanarは自身の改善表でIF-Evalについて82.97を報告しています。IFMの参照列ではFanar-2-27Bをアラビア語IFEvalで49.8としています。能力は同じでも、言語とプロンプトセットが異なります。

• レベルはともかく、形の上で両者が一致している点 — Fanar 2はFanar 1から大きく前進している。QCRIは、自身の9B前身モデルと比較して、ArabicMMLUで+7.32、GSM8Kで+10.68、IF-Evalで+8.27を報告している。その主張は内部的に整合しており、誰も異議を唱えていない。

ここから導かれるルールは「あるラボが不正をしている」ということではない。アラビア語のベンチマークにおいては、ハーネスが付随していない数値は数値ではない、ということだ。IFMは少なくとも、自社の数値のうちどれを監査したかを示し、除外されたサンプルを別のコレクションで公開している。これはほとんどのラボがやらないことだ——しかしそれでも、IFMが競合他社の評価をIFMが監査していることに変わりはない。

コンテキストとデプロイメントの点では、比較はクリーンだ

これらはハーネスの引数の対象にはならない行です。なぜなら、それらは測定値ではなくアーキテクチャ上の事実だからです。

• コンテキスト — J​ais-3-32Bは524,288トークン、Fanar-2-27B-Instructは32,768トークン。ウィンドウは16倍で、Fanarのカードには、訓練中に16Kに到達するために使われた54Kの長コンテキスト命令が記載されており、これにより訓練された長コンテキスト動作は名目上の32Kの十分内側に収まる。

• サービングフットプリント — TP=2、bfloat16、vLLM ≥ 0.30.0 または SGLang ≥ 0.5.20 での J​ais-3-32B。Fanar-2-27B は transformers 4.57.6 でテスト済みで、標準的な G​emma 3 27B 形状のため、すでに G​emma を実行しているあらゆるスタックにそのまま組み込めます。

• モデルに同梱されるツール群 — Jais 3には推論パーサー、ツール呼び出しパーサー、そしてjson、xmlまたはxml_typedのツール形式を一級のサービングフラグとして選択できる機能が含まれています。Fanar 2は汎用のツール呼び出しに加えて10個の組み込みFanarツールをサポートしていますが、統合面はフレームワークのフラグ群ではなくベンダー独自のAPIです。

• 第三者評価 — どちらもArtificial Analysisの登録がなく、どちらもアリーナスコアがなく、どちらも独立した再現検証もない。両ファミリーの数値はベンダーによる報告であり、記事はそれらを引用する前に毎回その旨を明記している。

Fanar 2にあってJais 3にないもの

三つのこと、しかもどれも小さくない。

• ネイティブなアラビア語の推論トレース。 Fanar 2は約25万件のアラビア語推論例で訓練されており、英語のトレースから翻訳するのではなく、アラビア語で思考の連鎖を生成する。J​ais 3は推論パーサーを公開し、アラビア語のエージェント性能について強い数値を報告しているが、そのカードは思考が行われる言語について同じ主張をしていない。

• 設計された振る舞いとしてのハルシネーション緩和。 Fanar 2 は回答を控えるよう訓練されている — 訓練中の知識プロービング、5段階の構造化された検証トレース、較正された「わかりません」という応答 — そして自発的なクルアーンの節の参照を検証マーカーで包み、下流システムがそれらを確認できるようにする。その最後の機能は異例であり、J​ais 3 のカードには対応するものがない。

• モデルを中心とした製品。QCRIはチャットインターフェース、iOS版とAndroid版のアプリ、アクセス申請フローを備えた文書化されたAPIを提供しており、さらに画像生成、画像理解、詩作のための兄弟モデルも揃えている。J​ais 3はフレームワークのレシピ付きで重みを公開したもので、音声モデルはそれと並んで位置づけられ、残りは研究成果物である。

それらは能力の違いであり、ベンチマークの違いではない。公平に読めば、Fanar 2 は製品としてより完成度が高く、一方 J​ais 3 はモデルとしてより野心的である。

エージェント型のコラムが実際に語っていること、アスタリスクを付けたままで

IFM自身の表は、これら2つのモデル間で公開されている唯一の直接比較であり、Fanarにとって芳しいものではない。Terminal Bench 2.1は63.7対1.1、GDPValは75.5対0.0、MCPMarkは66.1対12.1、SWE-Bench Verifiedは72.4対0.4、アラビア語ファイル処理は71.8対0.0。

それらは、あるがままに読めばよい。それらは、IFMによる競合モデルの測定値であり、IFMが実行し、IFMのハーネス上で測定され、IFMのモデルカードに公開されたものだ。GDPValでゼロ、SWE-Bench Verifiedで0.4というのは、27B instructモデルとしてはもっともらしい——これらは、大規模なツール呼び出しの学習データを持たないモデルに不利に働くエージェント型ベンチマークであり、Fanar 2のエージェント関連の取り組みは、一般的なソフトウェアタスクではなく、独自の10個のツールを中心に設計されている。しかし、自ら作成した表のすべての行で自社モデルが勝っていると報告するラボは、その評価について語っているのであって、世界について語っているのではない。

擁護可能な言明はより限定的である。IFMの公開ハーネスでは、Jais-3-32Bは報告されているすべてのエージェント型ベンチマークでFanar-2-27B-Instructを上回り、Fanarのカードはエージェント型ベンチマークを一切報告していない。したがって、それを反証するものも、それを裏付けるものもない。公開された証拠が一方に偏っているのは、片側しか公表していないからである。

どちらを選ぶべきですか

長いコンテキスト、エージェント的作業、あるいはチェックポイントサイズを選ぶ必要があるなら：J​ais 3。そしてコンテキストに関しては、接戦ではない。512Kのウィンドウ対32Kが、文書処理、リポジトリ規模の作業、長いエージェント軌跡をそれだけで決めてしまう。

読むつもりのアラビア語推論、信頼できる棄権動作、クルアーン内容の取り扱い、あるいはアプリとサポート経路を備えたベンダー：Fanar 2。QCRIのポストトレーニングパイプラインは実に精巧だ——400万件のSFT指示、28万件のDPOペア、5つの段階、長文脈適応が短文タスクを劣化させるのを防ぐための意図的な能力再バランス工程——そしてそれは、どのリーダーボードの列にも捉えられない次元に表れている。

同じワークロードに対してどちらももっともらしいために判断が難しいなら、それを決着させるのは、自分のプロンプトを両方に対して実行し、自分の基準で採点することだ。それが、これら2つのモデルについて誰も公表していない実験であり、上で引用したどんな数字よりも価値がある。

これを実行するのは以前より手間がかからない。OrcaRouterなら、200以上のモデルに対して1つのキーで利用でき、マークアップは0%、プロバイダの定価がそのまま適用される。だから2つのアラビア語チェックポイントの比較は、2つの統合ではなくルーティングの変更で済む——そして項目ごとのスコアリングはまさにルーティングDSLが想定しているケースだ。なぜなら、比較用のハーネスを書く代わりに、1回の複合呼び出しで同じプロンプトを両方のモデルに送れるからだ。なお、どちらのファミリーも現在当社のカタログにはない。何が使えるかはモデル一覧で確認してほしい。

これを解決してくれるものは何だろうか

両モデルを共通のハーネス上で独立に1回実行し、プロンプトとともに公開すること。それこそが欠けているものであり、欠けているのはこの2つだけでなく、主流のアラビア語モデルすべてに言える——分野全体が自己申告の数値で動いており、だからこそ Fanar 2 の ArabicMMLU をめぐる8ポイントの不一致が、誰にも解決されないまま7か月間も公の場に放置され得るのだ。誰かがそれを実現するまでは、Jais 3 の表は IFM の主張、Fanar 2 の表は QCRI の主張として扱い、アーキテクチャ上の事実——512K 対 32K、7つのチェックポイント 対 1つ、パーサーフラグ 対 ホスト型 API——を、実際に計画の前提にできる部分として扱うこと。

数字からは分からないのは、それが現場で何か問題を起こしていないかどうかだ。このクラスのモデルに関する、記録されたAIインシデントやエージェントの障害は、OrcaRouter AIインシデントアーカイブに集められており、各項目にはそれぞれの情報源、深刻度、信頼度グレード、異議ありフラグが付されている。