Jais 3 vs SILMA 9B：アラビア語AIの異なる2つの時代におけるモデル対決

Open SILMA AIのウェブサイトを開くと、真っ先に掲げられている主力製品はSILMA TTS v2.0だ。音声エージェント向けに初回トークンまでの時間170 msを謳うテキスト読み上げモデルである。フッターまでスクロールしても、アラビア語LLMリーダーボードへのリンクはまだ残っており、この対比が名指しするモデル——SILMA-9B-Instruct-v1.0、silma-ai組織による9Bのアラビア語・英語バイリンガルinstructモデル——も依然としてHub上にある。公開日は2024年8月17日。これに対するのがJais 3で、Institute of Foundation ModelsとInception42によるファミリーであり、その重みが公開されたのは2026年9月29日、サービングレシピに刻まれた日付は10月5日である。これは25か月の隔たりであり、業界カテゴリーの変化でもあり、このページをセットの中で最も奇妙なものにしている。つまり、二つのライバル同士の対決ではなく、アラビア語LLMが翻訳済みベンチマーク上での対数尤度で採点されていた時代のチェックポイントと、推論パーサーや512Kコンテキストウィンドウを備えて出荷される2026年のファミリーとの対比なのだ。それでもこの比較には価値がある。チームはいまもSILMA 9Bを動かしているからであり、それを置き換えるには何が必要かという問いは現実のものだからだ。

それぞれの側が実際に何なのか

• Jais 3はモデルではなくファミリーです — 6つのベースチェックポイント、Jais-3-0.9B、Jais-3-3.7B、Jais-3-7B、Jais-3-32B、Jais-3-MoVA-36B-A4B、およびJais-3-375B-A23Bに加えて-Uno/バリアントがあり、すべてApache 2.0で、すべてゲートなしです。高密度モデルは、trust-remote-codeを必要とする独自のk2_horizonアーキテクチャに基づいています。

• SILMA 9Bは1つのチェックポイントです。 silma-ai/SILMA-9B-Instruct-v1.0/ は Gemma 2 の派生です — gemma2/ / Gemma2ForCausalLM/ — 5つの safetensors シャード、会話型パイプラインタグ、そして言語としてアラビア語と英語が宣言されています。

• ライセンスは最も明確な実務上の違いです。 Jais 3はApache 2.0で、ゲートはありません。SILMA 9BはGemmaライセンスと承認ゲートを伴います。カードのextra_gated_button_content/フィールドは、重みが自分のものになる前に規約に同意することを意味し、GemmaライセンスにはApache 2.0にはない使用制限が伴います。

• それを置き換えたファミリーは小規模です。 SILMA AIのその後のリリースはSILMA-Kashif-2B-Instruct-v1.0（2025年1月）と、2024年10月の2つの埋め込みモデルです。SILMA 9Bの後継はなく、27Bもなく、MoE変種もありません。この組織の最新の成果物は、断トツでsilma-tts/（2026年3月）です。

• コンテキスト — Jais 3 シリーズの大半で最大 524,288 トークン、0.9B では 128K。SILMA のカードにはコンテキスト長の数値が一切公開されていません。

数値が引用される前に述べられた、ベンチマーク問題

SILMA 9Bの公表された結果はJais 3とは異なる測定文化から生まれたものであり、その違いは程度の差ではない。

• SILMAの数値は、Open Arabic LLM Leaderboardハーネスにおける対数尤度スコアです — loglikelihood_acc_norm/ アラビア語MMLU（52.55）、AlGhafa（71.85）、ARC Challenge Arabic（78.19）、ACVA（78.89）、Arabic EXAMS（51.4）、および多数の翻訳ベンチマークに対して。同モデル自身の目玉指標は、10点満点中6.15のArabic Broad Benchmarkスコアです。

• Jais 3の数値は、監査済みサンプルセットにおける生成回答の精度です。 IFMはアラビア語MMLUについて、375Bで89.3、32Bで88.6、7Bで85.2、3.7Bで83.3と報告しており、星印は曖昧な質問、無効な選択肢、擁護できないゴールドラベルを取り除いてクリーンアップしたベンチマークを示しており、除外されたサンプルも公開しています。

• これらは同じ指標ではありません。クリーンアップ済みのセットにおける多肢選択の対数尤度スコアリングと生成回答の精度は一致せず、両者の差はモデルの品質を測るものではありません。85.2 の隣に 52.55 を並べ、それを 33 ポイントの勝利と呼ぶことは、このページで書き得る最も誤解を招く一文であり、そしてそれはほとんどの比較記事が書くであろう一文です。

• どちらにも独立したスコアはありません。どちらもArtificial Analysisの掲載はなく、アリーナの結果もありません。このセクションの数値はすべて、それを公表したラボによるベンダー報告値であり、Jais 3の数値にはさらに、IFM自身の脚注が付いています。それによると、使用されたreasoning-effort設定はhigh/ すべての実行で

サイズを揃えた比較こそが、意味を持つものだ

SILMA 9B をお持ちなら、Jais 3 の代替候補として正直なのはJais-3-7B または Jais-3-3.7Bであり、フラッグシップではありません。どちらも dense で、どちらも vLLM レシピで bfloat16、tensor parallelism 1 で動作し、どちらもゲートなしです。

• フットプリント — 単一GPU上のTP=1におけるJais-3-7B対、SILMA 9Bの5シャード構成のGemma 2 9B。ホスティングコストは同程度であるため、このアップグレードはハードウェアの問題ではなく、品質と能力の問題です。

• コンテキスト — Jais-3-7Bでは524,288トークン、SILMA 9Bには公表された数値がない。これは、ワークロードが移植されるのではなく再設計される行である。

• エッジ向けおよび量子化ビルド — 3.7Bと7Bの両方でllama.cppおよびOllama向けのGGUF、そしてAppleシリコン向けのMLX 4ビット、8ビット、bf16。SILMA 9BにはGGUF変換があるが、それらは2024年の第三者によるアップロードであり、ベンダーは一切公開していない。

• アラビア語固有の評価領域 — IFM はチェックポイントごとに、方言、ダイアクリティゼーション、構文解析、IslamicQA、アラブ文化、翻訳を網羅する完全なアラビア語ベンチマークスイートを公開している。SILMA のカードは、リーダーボードの集計列と独自の広範ベンチマークスコアを通じて報告しており、能力ごとの詳細ははるかに少ない。

• ライセンス — Apache 2.0 対 Gemma ライセンス＋ゲート。商用のアラビア語パイプラインにとって、その違いだけで移行の可否が決まることもあります。

SILMA 9Bにまだ残る強み

2つあって、どちらもベンチマークではない。

• それは Gemma です。gemma2/ チェックポイントは、すでに Gemma 2 を実行しているあらゆるスタックで動作します — --trust-remote-code は不要、カスタムパーサーフラグも不要、アーキテクチャ固有のモデル実装も不要です。Jais 3 には trust-remote-code、k2_horizon 推論パーサー、k2_horizon ツール呼び出しパーサー、および言語依存のサンプリングが必要です。thinking モードでは英語は temperature 1.0、アラビア語は 0.7 で、デフォルトの 0.2 に対して設定し、少なくとも 32,768 出力トークンを推奨します。移植は実際の作業です。

• 安定しており、その周りにはリーダーボードが存在します。 SILMA AIはアラビア語LLM Broad Leaderboardスペースを運営しており、2年前のチェックポイントには2年分の実運用事例が紐づいています。代替案が、3週間前に公開されたばかりで、第三者評価も技術レポートもなく——IFMは「近日公開」と記載している——公開価格も示されていないモデルであることを考えれば、これは決して小さなことではありません。

移行の決定と、それを可逆にする方法

ワークロードが長文脈のドキュメント、エージェント的なツール利用、あるいはGemmaライセンスが問題になるほど商業的に機微なものであるなら、SILMA 9Bを置き換えよう。コンテキストの行だけでもそれを正当化できる。公開されたコンテキスト値がないモデルと、50万トークンまで対応するモデルを比べるのは、ドキュメント作業において僅差の選択ではない。

そのままにしておけ。パイプラインが固まっていて、Gemma のライセンスがすでにクリア済みで、すべてが標準の transformers で動くなら——なぜなら、Jais 3 のベンチマーク表に対する正直な対抗軸は、その表が IFM のものであり、モデルは3週間前に出たばかりで、そのどれにも独立した数値の裏づけはない、ということだからだ。動いているアラビア語の本番経路を、ベンダー公表の数値だけを根拠に、3週間前のチェックポイントへアップグレードすることこそ、この比較が防ぐために存在する過ちだ。

両方を手に入れる方法は、まず両者を並行して走らせることです。そして、これがかつて高くついた理由は、2つの統合と比較用ハーネスが必要だったからです。OrcaRouter はそれを一挙に解消します。200以上のモデルをまたぐ単一の API を 0% のマークアップで、プロバイダーの定価をそのまま適用つまりベイクオフはプロジェクトではなくルーティングの変更になり、同一のアラビア語プロンプトを2つのモデルに送って回答を採点するという特定の作業には、ルーティング DSL がまさに適したツールです。なぜなら、それらを1つの呼び出しにまとめて両方の結果を返すからです。次のステップを安全にするのは自動フェイルオーバーです。新しく公開されたモデルに実トラフィックの一部を任せつつ、定着したモデルが残りを吸収し、新しいモデルが取りこぼしたリクエストを拾います。どちらのモデルも現在当社のカタログにはありません。セルフホストを前提に設計する前に確認すべきはモデル一覧です。

何を見るべきか

このページをどれほど変えるかという順に、4つのことを挙げる。SILMA 9B の後継モデル。これはカテゴリーの不一致を、再び本物の対決へと変えるだろう。Jais 3 チェックポイントに対する独立した評価。これがあれば、ベンチマークセクション全体が不要になる。IFM の技術レポート。現在は近日公開として掲載されている。そして Jais 3 の公表価格。それはどこにも存在しない。少なくともそのうちの1つが実現するまでは、この比較について擁護できる読み方はアーキテクチャ上のもの——ライセンス、ゲーティング、コンテキスト、ツーリング、サイズの階層——であり、スコアは、2つのラボが2つの異なる年に2つの異なるものを測定しているものとして読むべきだ。