Jais 3 vs Fanar 2: Kedua Vendor Tidak Sepakat soal Skor Fanar 2

J​ais 3 dan Fanar 2 adalah dua keluarga model Arab unggulan Teluk, dan hal paling berguna yang bisa dikatakan siapa pun tentang membandingkan keduanya adalah bahwa angka dari vendor sendiri untuk Fanar-2-27B-Instruct tidak cocok. Kartu model QCRI melaporkan ArabicMMLU sebesar 74,67% dan Belebele sebesar 86,81% untuk model instruct 27B-nya. Kartu J​ais-3-32B, dari Institute of Foundation Models dan Inception42, menjalankan lawan yang sama pada tabel referensinya sendiri dan menempatkan Fanar-2-27B pada 66,3 di Arabic MMLU dan 61,8 di Belebele. Itu selisih delapan poin pada satu benchmark dan dua puluh lima poin pada benchmark lain, untuk satu model, dan tidak ada satu pun angka yang dibuat-buat — keduanya adalah hasil dari harness yang berbeda, format prompt yang berbeda, dan dalam kasus IFM, kumpulan sampel yang diaudit. Ini juga hal paling instruktif di halaman ini, karena itu berarti perbandingan J​ais 3 dan Fanar 2 yang dibangun dari angka-angka yang dipublikasikan adalah perbandingan dua praktik pengukuran sama seperti dua model.

Kedua kartu itu, secara gamblang.

• J​ais-3-32B — 32B dense decoder-only dari IFM, hingga 524.288 token konteks, Apache 2.0, bobot dipublikasikan 29 September 2026. Dilengkapi dengan parser penalaran (k2_horizon), parser pemanggilan alat, dan tiga format pemanggilan alat yang dapat dipilih. Disajikan pada paralelisme tensor 2 dalam bfloat16.

• Fanar-2-27B-Instruct — 27B dense dari QCRI di Universitas Hamad Bin Khalifa, konteks 32.768 token, Apache 2.0, dirilis Maret 2026. Dipralatih secara berkelanjutan dari google/gemma-3-27b-pt pada sekitar 166B token Arab dan Inggris melalui tiga resep lalu digabungkan, diikuti dengan pipeline pasca-pelatihan lima tahap.

• Rentang skala — Jais 3 adalah sebuah keluarga, enam checkpoint dasar dari 0,9B hingga 375B termasuk dua model mixture-of-experts. Lini bahasa Fanar 2 pada dasarnya adalah satu model instruct berukuran 27B, dengan saudara-saudaranya di modalitas lain alih-alih checkpoint teks yang lebih kecil.

• Lisensi — Apache 2.0 di kedua sisi, tanpa pembatasan di kedua sisi. Tidak ada keluarga yang mengharuskan Anda menandatangani apa pun, yang layak disebutkan karena itu bukan norma di kawasan ini.

• Arsitektur dasar — J​ais 3 dilatih oleh IFM dengan arsitektur khusus (k2_horizon, diperlukan kode jarak jauh khusus). Fanar 2 adalah pra-pelatihan berkelanjutan dari G​oogle G​emma 3 27B, yang menjadikannya jenis artefak yang berbeda: adaptasi yang dieksekusi dengan baik, bukan proses pelatihan dari awal.

Di mana angka-angkanya berbeda, dan mengapa itu bukan skandal

Ambil nama-nama benchmark satu per satu, karena label tersebut tidak melakukan sebanyak yang tampaknya.

• ArabicMMLU versus Arabic MMLU* — Kartu Fanar menyebut 74,67% untuk tolok ukur yang disebutnya ArabicMMLU. Tabel IFM menyebut 66,3 untuk kolom yang disebutnya Arabic MMLU*, dengan tanda bintang berarti IFM mengecualikan pertanyaan dengan prompt ambigu, opsi tidak valid, atau label emas yang tidak dapat dipertahankan. Dua set sampel yang berbeda, salah satunya telah dibersihkan, dan tidak ada kewajiban bagi laboratorium mana pun untuk melaporkan milik yang lain.

• Belebele, 86,81 versus 61,8 — selisih yang jauh lebih besar, dan penjelasan soal harness-nya semakin dipaksakan di sini. Angka Fanar adalah untuk bahasa Arab dialek; kolom IFM mencantumkan nama benchmark yang sama. Dua puluh lima poin bukanlah perbedaan akibat pembulatan, dan kesimpulan yang jujur adalah setidaknya salah satu dari run ini tidak mengukur hal yang sama dengan yang lain.

• IF-Eval, 82,97 versus 49,8 — Fanar melaporkan 82,97 pada IF-Eval dalam tabel peningkatannya sendiri. Kolom referensi IFM menempatkan Fanar-2-27B pada 49,8 pada IFEval Arab. Kemampuan yang sama, bahasa berbeda dan kumpulan prompt yang berbeda.

• Apa yang keduanya sepakati soal bentuk, jika bukan levelnya — Fanar 2 adalah lompatan besar dibanding Fanar 1. QCRI melaporkan +7.32 pada ArabicMMLU, +10.68 pada GSM8K, dan +8.27 pada IF-Eval dibandingkan pendahulunya sendiri yang 9B. Klaim itu koheren secara internal dan tidak ada yang membantahnya.

Aturan yang muncul dari ini bukanlah "satu lab curang". Melainkan bahwa untuk benchmark bahasa Arab, angka tanpa harness yang dilampirkan bukanlah angka. IFM setidaknya menandai angka-angkanya sendiri yang diaudit dan menerbitkan sampel yang dikecualikan dalam kumpulan terpisah, yang lebih dari yang dilakukan sebagian besar lab — tetapi itu tetap IFM mengaudit evaluasi IFM terhadap pesaing.

Konteks dan deployment adalah titik di mana perbandingannya bersih.

Ini adalah baris-baris yang tidak tunduk pada argumen harness, karena ini adalah fakta arsitektural, bukan pengukuran.

• Konteks — 524.288 token untuk J​ais-3-32B dibandingkan 32.768 untuk Fanar-2-27B-Instruct. Enam belas kali ukuran jendelanya, dan kartu Fanar mendokumentasikan 54K instruksi konteks panjang yang digunakan untuk mencapai 16K selama pelatihan, yang menempatkan perilaku konteks panjang yang telah dilatih jauh di dalam 32K nominal.

• Jejak penyajian — Jais-3-32B pada TP=2, bfloat16, vLLM ≥ 0.30.0 atau SGLang ≥ 0.5.20. Fanar-2-27B diuji dengan transformers 4.57.6 dan memiliki bentuk standar Gemma 3 27B, sehingga dapat dimasukkan ke stack apa pun yang sudah menjalankan Gemma.

• Perkakas yang disertakan bersama model — Jais 3 mencakup parser penalaran, parser pemanggilan alat, dan pilihan json, xml atau xml_typed format alat sebagai flag penyajian kelas satu. Fanar 2 mendukung pemanggilan alat generik plus sepuluh alat Fanar bawaan, tetapi permukaan integrasinya adalah API milik vendor itu sendiri, bukan sekumpulan flag kerangka kerja.

• Evaluasi pihak ketiga — keduanya tidak memiliki entri Artificial Analysis, keduanya tidak memiliki skor arena, dan keduanya tidak memiliki replikasi independen. Angka dari kedua keluarga tersebut dilaporkan oleh vendor, dan artikel menyatakan hal itu sebelum mengutipnya, setiap kali.

Apa yang dimiliki Fanar 2 yang tidak dimiliki Jais 3

Tiga hal, dan itu bukan hal kecil.

• Jejak penalaran bahasa Arab asli. Fanar 2 dilatih pada sekitar 250.000 contoh penalaran bahasa Arab dan menghasilkan rantai pemikirannya dalam bahasa Arab, bukan menerjemahkan dari jejak bahasa Inggris. J​ais 3 mengekspos parser penalaran dan melaporkan angka agentik bahasa Arab yang kuat, tetapi kartunya tidak membuat klaim yang sama tentang bahasa tempat pemikiran itu berlangsung.

• Mitigasi halusinasi sebagai perilaku yang dirancang. Fanar 2 dilatih untuk menahan diri — penyelidikan pengetahuan selama pelatihan, jejak verifikasi terstruktur lima langkah, respons "saya tidak tahu" yang terkalibrasi — dan ia membungkus rujukan ayat Al-Qur'an yang spontan dalam penanda validasi sehingga sistem hilir dapat memeriksanya. Fitur terakhir itu tidak biasa dan tidak memiliki padanan dalam kartu Jais 3.

• Sebuah produk seputar model. QCRI merilis antarmuka obrolan, aplikasi iOS dan Android, serta API terdokumentasi dengan alur permintaan akses, plus model-model sejenis untuk pembuatan gambar, pemahaman gambar, dan puisi. Jais 3 adalah rilis bobot dengan resep framework; model ucapan berada di sampingnya, dan sisanya adalah artefak penelitian.

Itu adalah perbedaan kemampuan, bukan perbedaan tolok ukur, dan penafsiran yang wajar adalah bahwa Fanar 2 lebih matang sebagai produk sementara Jais 3 lebih ambisius sebagai model.

Apa yang sebenarnya dikatakan oleh kolom agentic, dengan tanda bintang yang disertakan

Tabel milik IFM sendiri adalah satu-satunya perbandingan langsung yang dipublikasikan antara kedua model ini dan itu tidak menyanjung Fanar: Terminal Bench 2.1 pada 63,7 berbanding 1,1, GDPVal pada 75,5 berbanding 0,0, MCPMark 66,1 berbanding 12,1, SWE-Bench Verified 72,4 berbanding 0,4, pemrosesan berkas Arab 71,8 berbanding 0,0.

Baca itu sebagai apa adanya. Itu adalah pengukuran IFM terhadap model pesaing, dijalankan oleh IFM, pada harness milik IFM, dan diterbitkan di kartu model IFM. Nilai nol pada GDPVal dan 0,4 pada SWE-Bench Verified untuk model instruct 27B adalah masuk akal — ini adalah tolok ukur agentik yang menghukum model tanpa data pelatihan tool-call dalam skala besar, dan pekerjaan agentik Fanar 2 berorientasi pada sepuluh alatnya sendiri alih-alih tugas perangkat lunak umum. Tetapi laboratorium yang melaporkan bahwa modelnya sendiri memenangi setiap baris tabel yang dibuatnya sedang memberi tahu Anda tentang evaluasinya, bukan tentang dunia.

Pernyataan yang dapat dipertahankan itu lebih sempit: pada harness yang dipublikasikan IFM, Jais-3-32B mengungguli Fanar-2-27B-Instruct pada setiap benchmark agentic yang dilaporkan, dan kartu Fanar sama sekali tidak melaporkan benchmark agentic, sehingga tidak ada yang membantahnya dan tidak ada pula yang menguatkannya. Bukti yang dipublikasikan bersifat sepihak karena hanya satu pihak yang mempublikasikannya.

Mana yang harus dipilih

Konteks panjang, pekerjaan agentik, atau kebutuhan untuk memilih ukuran checkpoint: J​ais 3, dan soal konteks ini bukan pilihan yang ketat. Jendela 512K versus 32K dengan sendirinya menentukan pemrosesan dokumen, pekerjaan berskala repositori, dan lintasan agen yang panjang.

Penalaran bahasa Arab yang ingin Anda baca, perilaku menahan diri yang dapat Anda andalkan, penanganan konten Al-Qur'an, atau vendor dengan aplikasi dan jalur dukungan: Fanar 2. Pipeline pasca-pelatihan QCRI benar-benar rumit — 4 juta instruksi SFT, 280 ribu pasangan DPO, lima tahap, proses penyeimbangan kembali kemampuan yang sengaja dilakukan untuk menghentikan adaptasi konteks panjang agar tidak menurunkan tugas-tugas bentuk pendek — dan hal itu tampak dalam dimensi yang tidak ditangkap oleh kolom papan peringkat mana pun.

Jika keputusan itu sulit karena keduanya sama-sama masuk akal untuk beban kerja yang sama, hal yang bisa memutuskannya adalah prompt Anda sendiri, diuji pada keduanya, dan dinilai dengan kriteria Anda sendiri. Itulah eksperimen yang belum diterbitkan siapa pun untuk kedua model ini, dan nilainya lebih berharga daripada semua angka yang dikutip di atas.

Menjalankannya kini lebih sedikit kerja dibanding dulu. OrcaRouter memberi Anda satu kunci untuk 200-an model dengan markup 0%, harga daftar penyedia diteruskan apa adanya, sehingga uji banding antara dua checkpoint bahasa Arab menjadi sekadar perubahan routing alih-alih dua integrasi — dan penilaian item demi item justru merupakan kasus yang tepat dirancang untuk DSL routing, karena hal itu memungkinkan Anda mengirim prompt yang sama ke kedua model dalam satu panggilan gabungan alih-alih menulis harness perbandingan. Saat ini tidak ada keluarga model tersebut di katalog kami; daftar model adalah tempat untuk memeriksa apa yang tersedia.

Apa yang akan menyelesaikan ini?

Satu uji coba independen dari kedua model pada harness bersama, diterbitkan bersama prompt-nya. Itulah yang hilang, dan hal itu hilang untuk setiap model Arab arus utama, bukan hanya kedua model ini — seluruh bidang ini berjalan dengan angka yang dilaporkan sendiri, itulah sebabnya perbedaan delapan poin tentang ArabicMMLU milik Fanar 2 dapat tetap terbuka di publik selama tujuh bulan tanpa ada yang menyelesaikannya. Sampai seseorang melakukannya, anggap tabel Jais 3 sebagai argumen IFM dan tabel Fanar 2 sebagai argumen QCRI, dan anggap fakta arsitektural — 512K versus 32K, tujuh checkpoint versus satu, flag parser versus API yang dihosting — sebagai bagian yang benar-benar dapat Anda jadikan dasar perencanaan.

Yang tidak dapat diberitahukan oleh angka-angka itu adalah apakah ada di antaranya yang bermasalah di lapangan: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan dalam Arsip Insiden AI OrcaRouter, yang setiap entrinya mencantumkan sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda status sengketa.