Jais 3 vs SILMA 9B: Tantangan Model Antara Dua Era AI Arab yang Berbeda

Buka SILMA AI, situs webnya dan produk unggulan yang ditampilkannya adalah SILMA TTS v2.0, model text-to-speech yang mengklaim waktu-ke-token-pertama 170 ms untuk agen suara. Gulir ke footer dan masih ada tautan ke papan peringkat LLM Arab, dan model yang disebut dalam pertandingan ini — SILMA-9B-Instruct-v1.0, model instruct bilingual 9B Arab dan Inggris dari organisasi silma-ai/ — masih ada di Hub. Model itu dipublikasikan pada 17 Agustus 2024. Di hadapannya ada Jais 3, keluarga dari Institute of Foundation Models dan Inception42 yang bobotnya dirilis pada 29 September 2026 dan yang resep penyajiannya distempel 5 Oktober. Itu adalah selisih dua puluh lima bulan dan perubahan kategori industri, dan itu menjadikannya halaman paling aneh dalam kumpulan ini: bukan pertarungan antara dua rival, melainkan antara sebuah checkpoint dari era ketika LLM Arab dinilai berdasarkan log-likelihood pada benchmark terjemahan dan keluarga 2026 yang menyertakan parser penalaran dan jendela konteks 512K. Perbandingan ini tetap layak dilakukan, karena tim masih menjalankan SILMA 9B, dan pertanyaan tentang apa yang diperlukan untuk menggantikannya adalah pertanyaan nyata.

Apa sebenarnya masing-masing pihak itu

• Jais 3 adalah sebuah keluarga, bukan model — enam checkpoint dasar, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B dan Jais-3-375B-A23B, ditambah -Uno/ varian, semuanya Apache 2.0 dan semuanya tanpa pembatasan. Model dense dibangun di atas arsitektur khusus k2_horizon/ yang memerlukan trust-remote-code.

• SILMA 9B adalah satu checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ adalah turunan Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — dengan lima shard safetensors, tag pipeline percakapan, dan bahasa Arab serta Inggris dinyatakan sebagai bahasanya.

• Lisensi adalah perbedaan praktis yang paling mencolok. Jais 3 adalah Apache 2.0 tanpa gerbang. SILMA 9B membawa lisensi Gemma dan gerbang pengakuan: extra_gated_button_content/ kolom pada kartu berarti Anda menerima ketentuan sebelum bobot menjadi milik Anda, dan lisensi Gemma membawa pembatasan penggunaan yang tidak dimiliki Apache 2.0.

• Keluarga yang menggantikannya kecil. Rilis-rilis selanjutnya dari SILMA AI adalah SILMA-Kashif-2B-Instruct-v1.0 dari Januari 2025 dan sepasang model embedding dari Oktober 2024. Tidak ada penerus SILMA 9B, tidak ada 27B, tidak ada varian MoE. Artefak terbaru organisasi ini, jauh lebih baru daripada yang lain, adalah silma-tts/ dari Maret 2026.

• Konteks — hingga 524.288 token di sebagian besar lini Jais 3, 128K pada 0.9B. Kartu SILMA sama sekali tidak mencantumkan angka panjang konteks.

Masalah tolok ukur, yang dinyatakan sebelum angka apa pun dikutip.

Hasil yang dipublikasikan SILMA 9B berasal dari budaya pengukuran yang berbeda dari Jais 3, dan perbedaannya bukan sekadar soal derajat.

• Angka-angka SILMA adalah skor log-likelihood pada harness Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ terhadap Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4), ditambah sederet benchmark terjemahan. Skor utamanya sendiri adalah skor Arabic Broad Benchmark sebesar 6.15 dari 10.

• Angka Jais 3 adalah akurasi jawaban yang dihasilkan pada kumpulan sampel yang diaudit. IFM melaporkan MMLU bahasa Arab sebesar 89,3 untuk 375B, 88,6 untuk 32B, 85,2 untuk 7B, dan 83,3 untuk 3,7B, dengan tanda bintang menandai tolok ukur yang dibersihkannya dari pertanyaan ambigu, opsi tidak valid, dan label emas yang tidak dapat dipertahankan — dan lembaga itu menerbitkan sampel yang dikecualikan.

• Ini bukan pengukuran yang sama. Penilaian log-likelihood pilihan ganda dan akurasi jawaban yang dihasilkan pada kumpulan yang telah dibersihkan tidak akan sepakat, dan selisih di antara keduanya bukanlah ukuran kualitas model. Menempatkan 85,2 di sebelah 52,55 lalu menyebutnya sebagai kemenangan 33 poin akan menjadi satu-satunya kalimat paling menyesatkan yang tersedia di halaman ini, dan justru itulah kalimat yang paling mungkin ditulis oleh artikel-artikel perbandingan.

• Keduanya tidak memiliki skor independen. Tidak ada entri Artificial Analysis untuk keduanya. Tidak ada hasil arena. Setiap angka di bagian ini dilaporkan oleh vendor, yaitu pihak lab mana pun yang menerbitkannya, dan angka Jais 3 juga disertai catatan kaki IFM sendiri bahwa pengaturan upaya penalaran yang digunakan adalah tinggi/ untuk setiap proses.

Perbandingan yang dipadankan berdasarkan ukuran itulah yang berarti

Jika SILMA 9B adalah yang Anda miliki, kandidat pengganti Jais 3 yang jujur adalah Jais-3-7B atau Jais-3-3.7B, bukan varian flagship. Keduanya dense, keduanya berjalan pada tensor parallelism 1 dalam bfloat16 di resep vLLM, dan keduanya tidak memerlukan gating.

• Jejak — Jais-3-7B pada TP=1 di satu GPU versus Gemma 2 9B lima shard milik SILMA 9B. Biaya hosting yang sebanding, sehingga peningkatan ini menjadi pertanyaan tentang kualitas dan kapabilitas, bukan tentang perangkat keras.

• Konteks — 524.288 token untuk Jais-3-7B, sedangkan untuk SILMA 9B tidak ada angka yang dipublikasikan. Inilah baris tempat beban kerja diarsitekturkan ulang, bukan diport.

• Build edge dan terkuantisasi — GGUF untuk llama.cpp dan Ollama pada 3.7B maupun 7B, serta MLX 4-bit, 8-bit, dan bf16 untuk Apple silicon. SILMA 9B memiliki konversi GGUF, tetapi itu adalah unggahan pihak ketiga dari tahun 2024 dan vendor tidak memublikasikan satu pun.

• Aspek khusus bahasa Arab — IFM menerbitkan rangkaian tolok ukur bahasa Arab yang lengkap untuk setiap checkpoint, mencakup dialek, diakritisasi, parsing, IslamicQA, budaya Arab, dan penerjemahan. Kartu SILMA melaporkan melalui kolom agregat papan peringkat dan skor tolok ukur luasnya sendiri, dengan detail per kemampuan yang jauh lebih sedikit.

• Lisensi — Apache 2.0 versus lisensi Gemma ditambah gerbang. Untuk pipeline bahasa Arab komersial, perbedaan itu saja dapat menentukan migrasi.

Apa yang Masih Menjadi Keunggulan SILMA 9B

Dua hal, dan tidak satu pun merupakan tolok ukur.

• Ini adalah Gemma. Sebuah gemma2/ checkpoint berjalan di setiap stack yang sudah menjalankan Gemma 2 — tanpa --trust-remote-code/, tanpa flag parser kustom, tanpa implementasi model spesifik arsitektur. Jais 3 membutuhkan trust-remote-code, sebuah k2_horizon/ parser penalaran, sebuah k2_horizon/ parser panggilan alat, dan sampling yang bergantung pada bahasa: suhu 1.0 untuk bahasa Inggris dan 0.7 untuk bahasa Arab dalam mode berpikir dibandingkan default 0.2, dengan setidaknya 32.768 token output yang direkomendasikan. Porting adalah pekerjaan nyata.

• Ini stabil, dan ada papan peringkat di sekitarnya. SILMA AI memelihara ruang Arabic LLM Broad Leaderboard, dan checkpoint berusia dua tahun memiliki kisah produksi dua tahun yang melekat padanya. Itu bukan hal yang kecil ketika alternatifnya adalah model yang dirilis tiga minggu lalu tanpa evaluasi pihak ketiga, tanpa laporan teknis — IFM mencantumkannya sebagai segera hadir — dan tanpa harga yang dipublikasikan.

Keputusan migrasi, dan cara membuatnya dapat dibalik

Gantilah SILMA 9B jika beban kerja Anda berupa dokumen berkonteks panjang, penggunaan alat agentik, atau cukup sensitif secara komersial sehingga lisensi Gemma menjadi masalah. Baris konteksnya saja sudah cukup menjadi alasan: model tanpa angka konteks yang dipublikasikan dibandingkan dengan model yang mencapai setengah juta token bukanlah pilihan yang sulit untuk pekerjaan dokumen.

Pertahankan jika pipeline-nya sudah mapan, lisensi Gemma sudah dibereskan, dan semuanya berjalan di transformers standar — karena penyeimbang jujur terhadap tabel benchmark Jais 3 adalah bahwa tabel itu milik IFM, modelnya berusia tiga minggu, dan tidak ada angka independen di balik semua itu. Meningkatkan jalur produksi Arab yang sudah berjalan ke checkpoint berusia tiga minggu hanya dengan mengandalkan angka dari vendor adalah kesalahan yang ingin dicegah oleh perbandingan ini.

Cara untuk mendapatkan keduanya adalah dengan menjalankannya berdampingan terlebih dahulu, dan alasan hal itu dulu mahal adalah karena berarti dua integrasi dan harness perbandingan. OrcaRouter meruntuhkan itu: satu API untuk 200-plus model dengan markup 0%, harga daftar penyedia diteruskan, sehingga uji banding menjadi perubahan routing, bukan proyek — dan DSL routing adalah alat yang tepat untuk pekerjaan spesifik mengirim prompt Arab yang identik ke dua model dan menilai jawabannya, karena ia menyusunnya menjadi satu panggilan dan mengembalikan keduanya. Failover otomatis adalah yang membuat langkah berikutnya aman, memungkinkan model yang baru diterbitkan mengambil sebagian trafik nyata sementara model Anda yang sudah mapan menyerap sisanya dan menangkap permintaan yang tidak ditangani model baru itu. Tidak ada dari kedua model itu yang ada di katalog kami saat ini; daftar model adalah tempat untuk melihat sebelum merancang seputar self-host.

Apa yang harus ditonton

Empat hal, dalam urutan seberapa besar hal-hal itu akan mengubah halaman ini. Penerus SILMA 9B, yang akan mengubah ketidakcocokan kategori kembali menjadi pertarungan yang sesungguhnya. Evaluasi independen apa pun terhadap checkpoint Jais 3, yang akan membuat seluruh bagian benchmark menjadi tidak perlu. Laporan teknis IFM, yang saat ini terdaftar sebagai segera hadir. Dan harga yang dipublikasikan untuk Jais 3, yang tidak ada di mana pun. Sampai setidaknya salah satu dari hal-hal itu terwujud, pembacaan yang dapat dipertahankan dari perbandingan ini adalah arsitektural — lisensi, gating, konteks, perkakas, tangga ukuran — dan skor-skor tersebut harus dibaca sebagai dua lab yang mengukur dua hal berbeda pada dua tahun berbeda.