Jais 3 Hadir di vLLM Sebelum Hadir di Siaran Pers

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Resepnya nyata, dan spesifik.

Pengumuman dukungan framework biasanya berupa satu kalimat dan satu tautan. Yang ini memiliki konten yang dapat dieksekusi, yang layak dibaca dengan saksama karena memberi tahu Anda berapa biaya deployment sebenarnya sebelum Anda mengunduh bobot sekitar 700-an gigabita.

• vLLM — resep ini menargetkan vllm>=0.30.0/. Flagship 375B memerlukan --tensor-parallel-size 16 --enable-expert-parallel/ pada checkpoint bfloat16, yaitu 16× H100 80GB di dua node 8-GPU dalam deployment referensi milik IFM sendiri.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — resep paralel ini menargetkan sglang>=0.5.20/, dengan konfigurasi dua-node 375B yang menjalankan TP=16 dan EP=16, FlashAttention-3, serta pemuatan bobot multithread yang secara eksplisit dinonaktifkan.

• H200 mengubah perhitungannya — pada 141GB per GPU, model unggulan itu muat dalam satu node H200 8-GPU. Kartu IFM menyatakan untuk menurunkan paralelisme tensor dan expert menjadi 8 dalam kasus itu. Satu node alih-alih dua bukanlah selisih pembulatan dalam model biaya.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Yang membuat dukungan ini lebih dari sekadar centang kompatibilitas adalah bahwa arsitekturnya benar-benar kustom. Konfigurasi Hub mendeklarasikan model_type: k2_horizon/ dan K2HorizonForCausalLM/ dengan kode remote kustom, varian 375B yang membawa 192 expert dan merutekan 8 per token. Itu adalah jenis model yang biasanya baru hadir di sebuah framework berminggu-minggu setelah peluncuran dengan daftar patch di catatan rilis, bukan dengan resep yang sudah dimasukkan ke repositori dan bertanggal sebelum siaran pers.

Agentic berbahasa Arab asli, dalam flag yang sebenarnya diterimanya

"'Agentic' adalah kata dalam judul pengumuman, dan perintah serving adalah tempat Anda bisa menguji apakah kata itu berarti sesuatu. Sebagian besar memang berarti.

• --reasoning-parser k2_horizon/ memisahkan jejak pemikiran dari jawaban. Pemikiran dikembalikan dalam reasoning_content/ dan jawabannya dalam content/, yang merupakan perbedaan antara rantai pemikiran yang dapat Anda catat dan yang harus Anda keluarkan dengan regex dari isi respons.

• --tool-call-parser k2_horizon/ dengan --enable-auto-tool-choice/ mengaktifkan penggunaan alat, dan model mendukung tiga format pemanggilan alat — json/, xml/ dan xml_typed/ — dapat dipilih per permintaan melalui chat_template_kwargs/, dengan nilai default xml/.

• Kedalaman penalaran adalah pengaturan per-permintaan, bukan keputusan penerapan. {"reasoning_effort": "high"}/ adalah default dan yang digunakan untuk menghasilkan setiap angka yang dipublikasikan; "low"/ menonaktifkan pemikiran sepenuhnya, dan kartu IFM sendiri menyatakan low tidak direkomendasikan di luar riset tentang upaya penalaran.

• Parameter sampling berganti berdasarkan bahasa, yang tidak biasa dan layak diperhatikan. Nilai default adalah temperature 0.2, top_p 0.95, top_k 20. Dalam mode thinking, IFM meminta temperature 1.0 untuk bahasa Inggris dan 0.7 untuk bahasa Arab. Satu pengaturan temperature global adalah konfigurasi yang salah untuk model ini.

• Anggaran output besar. Kartu ini merekomendasikan setidaknya 32,768 token output — petunjuk kuat tentang berapa lama jejak penalaran berjalan, dan kendala nyata pada batas waktu per permintaan Anda jika Anda terbiasa dengan penyelesaian 4K.

Apa yang sebenarnya dikirim oleh keluarga

Enam checkpoint dasar, bukan satu. Sebarannya lebih penting daripada model andalan, karena itu menentukan apakah keluarga ini hanyalah artefak riset atau sesuatu yang bisa Anda gunakan untuk menjalankan beban kerja.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Format terkuantisasi dan edge sudah dirilis — build FP8, GGUF untuk llama.cpp dan Ollama, serta MLX 4-bit, 8-bit, dan bf16 untuk Apple silicon, dipublikasikan di seluruh organisasi IFM. Build MLX untuk 32B dirilis pada 1 Oktober, build GGUF untuk 3.7B dan 7B pada 13 Oktober. Tidak ada yang menunggu rilis lanjutan untuk menjalankannya secara lokal.

• Lisensi Apache 2.0 berlaku di seluruh keluarga dasar, tanpa pembatasan akses pada repositori inception42. Itu merupakan posisi yang berbeda secara material dari beberapa model Arab yang kini menjadi pesaing keluarga ini.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Angka-angka itu milik vendor, dan vendor ini mengauditnya

Setiap angka benchmark di bawah ini berasal dari kartu model IFM sendiri dan belum direproduksi oleh pihak ketiga. Kalimat itu perlu diletakkan di depan angka-angka tersebut, bukan setelahnya.

• Arabic MMLU, unggulan: 89.3. Arabic MMLU dengan diakritik: 88.2.

Belebele: 95.6. MMLU Bahasa Arab Dialek: 89.6. Identifikasi dialek (QADI): 71.1. Alyah: 87.6.

• AraSTEM: 95,5. GSM8K Arab: 86,8. GATmath: 98,4.

• IFBench Arab, ketat pada tingkat prompt: 93.9. IFEval Arab: 77.7. FLORES200+ LLM sebagai juri: 91.9.

• Agentik: Terminal Bench 2.1 pada 73,8, GDPVal pada 73,2, MCPMark pada 68,5, SWE-Bench Verified (offline) pada 70,2, GAIA v2 lit (Arab) pada 50,3. Apex-Agents-lah yang menjaga lembar ini tetap jujur di angka 18,6.

Catatan metodologi adalah bagian yang layak mendapat penghargaan. IFM menandai tolok ukur yang telah diaudit untuk kualitas sampel, dengan pertanyaan ambigu, opsi jawaban yang tidak valid, dan label emas yang tak dapat dipertanggungjawabkan dikecualikan, dan IFM menerbitkan metodologi audit, sampel yang dikecualikan, serta daftar tolok ukur terverifikasi sebagai koleksi terpisah. Ini bukan tinjauan sejawat dan tidak membuat skor vendor menjadi independen, tetapi lab yang memberi tahu Anda angka mana dari miliknya sendiri yang telah dibersihkan adalah lab yang dapat Anda baca dengan lebih percaya diri daripada lab yang tidak. Skor pada set yang telah dibersihkan juga bukan hal yang sama dengan skor pada tolok ukur sebagaimana biasanya dijalankan, dan tanda berbintang adalah yang perlu diperiksa sebelum Anda membandingkan dengan lembar milik orang lain.

Dua hal yang belum dijawab siapa pun

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Tidak ada evaluasi independen. Artificial Analysis tidak memiliki entri, tidak ada arena yang memposting hasil adu langsung, dan tidak ada papan peringkat netral yang menjalankan keluarga ini. Laporan teknis tercantum di kartu model sebagai "segera hadir", dan begitu pula repositori kodenya. Sampai ada pihak di luar laboratorium yang menjalankan bobot ini, pembacaan yang benar atas nilai 95,5 pada AraSTEM adalah "IFM mengatakan 95,5".

Jika Anda ingin mencobanya sebelum ada tagihan

Bobotnya terbuka dan berlisensi Apache 2.0, jadi evaluasi termurah adalah perangkat keras Anda sendiri — dan resep-resep di atas cukup singkat untuk dijalankan hari ini. Yang lebih sulit adalah menempatkan keluarga ini di balik sesuatu yang nyata, karena Anda harus menyiapkan klaster 16-GPU, atau menyewanya, untuk mengetahui apakah model tanpa skor independen layak masuk ke jalur produksi.

Itulah kasus ketika lapisan perutean membuktikan manfaatnya, bukan sekadar menghias diagram arsitektur. OrcaRouter memberi Anda satu API di lebih dari 200 model dengan failover otomatis, sehingga beban kerja berbahasa Arab dapat mengirim sebagian trafik ke model yang belum terbukti dan membiarkan sesuatu yang sudah terukur menyerap sisanya — evaluasi terjadi terhadap prompt nyata, dan respons buruk atau endpoint yang tidak sehat akan failover alih-alih menjatuhkan permintaan bersamanya. Katalognya layak diperiksa sebelum Anda merencanakan self-host, karena katalognya berubah. Jika sebuah model tidak ada di sana hari ini, mungkin minggu depan, dan halaman harga adalah sumber jujur untuk biaya apa pun setelah model itu ada.

Apa yang perlu diperhatikan selanjutnya bersifat sempit dan spesifik: laporan teknis, repositori kode, angka pertama dari pihak selain IFM, dan harga yang telah dipublikasikan. Salah satu saja dari hal-hal itu akan mengubah artikel ini. Belum satu pun dari semuanya itu terwujud, dan itulah tepatnya alasan mengapa dukungan kerangka kerja hari nol adalah bagian dari peluncuran ini yang saat ini dapat diverifikasi.

Yang tidak dapat diberitahukan oleh angka-angka kepada Anda adalah apakah ada di antaranya yang bermasalah di lapangan: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, tempat setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.