Jais 3 เปิดตัวใน vLLM ก่อนที่จะปรากฏในข่าวประชาสัมพันธ์

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

สูตรอาหารเหล่านี้เป็นของจริง และก็มีความเฉพาะเจาะจง

ประกาศเรื่องการรองรับเฟรมเวิร์กมักมีแค่ประโยคเดียวกับลิงก์หนึ่งลิงก์ แต่ชิ้นนี้มีเนื้อหาที่รันได้จริง ซึ่งคุ้มค่าที่จะอ่านให้ละเอียด เพราะมันบอกคุณว่าการดีพลอยจริงมีต้นทุนเท่าไร ก่อนที่คุณจะดาวน์โหลดเวตของโมเดลราวเจ็ดร้อยกว่ากิกะไบต์

• vLLM — สูตรเหล่านี้อ้างอิงถึง vllm>=0.30.0/ รุ่นเรือธง 375B ต้องใช้ --tensor-parallel-size 16 --enable-expert-parallel/ บนเช็กพอยต์แบบ bfloat16 ซึ่งก็คือ 16× H100 80GB กระจายอยู่บนสองโหนดแบบ 8-GPU ในการติดตั้งอ้างอิงของ IFM เอง

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — สูตรการรันแบบขนานกำหนดเป้าหมายที่ sglang>=0.5.20/, โดยที่การกำหนดค่าสองโหนด 375B รัน TP=16 และ EP=16, FlashAttention-3 และปิดใช้งานการโหลดน้ำหนักแบบหลายเธรดอย่างชัดเจน

• H200 เปลี่ยนวิธีคิดเลข — ที่ 141GB ต่อ GPU รุ่นเรือธงสามารถพอดีกับโหนด H200 แบบ 8 GPU เพียงโหนดเดียว การ์ดของ IFM ระบุว่าในกรณีนั้นให้ลด tensor และ expert parallelism ลงเหลือ 8 การใช้หนึ่งโหนดแทนสองโหนดไม่ใช่ความต่างเล็กน้อยในโมเดลต้นทุน

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

สิ่งที่ทำให้การรองรับนี้เป็นมากกว่าการติ๊กช่องความเข้ากันได้ คือสถาปัตยกรรมนี้เป็นแบบกำหนดเองอย่างแท้จริง คอนฟิกบน Hub ประกาศ model_type: k2_horizon/ และ K2HorizonForCausalLM/ พร้อมโค้ดระยะไกลที่กำหนดเอง โดยรุ่น 375B มี 192 เอ็กซ์เพิร์ต และจัดเส้นทาง 8 ตัวต่อโทเค็น นั่นคือโมเดลประเภทที่ปกติจะมาถึงเฟรมเวิร์กหลังจากเปิดตัวไปหลายสัปดาห์ พร้อมรายการแพตช์ในบันทึกการออกรุ่น ไม่ใช่มาพร้อมสูตรที่เช็กอินไว้ซึ่งลงวันที่ก่อนข่าวประชาสัมพันธ์

เอเจนติกที่เป็นภาษาอาหรับโดยกำเนิด ในแฟล็กที่มันรับจริง

“Agentic” เป็นคำที่อยู่ในพาดหัวประกาศ และคำสั่ง serving คือจุดที่คุณทดสอบได้ว่ามันมีความหมายจริงหรือไม่ โดยส่วนใหญ่แล้วมันก็มีความหมาย

• --reasoning-parser k2_horizon/ แยกส่วนร่องรอยการคิดออกจากคำตอบ โดยการคิดจะถูกส่งกลับมาใน reasoning_content/ และคำตอบอยู่ใน content/ ซึ่งเป็นความแตกต่างระหว่าง chain of thought ที่คุณบันทึกเป็น log ได้ กับแบบที่คุณต้องใช้ regex ดึงออกมาจาก response body

• --tool-call-parser k2_horizon/ พร้อมกับ --enable-auto-tool-choice/ จะเปิดใช้งานการใช้เครื่องมือ และโมเดลรองรับรูปแบบการเรียกใช้เครื่องมือสามรูปแบบ — json/, xml/ และ xml_typed/ — ซึ่งเลือกได้เป็นรายคำขอผ่าน chat_template_kwargs/ โดยค่าเริ่มต้นเป็น xml/.

• ความลึกของการให้เหตุผลเป็นการตั้งค่าต่อคำขอ ไม่ใช่การตัดสินใจระดับการติดตั้งใช้งาน {"reasoning_effort": "high"}/ เป็นค่าเริ่มต้นและเป็นค่าที่ใช้สร้างตัวเลขทุกตัวที่เผยแพร่; "low"/ ปิดการคิดโดยสิ้นเชิง และการ์ดของ IFM เองระบุว่าไม่แนะนำให้ใช้ low นอกเหนือจากงานวิจัยเกี่ยวกับความพยายามในการให้เหตุผล

• พารามิเตอร์การสุ่มจะสลับกันไปตามภาษา ซึ่งเป็นเรื่องผิดปกติและควรจับตาดู ค่าเริ่มต้นคือ temperature 0.2, top_p 0.95, top_k 20 ในโหมดคิด IFM กำหนดให้ใช้ temperature 1.0 สำหรับภาษาอังกฤษ และ 0.7 สำหรับภาษาอาหรับ การตั้งค่า temperature แบบ global เพียงค่าเดียวถือเป็นการกำหนดค่าที่ผิดสำหรับโมเดลนี้

• งบประมาณเอาต์พุตมีขนาดใหญ่ การ์ดแนะนำอย่างน้อย 32,768 โทเคนเอาต์พุต — เป็นเบาะแสที่ชัดเจนว่าเส้นทางการให้เหตุผลนั้นยาวนานเพียงใด และเป็นข้อจำกัดที่แท้จริงต่อไทม์เอาต์ต่อคำขอของคุณ หากคุณคุ้นเคยกับคอมพลีชันขนาด 4K

สิ่งที่ครอบครัวได้รับจริง

เช็กพอยต์พื้นฐานหกตัว ไม่ใช่ตัวเดียว การกระจายตัวสำคัญกว่าเรือธง เพราะมันเป็นตัวกำหนดว่าตระกูลนี้เป็นเพียงผลงานวิจัยหรือเป็นสิ่งที่คุณนำไปรองรับเวิร์กโหลดได้จริง

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• รูปแบบควอนไทซ์และเอดจ์ออกแล้ว — บิลด์ FP8, GGUF สำหรับ llama.cpp และ Ollama รวมถึง MLX 4-bit, 8-bit และ bf16 สำหรับ Apple silicon เผยแพร่ทั่วทั้งองค์กร IFM บิลด์ MLX สำหรับ 32B เปิดตัวเมื่อวันที่ 1 ตุลาคม ส่วนบิลด์ GGUF สำหรับ 3.7B และ 7B เมื่อวันที่ 13 ตุลาคม ไม่มีใครต้องรอรีลีสรอบถัดไปเพื่อรันสิ่งเหล่านี้ในเครื่อง

• สัญญาอนุญาตเป็น Apache 2.0 ทั่วทั้งตระกูลฐาน โดยไม่มีการจำกัดการเข้าถึงบนรีโพซิทอรีของ inception42 ซึ่งเป็นจุดยืนที่แตกต่างอย่างมีนัยสำคัญจากโมเดลภาษาอาหรับหลายตัวที่ตระกูลนี้แข่งขันด้วยในตอนนี้

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

ตัวเลขเป็นของผู้ขาย และผู้ขายรายนี้เป็นผู้ตรวจสอบตัวเลขเหล่านั้น

ตัวเลข benchmark ทุกตัวด้านล่างมาจากโมเดลการ์ดของ IFM เอง และยังไม่ถูกทำซ้ำโดยบุคคลที่สาม ประโยคนั้นต้องอยู่หน้าตัวเลข ไม่ใช่หลังตัวเลข

• อาหรับ MMLU รุ่นเรือธง: 89.3 อาหรับ MMLU พร้อมเครื่องหมายสระ: 88.2

• Belebele: 95.6. Dialectal Arabic MMLU: 89.6. การระบุภาษาถิ่น (QADI): 71.1. Alyah: 87.6.

• AraSTEM: 95.5. GSM8K ภาษาอาหรับ: 86.8. GATmath: 98.4.

• IFBench ภาษาอาหรับ, ความเข้มงวดระดับพรอมป์ต์: 93.9. IFEval ภาษาอาหรับ: 77.7. FLORES200+ LLM-as-a-judge: 91.9.

• Agentic: Terminal Bench 2.1 ที่ 73.8, GDPVal ที่ 73.2, MCPMark ที่ 68.5, SWE-Bench Verified (offline) ที่ 70.2, GAIA v2 lit (Arabic) ที่ 50.3. Apex-Agents เป็นตัวที่ทำให้ตารางคะแนนซื่อสัตย์ที่ 18.6

บันทึกวิธีการคือส่วนที่ควรค่าแก่การยกเครดิต IFM จะทำเครื่องหมายรับรอง基準ที่ได้รับการตรวจสอบคุณภาพตัวอย่างแล้ว โดยคำถามที่คลุมเครือ ตัวเลือกคำตอบที่ไม่สมเหตุสมผล และป้ายกำกับเฉลยมาตรฐานที่ป้องกันไม่ได้จะถูกตัดออก และเผยแพร่วิธีการตรวจสอบ ตัวอย่างที่ถูกตัดออก และรายการ基準ที่ผ่านการตรวจสอบเป็นคอลเลกชันแยกต่างหาก นี่ไม่ใช่การทบทวนโดยผู้ทรงคุณวุฒิ และไม่ได้ทำให้คะแนนของผู้ขายเป็นอิสระ แต่ห้องปฏิบัติการที่บอกคุณว่าตัวเลขใดของตัวเองที่มันทำความสะอาดแล้ว คือห้องปฏิบัติการที่คุณอ่านได้อย่างมั่นใจมากกว่าห้องปฏิบัติการที่ไม่บอก คะแนนบนชุดข้อมูลที่ทำความสะอาดแล้วก็ไม่ใช่สิ่งเดียวกับคะแนนบน基準ที่รันกันทั่วไปเช่นกัน และเครื่องหมายที่มีดาวคือสิ่งที่ต้องตรวจสอบก่อนที่คุณจะเปรียบเทียบกับตารางของคนอื่น

สองเรื่องที่ยังไม่มีใครตอบ

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

ไม่มีการประเมินที่เป็นอิสระ Artificial Analysis ไม่มีรายการใด ๆ ไม่มีอารีนาใดโพสต์ผลการเปรียบเทียบแบบตัวต่อตัว และไม่มีกระดานจัดอันดับที่เป็นกลางใดรันตระกูลนี้ รายงานทางเทคนิคถูกระบุไว้บนการ์ดโมเดลว่า "เร็ว ๆ นี้" และที่เก็บโค้ดก็เช่นกัน จนกว่าจะมีบางอย่างจากภายนอกแล็บรันเวตเหล่านี้ การตีความค่า 95.5 บน AraSTEM ที่ถูกต้องคือ "IFM กล่าวว่า 95.5"

ถ้าคุณอยากลองใช้ก่อนที่จะมีบิล

เวตนั้นเปิดและใช้ Apache 2.0 ดังนั้นการประเมินที่ถูกที่สุดคือฮาร์ดแวร์ของคุณเอง — และสูตรด้านบนก็สั้นพอที่จะรันได้วันนี้ สิ่งที่ยากกว่าคือการผลักดันตระกูลนี้ให้รองรับบางสิ่งที่เป็นจริง เพราะคุณจะต้องตั้งคลัสเตอร์ 16 GPU ขึ้นมา หรือไม่ก็เช่ามัน เพื่อดูว่าโมเดลที่ไม่มีคะแนนประเมินอิสระควรอยู่ในเส้นทางโปรดักชันหรือไม่

นั่นคือกรณีที่ชั้นการกำหนดเส้นทางพิสูจน์คุณค่าของตัวเองได้จริง แทนที่จะเป็นเพียงของประดับในแผนภาพสถาปัตยกรรม OrcaRouter มอบ API เดียวที่ครอบคลุมโมเดลกว่า 200 รายการ พร้อมด้วยการสลับไปใช้ระบบสำรองอัตโนมัติ ดังนั้นเวิร์กโหลดภาษาอาหรับจึงสามารถส่งทราฟฟิกส่วนหนึ่งไปยังโมเดลที่ยังไม่ได้พิสูจน์ และปล่อยให้สิ่งที่ผ่านการวัดผลมาแล้วรับส่วนที่เหลือไว้ — การประเมินจะเกิดขึ้นกับพรอมป์ต์จริง และคำตอบที่ไม่ดีหรือปลายทางที่ไม่พร้อมใช้งานจะสลับไปใช้ระบบสำรองแทนที่จะลากคำขอนั้นให้ล่มไปด้วย แคตตาล็อกนี้คุ้มค่าที่จะตรวจสอบก่อนที่คุณจะวางแผนโดยอิงกับการโฮสต์เอง เพราะมันเปลี่ยนแปลงอยู่ตลอด ถ้าโมเดลไหนยังไม่อยู่ในนั้นวันนี้ อีกสัปดาห์หน้ามันอาจจะอยู่ และหน้าเพจราคาคือแหล่งข้อมูลที่ตรงไปตรงมาสำหรับค่าใช้จ่ายของสิ่งใดก็ตามเมื่อมันอยู่แล้ว

สิ่งที่ต้องจับตาต่อไปนั้นแคบและเฉพาะเจาะจง: รายงานทางเทคนิค, คลังโค้ด, ตัวเลขชุดแรกจากคนที่ไม่ใช่ IFM และราคาที่ประกาศแล้ว สิ่งใดสิ่งหนึ่งในนั้นจะเปลี่ยนเนื้อหาชิ้นนี้ได้ ไม่มีสิ่งใดเกิดขึ้นจริงเลย ซึ่งนั่นคือเหตุผลว่าทำไมการรองรับเฟรมเวิร์กตั้งแต่ Day Zero จึงเป็นส่วนหนึ่งของการเปิดตัวครั้งนี้ที่ตรวจสอบยืนยันได้ในตอนนี้

สิ่งที่ตัวเลขบอกคุณไม่ได้คือว่ามีสิ่งใดผิดพลาดไปในการใช้งานจริงหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้เกี่ยวกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง