Jais 3 cập bến vLLM trước khi xuất hiện trên thông cáo báo chí

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Các công thức nấu ăn là thật, và chúng rất cụ thể.

Các thông báo hỗ trợ framework thường chỉ là một câu và một liên kết. Cái này có nội dung có thể thực thi, đáng đọc kỹ vì nó cho bạn biết chi phí thực sự của việc triển khai trước khi bạn tải xuống hơn 700 GB trọng số.

• vLLM — các recipe nhắm đến vllm>=0.30.0/. Mô hình chủ lực 375B cần --tensor-parallel-size 16 --enable-expert-parallel/ trên checkpoint bfloat16, tức 16× H100 80GB trên hai node 8-GPU trong triển khai tham chiếu của chính IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — công thức song song này nhắm tới sglang>=0.5.20/, với cấu hình 375B hai nút chạy TP=16 và EP=16, FlashAttention-3, và tính năng tải trọng số đa luồng bị tắt tường minh.

• H200 thay đổi cách tính toán — với 141GB mỗi GPU, mẫu flagship vừa vặn trên một node H200 8 GPU duy nhất. Card của IFM nói rằng trong trường hợp đó, hãy giảm tensor và expert parallelism xuống 8. Một node thay vì hai không phải là khác biệt nhỏ nhặt trong một mô hình chi phí.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Điều khiến sự hỗ trợ này vượt ra ngoài một ô đánh dấu tương thích là ở chỗ kiến trúc thực sự là tùy chỉnh. Các cấu hình trên Hub khai báo model_type: k2_horizon/ và K2HorizonForCausalLM/ với mã từ xa tùy chỉnh, bản 375B mang 192 chuyên gia và định tuyến 8 chuyên gia mỗi token. Đó là kiểu mô hình mà bình thường phải nhiều tuần sau khi ra mắt mới xuất hiện trên một framework, kèm danh sách bản vá trong ghi chú phát hành, chứ không phải với một công thức đã được check-in có ngày trước cả thông cáo báo chí.

Agentic bản địa tiếng Ả Rập, ở đúng những flag mà nó thực sự nhận.

"Agentic" là từ nằm trong tiêu đề thông báo, và các lệnh serving chính là nơi bạn có thể kiểm chứng liệu nó có ý nghĩa gì hay không. Phần lớn thì đúng là có.

• --reasoning-parser k2_horizon/ tách dấu vết suy luận khỏi câu trả lời. Phần suy luận được trả về trong reasoning_content/ và câu trả lời trong content/, đây là sự khác biệt giữa một chuỗi suy luận mà bạn có thể ghi log và một chuỗi mà bạn phải dùng regex để trích xuất khỏi phần thân phản hồi.

• --tool-call-parser k2_horizon/ với --enable-auto-tool-choice/ bật tính năng sử dụng công cụ, và mô hình hỗ trợ ba định dạng gọi công cụ — json/, xml/ và xml_typed/ — có thể chọn cho mỗi yêu cầu thông qua chat_template_kwargs/, mặc định là xml/.

• Độ sâu suy luận là một thiết lập theo từng yêu cầu, không phải là quyết định triển khai. {"reasoning_effort": "high"}/ là mặc định và là cấu hình mà mọi con số đã công bố đều được tạo ra bằng; "low"/ tắt hoàn toàn việc suy nghĩ, và card của chính IFM nói rằng low không được khuyến nghị ngoài nghiên cứu về nỗ lực suy luận.

• Các tham số lấy mẫu thay đổi theo ngôn ngữ, điều này khá bất thường và đáng để lưu ý. Mặc định là temperature 0.2, top_p 0.95, top_k 20. Ở chế độ thinking, IFM yêu cầu temperature 1.0 cho tiếng Anh và 0.7 cho tiếng Ả Rập. Một thiết lập temperature chung duy nhất là cấu hình sai đối với model này.

• Ngân sách đầu ra lớn. Thẻ này khuyến nghị tối thiểu 32.768 token đầu ra — một gợi ý mạnh mẽ về độ dài của các vết suy luận, đồng thời là một ràng buộc thực sự đối với thời gian chờ mỗi yêu cầu nếu bạn đã quen với các kết quả hoàn thành 4K.

Những gì gia đình thực sự vận chuyển

Sáu checkpoint nền tảng, chứ không chỉ một. Độ trải rộng quan trọng hơn cả mẫu chủ lực, vì nó quyết định liệu dòng mô hình này là một sản phẩm nghiên cứu hay là thứ bạn có thể đặt phía sau một workload.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Các định dạng lượng tử hoá và edge đã có sẵn — các bản dựng FP8, GGUF cho llama.cpp và Ollama, cùng MLX 4-bit, 8-bit và bf16 cho Apple silicon, đã được phát hành trên toàn tổ chức IFM. Các bản dựng MLX cho 32B ra mắt ngày 1 tháng 10, các bản dựng GGUF cho 3.7B và 7B vào ngày 13 tháng 10. Không ai phải chờ một bản phát hành tiếp theo mới chạy được những thứ này tại máy cục bộ.

• Giấy phép là Apache 2.0 trên toàn bộ dòng cơ sở, không có giới hạn nào đối với các kho lưu trữ inception42. Đó là một lập trường khác biệt đáng kể so với một số mô hình tiếng Ả Rập mà dòng mô hình này hiện đang cạnh tranh.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Các con số là của nhà cung cấp, và chính nhà cung cấp này kiểm toán chúng.

Mọi con số benchmark dưới đây đều đến từ model card của chính IFM và chưa được bên thứ ba tái tạo. Câu đó cần nằm trước các con số, không phải sau chúng.

• Arabic MMLU, bản flagship: 89.3. Arabic MMLU có dấu phụ: 88.2.

• Belebele: 95.6. MMLU tiếng Ả Rập phương ngữ: 89.6. Nhận diện phương ngữ (QADI): 71.1. Alyah: 87.6.

• AraSTEM: 95,5. GSM8K tiếng Ả Rập: 86,8. GATmath: 98,4.

• IFBench tiếng Ả Rập, nghiêm ngặt ở cấp độ prompt: 93.9. IFEval tiếng Ả Rập: 77.7. FLORES200+ LLM-as-a-judge: 91.9.

• Agentic: Terminal Bench 2.1 đạt 73.8, GDPVal đạt 73.2, MCPMark đạt 68.5, SWE-Bench Verified (ngoại tuyến) đạt 70.2, GAIA v2 lit (tiếng Ả Rập) đạt 50.3. Apex-Agents là thứ giữ cho bảng điểm trung thực ở mức 18.6.

Ghi chú phương pháp luận là phần đáng được ghi công. IFM đánh dấu những benchmark đã được kiểm toán về chất lượng mẫu, trong đó các câu hỏi mơ hồ, lựa chọn trả lời không hợp lệ và nhãn vàng không thể biện minh đều bị loại trừ, đồng thời họ công bố phương pháp kiểm toán, các mẫu bị loại và danh sách benchmark đã xác minh thành một bộ sưu tập riêng. Đây không phải là bình duyệt và nó không khiến điểm số của nhà cung cấp trở nên độc lập, nhưng một phòng thí nghiệm cho bạn biết những con số nào của chính họ đã được làm sạch là phòng thí nghiệm bạn có thể đọc với độ tin cậy cao hơn so với một phòng thí nghiệm không làm vậy. Điểm số trên các bộ đã làm sạch cũng không giống với điểm số trên benchmark như cách thường được chạy, và những dấu gắn sao là thứ cần kiểm tra trước khi bạn so sánh với bảng điểm của người khác.

Hai điều chưa ai trả lời

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

Không có đánh giá độc lập nào.Artificial Analysis không có mục nào, không có đấu trường nào công bố kết quả đối đầu, và không có bảng xếp hạng trung lập nào chạy thử dòng mô hình này. Báo cáo kỹ thuật được ghi trên thẻ mô hình là "sắp ra mắt", và kho mã nguồn cũng vậy. Cho đến khi có thứ gì đó bên ngoài phòng thí nghiệm chạy các trọng số này, cách hiểu đúng về mức 95.5 trên AraSTEM là "IFM nói 95.5".

Nếu bạn muốn dùng thử trước khi có hóa đơn

Trọng số thì mở và theo Apache 2.0, nên cách đánh giá rẻ nhất là dùng chính phần cứng của bạn — và các công thức ở trên đủ ngắn để chạy ngay hôm nay. Điều khó hơn là đặt cả họ mô hình này đằng sau một thứ gì đó thực tế, bởi vì bạn sẽ phải dựng lên một cụm 16 GPU, hoặc thuê một cụm, để tìm hiểu xem liệu một mô hình không có điểm số độc lập có thuộc về lộ trình sản xuất hay không.

Đó là trường hợp mà một lớp định tuyến thực sự đáng giá thay vì chỉ để trang trí cho một sơ đồ kiến trúc. OrcaRouter cho bạn một API duy nhất xuyên suốt hơn 200 mô hình với cơ chế tự động chuyển đổi dự phòng, nhờ đó một khối lượng công việc tiếng Ả Rập có thể gửi một phần lưu lượng đến một mô hình chưa được kiểm chứng và để một thứ đã được đo lường đảm nhận phần còn lại — việc đánh giá diễn ra trên các câu lệnh thực tế, và một phản hồi tồi hay một điểm cuối không lành mạnh sẽ được chuyển sang phương án dự phòng thay vì kéo sập cả yêu cầu theo nó. Danh mục này đáng để kiểm tra trước khi bạn lên kế hoạch dựa trên việc tự lưu trữ, bởi vì nó luôn thay đổi. Nếu hôm nay một mô hình chưa có trong đó thì tuần sau nó có thể sẽ xuất hiện, và trang giá là nguồn trung thực cho biết bất cứ thứ gì tốn bao nhiêu một khi nó đã có mặt.

Điều đáng theo dõi tiếp theo thì hẹp và cụ thể: báo cáo kỹ thuật, kho mã nguồn, một con số đầu tiên từ một bên không phải IFM, và một mức giá đã được công bố. Bất kỳ điều nào trong số đó cũng sẽ thay đổi bài viết này. Chưa có điều nào trong số đó xuất hiện, và đó chính xác là lý do vì sao hỗ trợ framework ngay từ ngày đầu lại là phần của đợt ra mắt này hiện có thể kiểm chứng được.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.