Jais 3 vs Fanar 2: Hai nhà cung cấp không đồng ý về điểm số của Fanar 2

Jais 3 và Fanar 2 là hai dòng mô hình tiếng Ả Rập chủ lực của vùng Vịnh, và điều hữu ích nhất mà bất kỳ ai có thể nói với bạn khi so sánh chúng là những con số của chính nhà cung cấp dành cho Fanar-2-27B-Instruct không khớp nhau. Thẻ mô hình của QCRI báo cáo ArabicMMLU đạt 74,67% và Belebele đạt 86,81% cho mô hình instruct 27B của mình. Còn thẻ Jais-3-32B, từ Viện Mô hình Nền tảng và Inception42, lại chạy cùng đối thủ đó trên bảng tham chiếu của riêng mình và đặt Fanar-2-27B ở mức 66,3 trên Arabic MMLU và 61,8 trên Belebele. Đó là khoảng cách tám điểm trên một benchmark và hai mươi lăm điểm trên một benchmark khác, đối với cùng một mô hình, và không con số nào là bịa đặt — chúng là kết quả đầu ra của những harness khác nhau, những định dạng prompt khác nhau, và trong trường hợp của IFM là một tập mẫu đã được kiểm toán. Đây cũng là điều mang tính chỉ dẫn cao nhất trên trang này, bởi vì nó có nghĩa rằng một so sánh giữa Jais 3 và Fanar 2 được dựng nên từ những con số đã công bố thực chất là so sánh hai cách đo lường cũng nhiều như so sánh hai mô hình.

Hai thẻ, nói một cách đơn giản

• J​ais-3-32B — 32B dense decoder-only từ IFM, ngữ cảnh lên tới 524.288 token, Apache 2.0, trọng số được công bố ngày 29 tháng 9 năm 2026. Đi kèm với một bộ phân tích lập luận (k2_horizon), một bộ phân tích gọi công cụ, và ba định dạng gọi công cụ có thể lựa chọn. Phục vụ ở chế độ tensor parallelism 2 với bfloat16.

• Fanar-2-27B-Instruct — mô hình dense 27B từ QCRI tại Đại học Hamad Bin Khalifa, ngữ cảnh 32.768 token, Apache 2.0, phát hành tháng 3 năm 2026. Được tiền huấn luyện liên tục từ google/gemma-3-27b-pt trên khoảng 166B token tiếng Ả Rập và tiếng Anh theo ba công thức rồi hợp nhất, sau đó là quy trình hậu huấn luyện gồm năm giai đoạn.

• Phạm vi quy mô — J​ais 3 là một họ, gồm sáu checkpoint cơ sở từ 0,9B đến 375B, bao gồm hai mô hình mixture-of-experts. Dòng ngôn ngữ của Fanar 2 về cơ bản chỉ có một mô hình instruct ở 27B, cùng các mô hình anh em thuộc các phương thức khác thay vì những checkpoint văn bản nhỏ hơn.

• Giấy phép — Apache 2.0 ở cả hai bên, không rào chắn ở cả hai bên. Cả hai dòng họ đều không bắt bạn ký bất cứ thứ gì, điều này đáng nói vì nó không phải là chuẩn mực của khu vực.

• Kiến trúc cơ sở — Jais 3 được huấn luyện bởi IFM với một kiến trúc tùy chỉnh (k2_horizon, yêu cầu mã từ xa tùy chỉnh). Fanar 2 là một quá trình tiền huấn luyện liên tục mô hình Gemma 3 27B của Google, điều này khiến nó trở thành một loại sản phẩm khác: một bản thích ứng được thực hiện tốt thay vì một lần chạy huấn luyện từ đầu.

Khi các con số khác biệt, và tại sao đó không phải là một vụ bê bối

Hãy xét từng tên benchmark một, vì cái nhãn đang gánh ít việc hơn vẻ ngoài của nó.

• ArabicMMLU so với Arabic MMLU* — Thẻ của Fanar ghi 74.67% cho bộ đánh giá mà nó gọi là ArabicMMLU. Bảng của IFM ghi 66.3 cho cột mà nó gọi là Arabic MMLU*, với dấu hoa thị nghĩa là IFM đã loại trừ các câu hỏi có lời nhắc mơ hồ, lựa chọn không hợp lệ hoặc nhãn vàng không thể biện minh. Hai tập mẫu khác nhau, một trong số đó đã được làm sạch, và không bên phòng thí nghiệm nào có nghĩa vụ báo cáo số liệu của bên kia.

• Belebele, 86.81 so với 61.8 — một khoảng cách lớn hơn nhiều, và phần giải thích của harness còn vươn xa hơn ở đây. Con số của Fanar là tiếng Ả Rập phương ngữ; cột của IFM lại ghi cùng tên benchmark. Hai mươi lăm điểm không phải là chênh lệch do làm tròn, và kết luận trung thực là ít nhất một trong các lần chạy này không đo lường thứ mà lần chạy kia đang đo.

• IF-Eval, 82,97 so với 49,8 — Fanar báo cáo 82,97 trên IF-Eval trong bảng cải thiện của chính mình. Cột tham chiếu của IFM đặt Fanar-2-27B ở mức 49,8 trên Arabic IFEval. Cùng một năng lực, khác ngôn ngữ và khác bộ prompt.

• Điều mà cả hai bên đều đồng tình về hình thái, dù không đồng tình về mức độ — Fanar 2 là một bước tiến lớn so với Fanar 1. QCRI báo cáo mức tăng +7,32 trên ArabicMMLU, +10,68 trên GSM8K và +8,27 trên IF-Eval so với người tiền nhiệm 9B của chính mình. Tuyên bố đó là nhất quán nội tại và không ai phản đối.

Quy tắc rút ra từ điều này không phải là “một phòng thí nghiệm đang gian lận”. Mà là đối với các benchmark tiếng Ả Rập, một con số không có harness đi kèm thì không phải là một con số. IFM ít nhất có đánh dấu những số liệu nào của chính mình mà nó đã kiểm toán và công bố các mẫu bị loại trừ trong một bộ sưu tập riêng, điều mà hầu hết các phòng thí nghiệm không làm — nhưng nó vẫn là IFM kiểm toán đánh giá của IFM về một đối thủ cạnh tranh.

Ngữ cảnh và triển khai là nơi phép so sánh trở nên rõ ràng.

Đây là những hàng không chịu sự chi phối của các đối số harness, bởi vì chúng là những thực tế kiến trúc chứ không phải là các phép đo.

• Ngữ cảnh — 524.288 token cho Jais-3-32B so với 32.768 cho Fanar-2-27B-Instruct. Cửa sổ lớn gấp mười sáu lần, và thẻ của Fanar ghi nhận 54K hướng dẫn ngữ cảnh dài được dùng để đạt 16K trong quá trình huấn luyện, điều này khiến hành vi ngữ cảnh dài đã được huấn luyện nằm gọn trong mức danh nghĩa 32K.

• Dấu chân phục vụ — Jais-3-32B ở TP=2, bfloat16, vLLM ≥ 0.30.0 hoặc SGLang ≥ 0.5.20. Fanar-2-27B được kiểm thử với transformers 4.57.6 và có dạng Gemma 3 27B chuẩn, nên nó khớp vào bất kỳ ngăn xếp nào đã chạy Gemma.

• Công cụ đi kèm với mô hình — J​ais 3 bao gồm trình phân tích lập luận, trình phân tích gọi công cụ và một lựa chọn json, xml hoặc xml_typed làm định dạng công cụ dưới dạng cờ serving hạng nhất. Fanar 2 hỗ trợ gọi công cụ tổng quát cùng mười công cụ Fanar tích hợp sẵn, nhưng giao diện tích hợp là API riêng của nhà cung cấp thay vì một bộ cờ framework.

• Đánh giá từ bên thứ ba — cả hai đều không có mục trên Artificial Analysis, không bên nào có điểm arena, và không bên nào có bản sao chép độc lập. Số liệu của cả hai dòng sản phẩm đều do nhà cung cấp báo cáo và bài viết luôn nêu rõ điều đó trước khi trích dẫn chúng, mỗi lần.

Fanar 2 có gì mà Jais 3 không có

Ba điều, và chúng không hề nhỏ.

• Dấu vết suy luận tiếng Ả Rập bản địa. Fanar 2 được huấn luyện trên khoảng 250.000 ví dụ suy luận tiếng Ả Rập và tạo ra chuỗi suy nghĩ của mình bằng tiếng Ả Rập thay vì dịch từ một dấu vết tiếng Anh. Jais 3 cung cấp một bộ phân tích suy luận và báo cáo những con số tác tử tiếng Ả Rập mạnh mẽ, nhưng thẻ của nó không đưa ra tuyên bố tương tự về ngôn ngữ mà quá trình suy nghĩ diễn ra.

• Giảm thiểu ảo giác như một hành vi được thiết kế. Fanar 2 được huấn luyện để từ chối trả lời — thăm dò tri thức trong quá trình huấn luyện, các vết xác minh có cấu trúc năm bước, những phản hồi "tôi không biết" đã được hiệu chỉnh — và nó bọc các trích dẫn câu Kinh Quran tự phát trong các dấu xác thực để một hệ thống hạ nguồn có thể kiểm tra chúng. Tính năng cuối cùng đó là điều bất thường và không có tương đương trong thẻ J​ais 3.

• Một sản phẩm xoay quanh mô hình. QCRI cung cấp một giao diện trò chuyện, ứng dụng iOS và Android, cùng một API có tài liệu với quy trình xin quyền truy cập, bên cạnh các mô hình cùng dòng dành cho tạo hình ảnh, hiểu hình ảnh và thơ. Jais 3 là một bản phát hành trọng số kèm các công thức cho framework; mô hình giọng nói nằm bên cạnh nó, còn phần còn lại là một sản phẩm nghiên cứu.

Đó là những khác biệt về năng lực, không phải khác biệt về điểm chuẩn, và một cách lý giải công bằng là Fanar 2 hoàn thiện hơn với tư cách một sản phẩm, trong khi Jais 3 tham vọng hơn với tư cách một mô hình.

Các cột agentic thực sự nói gì, kèm theo dấu hoa thị đính kèm

Bảng của chính IFM là bảng so sánh đối đầu trực tiếp duy nhất được công bố giữa hai mô hình này và nó không hề có lợi cho Fanar: Terminal Bench 2.1 đạt 63,7 so với 1,1, GDPVal đạt 75,5 so với 0,0, MCPMark đạt 66,1 so với 12,1, SWE-Bench Verified đạt 72,4 so với 0,4, xử lý tệp tiếng Ả Rập đạt 71,8 so với 0,0.

Hãy đọc những con số đó đúng như bản chất của chúng. Đó là các phép đo của IFM đối với mô hình của một đối thủ, do IFM thực hiện, trên harness của IFM, và được công bố trên model card của IFM. Mức 0 trên GDPVal và 0,4 trên SWE-Bench Verified đối với một mô hình instruct 27B là hợp lý — đây là những benchmark agentic trừng phạt các mô hình không có dữ liệu huấn luyện gọi công cụ ở quy mô lớn, và phần việc agentic của Fanar 2 xoay quanh mười công cụ riêng của nó thay vì các tác vụ phần mềm tổng quát. Nhưng một phòng lab báo cáo rằng mô hình của chính mình thắng mọi dòng trong một bảng do chính họ lập ra thì đang cho bạn biết về phép đánh giá của họ, chứ không phải về thế giới thực.

Tuyên bố có thể biện hộ được thì hẹp hơn: trên harness đã công bố của IFM, Jais-3-32B vượt trội hơn Fanar-2-27B-Instruct trên mọi benchmark agentic được báo cáo, và model card của Fanar hoàn toàn không báo cáo benchmark agentic nào, nên không có gì mâu thuẫn với nó và cũng không có gì chứng thực nó. Bằng chứng được công bố là một chiều vì chỉ có một phía công bố.

Chọn cái nào?

Ngữ cảnh dài, công việc dạng tác nhân, hay nhu cầu chọn kích thước checkpoint: J​ais 3, và đây không phải là một so sánh sát nút về ngữ cảnh. Một cửa sổ 512K so với 32K tự nó quyết định việc xử lý tài liệu, công việc ở quy mô kho mã và các quỹ đạo tác nhân dài.

Suy luận tiếng Ả Rập mà bạn định đọc, hành vi không trả lời mà bạn có thể tin cậy, xử lý nội dung Qur'an, hay một nhà cung cấp có ứng dụng và kênh hỗ trợ: Fanar 2. Quy trình hậu huấn luyện của QCRI thực sự công phu — 4M hướng dẫn SFT, 280K cặp DPO, năm giai đoạn, một lượt tái cân bằng năng lực có chủ đích để ngăn việc thích ứng ngữ cảnh dài làm suy giảm các tác vụ dạng ngắn — và điều đó thể hiện ở những khía cạnh mà không cột bảng xếp hạng nào nắm bắt được.

Nếu quyết định trở nên khó khăn vì cả hai đều khả thi cho cùng một khối lượng công việc, điều có thể định đoạt được là chính các prompt của bạn, chạy với cả hai, rồi chấm điểm theo tiêu chí của riêng bạn. Đó là thử nghiệm mà chưa ai công bố cho hai mô hình này, và nó đáng giá hơn mọi con số được nêu ở trên.

Chạy nó bây giờ bớt việc hơn trước. OrcaRouter cung cấp cho bạn một khóa duy nhất dùng cho hơn 200 mô hình với mức cộng thêm 0%, giá niêm yết của nhà cung cấp được chuyển nguyên, nên một cuộc so tài giữa hai checkpoint tiếng Ả Rập chỉ là thay đổi định tuyến chứ không phải hai tích hợp — và chấm điểm từng mục chính là trường hợp mà DSL định tuyến được xây dựng để xử lý, bởi vì nó cho phép bạn gửi cùng một prompt đến cả hai mô hình trong một lệnh gọi tổ hợp thay vì viết một bộ khung so sánh. Hiện tại cả hai họ mô hình đều không có trong danh mục của chúng tôi; danh sách mô hình là nơi để kiểm tra xem hiện có gì.

Điều gì sẽ giải quyết việc này?

Một lần chạy độc lập của cả hai mô hình trên một harness dùng chung, được công bố kèm các prompt. Đó là thứ đang thiếu, và nó thiếu ở mọi mô hình tiếng Ả Rập chủ lưu, không chỉ hai mô hình này — cả lĩnh vực đang vận hành trên những con số tự báo cáo, đó là lý do một bất đồng tám điểm về ArabicMMLU của Fanar 2 có thể tồn tại công khai suốt bảy tháng mà không ai giải quyết. Cho đến khi có ai đó làm vậy, hãy coi bảng Jais 3 là lập luận của IFM và bảng Fanar 2 là của QCRI, đồng thời coi các dữ kiện kiến trúc — 512K so với 32K, bảy checkpoint so với một, cờ parser so với một API được host — là phần bạn thực sự có thể lên kế hoạch dựa vào.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.