Jais 3 vs SILMA 9B: Cuộc so tài mô hình giữa hai kỷ nguyên khác nhau của AI tiếng Ả Rập

Mở SILMA AI - trang web của họ - và sản phẩm chủ lực mà nó dẫn đầu là SILMA TTS v2.0, một mô hình chuyển văn bản thành giọng nói công bố 170 ms thời gian đến token đầu tiên cho các tác nhân thoại. Cuộn xuống chân trang và vẫn có một liên kết đến bảng xếp hạng LLM tiếng Ả Rập, và mô hình mà cặp đấu này nhắc tên — SILMA-9B-Instruct-v1.0, một mô hình instruct song ngữ Ả Rập và Anh 9B từ tổ chức silma-ai/ — vẫn còn trên Hub. Nó được xuất bản vào ngày 17 tháng 8 năm 2024. Đối trọng với nó là Jais 3, dòng mô hình từ Institute of Foundation Models và Inception42 với trọng số ra mắt ngày 29 tháng 9 năm 2026 và các công thức phục vụ được đóng dấu ngày 5 tháng 10. Đó là khoảng cách hai mươi lăm tháng và một sự thay đổi hạng mục ngành, và nó khiến đây trở thành trang kỳ lạ nhất trong bộ: không phải cuộc đối đầu giữa hai đối thủ, mà là giữa một checkpoint từ thời mà các LLM tiếng Ả Rập được chấm điểm bằng log-likelihood trên các benchmark dịch và một dòng mô hình năm 2026 phát hành trình phân tích suy luận và cửa sổ ngữ cảnh 512K. Việc so sánh vẫn đáng làm, vì các đội vẫn chạy SILMA 9B, và câu hỏi về việc cần gì để thay thế nó là một câu hỏi thực sự.

Mỗi bên thực sự là gì

• Jais 3 là một dòng, không phải một mô hình — sáu checkpoint cơ sở, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B và Jais-3-375B-A23B, cùng với -Uno/ các biến thể, tất cả đều theo Apache 2.0 và tất cả đều không gated. Các mô hình dense được xây dựng dựa trên một kiến trúc tùy chỉnh k2_horizon/ yêu cầu trust-remote-code.

• SILMA 9B là một checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ là một dẫn xuất của Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — với năm shard safetensors, một thẻ pipeline hội thoại, cùng tiếng Ả Rập và tiếng Anh được khai báo là các ngôn ngữ của nó.

• Giấy phép là khác biệt thực tế rõ nét nhất. Jais 3 dùng Apache 2.0 không có cổng. SILMA 9B mang giấy phép Gemma và một cổng xác nhận: trường của card, extra_gated_button_content/ có nghĩa là bạn chấp nhận các điều khoản trước khi trọng số thuộc về bạn, và giấy phép Gemma mang các hạn chế sử dụng mà Apache 2.0 không có.

• Dòng mô hình thay thế nó thì nhỏ. Các bản phát hành sau này của SILMA AI là SILMA-Kashif-2B-Instruct-v1.0 từ tháng 1 năm 2025 và một cặp mô hình embedding từ tháng 10 năm 2024. Không có bản kế nhiệm SILMA 9B, không có 27B, không có biến thể MoE. Tạo phẩm mới nhất của tổ chức, mới hơn hẳn phần còn lại, là silma-tts/ từ tháng 3 năm 2026.

• Ngữ cảnh — lên tới 524.288 token trên hầu hết dòng Jais 3, 128K trên bản 0.9B. Thẻ thông số của SILMA hoàn toàn không công bố con số độ dài ngữ cảnh nào.

Bài toán chuẩn, được phát biểu trước khi bất kỳ con số nào được trích dẫn.

Các kết quả công bố của SILMA 9B xuất phát từ một nền văn hóa đo lường khác với nền văn hóa đo lường của Jais 3, và sự khác biệt này không phải là khác biệt về mức độ.

• Các con số của SILMA là điểm log-likelihood trên harness của Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ so với Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4), cùng với một loạt benchmark đã được dịch. Điểm nổi bật của nó là điểm Arabic Broad Benchmark 6,15 trên 10.

• Các số liệu của Jais 3 là độ chính xác của câu trả lời được tạo trên một tập mẫu đã được kiểm toán. IFM báo cáo MMLU tiếng Ả Rập đạt 89,3 đối với mô hình 375B, 88,6 đối với 32B, 85,2 đối với 7B và 83,3 đối với 3,7B, với dấu hoa thị đánh dấu các benchmark mà nó đã làm sạch khỏi các câu hỏi mơ hồ, lựa chọn không hợp lệ và nhãn vàng không thể biện minh — và nó công bố các mẫu bị loại trừ.

• Đây không phải là cùng một phép đo.Việc chấm điểm log-likelihood cho câu hỏi trắc nghiệm và độ chính xác của câu trả lời được tạo sinh trên một tập đã được làm sạch sẽ không khớp với nhau, và khoảng cách giữa chúng không phải là thước đo chất lượng mô hình. Đặt 85,2 bên cạnh 52,55 rồi gọi đó là chiến thắng 33 điểm sẽ là câu gây hiểu lầm nhất có thể có trên trang này, và đó chính là câu mà hầu hết các bài viết so sánh sẽ viết.

• Cả hai đều không có điểm số độc lập. Không có mục nào trên Artificial Analysis cho cả hai. Không có kết quả đấu trường. Mọi con số trong phần này đều do nhà cung cấp tự báo cáo, tùy theo phòng thí nghiệm nào đã công bố, và các số liệu của Jais 3 còn kèm theo chú thích của chính IFM rằng thiết lập nỗ lực suy luận được dùng là high/ cho mọi lần chạy.

So sánh tương xứng về kích thước mới là điều có ý nghĩa.

Nếu SILMA 9B là thứ bạn đang có, thì ứng viên thay thế Jais 3 trung thực là Jais-3-7B hoặc Jais-3-3.7B, không phải bản flagship. Cả hai đều là dense, cả hai đều chạy ở tensor parallelism 1 trong bfloat16 trong công thức vLLM, và cả hai đều không yêu cầu cấp quyền truy cập.

• Dấu chân bộ nhớ — Jais-3-7B ở TP=1 trên một GPU duy nhất so với Gemma 2 9B năm shard của SILMA 9B. Chi phí vận hành tương đương, nên việc nâng cấp là câu hỏi về chất lượng và năng lực chứ không phải về phần cứng.

• Ngữ cảnh — 524.288 token cho Jais-3-7B so với việc không có con số nào được công bố cho SILMA 9B. Đây là hàng mà ở đó một khối lượng công việc được tái kiến trúc thay vì được chuyển đổi.

• Bản dựng Edge và lượng tử hóa — GGUF cho llama.cpp và Ollama trên cả bản 3.7B và 7B, cùng MLX 4-bit, 8-bit và bf16 cho Apple silicon. SILMA 9B có các bản chuyển đổi GGUF, nhưng chúng là các bản tải lên của bên thứ ba từ năm 2024 và nhà cung cấp không công bố bản nào.

• Các khía cạnh đặc thù của tiếng Ả Rập — IFM công bố một bộ đánh giá chuẩn tiếng Ả Rập đầy đủ cho từng checkpoint, bao gồm phương ngữ, chú âm, phân tích cú pháp, IslamicQA, văn hóa Ả Rập và dịch thuật. Thẻ của SILMA báo cáo qua các cột tổng hợp của bảng xếp hạng và điểm chuẩn diện rộng của riêng nó, với mức độ chi tiết theo từng năng lực ít hơn nhiều.

• Giấy phép — Apache 2.0 so với giấy phép Gemma kèm một cổng kiểm soát. Đối với một pipeline tiếng Ả Rập thương mại, chỉ riêng sự khác biệt đó cũng có thể quyết định việc chuyển đổi.

SILMA 9B vẫn còn những lợi thế gì

Hai thứ, và không thứ nào là một phép đo chuẩn.

• Đây là một Gemma. Một gemma2/ checkpoint chạy trên mọi stack vốn đã chạy Gemma 2 — không cần --trust-remote-code/, không cần cờ parser tùy chỉnh, không cần triển khai mô hình dành riêng cho kiến trúc. Jais 3 cần trust-remote-code, một k2_horizon/ parser suy luận, một k2_horizon/ parser gọi công cụ, và lấy mẫu phụ thuộc ngôn ngữ: temperature 1.0 cho tiếng Anh và 0.7 cho tiếng Ả Rập ở chế độ thinking so với mặc định 0.2, với ít nhất 32.768 token đầu ra được khuyến nghị. Việc port là công việc thực sự.

• Nó ổn định, và có một bảng xếp hạng xoay quanh nó. SILMA AI duy trì một không gian Bảng xếp hạng tổng quát LLM tiếng Ả Rập, và một checkpoint hai năm tuổi có hai năm câu chuyện sản xuất gắn liền với nó. Đó không phải là chuyện nhỏ khi lựa chọn thay thế là một mô hình được công bố ba tuần trước mà không có đánh giá từ bên thứ ba, không có báo cáo kỹ thuật — IFM liệt kê nó là sắp ra mắt — và không có mức giá được công bố.

Quyết định chuyển đổi, và cách làm cho nó có thể đảo ngược

Hãy thay thế SILMA 9B nếu khối lượng công việc của bạn là tài liệu ngữ cảnh dài, sử dụng công cụ mang tính tác tử, hoặc đủ nhạy cảm về mặt thương mại đến mức giấy phép Gemma là một vấn đề. Chỉ riêng dòng ngữ cảnh đã đủ để biện minh cho điều đó: một mô hình không có thông số ngữ cảnh được công bố so với một mô hình đạt tới nửa triệu token thì không phải là một lựa chọn sát nút đối với công việc xử lý tài liệu.

Hãy giữ nó nếu pipeline đã ổn định, giấy phép Gemma đã được thông qua, và mọi thứ chạy trên transformers nguyên bản — bởi vì đối trọng trung thực với bảng điểm chuẩn của Jais 3 là bảng đó thuộc về IFM, mô hình mới chỉ ba tuần tuổi, và không có con số độc lập nào đằng sau bất kỳ điều nào trong đó. Việc nâng cấp một quy trình sản xuất tiếng Ả Rập đang hoạt động lên một checkpoint ba tuần tuổi dựa trên các số liệu của nhà cung cấp chính là sai lầm mà sự so sánh này tồn tại để ngăn chặn.

Cách để có được cả hai là chạy chúng song song trước tiên, và lý do việc đó từng tốn kém là vì nó đồng nghĩa với hai tích hợp và một hệ thống so sánh. OrcaRouter xóa bỏ điều đó: một API xuyên suốt hơn 200 mô hình với mức markup 0%, giá niêm yết của nhà cung cấp được chuyển nguyên, nên một cuộc so tài chỉ là một thay đổi định tuyến chứ không phải một dự án — và DSL định tuyến là công cụ phù hợp cho công việc cụ thể là gửi các prompt tiếng Ả Rập giống hệt nhau đến hai mô hình và chấm điểm các câu trả lời, vì nó gộp chúng thành một lệnh gọi và trả về cả hai. Chuyển đổi dự phòng tự động là thứ khiến bước tiếp theo trở nên an toàn, cho phép một mô hình mới được công bố nhận một phần lưu lượng thật trong khi mô hình đã ổn định của bạn hấp thụ phần còn lại và bắt các yêu cầu mà mô hình mới làm rớt. Hiện tại không mô hình nào trong hai mô hình đó có trong danh mục của chúng tôi; danh sách mô hình là nơi cần xem trước khi thiết kế xoay quanh một self-host.

Xem gì

Bốn điều, xếp theo mức độ chúng sẽ thay đổi trang này. Một phiên bản kế nhiệm SILMA 9B, thứ sẽ biến sự không khớp hạng mục trở lại thành một cuộc so tài thực sự. Bất kỳ đánh giá độc lập nào về một checkpoint Jais 3, điều sẽ khiến toàn bộ phần benchmark trở nên không cần thiết. Báo cáo kỹ thuật của IFM, hiện được liệt kê là sắp ra mắt. Và một mức giá được công bố cho Jais 3, thứ hoàn toàn không tồn tại ở bất cứ đâu. Cho đến khi ít nhất một trong những điều đó thành hiện thực, cách diễn giải có thể bảo vệ được cho so sánh này là mang tính kiến trúc — giấy phép, gating, ngữ cảnh, công cụ, thang kích thước — và các điểm số nên được đọc như hai phòng thí nghiệm đang đo hai thứ khác nhau trong hai năm khác nhau.