Jais 3 vs SILMA 9B: การท้าดวลโมเดลระหว่างสองยุคที่แตกต่างกันของ AI อาหรับ

เปิดเว็บไซต์ของ SILMA AI และผลิตภัณฑ์เรือธงที่มันนำเสนอคือ SILMA TTS v2.0, ซึ่งเป็นโมเดลแปลงข้อความเป็นเสียงที่ระบุเวลาถึงโทเค็นแรก 170 มิลลิวินาทีสำหรับเอเจนต์เสียง เลื่อนไปที่ส่วนท้ายยังมีลิงก์ไปยังลีดเดอร์บอร์ด LLM ภาษาอาหรับ และโมเดลที่การจับคู่นี้ระบุชื่อ — SILMA-9B-Instruct-v1.0, โมเดลแบบอินสตรัคต์ขนาด 9B สองภาษาอาหรับและอังกฤษจาก silma-ai/ องค์กร — ยังอยู่บน Hub เผยแพร่เมื่อวันที่ 17 สิงหาคม 2024 เมื่อเทียบกับมันคือ Jais 3, ตระกูลจาก Institute of Foundation Models และ Inception42 ซึ่งน้ำหนักโมเดลเปิดตัวเมื่อวันที่ 29 กันยายน 2026 และสูตรการให้บริการถูกประทับวันที่ 5 ตุลาคม นั่นคือช่องว่างยี่สิบห้าเดือนและการเปลี่ยนหมวดหมู่อุตสาหกรรม และทำให้หน้านี้เป็นหน้าที่แปลกที่สุดในชุด: ไม่ใช่การจับคู่ระหว่างคู่แข่งสองราย แต่เป็นการจับคู่ระหว่างเช็กพอยต์จากยุคที่ LLM ภาษาอาหรับถูกให้คะแนนด้วย log-likelihood บนเบนช์มาร์กที่แปลแล้ว กับตระกูลปี 2026 ที่มาพร้อมตัวแยกวิเคราะห์การให้เหตุผลและหน้าต่างบริบทขนาด 512K การเปรียบเทียบนี้ยังคุ้มค่าที่จะทำ เพราะทีมต่าง ๆ ยังคงรัน SILMA 9B และคำถามว่าต้องใช้อะไรบ้างเพื่อแทนที่มันเป็นคำถามจริง

ที่จริงแล้วแต่ละฝ่ายคืออะไร

• Jais 3 เป็นตระกูล ไม่ใช่โมเดล — มีเช็คพอยต์พื้นฐาน 6 ตัว, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B และ Jais-3-375B-A23B, รวมถึง -Uno/ รุ่นย่อย, ทั้งหมดเป็น Apache 2.0 และทั้งหมดไม่มีการควบคุมการเข้าถึง. โมเดลแบบ dense สร้างขึ้นบน k2_horizon/ สถาปัตยกรรมที่ต้องใช้ trust-remote-code.

• SILMA 9B เป็นเช็กพอยต์หนึ่งรายการ silma-ai/SILMA-9B-Instruct-v1.0/ เป็นโมเดลที่ดัดแปลงมาจาก Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — โดยมีไฟล์ safetensors แยกเป็นห้าส่วน แท็กไปป์ไลน์แบบสนทนา และระบุภาษาอาหรับกับอังกฤษเป็นภาษาของโมเดล

• สัญญาอนุญาตคือความแตกต่างเชิงปฏิบัติที่ชัดเจนที่สุด Jais 3 เป็น Apache 2.0 ที่ไม่มีประตูกั้นใด ๆ ส่วน SILMA 9B ใช้สัญญาอนุญาต Gemma พร้อมประตูการยอมรับเงื่อนไข: ฟิลด์ extra_gated_button_content/ บนการ์ดหมายความว่าคุณต้องยอมรับข้อกำหนดก่อนที่น้ำหนักโมเดลจะเป็นของคุณ และสัญญาอนุญาต Gemma มีข้อจำกัดการใช้งานที่ Apache 2.0 ไม่มี

• ตระกูลที่เข้ามาแทนที่นั้นมีขนาดเล็ก การเปิดตัวรุ่นถัดมาของ SILMA AI ได้แก่ SILMA-Kashif-2B-Instruct-v1.0 จากเดือนมกราคม 2025 และโมเดล embedding สองรุ่นจากเดือนตุลาคม 2024 ไม่มีรุ่นสืบทอดของ SILMA 9B ไม่มี 27B ไม่มีเวอร์ชัน MoE ผลงานใหม่ล่าสุดขององค์กรที่ใหม่กว่าอย่างมากคือ silma-tts/ จากเดือนมีนาคม 2026

• บริบท — สูงสุด 524,288 โทเคนในโมเดลส่วนใหญ่ของสาย Jais 3, 128K บนรุ่น 0.9B ส่วนการ์ดของ SILMA ไม่ได้เปิดเผยตัวเลขความยาวบริบทไว้เลย

ปัญหา benchmark ที่กล่าวไว้ก่อนที่จะมีการอ้างถึงตัวเลขใด ๆ

ผลลัพธ์ที่เผยแพร่ของ SILMA 9B มาจากวัฒนธรรมการวัดที่แตกต่างจากของ Jais 3 และความแตกต่างนี้ไม่ใช่เรื่องของระดับ

• ตัวเลขของ SILMA คือคะแนน log-likelihood บนชุดทดสอบ Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ เทียบกับ Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4) รวมถึงเบนช์มาร์กที่แปลแล้วอีกมากมาย ตัวเลขพาดหัวของมันเองคือคะแนน Arabic Broad Benchmark 6.15 จาก 10

• ตัวเลขของ Jais 3 คือความแม่นยำของคำตอบที่สร้างขึ้นบนชุดตัวอย่างที่ผ่านการตรวจสอบ IFM รายงาน MMLU ภาษาอาหรับที่ 89.3 สำหรับ 375B, 88.6 สำหรับ 32B, 85.2 สำหรับ 7B และ 83.3 สำหรับ 3.7B โดยเครื่องหมายดอกจันบ่งชี้ถึงเกณฑ์มาตรฐานที่ IFM ทำความสะอาดให้ปราศจากคำถามกำกวม ตัวเลือกที่ไม่ถูกต้อง และป้ายกำกับเฉลย (gold labels) ที่ไม่สมเหตุสมผล — และเผยแพร่ตัวอย่างที่ถูกคัดออก

• นี่ไม่ใช่การวัดค่าเดียวกันการให้คะแนนล็อก-ไลค์ลิฮูดแบบเลือกตอบกับความแม่นยำของคำตอบที่สร้างขึ้นบนชุดข้อมูลที่ทำความสะอาดแล้วจะไม่ตรงกัน และช่องว่างระหว่างสองค่านี้ก็ไม่ใช่ตัวชี้วัดคุณภาพของโมเดล การนำ 85.2 ไปวางข้าง ๆ 52.55 แล้วเรียกว่าเป็นชัยชนะ 33 คะแนน จะเป็นประโยคที่ชวนให้เข้าใจผิดมากที่สุดเท่าที่จะเป็นไปได้บนหน้านี้ และมันคือประโยคที่บทความเปรียบเทียบส่วนใหญ่จะเขียน

• ทั้งคู่ไม่มีคะแนนที่เป็นอิสระ ไม่มีรายการใน Artificial Analysis สำหรับทั้งคู่ ไม่มีผลลัพธ์จาก Arena ตัวเลขทุกตัวในส่วนนี้เป็นข้อมูลที่ผู้ขายรายงาน โดยแล็บใดก็ตามที่เผยแพร่ข้อมูลนั้น และตัวเลขของ Jais 3 ยังมีเชิงอรรถของ IFM เองที่ระบุว่าการตั้งค่าความพยายามในการใช้เหตุผลที่ใช้คือ สูง/ สำหรับทุกครั้งที่รัน

การเปรียบเทียบที่จับคู่ขนาดกันนั่นแหละที่มีความหมาย

ถ้าสิ่งที่คุณมีคือ SILMA 9B ตัวแทนทดแทน Jais 3 ที่ตรงไปตรงมาคือ Jais-3-7B หรือ Jais-3-3.7B ไม่ใช่รุ่นเรือธง ทั้งคู่เป็นแบบ dense ทั้งคู่รันที่ tensor parallelism 1 ใน bfloat16 ตามสูตรของ vLLM และทั้งคู่ไม่ถูกกักการเข้าถึง

• พื้นที่หน่วยความจำ — Jais-3-7B ที่ TP=1 บน GPU ตัวเดียว เทียบกับ Gemma 2 9B แบบห้าชาร์ดของ SILMA 9B ต้นทุนการโฮสต์ใกล้เคียงกัน ดังนั้นการอัปเกรดจึงเป็นคำถามเรื่องคุณภาพและความสามารถ มากกว่าเรื่องฮาร์ดแวร์

• บริบท — 524,288 โทเคนสำหรับ Jais-3-7B เทียบกับ SILMA 9B ที่ไม่มีตัวเลขเผยแพร่ นี่คือแถวที่เวิร์กโหลดถูกออกแบบสถาปัตยกรรมใหม่แทนที่จะพอร์ต

• บิลด์สำหรับ Edge และแบบควอนไทซ์ — GGUF สำหรับ llama.cpp และ Ollama ทั้งรุ่น 3.7B และ 7B และ MLX 4-bit, 8-bit และ bf16 สำหรับ Apple silicon ส่วน SILMA 9B มีไฟล์ที่แปลงเป็น GGUF แล้ว แต่เป็นไฟล์ที่บุคคลที่สามอัปโหลดตั้งแต่ปี 2024 และผู้พัฒนาหลักไม่ได้เผยแพร่เลย

• มิติเฉพาะภาษาอาหรับ — IFM เผยแพร่ชุดแบบทดสอบมาตรฐานภาษาอาหรับแบบครบชุดต่อเช็กพอยต์ ครอบคลุมภาษาถิ่น การเติมเครื่องหมายสระ การแยกวิเคราะห์ IslamicQA วัฒนธรรมอาหรับ และการแปล การ์ดของ SILMA รายงานผ่านคอลัมน์แบบรวมของลีดเดอร์บอร์ดและคะแนนแบบทดสอบมาตรฐานแบบกว้างของตัวเอง โดยมีรายละเอียดรายความสามารถน้อยกว่ามาก

• สัญญาอนุญาต — Apache 2.0 เทียบกับสัญญาอนุญาต Gemma บวกกับเกต สำหรับไปป์ไลน์ภาษาอาหรับเชิงพาณิชย์ ความแตกต่างเพียงข้อนี้ก็เพียงพอที่จะชี้ขาดการย้ายระบบได้แล้ว

สิ่งที่ SILMA 9B ยังคงมีเป็นข้อได้เปรียบ

สองสิ่ง และไม่มีสิ่งใดเป็นเบนช์มาร์ก

• มันคือ Gemma เป็น gemma2/ checkpoint ที่รันได้บนทุกสแตกที่รัน Gemma 2 อยู่แล้ว — ไม่ต้องมี --trust-remote-code/, ไม่ต้องมีแฟล็ก parser แบบกำหนดเอง, ไม่ต้องมีโมเดลที่ implement เฉพาะสถาปัตยกรรม Jais 3 ต้องใช้ trust-remote-code, k2_horizon/ reasoning parser, k2_horizon/ tool-call parser และการสุ่มตัวอย่างที่ขึ้นกับภาษา: temperature 1.0 สำหรับภาษาอังกฤษ และ 0.7 สำหรับภาษาอาหรับในโหมด thinking เทียบกับค่าดีฟอลต์ 0.2 โดยแนะนำให้มี output token อย่างน้อย 32,768 การพอร์ตถือเป็นงานจริง ๆ

• มันเสถียร และมีกระดานผู้นำที่แวดล้อมอยู่ SILMA AI ดูแลพื้นที่ Arabic LLM Broad Leaderboard และเช็กพอยต์อายุสองปีก็มีเรื่องราวการใช้งานจริงสองปีพ่วงอยู่ด้วย นั่นไม่ใช่เรื่องเล็กน้อยเลย เมื่อทางเลือกอีกทางคือโมเดลที่เผยแพร่เมื่อสามสัปดาห์ก่อน โดยไม่มีการประเมินจากบุคคลที่สาม ไม่มีรายงานทางเทคนิค — IFM ระบุว่ากำลังจะมาในเร็ว ๆ นี้ — และไม่มีราคาที่ประกาศไว้

การตัดสินใจเรื่องการย้ายระบบ และวิธีทำให้สามารถย้อนกลับได้

แทนที่ SILMA 9B หากงานของคุณเป็นเอกสารบริบทยาว การใช้เครื่องมือแบบเอเจนต์ หรือมีความอ่อนไหวเชิงพาณิชย์มากพอที่สัญญาอนุญาตของ Gemma จะกลายเป็นปัญหา แค่แถวบริบทเพียงอย่างเดียวก็เพียงพอที่จะพิสูจน์ได้แล้ว: โมเดลที่ไม่มีตัวเลขบริบทเผยแพร่ เทียบกับอีกตัวที่ไปได้ถึงครึ่งล้านโทเคน ไม่ใช่เรื่องที่ต้องตัดสินใจยากสำหรับงานด้านเอกสาร

คงไว้ ถ้าไปป์ไลน์ลงตัวแล้ว ใบอนุญาต Gemma ได้รับการอนุมัติเรียบร้อยแล้ว และทุกอย่างรันบน transformers มาตรฐาน — เพราะสิ่งถ่วงดุลที่ตรงไปตรงมาต่อตาราง benchmark ของ Jais 3 ก็คือ ตารางนั้นเป็นของ IFM โมเดลอายุสามสัปดาห์ และไม่มีตัวเลขอิสระใดรองรับข้อมูลเหล่านั้นเลย การอัปเกรดเส้นทางโปรดักชันภาษาอาหรับที่ใช้งานได้ไปเป็นเช็คพอยต์อายุสามสัปดาห์โดยอาศัยตัวเลขจากผู้ขาย คือความผิดพลาดที่การเปรียบเทียบนี้มีขึ้นเพื่อป้องกัน

วิธีที่จะได้มาทั้งสองอย่างคือการรันมันเคียงข้างกันก่อน และเหตุผลที่เมื่อก่อนเรื่องนี้มีค่าใช้จ่ายสูงก็เพราะมันหมายถึงการเชื่อมต่อสองระบบและชุดทดสอบเปรียบเทียบ OrcaRouter ย่อสิ่งนั้นให้เหลือแค่: API เดียวครอบคลุมโมเดลกว่า 200 ตัวโดยบวกกำไร 0% ราคาตามรายการของผู้ให้บริการส่งผ่านตรง ดังนั้นการเทียบวัดจึงกลายเป็นการเปลี่ยนเส้นทางมากกว่าจะเป็นโปรเจกต์ — และ DSL สำหรับการกำหนดเส้นทางคือเครื่องมือที่เหมาะกับงานเฉพาะอย่างของการส่งพรอมป์ภาษาอาหรับที่เหมือนกันไปยังสองโมเดลและให้คะแนนคำตอบ เพราะมันประกอบพวกมันเข้าเป็นการเรียกครั้งเดียวและส่งคืนทั้งสอง การสลับอัตโนมัติเมื่อเกิดความขัดข้องคือสิ่งที่ทำให้ขั้นตอนถัดไปปลอดภัย โดยปล่อยให้โมเดลที่เพิ่งเผยแพร่ใหม่รับทราฟฟิกจริงส่วนหนึ่ง ขณะที่โมเดลที่คุณใช้อยู่ตัวจริงรับส่วนที่เหลือและดักจับคำขอที่โมเดลใหม่ทำหลุดไป ปัจจุบันไม่มีโมเดลไหนอยู่ในแคตตาล็อกของเรา รายการโมเดลคือจุดที่ควรดูก่อนจะออกแบบโดยอิงกับการโฮสต์เอง.

ดูอะไรดี

สี่สิ่ง เรียงตามว่ามันจะเปลี่ยนหน้านี้ไปมากแค่ไหน ผู้สืบทอด SILMA 9B ซึ่งจะเปลี่ยนความไม่เข้าพวกกันของหมวดหมู่ให้กลับมาเป็นการจับคู่ที่แท้จริง การประเมินอิสระใด ๆ ของเช็กพอยต์ Jais 3 ซึ่งจะทำให้ส่วนเบนช์มาร์กทั้งหมดไม่จำเป็นอีกต่อไป รายงานทางเทคนิคของ IFM ซึ่งตอนนี้ขึ้นว่าเร็ว ๆ นี้ และราคาที่ประกาศของ Jais 3 ซึ่งยังไม่มีที่ไหนเลย จนกว่าอย่างน้อยหนึ่งในนั้นจะเป็นจริง การตีความการเปรียบเทียบนี้ที่มีเหตุผลรองรับคือในเชิงสถาปัตยกรรม — ไลเซนส์ การกั้นการเข้าถึง คอนเท็กซ์ เครื่องมือ ขนาดที่ไล่ระดับ — และคะแนนควรถูกอ่านในฐานะห้องแล็บสองแห่งที่วัดสองสิ่งที่ต่างกันในสองปีที่ต่างกัน