Jais 3 vs Fanar 2: ผู้จำหน่ายทั้งสองรายไม่เห็นตรงกันว่า Fanar 2 ทำคะแนนได้เท่าใด

J​ais 3 และ Fanar 2 เป็นสองตระกูลโมเดลภาษาอาหรับระดับเรือธงของอ่าว และสิ่งที่มีประโยชน์ที่สุดที่ใครๆ ก็บอกคุณได้เกี่ยวกับการเปรียบเทียบพวกมันก็คือ ตัวเลขของผู้ขายเองสำหรับ Fanar-2-27B-Instruct ไม่ตรงกัน การ์ดโมเดลของ QCRI รายงาน ArabicMMLU ที่ 74.67% และ Belebele ที่ 86.81% สำหรับโมเดล instruct ขนาด 27B ของมัน ส่วน J​ais-3-32B การ์ด จากสถาบัน Institute of Foundation Models และ Inception42 ได้รันคู่แข่งเดียวกันบนตารางอ้างอิงของตัวเอง และให้ Fanar-2-27B ที่ 66.3 บน Arabic MMLU และ 61.8 บน Belebele นั่นคือช่องว่างแปดจุดบนหนึ่งเกณฑ์มาตรฐานและยี่สิบห้าจุดบนอีกเกณฑ์หนึ่ง สำหรับโมเดลเดียว และไม่มีตัวเลขใดเป็นการกุเรื่อง — พวกมันเป็นผลลัพธ์จากฮาร์เนสที่แตกต่างกัน รูปแบบพรอมต์ที่แตกต่างกัน และในกรณีของ IFM เป็นชุดตัวอย่างที่ผ่านการตรวจสอบ มันยังเป็นสิ่งที่มีประโยชน์ที่สุดในหน้านี้ เพราะมันหมายความว่าการเปรียบเทียบ J​ais 3 และ Fanar 2 ที่สร้างจากตัวเลขที่เผยแพร่ เป็นการเปรียบเทียบวิธีการวัดสองวิธีพอๆ กับการเปรียบเทียบสองโมเดล

การ์ดสองใบ อย่างตรงไปตรงมา

• Jais-3-32B — โมเดล dense decoder-only ขนาด 32B จาก IFM รองรับบริบทสูงสุด 524,288 โทเค็น สัญญาอนุญาต Apache 2.0 เผยแพร่เวตเมื่อวันที่ 29 กันยายน 2026 มาพร้อมตัวแยกวิเคราะห์การให้เหตุผล (k2_horizon) ตัวแยกวิเคราะห์การเรียกใช้เครื่องมือ และรูปแบบการเรียกใช้เครื่องมือที่เลือกได้สามรูปแบบ ให้บริการที่ tensor parallelism 2 ในรูปแบบ bfloat16

• Fanar-2-27B-Instruct — โมเดล dense ขนาด 27B จาก QCRI แห่ง Hamad Bin Khalifa University ความยาวบริบท 32,768 โทเคน สัญญาอนุญาต Apache 2.0 เปิดตัวเดือนมีนาคม 2026 ได้รับการพรีเทรนต่อเนื่องจาก google/gemma-3-27b-pt ด้วยโทเคนภาษาอาหรับและอังกฤษประมาณ 166B ผ่านสามสูตร แล้วนำมารวมกัน ตามด้วยไปป์ไลน์หลังการฝึกแบบห้าขั้นตอน

• ช่วงขนาด — J​ais 3 เป็นตระกูลหนึ่ง มีเช็กพอยต์พื้นฐานหกรายการตั้งแต่ 0.9B ถึง 375B รวมถึงโมเดลแบบ mixture-of-experts สองตัว สายภาษาของ Fanar 2 นั้นแท้จริงแล้วมีโมเดล instruct เพียงหนึ่งตัวที่ 27B โดยมีรุ่นพี่น้องในโมดาลิตี้อื่น ๆ แทนที่จะเป็นเช็กพอยต์ข้อความขนาดเล็กกว่า

• สัญญาอนุญาต — Apache 2.0 ทั้งสองฝ่าย ไม่มีข้อจำกัดทั้งสองฝ่าย ทั้งสองตระกูลไม่ทำให้คุณต้องลงนามใด ๆ ซึ่งเป็นเรื่องที่ควรกล่าวถึงเพราะไม่ใช่เรื่องปกติสำหรับภูมิภาคนี้

• สถาปัตยกรรมพื้นฐาน — Jais 3 ถูกฝึกโดย IFM ด้วยสถาปัตยกรรมที่กำหนดเอง (k2_horizon ต้องใช้โค้ดรีโมตที่กำหนดเอง) Fanar 2 เป็นการพรีเทรนแบบต่อเนื่องของ Google's Gemma 3 27B ซึ่งทำให้มันเป็นอาร์ติแฟกต์อีกประเภทหนึ่ง: การปรับโมเดลที่ทำได้ดี แทนที่จะเป็นการฝึกตั้งแต่เริ่มต้น

จุดที่ตัวเลขไม่ตรงกัน และเหตุใดจึงไม่ใช่เรื่องอื้อฉาว

พิจารณาชื่อ benchmark ทีละชื่อ เพราะ label ทำงานน้อยกว่าที่ดูเหมือน

• ArabicMMLU เทียบกับ Arabic MMLU* — การ์ดของ Fanar ระบุว่า 74.67% สำหรับเกณฑ์มาตรฐานที่มันเรียกว่า ArabicMMLU ตารางของ IFM ระบุว่า 66.3 สำหรับคอลัมน์ที่มันเรียกว่า Arabic MMLU* โดยเครื่องหมายดอกจันหมายความว่า IFM ได้ตัดคำถามที่มีพรอมป์ต์กำกวม ตัวเลือกที่ไม่ถูกต้อง หรือป้ายกำกับเฉลยมาตรฐานที่ไม่อาจป้องกันได้ออกไป เป็นชุดตัวอย่างที่แตกต่างกันสองชุด โดยชุดหนึ่งถูกทำความสะอาด และไม่มีข้อผูกมัดใด ๆ กับทั้งสองแล็บให้ต้องรายงานของอีกฝ่าย

• Belebele, 86.81 เทียบกับ 61.8 — ช่องว่างที่ใหญ่กว่ามาก และคำอธิบายเรื่องฮาร์เนสก็ยิ่งขยายออกไปไกลขึ้นตรงนี้ ตัวเลขของ Fanar เป็นภาษาอาหรับถิ่น ส่วนคอลัมน์ของ IFM ระบุชื่อเบนช์มาร์กเดียวกัน ยี่สิบห้าคะแนนไม่ใช่ความต่างจากการปัดเศษ และข้อสรุปที่ตรงไปตรงมาคือ อย่างน้อยหนึ่งในรอบรันเหล่านี้ไม่ได้วัดสิ่งที่อีกรอบหนึ่งกำลังวัด

• IF-Eval, 82.97 เทียบกับ 49.8 — Fanar รายงาน 82.97 บน IF-Eval ในตารางการปรับปรุงของตัวเอง คอลัมน์อ้างอิงของ IFM ระบุ Fanar-2-27B ไว้ที่ 49.8 บน Arabic IFEval ความสามารถเดียวกัน ภาษาต่างกันและชุดพรอมต์ต่างกัน

• สิ่งที่ทั้งสองฝ่ายเห็นตรงกันในด้านรูปแบบ แม้จะไม่ใช่ในด้านระดับ — Fanar 2 เป็นก้าวกระโดดครั้งใหญ่จาก Fanar 1 โดย QCRI รายงานว่าเพิ่มขึ้น +7.32 บน ArabicMMLU, +10.68 บน GSM8K และ +8.27 บน IF-Eval เมื่อเทียบกับรุ่นก่อนหน้าขนาด 9B ของตนเอง ข้อกล่าวอ้างนี้สอดคล้องกันในตัวเองและไม่มีใครโต้แย้ง

กฎที่ได้จากเรื่องนี้ไม่ใช่ “แล็บหนึ่งแห่งกำลังโกง” แต่คือสำหรับเกณฑ์วัดภาษาอาหรับ ตัวเลขที่ไม่มีชุดทดสอบ (harness) กำกับอยู่ด้วยนั้นไม่ถือเป็นตัวเลข IFM อย่างน้อยก็ทำเครื่องหมายว่าตัวเลขใดของตนเองที่มันตรวจสอบ และเผยแพร่ตัวอย่างที่ถูกตัดออกในคอลเลกชันแยกต่างหาก ซึ่งมากกว่าที่แล็บส่วนใหญ่ทำ — แต่มันก็ยังเป็นการที่ IFM ตรวจสอบการประเมินคู่แข่งของ IFM เอง

บริบทและการปรับใช้คือจุดที่การเปรียบเทียบชัดเจน

แถวเหล่านี้เป็นแถวที่ไม่ขึ้นอยู่กับอาร์กิวเมนต์ของ harness เพราะ它们是ข้อเท็จจริงเชิงสถาปัตยกรรม ไม่ใช่ผลจากการวัด

• บริบท — 524,288 โทเค็นสำหรับ J​ais-3-32B เทียบกับ 32,768 สำหรับ Fanar-2-27B-Instruct หน้าต่างใหญ่กว่าถึงสิบหกเท่า และการ์ดของ Fanar ระบุว่ามีคำสั่งบริบทยาว 54K ที่ใช้เพื่อไปให้ถึง 16K ในระหว่างการฝึก ซึ่งทำให้พฤติกรรมบริบทยาวที่ผ่านการฝึกนั้นอยู่ภายในกรอบ 32K ที่ระบุไว้อย่างมาก

• พื้นที่การให้บริการ — Jais-3-32B ที่ TP=2, bfloat16, vLLM ≥ 0.30.0 หรือ SGLang ≥ 0.5.20 Fanar-2-27B ผ่านการทดสอบกับ transformers 4.57.6 และเป็นรูปแบบมาตรฐานของ Gemma 3 27B จึงเสียบเข้ากับสแตกใดก็ได้ที่รัน Gemma อยู่แล้ว

• เครื่องมือที่จัดส่งมาพร้อมกับโมเดล — Jais 3 มาพร้อมกับตัวแยกวิเคราะห์การให้เหตุผล ตัวแยกวิเคราะห์การเรียกใช้เครื่องมือ และตัวเลือกของ json, xml หรือ xml_typed เป็นรูปแบบเครื่องมือที่ใช้เป็นแฟล็กการให้บริการระดับเฟิร์สต์คลาส Fanar 2 รองรับการเรียกใช้เครื่องมือทั่วไปพร้อมกับเครื่องมือ Fanar ที่มีมาในตัวสิบรายการ แต่พื้นผิวการผสานรวมเป็น API ของผู้ขายเองมากกว่าชุดแฟล็กของเฟรมเวิร์ก

• การประเมินจากบุคคลที่สาม — ทั้งสองไม่มีรายการใน Artificial Analysis ไม่มีคะแนนจากอารีนา และไม่มีการทำซ้ำโดยอิสระ ตัวเลขของทั้งสองตระกูลเป็นข้อมูลที่ผู้จำหน่ายรายงานเอง และบทความก็ระบุไว้เช่นนั้นก่อนที่จะอ้างอิงตัวเลขเหล่านั้นทุกครั้ง

Fanar 2 มีอะไรที่ Jais 3 ไม่มี

สามสิ่ง และมันไม่ใช่เรื่องเล็ก

• ร่องรอยการให้เหตุผลภาษาอาหรับโดยกำเนิด Fanar 2 ได้รับการฝึกด้วยตัวอย่างการให้เหตุผลภาษาอาหรับราว 250,000 ตัวอย่าง และสร้างห่วงโซ่ความคิดเป็นภาษาอาหรับแทนที่จะแปลจากร่องรอยภาษาอังกฤษ Jais 3 เปิดให้เข้าถึงตัวแยกวิเคราะห์การให้เหตุผล และรายงานตัวเลขประสิทธิภาพแบบเอเจนต์ภาษาอาหรับที่แข็งแกร่ง แต่การ์ดของโมเดลไม่ได้กล่าวอ้างเช่นเดียวกันเกี่ยวกับภาษาที่ใช้ในการคิด

• การลดการสร้างข้อมูลเท็จในฐานะพฤติกรรมที่ออกแบบไว้ Fanar 2 ได้รับการฝึกให้งดตอบ — การตรวจสอบความรู้ระหว่างการฝึก, ร่องรอยการตรวจสอบแบบมีโครงสร้าง 5 ขั้นตอน, การตอบกลับว่า "ฉันไม่รู้" ที่ปรับเทียบแล้ว — และมันห่อหุ้มการอ้างอิงโองการอัลกุรอานที่เกิดขึ้นเองด้วยเครื่องหมายตรวจสอบความถูกต้อง เพื่อให้ระบบปลายน้ำสามารถตรวจสอบได้ คุณสมบัติสุดท้ายนี้ไม่ธรรมดาและไม่มีคู่เทียบในการ์ด J​ais 3

• ผลิตภัณฑ์ที่แวดล้อมโมเดลนี้ QCRI เปิดให้บริการอินเทอร์เฟซแชต แอปสำหรับ iOS และ Android และ API ที่มีเอกสารประกอบพร้อมขั้นตอนการขอสิทธิ์เข้าถึง อีกทั้งยังมีโมเดลในตระกูลเดียวกันสำหรับการสร้างภาพ การทำความเข้าใจภาพ และการแต่งบทกวี ส่วน Jais 3 เป็นการเผยแพร่น้ำหนักโมเดลพร้อมสูตรการใช้งานกับเฟรมเวิร์ก โดยมีโมเดลเสียงพูดอยู่เคียงข้าง และส่วนที่เหลือถือเป็นผลงานวิจัย

นั่นคือความแตกต่างด้านขีดความสามารถ ไม่ใช่ความแตกต่างด้านผลทดสอบมาตรฐาน และการตีความอย่างเป็นกลางก็คือ Fanar 2 เป็นผลิตภัณฑ์ที่สมบูรณ์กว่า ในขณะที่ J​ais 3 มีความทะเยอทะยานมากกว่าในฐานะโมเดล

สิ่งที่คอลัมน์แบบเอเจนติกพูดไว้จริง ๆ พร้อมเครื่องหมายดอกจันที่กำกับอยู่

ตารางของ IFM เองเป็นตารางเปรียบเทียบแบบตัวต่อตัวเพียงตารางเดียวที่เผยแพร่ระหว่างสองโมเดลนี้ และมันไม่ได้ทำให้ Fanar ดูดีเลย: Terminal Bench 2.1 อยู่ที่ 63.7 เทียบกับ 1.1, GDPVal อยู่ที่ 75.5 เทียบกับ 0.0, MCPMark 66.1 เทียบกับ 12.1, SWE-Bench Verified 72.4 เทียบกับ 0.4, การประมวลผลไฟล์ภาษาอาหรับ 71.8 เทียบกับ 0.0

อ่านสิ่งเหล่านั้นตามที่มันเป็น พวกมันคือผลการวัดของ IFM ที่มีต่อโมเดลของคู่แข่ง ซึ่งรันโดย IFM บนฮาร์เนสของ IFM และเผยแพร่บนโมเดลการ์ดของ IFM การได้ศูนย์บน GDPVal และ 0.4 บน SWE-Bench Verified สำหรับโมเดล instruct ขนาด 27B นั้นเป็นไปได้ นี่คือเบนช์มาร์กแบบเอเจนติกที่ลงโทษโมเดลที่ไม่มีข้อมูลฝึกการเรียกใช้เครื่องมือในระดับใหญ่ และงานเอเจนติกของ Fanar 2 มุ่งเน้นไปที่เครื่องมือสิบตัวของตัวเองมากกว่างานซอฟต์แวร์ทั่วไป แต่แล็บที่รายงานว่าโมเดลของตัวเองชนะทุกแถวของตารางที่มันสร้างขึ้น กำลังบอกคุณเกี่ยวกับการประเมินของมัน ไม่ใช่เกี่ยวกับโลก

ข้อความที่ปกป้องได้นั้นแคบกว่า: บนฮาร์เนสที่ IFM เผยแพร่ Jais-3-32B ทำได้ดีกว่า Fanar-2-27B-Instruct ในทุกเบนช์มาร์กแบบเอเจนต์ที่มีการรายงาน และการ์ดของ Fanar ไม่ได้รายงานเบนช์มาร์กแบบเอเจนต์เลย ดังนั้นจึงไม่มีสิ่งใดขัดแย้งกับข้อความนี้ และก็ไม่มีสิ่งใดยืนยันสนับสนุนเช่นกัน หลักฐานที่เผยแพร่เป็นด้านเดียว เพราะมีเพียงด้านเดียวที่เผยแพร่

เลือกอันไหนดี

บริบทแบบยาว งานที่ใช้เอเจนต์ หรือความจำเป็นในการเลือกขนาดเช็กพอยต์: Jais 3 และไม่ใช่เรื่องที่ต้องคิดหนักในแง่บริบท หน้าต่าง 512K เมื่อเทียบกับ 32K ตัดสินเรื่องการประมวลผลเอกสาร งานระดับรีโพซิทอรี และเส้นทางการทำงานของเอเจนต์แบบยาวได้ด้วยตัวมันเอง

การให้เหตุผลภาษาอาหรับที่คุณตั้งใจจะอ่าน พฤติกรรมการงดตอบที่คุณวางใจได้ การจัดการเนื้อหาอัลกุรอาน หรือผู้ให้บริการที่มีแอปและช่องทางสนับสนุน: Fanar 2 ไปป์ไลน์หลังการฝึกของ QCRI นั้นซับซ้อนอย่างแท้จริง — คำสั่ง SFT จำนวน 4 ล้านรายการ คู่ DPO 280,000 คู่ ห้าขั้นตอน และรอบการปรับสมดุลขีดความสามารถโดยเจตนาเพื่อหยุดไม่ให้การปรับตัวกับบริบทขนาดยาวทำให้งานรูปแบบสั้นเสื่อมลง — และสิ่งนั้นปรากฏในมิติที่ไม่มีคอลัมน์บนลีดเดอร์บอร์ดใดสะท้อนได้

ถ้าการตัดสินใจเป็นเรื่องยากเพราะทั้งสองแบบก็สมเหตุสมผลพอ ๆ กันสำหรับภาระงานเดียวกัน สิ่งที่จะช่วยให้ตัดสินได้ก็คือพรอมป์ของคุณเอง รันกับทั้งสองแบบ แล้วให้คะแนนด้วยเกณฑ์ของคุณเอง นั่นคือการทดลองที่ยังไม่มีใครเผยแพร่สำหรับสองโมเดลนี้ และมันมีค่ามากกว่าตัวเลขทุกตัวที่ยกมาข้างต้น

การรันมันใช้แรงน้อยกว่าเมื่อก่อนแล้ว OrcaRouter ให้คีย์เดียวใช้ได้กับโมเดลกว่า 200 รุ่น โดยบวกเพิ่ม 0% ส่งผ่านราคาตามที่ผู้ให้บริการระบุไว้ตรง ๆ ดังนั้นการทดสอบเปรียบเทียบระหว่างเช็กพอยต์ภาษาอาหรับสองตัวจึงเป็นแค่การเปลี่ยนเส้นทาง ไม่ใช่การผสานรวมสองอย่าง — และการให้คะแนนทีละรายการก็เป็นกรณีที่ DSL การจัดเส้นทางถูกสร้างขึ้นมาเพื่อรองรับ เพราะมันให้คุณส่งพรอมป์ต์เดียวกันไปยังทั้งสองโมเดลได้ในการเรียกที่ประกอบขึ้นครั้งเดียว แทนที่จะต้องเขียนฮาร์เนสสำหรับเปรียบเทียบ ตอนนี้ยังไม่มีตระกูลใดอยู่ในแคตตาล็อกของเรา รายการโมเดลคือจุดที่ควรตรวจสอบว่ามีอะไรบ้าง.

อะไรจะยุติเรื่องนี้ได้

การรันแบบอิสระหนึ่งครั้งของทั้งสองโมเดลบนฮาร์เนสเดียวกัน โดยเผยแพร่พร้อมกับพรอมป์ต์ นั่นคือสิ่งที่ยังขาดไป และมันขาดไปสำหรับโมเดลอาหรับกระแสหลักทุกตัว ไม่ใช่แค่สองตัวนี้เท่านั้น ทั้งวงการกำลังขับเคลื่อนด้วยตัวเลขที่รายงานเอง ซึ่งเป็นเหตุผลว่าทำไมความเห็นต่างกันถึงแปดจุดเกี่ยวกับ ArabicMMLU ของ Fanar 2 จึงตั้งอยู่ต่อสาธารณะได้นานเจ็ดเดือนโดยไม่มีใครแก้ไข จนกว่าจะมีใครทำได้ ให้ถือว่าตารางของ Jais 3 เป็นข้อโต้แย้งของ IFM และตารางของ Fanar 2 เป็นของ QCRI และให้ถือว่าข้อเท็จจริงทางสถาปัตยกรรม — 512K เทียบกับ 32K, เจ็ดเช็กพอยต์เทียบกับหนึ่ง, แฟล็กพาร์เซอร์เทียบกับ API แบบโฮสต์ — เป็นส่วนที่คุณวางแผนรับมือได้จริง

สิ่งที่ตัวเลขบอกคุณไม่ได้คือว่ามีสิ่งใดผิดพลาดไปในการใช้งานจริงหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้เกี่ยวกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง