ERNIE 5.5 Flash Preview และข้ออ้าง "โมเดลเปิดอันดับ #2" ที่แถวในลีดเดอร์บอร์ดของตัวเองกลับขัดแย้งกันเอง
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 250 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 104 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0722 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 139 tok/s
- Orcaใหม่OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 413 tok/s
- Orcaใหม่OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 ต่อ 1 ล้านโทเค็น · 43 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 130 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 57 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 165 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 69 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 415 tok/s
Baidu ได้ quote-tweet คำกล่าวอ้างบนกระดานอันดับเมื่อวันที่ 12 พฤศจิกายน 2026 ซึ่งมีข้อความเต็มว่า "Ernie 5.5 Flash Preview โดย @Baidu_Inc กำลังมีแนวโน้มที่จะกลายเป็นโมเดล open อันดับ #2 บน Code Arena: WebDev ด้วย 1668 คะแนน" Baidu เสริมจำนวนพารามิเตอร์ — ทั้งหมด 280 พันล้านตัว และ active 14 พันล้านตัวต่อโทเคน — และขอบคุณชุมชนที่ "นำมันไปทดสอบ" จากนั้นก็ปล่อยให้ส่วนที่เหลือคงอยู่ตามเดิม ปัญหาคือแถวที่ให้คะแนน 1668 นั้นไม่ได้ถูกติดป้ายว่า open บนกระดาน Code Arena WebDev เดียวกัน ในสแนปช็อตวันที่ 10 พฤศจิกายนเดียวกัน ERNIE 5.5 Flash Previewมีแท็ก Proprietary คะแนน 1668 ±16 ป้ายกำกับ AutoEval และคะแนนโหวตที่ระบุเป็น N/A โมเดลที่ถูกระบุว่าเป็นรุ่นที่มันแซง — DeepSeek-V4.1-Flash ที่ 1664 และ Kimi K3 ที่ 1658 — เป็นแถวที่ถูกจัดอันดับโดยมีคะแนนโหวตจากมนุษย์ 13,952 และ 22,405 ตามลำดับ และแถว DeepSeek มีแท็กสัญญาอนุญาต MIT ดังนั้นประโยคนี้จึงทำสามสิ่งพร้อมกัน: รายงานคะแนนจริง สัญญาว่าจะมีสัญญาอนุญาตที่ยังไม่มีอยู่จริง และอธิบายการจัดอันดับที่กระดานยังไม่ได้กำหนด
ไม่มีสิ่งใดในนั้นทำให้ตัวเลขนั้นผิด สิ่งนั้นทำให้ตัวเลขเป็นสิ่งที่ต่างชนิดจากสิ่งที่ประโยคกำลังขาย และความแตกต่างนั้นอ่านออกได้ทั้งหมดในคอลัมน์ของกระดานจัดอันดับเอง
สิ่งที่ Arena โพสต์ไว้ และบรรทัดเดียวที่ Baidu ละเว้น
โพสต์ของ Arena เผยแพร่เมื่อเวลา 01:08:21 UTC วันที่ 12 พฤศจิกายน 2026 ก่อนคำกล่าวของ Baidu หนึ่งนาที ควรมีข้อความฉบับเต็มไว้ตรงหน้าคุณ เพราะข้อกล่าวอ้างและคำขยายความอยู่ในย่อหน้าเดียวกัน:
"Ernie 5.5 Flash Preview โดย @Baidu_Inc กำลังมีแนวโน้มที่จะกลายเป็นโมเดลเปิดอันดับ #2 บน Code Arena: WebDev ด้วย 1668 คะแนน"
• "น้ำหนักจะถูกเปิดซอร์สภายใต้ Apache 2.0 ในเร็ว ๆ นี้"
• "คะแนนของมันทำให้อยู่เหนือกว่าเพียงเล็กน้อย: DeepSeek-V4.1-Flash (Max) ที่ 1664, Kimi K3 (Max) ที่ 1658"
Arena ใส่เงื่อนไขกับอันดับไว้ถึงสองครั้ง — “กำลังมีแนวโน้มที่จะกลายเป็น” — และผูกสถานะแบบ open weights เข้ากับเหตุการณ์ในอนาคตด้วยคำว่า “เร็ว ๆ นี้” quote-tweet ของ Baidu ทำซ้ำคะแนนและจำนวนพารามิเตอร์ ตัดประโยคเกี่ยวกับ Apache 2.0 ออกไปทั้งหมด และคงกรอบข้อความ “ล่าสุดจาก @arena” ไว้ ผู้อ่านที่เห็นเพียงโพสต์ของ Baidu จะไม่รู้ว่าครึ่งหนึ่งของคำกล่าวอ้างที่เป็นโมเดลเปิดนั้นเป็นถ้อยแถลงเชิงคาดการณ์อนาคต เพราะที่เดียวที่มีการระบุไว้คือครึ่งที่ถูกตัดออกไป
นั่นไม่ใช่การอ้างผิด แต่เป็นการเลือกสรร และมันโยนภาระการพิสูจน์ไปให้ผู้อ่านที่ต้องการตรวจสอบ ซึ่งเป็นสิ่งที่ส่วนที่เหลือของชิ้นงานนี้ทำ
แถวนั้น อ่านทีละคอลัมน์
Code Arena WebDev ให้คะแนนงานพัฒนาเว็บฝั่งฟรอนต์เอนด์: งานเขียนโค้ดแบบเอเจนติกที่มีหลายขั้นตอนการให้เหตุผลและการใช้เครื่องมือ ไม่ใช่คุณภาพแชตและไม่ใช่การเขียนโค้ดทั่วไป สแนปช็อตวันที่ 10 พฤศจิกายนของ它有 995,980 คะแนนโหวตจาก 158 โมเดล นี่คือแถวของ ERNIE 5.5 Flash Preview ตามที่กระดานแสดง โดยไม่มีการตีความเพิ่มเติม:
• คะแนน — 1668 เผยแพร่เป็น 1668 +16/-16 ดังนั้นช่วงประมาณ 90 เปอร์เซ็นต์จึงอยู่ที่ประมาณ 1652 ถึง 1684
• อันดับ — N/A แถวนี้จะแสดงระหว่างอันดับ 16 และอันดับ 17 โดยไม่มีหมายเลขอันดับ
{{1}}คะแนนเสียง{{/1}} — N/A ทั้งแถวไม่มีจำนวนคะแนนเสียงจากมนุษย์เลย
• ป้ายกำกับ — AutoEval แท็กที่มีลิงก์ซึ่งชี้ไปยังคำอธิบายของ Arena เอง
• แท็กสัญญาอนุญาต — กรรมสิทธิ์เฉพาะ
• ราคา — $0.28 สำหรับอินพุต และ $1.13 สำหรับเอาต์พุตต่อหนึ่งล้านโทเค็น ซึ่งตรงกับราคาตามรายการของ Qianfan
• คอนเท็กซ์ — N/A บนโมเดลที่หน้าผู้จำหน่ายระบุว่ามีหน้าต่าง 1M โทเค็น
สามในเจ็ดคอลัมน์นั้นเป็น N/A และหนึ่งในนั้นคือคอลัมน์ใบอนุญาต ซึ่งเป็นคอลัมน์ที่ข้อกล่าวอ้างนั้นขึ้นอยู่กับ เมื่อเปรียบเทียบกับย่านที่มันอ้างว่าอยู่เหนือกว่า ภาพกลับคมชัดขึ้นแทนที่จะเลือนรางลง:
• 1691 — Claude Opus 5 (Max), Anthropic, กรรมสิทธิ์
• 1688 — Kimi K3.1 Pro (Max), Moonshot, ติดแท็กว่า "Kimi K3.1 Pro License" ซึ่งเป็นสัญญาอนุญาตแบบกำหนดเองที่ Arena ระบุว่าไม่ใช่ทั้งแบบเปิดและแบบกรรมสิทธิ์
• 1682 — Gemini 4 Argon (High), Google, แบบกรรมสิทธิ์
• 1679 — GPT-6.1 Terra (Max), OpenAI, กรรมสิทธิ์
• 1676 — Qwen3.8-Max (0902), Alibaba, กรรมสิทธิ์, เบื้องต้น
• 1673 — GPT-6 Sol (Max), OpenAI, กรรมสิทธิ์เฉพาะ
• 1670 — Qwen3.8-Max, Alibaba, แบบกรรมสิทธิ์เฉพาะ, เบื้องต้น
• 1668 — ERNIE 5.5 Flash Preview, Baidu, เป็นกรรมสิทธิ์, AutoEval
• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), DeepSeek, MIT, 13,952 คะแนนเสียง
• 1658 — Kimi K3 (Max), Moonshot, 22,405 คะแนนโหวต
อ่านรายการนั้นเทียบกับข้อกล่าวอ้าง ทุกอย่างที่อยู่เหนือ ERNIE ในรายการนี้เป็น Proprietary ยกเว้นแถวที่ใช้สัญญาอนุญาตแบบกำหนดเองหนึ่งแถว โมเดลแรกที่มีสัญญาอนุญาตแบบเปิดอย่างแท้จริงที่คุณพบคือแถว DeepSeek ด้านล่างของมัน ดังนั้น "#2 open model" ไม่ใช่คำอธิบายว่า ERNIE อยู่ตรงไหนในตารางนี้ แต่เป็นคำอธิบายว่า ERNIE จะอยู่ตรงไหนหากเผยแพร่น้ำหนักภายใต้ Apache 2.0 และหากคะแนน AutoEval ถูกมองว่าเทียบเท่ากับคะแนนที่มนุษย์โหวต ทั้งสองเงื่อนไขเป็นอนาคตหรือยังเป็นที่โต้แย้ง และไม่มีเงื่อนไขใดปรากฏให้เห็นใน quote-tweet
AutoEval จริง ๆ คืออะไร และทำไม ±16 ถึงสำคัญตรงนี้
Arena เผยแพร่วิธีวิทยา AutoEval ของตนเมื่อวันที่ 30 กรกฎาคม 2026 และแก้ไขล่าสุดเมื่อวันที่ 12 สิงหาคม กลไกดังกล่าวคือรีวอร์ดโมเดลที่ฝึกจากความชอบของมนุษย์ ใช้ในการลงคะแนนโดยอัตโนมัติ: สุ่มตัวอย่างคู่พรอมต์–คำตอบสด นำคำตอบจากโมเดลเป้าหมายมาสร้างใหม่ ให้รีวอร์ดโมเดลให้คะแนนทั้งสอง แปลงผลต่างคะแนนเป็นคะแนนเสียงแบบความน่าจะเป็นแบบซอฟต์ แล้วรวมคะแนนเสียงสังเคราะห์เหล่านั้นกับคะแนนเสียงจากมนุษย์สดที่มีต่อโมเดลอื่น ๆ Arena ระบุว่าคะแนนที่ได้นั้น "ติดป้ายกำกับอย่างชัดเจนว่า 'AutoEval' จากนั้นจะอัปเดตเมื่อมีคะแนนเสียงจากมนุษย์มากพอที่จะยืนยันคะแนนเหล่านั้น" และรายงานว่าสหสัมพันธ์ของการจัดอันดับสูงกว่า 0.98 เมื่อเทียบกับการประเมินแบบสด
นั่นเป็นวิธีที่สมเหตุสมผลในการได้สัญญาณตั้งแต่วันแรก และเป็นเหตุผลว่าทำไมโมเดลจึงปรากฏบนบอร์ดได้ในวันที่เปิดตัว และตามคำอธิบายของ Arena เอง มันก็เป็นเพียงตัวแทนชั่วคราว ตัวเลขนี้เป็นค่าชั่วคราวโดยการออกแบบ และคาดว่าจะเปลี่ยนแปลงได้ ป้ายกำกับในแถวของ ERNIE ไม่ใช่สิ่งประดับ แต่เป็นคำสั่งให้ถือว่า 1668 เป็นค่าประมาณที่รอการตรวจสอบยืนยัน
ตอนนี้ให้ใช้แถบความคลาดเคลื่อน ซึ่งเป็นส่วนของแถวที่ไม่มีใครยกมาอ้าง ช่วงของ ERNIE อยู่ที่ประมาณ 1652 ถึง 1684 ค่า 1664 ของ DeepSeek-V4.1-Flash และ 1658 ของ Kimi K3 ต่างก็อยู่ในช่วงนี้ เช่นเดียวกับ Qwen3.8-Max ที่ 1670 และ GPT-6 Sol ที่ 1673 ประโยค "คะแนนของมันทำให้มันอยู่เหนือ DeepSeek-V4.1-Flash ที่ 1664 และ Kimi K3 ที่ 1658 เล็กน้อย" เป็นจริงในเชิงเลขคณิตเมื่อเทียบกับค่าประมาณจุด และไม่ได้รับการสนับสนุนทางสถิติในฐานะการเปรียบเทียบ: เมื่ออิงตามความไม่แน่นอนที่เผยแพร่ของแถวนี้เอง ERNIE ไม่สามารถแยกความแตกต่างจากโมเดลใด ๆ ระหว่าง 1652 ถึง 1684 ได้ มันอาจอยู่เหนือ DeepSeek หรืออาจอยู่ต่ำกว่า กระดานในปัจจุบันไม่ได้ระบุว่าอย่างไร
นี่ไม่ใช่รายละเอียดทางเทคนิคที่มุ่งเจาะจงผู้ให้บริการรายใดรายหนึ่ง ช่วง ±16 บนตารางอันดับที่ทั้ง 25 อันดับแรกกินช่วงประมาณ 200 คะแนนหมายความว่าแถวที่อยู่ติดกันเกือบทุกคู่เสมอกันที่ระดับความเชื่อมั่นนี้ และการตีความอย่างตรงไปตรงมาของการเปรียบเทียบแถวติดกันเพียงคู่เดียว — สำหรับโมเดลใดก็ตาม — คือ “เสมอกัน” สิ่งที่ผิดปกติในที่นี้มีเพียงว่า ผู้ให้บริการรายหนึ่งนำการเปรียบเทียบแถวติดกันนั้นไปขยายความจากผลลัพธ์ดังกล่าว
ที่มาของ "#2" และสัญญาอนุญาตที่มันพึ่งพาอยู่
ย้อนกลับไปจากตัวเลขแล้ว จะมีเพียงวิธีเดียวเท่านั้นที่ทำให้ข้อกล่าวอ้างนี้เป็นจริง ซึ่งคุ้มค่าที่จะระบุไว้ เพราะสามารถตรวจสอบได้ และเพราะ Arena ไม่ได้อธิบายไว้อย่างชัดเจน
ให้ถือว่าเซตเปิดหมายถึง “ทุกแถวที่ Arena ไม่ได้ติดแท็ก Proprietary” เหนือ 1668 ขึ้นไป จะเหลือเพียงแถวเดียวเท่านั้น คือ Kimi K3.1 Pro (Max) ที่ 1688 ซึ่งมีแท็ก “Kimi K3.1 Pro License” ส่วนอย่างอื่นทั้งหมดที่อยู่เหนือ ERNIE ถูกติดแท็ก Proprietary ภายใต้การตีความนั้น Kimi K3.1 Pro คือ #1 และ ERNIE 5.5 Flash Preview จะเป็น #2 — ไม่ใช่เพราะมันเอาชนะกลุ่มผู้แข่งขันได้ แต่เพราะกลุ่มที่อยู่ข้างหน้าถูกจัดเป็น proprietary
การประกอบคำอธิบายขึ้นใหม่นั้นเป็นการอนุมาน ไม่ใช่การอ้างคำพูด: โพสต์ของ Arena ไม่ได้ระบุชื่อโมเดลที่ตนถือว่าเป็น #1 และกระดานจัดอันดับก็ไม่ได้เปิดเผยตัวจำแนกแบบเปิดเทียบกับแบบกรรมสิทธิ์ นอกเหนือจากแท็กสัญญาอนุญาต หากการอนุมานนั้นถูกต้อง ข้อเท็จจริงที่เป็นแกนรับน้ำหนักของข้อกล่าวอ้างก็คือสัญญาอนุญาตแบบกำหนดเองบนโมเดลของคนอื่น — Arena มองว่า Kimi K3.1 Pro เป็นแบบเปิด และกรอบการเรียก "โมเดลเปิดอันดับ 2" ทั้งหมดก็สืบทอดการตัดสินใจจำแนกประเภทนั้นมา หาก Arena นับสัญญาอนุญาตแบบกำหนดเองเป็นแบบปิดแทน แถวที่ไม่ใช่กรรมสิทธิ์อันดับสูงสุดก็คือ 1668 ของ ERNIE และข้อกล่าวอ้างควรเขียนว่า "#1" ซึ่งจะเป็นประโยคที่แปลกกว่ามากหากจะเผยแพร่เกี่ยวกับพรีวิว
ไม่ว่าจะมองแบบไหน ประโยคนี้ก็แบกน้ำหนักไว้มากกว่าข้อมูลที่มีอยู่เบื้องหลัง ตัวเลขนั้นมีจริง แต่อันดับนั้นขึ้นอยู่กับใบอนุญาตที่ยังไม่มีใครเคยเห็น
ระยะทางที่กรอบภาพซ่อนไว้
ตัวเลขอีกตัวหนึ่งควรอยู่ในเวอร์ชันที่ซื่อตรงใด ๆ ของโพสต์นี้ และการที่มันหายไปคือสิ่งที่เป็นประโยชน์ที่สุดในแง่ข้อมูลเกี่ยวกับโพสต์นี้ อันดับสูงสุดของ Code Arena WebDev ในสแนปช็อตเดียวกันคือ Claude Fable 5.2 ที่ 1836 ส่วน ERNIE 5.5 Flash Preview ที่ 1668 ตามหลังอยู่ 168 คะแนน — และเป็นอันดับที่ 17 จาก 158 หากแถว AutoEval ถูกจัดอันดับ โดยแทรกอยู่ระหว่าง Qwen3.8-Max ที่ 1670 และ DeepSeek-V4.1-Flash ที่ 1664
อันดับที่ 17 บนกระดานจัดอันดับที่มี 158 โมเดล หนึ่งวันหลังการเปิดตัว ด้วยพารามิเตอร์ที่ใช้งานอยู่ 14 พันล้านจากทั้งหมด 280 พันล้าน ถือเป็นผลลัพธ์ที่ดีจริง ๆ เป็นผลลัพธ์ประเภทที่ทำให้การโพสต์ในสัปดาห์เปิดตัวมีเหตุผลรองรับ แต่ไม่ใช่ผลลัพธ์ประเภทที่ต้องแต่งให้ดูเหมือนขึ้นโพเดียม และการแต่งแบบนั้นก็ดึงดูดการตรวจสอบอย่างเข้มข้นซึ่งทำให้ผู้ขายเสียความน่าเชื่อถือมากกว่าที่ประโยคที่ตรงไปตรงมาจะทำให้เสีย
สิ่งที่หน้าเวนเดอร์ระบุและไม่ได้ระบุ
หน้าเผยแพร่ของ Baidu เองสำหรับ ERNIE 5.5 Flash Preview ลงวันที่ 11 พฤศจิกายน 2026 ระบุว่า “มีพารามิเตอร์ทั้งหมด 280B โดยมี 14B ที่ใช้งานอยู่ และบริบทขนาด 1M โทเคน” และอธิบายว่าโมเดลนี้เป็นเช็กพอยต์แรกที่ผ่านกระบวนการ post-training บน ERNIE 5.5 Flash Base ซึ่งเป็นน้ำหนักฐานที่เผยแพร่เมื่อวันที่ 5 พฤศจิกายน หน้าเพจดังกล่าวไม่มีข้อความเกี่ยวกับสัญญาอนุญาต ไม่มีคำชี้แจงเรื่องน้ำหนักโมเดล และไม่มีตัวเลข Benchmark โดยการอ้างอิง Benchmark ในหน้านั้นเป็นพาดหัวข่าวเกี่ยวกับการเปิดตัว ERNIE รุ่นก่อนหน้า ไม่ใช่คะแนนของโมเดลนี้
ช่องว่างนั้นสำคัญต่อข้อกล่าวอ้างที่กำลังพิจารณา “น้ำหนักโมเดลจะถูกเปิดซอร์สภายใต้ Apache 2.0 ในไม่ช้า” ปรากฏในโพสต์ของ Arena แต่ไม่ปรากฏบนหน้าเปิดตัวของผู้จำหน่าย และไม่ปรากฏในการประชาสัมพันธ์โพสต์นั้นโดยผู้จำหน่ายเอง หากคำมั่น Apache 2.0 เป็นจริงและยังใช้อยู่ในปัจจุบัน หน้าเปิดตัวย่อมเป็นสถานที่ตามธรรมชาติสำหรับสิ่งนี้ แต่กลับไม่มีอยู่ที่นั่น หากเป็นจริงแต่ยังไม่ได้บันทึกเป็นเอกสาร แหล่งสาธารณะเดียวสำหรับคำมั่นด้านสัญญาอนุญาตของโมเดลนี้ก็คือประกาศบนลีดเดอร์บอร์ด ซึ่งเป็นที่พึ่งที่เปราะบางเกินไปสำหรับสัญญาอนุญาต เมื่อผู้จำหน่ายกำลังสร้างการจัดอันดับบนพื้นฐานของมัน
วิธีใช้สิ่งนี้ก่อนที่ตัวเลขจะเข้าที่
คำถามในทางปฏิบัติสำหรับใครก็ตามที่กำลังเลือกโมเดลในสัปดาห์นี้ ไม่ใช่คำถามว่า 1668 เป็นคะแนนที่ดีหรือไม่ แต่คือว่า ประมาณการ WebDev แบบชั่วคราวบนเช็กพอยต์พรีวิว ซึ่งคิดราคาที่ $0.28 ขาเข้าและ $1.13 ขาออก โดยมีการให้เหตุผลแบบบังคับที่ถูกคิดเงินเป็นเอาต์พุต ควรเข้ามาแทนที่สิ่งที่มีอยู่ในโปรดักชันแล้วหรือไม่ จากหลักฐานที่มีอยู่ คำตอบคือไม่ — แต่วิธีทดสอบนั้นราคาถูก และไม่จำเป็นต้องเชื่อทั้งโพสต์หรือบทความนี้
ให้รันการเปรียบเทียบบนโมเดลที่ผ่านเราเตอร์แทนที่จะรันบนลีดเดอร์บอร์ด DeepSeek-V4.1-Flash และ Kimi K3 ทั้งคู่พร้อมใช้งานผ่าน OrcaRouter ภายใต้คีย์ที่เข้ากันได้กับ OpenAI เพียงคีย์เดียว, ในราคาตามรายการของผู้ให้บริการโดยไม่มีการบวกเพิ่มดังนั้นกลุ่มควบคุมจึงมีต้นทุนในอัตราของผู้ให้บริการเอง แทนที่จะต้องมีสัญญาที่สองและ SDK ตัวที่สอง สร้างงานฟรอนต์เอนด์ยี่สิบงานที่สะท้อนงานจริงของคุณ — การรีแฟกเตอร์คอมโพเนนต์, บั๊กเลย์เอาต์ที่ปรากฏเฉพาะที่เบรกพอยต์หนึ่ง, งานเดินสายสเตตแมชชีน — รันแต่ละโมเดลสองครั้ง และนับทั้งโทเค็นเอาต์พุตและความถูกต้อง นั่นคือการวัดที่ไม่มีแถวใดในลีดเดอร์บอร์ดจะให้คุณได้ เพราะมันเป็นตัวเลขเดียวที่ต้องเป็นของคุณ: ต้นทุนต่องาน ไม่ใช่ราคาต่อโทเค็น
ให้ถือว่า ERNIE 5.5 Flash Preview เองเป็นสิ่งที่กำลังถูกทดสอบ ไม่ใช่สิ่งที่กำลังจะถูกนำมาใช้ มันอยู่บน Qianfan ไม่ได้อยู่ในแคตตาล็อกของเรา และพรีวิวที่ผู้ขายของมันเองเรียกว่าเป็นเช็กพอยต์หลังการฝึกขั้นกลางนั้นก็เป็นโปรไฟล์แบบที่คุณควรกำหนดเส้นทางให้อยู่หลังระบบหลัก ไม่ใช่ไว้ข้างหน้า หากคุณจะวางมันไว้บนเส้นทางจริง ก็จงวางไว้บนเส้นทางที่มี failover เพื่อให้วันที่ Arena แทนที่ 1668 ด้วยตัวเลขที่มาจากการโหวตของมนุษย์ — หรือวันที่น้ำหนักของ Apache 2.0 ปรากฏขึ้น หรือไม่ปรากฏ — ผู้ใช้ของคุณจะรู้จากบรรทัดล็อก ไม่ใช่จากเหตุระบบล่ม
อะไรจะทำให้เรื่องนี้ยุติลง
สามสิ่ง ตามลำดับที่สิ่งเหล่านั้นมีแนวโน้มจะเกิดขึ้น ซึ่งแต่ละอย่างจะเปลี่ยนข้อสรุปในบทความนี้ ไม่ใช่เพียงแค่เสริมให้ดูดีขึ้นเท่านั้น
• คะแนนโหวตจากมนุษย์จะแทนที่ป้ายกำกับ AutoEval ในแถวนั้น Arena ระบุว่าคะแนนจะได้รับการอัปเดตเมื่อมีคะแนนโหวตเข้ามามากพอ เมื่อคะแนนโหวตไม่แสดงเป็น N/A อีกต่อไป ค่า 1668 ก็จะเทียบได้กับ 1664 และ 1658 ที่มันถูกนำมาตั้งเทียบไว้ และคำถามเรื่อง ±16 ก็จะคลี่คลายไปเอง ให้จับตาดูว่าช่วงความเชื่อมั่นแคบลงมากน้อยเพียงใด พอ ๆ กับที่ค่าประมาณจุดขยับ
• การเผยแพร่น้ำหนักโมเดลภายใต้สัญญาอนุญาตที่มีชื่อระบุไว้อย่างชัดเจน รีโพซิทอรีจริงที่มีไฟล์ Apache 2.0 จะยุติข้อถกเถียงเรื่องโมเดลเปิดได้อย่างถาวร และทำให้กรอบคำว่า "#2 open model" ยุติธรรมย้อนหลังได้ ส่วนการประกาศสัญญาอนุญาตโดยไม่มีน้ำหนักโมเดลนั้นไม่ได้ยุติสิ่งใดเลย
• การวัดผล WebDev ที่เป็นอิสระ AutoEval ของ Arena เป็นเครื่องมือของ Arena เอง และตัวเลข benchmark ทุกตัวที่ Baidu เผยแพร่สำหรับโมเดลนี้คือการรันของ Baidu เองบน harness ของ Baidu เอง ทั้งสองอย่างไม่ใช่ผลลัพธ์จากบุคคลที่สาม การประเมิน front-end ที่เป็นอิสระอย่างแท้จริงครั้งแรกของ ERNIE 5.5 Flash Preview จะมีคุณค่ามากกว่าทั้งสองอย่างนั้น
จนถึงตอนนั้น ประโยคที่ถูกต้องคือประโยคที่น่าเบื่อ: checkpoint พรีวิวที่ Baidu ปล่อยเมื่อวันที่ 11 พฤศจิกายน ไปอยู่ที่ 1668 บน Code Arena WebDev ซึ่งเป็นค่าประมาณจาก AutoEval ที่อยู่ในช่วงซึ่งทับซ้อนกับสี่โมเดลถัดลงไป ในแถวที่บอร์ดยังติดแท็กว่า Proprietary และผู้ขายของมันขยายผลสิ่งนั้นว่าเป็นอันดับ 2 ในระยะใกล้นี้ средиโมเดลเปิด ทุกอนุประโยคของข้อความนั้นตรวจสอบได้ในวันนี้ ฉบับที่ถูกทวีตนั้นไม่ได้ผิดเสียทีเดียว แต่ยังไม่สมบูรณ์มากกว่า — และมันถูกเผยแพร่ราวกับว่าสำเร็จรูปแล้ว
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
