LFM3-1.7B vs MiniCPM5-2B: การทดสอบกระดานคะแนน 23 ต่อ 4 ของ Liquid

เมื่อวันที่ 27 ตุลาคม 2026 Liquid AI ได้เผยแพร่ตารางเกณฑ์มาตรฐาน 27 แถวที่จับ LFM3-1.7B มาเทียบกับ MiniCPM5-2B โมเดลของ Liquid ชนะ 23 แถวจากทั้งหมดนั้น MiniCPM5 ชนะสี่แถว จำนวนดังกล่าวแพร่กระจายอย่างรวดเร็ว ซึ่งเป็นปัญหา เพราะจำนวนครั้งที่ชนะเป็นสิ่งที่มีข้อมูลน้อยที่สุดที่คุณจะดึงออกมาจากตารางที่ผู้ขายรายหนึ่งเลือกเกณฑ์มาตรฐาน เขียนฮาร์เนส และรันทั้งสองโมเดล นี่คือการทดสอบว่า 23–4 บอกอะไรคุณได้จริง ๆ — และมันเริ่มต้นด้วยการยอมรับว่า การเปรียบเทียบที่ Liquid กำลังตอบอย่างเงียบ ๆ นั้นถูกเผยแพร่บนบล็อกนี้เมื่อวันก่อน และมันปฏิเสธที่จะยกข้อโต้แย้งนี้แบบตรง ๆ บทความนั้นเปรียบเทียบเช็กพอยต์ฐานทั้งสองและสรุปว่าทั้งคู่ไม่มีการประเมินที่ใช้งานได้ นี่คือเวอร์ชันที่มีน้ำหนักหลังการฝึก (post-trained) ทั้งสองฝั่ง

MiniCPM5-2B เป็นโมเดลให้เหตุผลแบบ dense ขนาด 2.52B ของ OpenBMB เปิดตัวเมื่อต้นเดือนกันยายน 2026 ภายใต้สัญญาอนุญาต Apache 2.0 LFM3-1.7B เป็นโมเดลข้อความและเอเจนต์ขนาด 1.73B ของ Liquid AI เปิดตัวเมื่อวันที่ 27 ตุลาคม 2026 ภายใต้ LFM Open License v1.0 ทั้งสองอยู่ในคลาสขนาดเดียวกัน แข่งขันกันในตำแหน่งการใช้งานบนอุปกรณ์เดียวกัน และถูกสร้างมาเพื่องานที่แตกต่างกันอย่างเห็นได้ชัด

ผู้ขายสองราย ฮาร์เนสสองชุด ตารางเดียว

จำนวน 23–4 นี้เกิดขึ้นได้ก็เพราะ Liquid รันคู่แข่งใหม่เท่านั้น นั่นเป็นสิ่งที่ชอบธรรมและเข้มงวดอย่างผิดปกติสำหรับการเปิดตัว — ผู้ขายส่วนใหญ่เปรียบเทียบกับตัวเลขบนลีดเดอร์บอร์ดสาธารณะและปล่อยให้โครงสร้างวิธีการไม่ได้ระบุไว้ แต่การรันคู่แข่งใหม่บนฮาร์เนสของคุณเองไม่ได้ให้ผลลัพธ์ที่เป็นกลาง และจุดที่เผยให้เห็นคือในแถวที่เบนช์มาร์กเดียวกันปรากฏบนการ์ดของทั้งสองผู้ขาย

ลองดู BFCL V4: Liquid วัดค่า MiniCPM5-2B ได้ 62.65 ขณะที่การ์ดของ OpenBMB เองรายงานไว้ที่ 66.6 ลองดู Humanity's Last Exam: Liquid ได้ 8.20 สำหรับ MiniCPM5 ส่วน OpenBMB อ้างว่า 8.9 ช่องว่างเหล่านี้เล็กน้อย — ภายในสี่จุดบนสเกล 0–100 — และบ่งชี้ว่าความแตกต่างของฮาร์เนสนั้นไม่มากนักบนเบนช์มาร์กมาตรฐาน ตอนนี้ลองดู SWE-bench Verified ซึ่ง OpenBMB รายงาน 46.4 สำหรับ MiniCPM5-2B และ Liquid รายงาน 43.40 สำหรับ LFM3-1.7B เอาตัวเลขสองตัวนั้นมาเทียบกันแล้ว MiniCPM5 ชนะ เอาแถว MiniCPM5 ของ Liquid เองมาเทียบกับแถว LFM3 ของ Liquid เอง แล้ว LFM3 ชนะ เบนช์มาร์กเดียวกัน สองโมเดลเดียวกัน คำตอบตรงกันข้าม เพราะตัวเลขมาจากฮาร์เนสคนละตัว

นี่คือปัญหาทั้งหมดในตัวอย่างเดียว ไม่มีผู้จำหน่ายรายใดเผยแพร่การตั้งค่า harness นโยบายการลองใหม่ หรือโครงสร้าง prompt จนกว่าจะมีใครสักคนรันทั้งสองโมเดลผ่าน harness เดียวที่พวกเขาไม่ได้ควบคุม ทุกแถวที่เปรียบเทียบข้ามผู้จำหน่ายในการเปรียบเทียบนี้ก็คือการโยนเหรียญที่แต่งตัวเป็นผลการวัด

ในกรณีที่ช่องว่างใหญ่เกินกว่าจะเป็นสัญญาณรบกวนจากฮาร์เนส

บางแถวไม่อาจอธิบายกลบเกลื่อนไปได้ การนำทางเว็บแบบเอเจนต์คือตัวอย่างที่ชัดเจนที่สุด:

• WebArena-Verified — LFM3-1.7B 38.42 เทียบกับ MiniCPM5-2B 9.11 บนฮาร์เนสของ Liquid

• AutomationBench — 41.29 เทียบกับ 4.71

• RULER 128K — 65.56 เทียบกับ 37.96

• BFCL V4 — 71.39 เทียบกับ 62.65

ช่องว่าง 4 คะแนนเป็นเพียงนั่งร้านค้ำโครง แต่ช่องว่าง 29 คะแนนบน WebArena-Verified หรือ 37 คะแนนบน AutomationBench ไม่ใช่ นั่นคือความแตกต่างในเรื่องที่ว่าโมเดลจะประคองแผนหลายขั้นตอนให้อยู่ครบได้หรือไม่เลย และสิ่งนี้สอดคล้องกับสิ่งที่แต่ละผู้ขายกล่าวถึงตัวเอง: Liquid สร้าง LFM3 โดยรอบ mid-training เชิง agentic ที่มี tool-call traces ส่วนเอกสารของ OpenBMB เองก็ระบุว่า MiniCPM5 อ่อนในงานหลายขั้นตอนแบบยาวและมีแนวโน้มจะพูดซ้ำ คำอธิบายสองชุดที่เป็นอิสระต่อกันถึงจุดอ่อนเดียวกัน ซึ่งมาจากคนละทิศทาง คือหลักฐานที่แข็งแรงที่สุดในการเปรียบเทียบทั้งหมดนี้

แถว long-context ควรได้รับการพิจารณาแยกต่างหาก เพราะเป็นแถวที่ผู้คนจะตีความผิด RULER 128K ที่ 37.96 สำหรับ MiniCPM5 เป็นคะแนนการค้นคืนที่ความยาว 128K ไม่ใช่ข้อความที่บอกว่าโมเดลจำกัดความยาวไว้ที่ 128K — MiniCPM5-2B รองรับ 131,072 โทเค็นอย่างเป็นทางการ หมายความว่าที่ความยาวนั้น MiniCPM5 หาสิ่งที่คุณขอให้หาพบน้อยลง LFM3 ได้ 65.56 ที่ความยาวเดียวกัน หากงานของคุณคือ "ค้นหาในเอกสารยาวแล้วตอบ" ช่องว่างนี้คือปัจจัยชี้ขาดทั้งหมด

สี่แถวที่ MiniCPM5 ชนะ — และเหตุใดสิ่งเหล่านี้จึงสำคัญ

ตารางของ Liquid มอบชัยชนะสี่รายการให้ MiniCPM5-2B: τ³-bench ที่ 69.44 เทียบกับ 68.01, GPQA Diamond ที่ 65.15 เทียบกับ 63.37, HLE ที่ 8.20 เทียบกับ 7.17 และ AA-Omniscience ที่ 9.13 เทียบกับ 7.07 สามในสี่รายการเป็นเบนช์มาร์กด้านความรู้ ช่องว่างอยู่ที่หนึ่งถึงสองคะแนน ซึ่งอยู่ในระดับ noise floor ของชุดการประเมินส่วนใหญ่

แต่รูปแบบนี้สอดคล้องกับการออกแบบของ MiniCPM5 OpenBMB ฝึกมันเป็นโมเดลเหตุผลที่มีโหมดคิดอย่างชัดเจน ผ่านกระบวนการที่ทำ SFT แบบคิดเชิงลึกกับข้อมูลกว่า 4 แสนล้านโทเคน จากนั้นจึงทำการเรียนรู้แบบเสริมกำลังกับครูผู้เชี่ยวชาญ ก่อนจะกลั่นแบบ on-policy ลงในเช็กพอยต์แบบ dense เพียงตัวเดียว นั่นคือสูตรที่มุ่งดึงความรู้ที่จัดเก็บไว้ต่อพารามิเตอร์ออกมาให้ได้มากขึ้น การฝึกของ LFM3 มุ่งไปที่การเรียกใช้เครื่องมือและการปฏิบัติตามคำสั่ง การที่ GPQA Diamond ให้ MiniCPM5 ชนะไป 1.8 คะแนนจึงไม่ใช่เรื่องน่าแปลกใจ มันคือปรัชญาการฝึกสองแบบที่ปรากฏขึ้นในจุดที่คุณคาดว่าจะเห็นนั่นเอง

การเปรียบเทียบที่น่าสนใจกว่ามากคือการเปรียบเทียบที่ตารางของ Liquid ไม่สามารถทำได้ MiniCPM5-2B มีดัชนีความฉลาดของ Artificial Analysis อยู่ที่ 12 ส่วน LFM3-1.7B ณ วันที่ 28 ตุลาคม 2026 ไม่มีรายการใน Artificial Analysis เลย — ไม่มีดัชนี ไม่มีความเร็วที่วัดอย่างเป็นอิสระ และไม่มีตัวเลขเวลาแฝงที่เป็นกลาง ดังนั้นโมเดลที่แพ้ 23 จาก 27 แถวกลับเป็นตัวที่มีจุดข้อมูลอิสระ ขณะที่โมเดลที่ชนะแถวเหล่านั้นกลับเป็นตัวที่ขอให้เราเชื่อใจ ความไม่สมมาตรนี้ควรมีน้ำหนักมากกว่าจำนวนแถวที่ชนะ

สเปกที่เปรียบเทียบกันได้อย่างตรงไปตรงมาจริง ๆ

ในกรณีที่ผู้จำหน่ายทั้งสองฝ่ายไม่ได้รัน benchmark ของอีกฝ่าย ตัวเลขก็จะน่าเบื่อและเชื่อถือได้:

• พารามิเตอร์ — LFM3-1.7B แบบ dense 1.73B เทียบกับ MiniCPM5-2B รวม 2.52B, ไม่รวม embedding 1.98B

• เลเยอร์ — 24 แบบไฮบริด (13 คอนโวลูชัน, 5 สไลดิงวินโดว์, 6 โกลบอล) เทียบกับ 42 เลเยอร์ทรานส์ฟอร์เมอร์มาตรฐานที่ใช้ grouped-query attention โดยมี 16 query heads และ 2 KV heads

• บริบท — 256K เทียบกับ 131,072

• KV cache ที่ 128K — 1.6 GB เทียบกับ 5.6 GB โดยอิงจากการวัดของ Liquid สำหรับทั้งสองรายการ

• ขนาดหน่วยความจำที่ 4-bit — ประมาณ 1 GB เทียบกับประมาณ 1.1 GB ในรายงานจากการใช้งานจริง

• คำศัพท์ — 128K เทียบกับ 130,560

• สัญญาอนุญาต — LFM Open License v1.0 ใช้งานฟรีเมื่อรายได้ต่ำกว่า 10 ล้านดอลลาร์สหรัฐ เทียบกับ Apache 2.0 ที่ไม่มีเกณฑ์ขั้นต่ำ

แถว KV-cache คือแถวที่ใช้ตัดสินฮาร์ดแวร์ ความแตกต่าง 3.5× ที่ความยาวคอนเท็กซ์เท่ากันคือความต่างระหว่างเอเจนต์บริบทยาวที่ใส่ได้บนโทรศัพท์กับที่ใส่ไม่ได้ นอกจากนี้ยังอธิบายว่าทำไม LFM3 จึงเสนอ 256K ขณะที่ MiniCPM5 เสนอ 131K: การผสมเลเยอร์แบบไตร-ไฮบริดมีต้นทุนต่อโทเค็นของคอนเท็กซ์ต่ำกว่า ซึ่งเป็นจุดประสงค์ทั้งหมดของการสร้างมันขึ้นมา

สำหรับบางทีม ความแตกต่างด้านสัญญาอนุญาตสำคัญกว่าความแตกต่างด้านหน่วยความจำ Apache 2.0 ไม่มีเกณฑ์รายได้ ไม่มีข้อตกลงเชิงพาณิชย์ให้ต้องเจรจา และไม่มีความกำกวมเกี่ยวกับการแจกจ่ายต่อ สัญญาอนุญาต LFM Open License ฟรีเมื่อรายได้ต่อปีต่ำกว่า 10 ล้านดอลลาร์ และต้องมีการพูดคุยเมื่อสูงกว่านั้น สตาร์ทอัพที่อยู่ใต้เส้นนั้นได้ทั้งสองอย่างฟรี บริษัทที่อยู่เหนือเส้นนั้นได้อย่างหนึ่งฟรีและอีกอย่างหนึ่งหลังการโทรศัพท์หนึ่งครั้ง และนั่นคือต้นทุนการจัดซื้อจัดจ้างที่แท้จริง ไม่ว่าโมเดลใดจะได้คะแนนสูงกว่า

ด้านการสนับสนุนระบบนิเวศคือจุดที่ MiniCPM5 ยังคงเป็นผู้นำ

ทั้งสองตระกูลมาพร้อมการรองรับรันไทม์อย่างกว้างขวางตั้งแต่วันแรก ทำให้ช่องว่างนี้แคบกว่าเมื่อปีที่แล้ว LFM3 ระบุ vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama และ LM Studio พร้อมบิลด์ BF16, FP8, NVFP4, GGUF, MLX และ ONNX ส่วน MiniCPM5-2B ระบุรันไทม์เดียวกัน บวกกับ GPTQ และ DSpark ซึ่งเป็นโมเดลร่างสำหรับการถอดรหัสแบบคาดเดา (speculative decoding) ที่ใช้คู่กับเช็กพอยต์หลัก

ความแตกต่างในทางปฏิบัติอยู่ที่ความสมบูรณ์ของโมเดลมากกว่าความพร้อมให้ใช้งาน MiniCPM5-2B ดาวน์โหลดได้ตั้งแต่ต้นเดือนกันยายน ซึ่งเท่ากับเจ็ดสัปดาห์ของรายงานบั๊กจากชุมชน การทดลองควอนไทเซชัน และแพตช์เฟรมเวิร์กที่ LFM3 ยังไม่มี โมเดลที่เพิ่งเปิดตัวเมื่อวานนี้ย่อมมีจุดที่ยังไม่เรียบร้อยในการแปลงเป็น GGUF และการแพ็กเกจสำหรับ Ollama นั่นไม่ใช่การตำหนิ Liquid แต่เป็นลักษณะของวันแรกที่เปิดตัว หากคุณต้องการใช้โมเดลนี้ในระบบโปรดักชันภายในสัปดาห์นี้ การที่คนอื่นเจอปัญหาก่อนเป็นเวลาเจ็ดสัปดาห์ก็มีค่าอยู่

วิธีตัดสินใจ และจุดที่เราเตอร์พิสูจน์คุณค่าได้

ไม่มีโมเดลไหนอยู่ในแคตตาล็อกของ OrcaRouter — ทั้งคู่เป็น open weights ที่คุณต้องรันเอง และเราอยากพูดให้ตรงไปตรงมาแบบนั้นมากกว่าจะทำให้เข้าใจเป็นอย่างอื่น เราเตอร์มีความสำคัญที่ขอบเขต การรันการประเมินนี้อย่างซื่อตรงคือการวางทั้งสองโมเดลไว้หลัง endpoint เดียวและส่งทราฟฟิกจริงเข้าไปหาโมเดลเหล่านั้น และวิธีรันโมเดลใดโมเดลหนึ่งในโปรดักชันอย่างซื่อตรงคืออย่าปล่อยให้โมเดลขนาด 2B เป็นสิ่งเดียวที่ตอบได้

นั่นคือสิ่งที่การ failover อัตโนมัติมีไว้สำหรับ คุณสามารถกำหนดเส้นทางคำขอไปยัง LFM3-1.7B ให้จัดการการเรียกใช้เครื่องมือหรือการสกัดข้อมูลที่โมเดลนี้ถูกฝึกมา และส่งต่อไปยังโมเดลที่โฮสต์ไว้เมื่อพบว่างานต้องใช้ขั้นตอนมากกว่าที่โมเดลขนาด 2B จะรับไหว เพราะ OrcaRouter ส่งผ่านราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0% เส้นทางที่มีค่าใช้จ่ายสูงจึงมีต้นทุนเฉพาะเท่าที่ผู้ให้บริการเรียกเก็บเมื่อมีการใช้งานจริงเท่านั้น — การประหยัดจากการกำหนดเส้นทางไปยังโมเดลโลคอลขนาดเล็กจึงไม่ถูกเราเตอร์กินไป DSL สำหรับการกำหนดเส้นทางช่วยให้คุณแสดงสิ่งนั้นเป็นกฎได้แทนการเขียนใหม่: ใช้ผู้เชี่ยวชาญก่อน แล้วใช้โมเดลอเนกประสงค์เมื่อล้มเหลวหรือเมื่อต่ำกว่าเกณฑ์ความเชื่อมั่น

การหลอมรวมโมเดล (model fusion) คือตัวเลือกที่ยังใช้กันน้อยในกรณีนี้ เมื่อโมเดลขนาด 2B สองตัวไม่เห็นตรงกันเกี่ยวกับการจำแนกประเภท การให้ทั้งคู่ตอบแล้วนำคำตอบมาปรับให้สอดคล้องกันมักถูกกว่าการยกระดับไปใช้โมเดลขนาด 27B และอัตราการไม่เห็นตรงกันเองก็เป็นสัญญาณที่มีประโยชน์ว่าอินพุตใดเป็นอินพุตที่ยาก เมื่อมีโมเดลที่ยังไม่ได้ตรวจสอบอยู่ฝั่งหนึ่งของไปป์ไลน์ของคุณ การตรวจสอบไขว้แบบนั้นถูกกว่าการเชื่อตารางจากผู้ขาย

อะไรจะยุติเรื่องนี้ได้

อีกสามสิบวันนับจากนี้ ใครสักคนควรเผยแพร่ LFM3-1.7B และ MiniCPM5-2B ผ่าน harness เดียว โดยมีคอนฟิกที่คอมมิตไว้ควบคู่กับผลลัพธ์ หาก LFM3 ทำได้ใกล้เคียง 38 บน WebArena-Verified และ 65 บน RULER 128K การนับ 23–4 ก็จะถือว่าใกล้เคียงถูกแต่ด้วยเหตุผลที่ผิด และช่องว่างด้าน agentic นั้นมีอยู่จริง หากมันลดลงไปทางตัวเลขของ MiniCPM5 แปลว่าตารางเปิดตัวนั้นกำลังวัด scaffolding

จนถึงตอนนั้น จุดยืนที่ปกป้องได้ก็แคบกว่าที่การตลาดของทั้งสองผู้ขายกล่าวอ้าง หากงานของคุณเป็นแบบหลายขั้นตอน การเรียกใช้เครื่องมือ หรือเอกสารยาว LFM3-1.7B คือตัวเลือกที่ดีกว่า และข้อได้เปรียบด้านหน่วยความจำทำให้มันเป็นเพียงตัวเดียวในสองตัวนี้ที่ลงตัวบนฮาร์ดแวร์ที่มีข้อจำกัดโดยยังมีพื้นที่เหลือ หากงานของคุณคือการดึงคืนความรู้ การให้เหตุผลแบบรอบเดียว หรือต้องการสัญญาอนุญาตที่ไม่กำกวมและโมเดลที่มีคะแนนอิสระแนบมาด้วย MiniCPM5-2B คือตัวเลือกที่ปลอดภัยกว่า และสี่แถวที่มันชนะก็ชี้ไปในทิศทางนั้นพอดี การนับ 23–4 ไม่ได้ผิดเสียทีเดียว แต่ก็ยังไม่ใช่สิ่งที่ได้มาอย่างชอบธรรม — และจำนวนโมเดลในตารางเปิดตัวก็ไม่ใช่สิ่งเดียวกับผลลัพธ์