d1-2B vs Liquid AI d1-3B: โมเดลที่เล็กกว่าคว้าชัยบนกระดานคะแนน แต่พ่ายแพ้ในการนำไปใช้งานจริง

สี่คำถามเป็นตัวตัดสินการจับคู่นี้ และไม่มีข้อใดเลยที่ถามว่า “โมเดลไหนดีกว่า” สถานะนั้นรวมวิดีโอหรือไม่ มันเกิน 32K โทเค็นหรือไม่ คุณจำเป็นต้องรันมันภายใต้ llama.cpp หรือไม่ คุณพร้อมรับความเสี่ยงที่จะเป็นคนแรกที่ทดสอบมันหรือไม่ d1-2B เป็นโมเดลตัดสินใจขนาด 1.92B ของ Liquid AI สร้างบน LFM3-VL-2B และได้คะแนน 51.1 ในตาราง Decision Index ของผู้พัฒนา Liquid AI d1-3B เป็นโมเดลขนาด 3.12B ที่เปิดตัวเมื่อวันที่ 7 ตุลาคม สร้างบน LFM2.5-VL-3B และได้คะแนน 49.0 ในตารางเดียวกัน โมเดลที่ใหม่กว่าและเล็กกว่านำโดยเฉลี่ย แต่ก็ยังแพ้ในสามแถวที่การนำไปใช้งานจริงให้ความสำคัญ และเป็นรุ่นเดียวในสองรุ่นนี้ที่ไม่มีเส้นทาง llama.cpp และไม่มีผลการทดสอบอิสระ หน้านี้จัดโครงสร้าง вокругสี่คำถามนั้นแทนที่จะ围绕ลีดเดอร์บอร์ด เพราะลีดเดอร์บอร์ดไม่ได้ตอบคำถามเหล่านี้เลย

คำตอบสั้น ๆ แยกตามปริมาณงาน

• การคัดกรองเฉพาะข้อความในปริมาณมาก — d1-2B โดยอาศัยจุดแข็งที่ทำได้ 1,132 การตัดสินใจต่อวินาทีสำหรับ 64 สถานะที่แบตช์ไว้ และน้ำหนัก 3.84GB ข้อได้เปรียบของ 3B ใน Typed Decisions ไม่มีความสำคัญเมื่อผลลัพธ์เป็นป้ายกำกับ

• การอ่านแผนภาพและกราฟ — Liquid AI d1-3B โดยชนะ AI2D 79.9 ต่อ 76.7 และเป็นโมเดลที่มีการรันแบบอิสระรองรับอยู่เบื้องหลัง

• เอกสารยาว แบบฟอร์มยาว ทรานสคริปต์การโทรยาว — d1-2B หน้าต่างของมันคือ 128K โทเค็น เทียบกับ 32,768 และการ์ดระบุตามจริงว่าความน่าเชื่อถือจะลดลงหลังจากประมาณ 64K ซึ่งยังคงเหลือความจุรวมเป็นสองเท่าของ 3B

• กล่อง Edge ที่รัน llama.cpp — Liquid AI d1-3B โดยเป็นค่าเริ่มต้นมากกว่าจะมาจากคุณสมบัติที่ดีกว่า โดยมีรีโพซิทอรี GGUF และบิลด์เวต-แอกทิเวชันแบบควอนไทซ์ ส่วน d1-2B ไม่มีทั้งสองอย่าง

• ทุกกรณีที่การตัดสินใจผิดพลาดมีต้นทุนสูงและยังไม่ผ่านการทดสอบ — ไม่ใช่ทั้งสองตัว จนกว่าคุณจะรันทั้งสองตัวกับข้อมูลของคุณเอง มีเพียงตัวเดียวเท่านั้นที่เคยถูกบุคคลที่สามรันด้วยซ้ำ

ตระกูลเดียวกัน ต่างกันหนึ่งรุ่น

สองโมเดลนี้ไม่ใช่โมเดลพี่น้องกันในแบบที่ชื่อชวนให้คิด Liquid AI d1-3B สืบทอดมาจาก LFM2.5-VL-3B ซึ่งมีต้นกำเนิดจาก LFM2.5-2.6B-Base และมีตัวเข้ารหัสภาพ SigLIP2 NaFlex ขนาด 400M ติดตั้งอยู่ ส่วน d1-2B สืบทอดมาจาก LFM3-VL-2B ซึ่งเป็นตระกูลถัดไป โดยมีแกนหลักเป็น 24 เลเยอร์ที่แบ่งเป็น 13 gated short convolutions, 5 เลเยอร์ sliding-window attention และ 6 เลเยอร์ global attention ช่องว่างระหว่างรุ่นนี้เองคือที่มาของการสลับผลลัพธ์บน benchmark: สถาปัตยกรรมที่ใหม่กว่าทำงานได้มากขึ้นต่อพารามิเตอร์ ดังนั้นเช็กพอยต์ที่เล็กกว่าจึงมีคะแนนนำโมเดลที่ใหญ่กว่าได้ในแถวส่วนใหญ่

• พารามิเตอร์ — 1.92B สำหรับ d1-2B เทียบกับ 3.12B สำหรับ Liquid AI d1-3B

• ดาวน์โหลด — 3.84GB เทียบกับ 6.25GB ของ BF16 safetensors ทั้งคู่เป็นไฟล์เดียว

• บริบท — 128K โทเค็น เทียบกับ 32,768

• คำศัพท์ — 128,000 โทเคน เทียบกับคำศัพท์ของ LFM2.5

• อินพุต — ข้อความหรือ JSON, รูปภาพ หรือวิดีโอ, พร้อมคำถามที่ระบุชื่อ สำหรับ d1-2B; ข้อความหรือ JSON พร้อมรูปภาพสำหรับ 3B วิดีโอเป็นความแตกต่างด้านความสามารถที่ชัดเจนที่สุดระหว่างทั้งสอง

• ภาษาต่างๆ — อย่างละสิบหก ชุดเดียวกัน

• สัญญาอนุญาต — LFM Open License v1.0 สำหรับทั้งสองแบบ โดยการใช้ในเชิงพาณิชย์มีเงื่อนไขว่ารายได้ต่อปีต้องต่ำกว่า $10,000,000 ไม่มีเหตุผลด้านสัญญาอนุญาตให้ต้องเลือกแบบใดแบบหนึ่งมากกว่ากัน

• การเผยแพร่ — น้ำหนักของ d1-3B ถูกอัปโหลดขึ้นเมื่อวันที่ 5 ตุลาคม และได้รับการประกาศเมื่อวันที่ 7 ตุลาคม รีโพซิทอรีของ d1-2B ถูกสร้างขึ้นเมื่อวันที่ 24 ตุลาคม และไม่เคยมีโพสต์เป็นของตัวเองเลย ประโยคเดียวจากผู้จำหน่ายที่ระบุชื่อมันอยู่ในงานเปิดตัว LFM3 เมื่อวันที่ 27 ตุลาคม

รายละเอียดหนึ่งในเอกสารประกอบที่ควรอ่านเป็นสัญญาณมากกว่าข้อเท็จจริง: หน้าเอกสาร decision-model ของ Liquid AI ขณะนี้ระบุ d1-2B, d1-omni-2B, d1-omni-600M, d1.1 และ d1-ultra โดยไม่ระบุ d1-3B อีกต่อไป โมเดล 3B ยังไม่ได้ถูกปลดระวาง — repo, บิลด์ GGUF และ MLX ของโมเดลยังใช้งานได้ทั้งหมด — แต่ดัชนีของเจ้าของผลิตภัณฑ์เองได้ย้ายช่อง open-weights ไปที่ 2B แล้ว

กระดานคะแนน อ่านทีละแถว

ตัวเลขทั้งหมดด้านล่างมาจากตาราง benchmark บนการ์ดโมเดลของ d1-2B ซึ่งให้คะแนนโมเดล d1 แบบเปิดสี่โมเดลบนรายการเดียวกันด้วย scorer ตัวเดียวกัน สิ่งนี้สำคัญเพราะการ์ดของ Liquid AI d1-3B เองรายงานค่า 48.57 บน Decision Index 0.2.1 ขณะที่ตารางนี้รายงาน 49.0 บนเวอร์ชัน 0.3; ช่องว่างนี้เกิดจากฉบับของ index ไม่ใช่การเปลี่ยนแปลงของโมเดล และการ์ดระบุไว้ในหมายเหตุ การเปรียบเทียบการ์ดสองใบโดยตรง — 48.57 เทียบกับ 51.1 — จะเป็นการลบข้ามการทดสอบสองชุดที่ต่างกัน การเปรียบเทียบภายในตารางนี้เป็นสิ่งที่สมเหตุสมผล และเป็นสิ่งที่ส่วนที่เหลือของหัวข้อนี้ทำ

• Decision Index public suite v0.3 — 51.1 เทียบกับ 49.0

• DecisionBench (Hanno Labs) v1 — 77.1 เทียบกับ 73.1

• Decision Bench (decisionbench.ai) v4 — 85.2 เทียบกับ 83.6

• JevBench v1.4.1 — 77.9 เทียบกับ 76.2.

• ImajevBench v2.0-lite — 75.5 เทียบกับ 64.0 ซึ่งเป็นช่องว่างด้านการตัดสินใจที่ใหญ่ที่สุด

• WorkflowEvals — 81.6 เทียบกับ 74.4

• คณะกรรมการภายในของ Liquid AI — 63.2 เทียบกับ 58.8

• ค่าเฉลี่ย Vision — 70.2 เทียบกับ 65.4 จาก 18 เบนช์มาร์ก

ชุดการตัดสินใจที่มีชื่อทุกชุดในตารางนั้นตกเป็นของ 2B ซึ่งนี่คือสิ่งที่โพสต์เปิดตัว LFM3 หมายถึง เมื่อเรียก d1-2B ว่าเป็นตัวแทนที่มาแทน d1-3B "โดยมีพารามิเตอร์น้อยลงหนึ่งในสาม" และมีคะแนนสูงขึ้น "ในชุดการตัดสินใจทั้งสี่ชุด" ข้อกล่าวอ้างนี้ถูกต้องตามที่เขียนไว้ — และแคบกว่าคำว่า "เอาชนะ 3B" ซึ่งเป็นเหตุผลที่มีย่อหน้าถัดไป แล้วก็มีสามแถวที่ไปในทางตรงกันข้าม Fast Decisionsอยู่ที่ 58.8 สำหรับ d1-2B เทียบกับ 59.3 สำหรับ 3B Typed Decisionsอยู่ที่ 61.3 เทียบกับ 65.0 AI2Dอยู่ที่ 76.7 เทียบกับ 79.9 ไม่มีช่องว่างใดในนั้นที่ใหญ่ และสองในสามอยู่ภายในหนึ่งจุด แต่สิ่งเหล่านี้คือแถวที่พารามิเตอร์ 1.2B ที่เพิ่มเข้ามายังซื้ออะไรที่วัดผลได้อยู่: การตัดสินใจที่เน้นความเร็ว การสกัดข้อมูลแบบมีชนิด และการอ่านแผนภาพ ถ้างานในไปป์ไลน์ของคุณคือการสกัดข้อมูลแบบมีชนิดจากแบบฟอร์ม 3B ก็ไม่ใช่ตัวเลือกที่ล้าสมัยอย่างที่หน้าเอกสารบอกเป็นนัย

ความหน่วง: ตัวเลขหลักสองตัวนี้ไม่สามารถนำมาเปรียบเทียบกันได้

Liquid AI ระบุว่า d1-2B ใช้เวลา 5.7 ms ต่อการตัดสินใจ และ Liquid AI d1-3B ใช้เวลา 8 ms โดยค่าทั้งสองนี้ไม่ได้มาจากการวัดแบบเดียวกัน ตัวเลขของ 2B วัดบน H100 PCIe ส่วนตัวเลขของ 3B วัดบน RTX 4090 ช่องว่าง 2.3 ms ระหว่าง GPU สองรุ่นที่ต่างกันไม่ได้บอกอะไรเลยว่ามодельใดเร็วกว่าบนฮาร์ดแวร์ของคุณ และการนำมาพูดซ้ำในฐานะการเปรียบเทียบก็จะเป็น exactly การฟอกตัวเลขแบบที่บล็อกนี้ตั้งอยู่เพื่อหลีกเลี่ยง

มีเครื่องหนึ่งเครื่องที่การ์ดทั้งสองใบรายงานตรงกัน บน Apple M5 Pro, d1-2B ใช้เวลา 18.6 มิลลิวินาทีต่อคำถาม และรุ่น 3B ใช้เวลา 30 มิลลิวินาที — ลดลง 38% บนซิลิคอนเดียวกัน นั่นคือการเปรียบเทียบความเร็วที่ตรงไปตรงมา และชี้ไปในทิศทางเดียวกับที่ความแตกต่างด้านขนาดบ่งชี้ สำหรับการประมวลผลแบบเป็นชุด d1-2B จัดการ 1,132 การตัดสินใจต่อวินาทีบน H100 PCIe และ 1,699 ต่อวินาทีบน MI325X โดยมี 64 สถานะในการเรียกหนึ่งครั้ง; การ์ดของรุ่น 3B รายงาน 475 ต่อวินาทีบน RTX 4090 และ 1,106 ต่อวินาทีบน MI325X แถว MI325X เป็นแถวที่การ์ดทั้งสองใบใช้ร่วมกัน และตรงนั้นรุ่น 2B นำอยู่ประมาณ 54%

การทดสอบอิสระเพียงครั้งเดียวที่มีอยู่ได้รัน 3B

เมื่อกลางเดือนตุลาคม Efraín Garay ได้รันโมเดลการตัดสินใจแปดโมเดลกับ Decision Index 0.3 และงานข้อมูลจริงสามงาน และเผยแพร่ผลลัพธ์พร้อมโค้ด มีข้อค้นพบสองข้อที่เกี่ยวข้องกับการเปรียบเทียบนี้

ข้อแรกน่าอุ่นใจสำหรับกระดานคะแนน เขาประกอบชุดทดสอบสาธารณะขึ้นใหม่จากชุดคิทของมัน ตรวจสอบว่าไฟล์ที่ดาวน์โหลดมาตรงกับไฟล์ทางการ สุ่มคำขอ 6,000 รายการ และให้คะแนน Liquid AI d1-3B ที่ 49.11 — เทียบกับ 49.04 ของ Liquid เองบนแถวเดียวกัน และ 48.99 บนชุดทดสอบเต็ม นั่นคือหลักฐานที่หนักแน่นที่สุดเท่าที่มีอยู่ว่าตัวเลข v0.3 ในตารางข้างต้นกำลังถูกคำนวณอย่างถูกต้อง เป็นหลักฐานเกี่ยวกับ 3B ไม่ใช่เกี่ยวกับ d1-2B ซึ่งเขาไม่ได้ทดสอบ

ข้อที่สองคือคำเตือนเกี่ยวกับสิ่งที่ดัชนีหนึ่งวัด บนชุดข้อมูลจำลองธนาคารเพื่อการฉ้อโกงบัตรจำนวน 10,000 รายการชำระเงิน Liquid AI d1-3B ได้คะแนน AUC 0.314 — ต่ำกว่าระดับสุ่ม โดยจัดอันดับรายการผิดปกติว่าไม่น่าสงสัยกว่ารายการชำระเงินปกติ เพราะกลุ่มการชำระเงินติดกันหลายรายการมีค่ามัธยฐานของความน่าจะเป็น 0.41 เทียบกับ 0.56 สำหรับการชำระเงินปกติ โมเดลนี้อยู่ในอันดับสองบนดัชนีสาธารณะ และอยู่อันดับสุดท้ายในงานนั้น บทเรียนนี้ถ่ายทอดได้โดยตรง: ค่า 51.1 ของ d1-2B เป็นคะแนนบนชุดการตัดสินใจทั่วไป และยังไม่มีใครแสดงว่าค่านั้นทำนายประสิทธิภาพในการตัดสินใจเฉพาะของคุณได้ ผู้ขายกล่าวไว้เช่นนั้นในเอกสารของตนเอง ในคำแนะนำให้ปรับเทียบเกณฑ์กับข้อมูลของคุณเอง

สิ่งที่คุณสามารถรันได้จริงในวันนี้

นี่คือจุดที่การเปรียบเทียบไม่สูสีอีกต่อไป Liquid AI d1-3B มีที่เก็บ GGUF มาตั้งแต่วันที่ 6 ตุลาคม มีบิลด์แบบ 8-bit weight-activation ตั้งแต่วันที่ 7 ตุลาคม และมีตัวแปร MLX สี่แบบตั้งแต่วันที่ 12 ตุลาคม ส่วน d1-2B ได้ MLX สามบิลด์และการส่งออก ONNX ในวันที่ 27 ตุลาคม และไม่มีอย่างอื่นอีกเลย ไม่มี GGUF ของ d1-2B ไม่มีการควอนไทซ์เกินกว่า 4-bit และ 8-bit ของ MLX และด้วยเหตุนี้จึงไม่มีเส้นทาง llama.cpp ที่เผยแพร่สำหรับ decision head แม้ว่าโมเดลฐานอย่าง LFM3-VL-2B จะมี GGUF ของตัวเองมาตั้งแต่วันที่ 19 ตุลาคมก็ตาม

สำหรับการดีพลอยด้วย Transformers ความแตกต่างจะหายไป: ทั้งสองโหลดด้วย trust_remote_code=True และเรียกใช้ system_one และ system_one_batch แบบเดียวกัน สำหรับการดีพลอยแบบ edge กลับไม่เป็นเช่นนั้น หากสแต็กของคุณคือ llama.cpp บน Jetson หรือโทรศัพท์ 3B เป็นเพียงหนึ่งในสองรุ่นที่คุณสามารถรันได้โดยไม่ต้องเขียน runtime integration และตัวเลข edge ที่เผยแพร่ของมัน — 16 ms บน Jetson AGX Thor, 26 ms บน AGX Orin 64GB, 50 ms บน Orin Nano — คือตัวเลขที่คุณใช้วางแผนได้

ทั้งสองโมเดลไม่ได้ให้บริการผ่าน OrcaRouter ดังนั้นการเลือกระหว่างทั้งสองจึงเป็นการตัดสินใจเรื่องการโฮสต์เองไม่ว่าทางใด จุดที่เราเตอร์พิสูจน์คุณค่าได้อยู่ที่อีกระดับถัดออกไป: โมเดลสำหรับตัดสินใจไม่ค่อยทำงานเดี่ยว และขั้นตอนสร้างผลลัพธ์ที่ทำงานตามป้ายกำกับเส้นทางมักมาจากโมเดลที่โฮสต์ไว้ คีย์เดียวที่เข้ากันได้กับ OpenAI สำหรับโมเดลกว่า 200 รุ่น, DSL สำหรับกำหนดเส้นทางที่ให้คุณประกอบขั้นตอนเหล่านั้นไว้ในการเรียกครั้งเดียว และการสลับเมื่อเกิดข้อขัดข้องอัตโนมัติ ช่วยให้ครึ่งหนึ่งของไปป์ไลน์นั้นไม่กลายเป็นโครงการเชื่อมต่อระบบอีกโครงการหนึ่ง ขณะที่โหนดตัดสินใจยังคงอยู่บนฮาร์ดแวร์ของคุณเอง

หากคุณกำลังย้ายระบบ มีสามสิ่งที่จะเปลี่ยนแปลง

พื้นผิว API ใกล้เคียงกันมากพอจนการพอร์ตดูเหมือนเป็นเรื่องง่าย แต่กลับไม่ใช่ ข้อแรก สัญญาของอินพุต: d1-3B รับรูปภาพ ส่วน d1-2B รับลิสต์ mediaที่สามารถรวมวิดีโอได้ และการ์ดของมันอธิบายว่าสื่อนั้นถูกเข้ารหัสเพียงครั้งเดียวสำหรับทุกคำถามในการเรียกหนึ่งครั้ง โค้ดที่ส่งรูปภาพเพียงภาพเดียวจะยังทำงานได้ แต่จะไม่ได้ใช้สิ่งที่โมเดลถูกสร้างมาเพื่อรองรับ

ประการที่สอง คือเกณฑ์ตัดสิน ทั้งสองโมเดลคืนค่าความน่าจะเป็น และทั้งคู่จำเป็นต้องมีเกณฑ์ตัดสินที่ฟิตกับข้อมูลของคุณ เกณฑ์ที่ปรับจูนบนการคาลิเบรตของ d1-3B ไม่สามารถถ่ายโอนมาใช้ได้ — ตารางการคาลิเบรตถูกจัดส่งอยู่ภายในแต่ละรีโปและถูกปรับแยกกัน — ดังนั้นการย้ายระบบที่ยังใช้จุดตัดเดิมจะให้จุดปฏิบัติการที่แตกต่างออกไป และในเส้นทางการกลั่นกรองเนื้อหาหรือการตรวจจับทุจริต จะให้ลักษณะข้อผิดพลาดที่แตกต่างออกไป

ประการที่สาม คือหน้าผาความน่าเชื่อถือ หน้าต่าง 128K คือจุดขายหลัก แต่การ์ดระบุว่าคำตอบจะมีความน่าเชื่อถือลดลงเมื่อสถานะเกินประมาณ 64K โทเคน สำหรับรุ่น 3B เพดานอยู่ที่ 32,768 ดังนั้นการย้ายไป d1-2B มักจะเป็นการเพิ่มความจุโดยตรง แต่ไปป์ไลน์ที่เริ่มป้อนสถานะ 100K โทเคน只是因为ตอนนี้ทำได้แล้ว กำลังทดสอบช่วงที่ผู้ขายตั้งข้อสังเกตว่าอ่อนกว่า

ข้อสรุปไม่สมมาตรเท่าตารางคะแนน สำหรับการสร้างใหม่ใน Transformers ไม่ว่าจะเป็นข้อความ รูปภาพ หรือวิดีโอ และมีสถานะที่รันได้ยาวนาน d1-2B เป็นค่าเริ่มต้นที่ดีกว่าและรันได้ถูกกว่า สำหรับการติดตั้งใช้งานที่ edge ภายใต้ llama.cpp สำหรับการสกัดข้อมูลแบบมีชนิด หรือสำหรับงานภาพที่เน้นแผนภาพ Liquid AI d1-3B ยังคงเป็นโมเดลที่ควรเลือก และเป็นเพียงตัวเดียวในสองตัวที่มีหลักฐานภายนอกสนับสนุน สิ่งเดียวที่ไม่ควรทำคือเลือกโดยอิงเพียงเส้น 51.1 ต่อ 49.0 คะแนนสองจุดบนดัชนีของผู้ขาย ระหว่างสองโมเดลที่ยังไม่มีใครรันกับงานของคุณ ไม่ใช่การตัดสินใจ แต่เป็นเพียงตัวตัดสินกรณีเสมอ