LFM2.5-24B-A2B-DSpark กับ LFM2.5-24B-A2B: คุณควรแนบดราฟเตอร์จริง ๆ หรือไม่?

สรุปการตัดสินใจในบรรทัดเดียวคือ: LFM2.5-24B-A2B-DSpark เป็นไฟล์ขนาด 327.7M พารามิเตอร์ที่คุณวางไว้ข้าง LFM2.5-24B-A2B เพื่อให้โมเดล 24B สร้างเอาต์พุตแบบเดียวกันได้เร็วขึ้น มันไม่ใช่ทางเลือกแทนโมเดล และไม่ใช่สิ่งที่คุณเลือกใช้แทนโมเดลนี้ คำถามจริงเพียงข้อเดียวที่ชื่อทั้งสองนี้ทำให้เกิดขึ้นเป็นคำถามเชิงวิศวกรรม — คุณจะต่อ drafter เข้ากับ deployment ของคุณหรือไม่ต่อ — และคำตอบขึ้นอยู่กับตัวเลขสองตัวที่ไม่มีใครโฆษณา มากกว่าตัวเลขความเร็วที่ Liquid AI พาดหัวไว้ นั่นคือ draft ได้รับการยอมรับกี่โทเคนบนทราฟฟิกของคุณ และคุณกำลังรัน concurrency อยู่มากแค่ไหนแล้ว ความล้มเหลวด้าน AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ในOrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้งของตัวเอง

Liquid AI ยังไม่ได้เผยแพร่โพสต์เปิดตัวสำหรับ drafter รีพอยทอรีเปิดเป็นสาธารณะเมื่อ 2026-10-19 พร้อมน้ำหนักโมเดล ไฟล์ CSV ผล benchmark และแฟล็กสำหรับเปิดใช้งาน SGLang ขณะที่การ์ดโมเดลของ target เองยังระบุว่า drafter ว่า "coming soon" และหน้าเอกสาร speculative-decoding ของ Liquid แสดงเฉพาะ target ขนาด 1.2B, 2.6B, 8B และ VL-3B ดังนั้นนี่คือการเปรียบเทียบอาร์ติแฟกต์ที่ส่งมอบแล้วกับโมเดลที่ส่งมอบแล้ว ซึ่งเขียนขึ้นจากรีพอยทอรีแทนที่จะเป็นจากข่าวประชาสัมพันธ์ — ซึ่งหมายความว่าตัวเลขประสิทธิภาพทั้งหมดด้านล่างเป็นข้อมูลที่ผู้พัฒนารายงาน และยังไม่มีการทำซ้ำอย่างอิสระเลย

สิ่งที่ผู้ร่างเปลี่ยนแปลงจริง และสิ่งที่ผู้ร่างไม่เปลี่ยนแปลง

กลไกนี้น่าจะใช้เวลาทำความเข้าใจสักสามสิบวินาที เพราะมันกำหนดทุกอย่างที่เหลือ การถอดรหัสโทเคนหนึ่งตัวมีข้อจำกัดด้านหน่วยความจำ: GPU ใช้เวลาส่วนใหญ่ไปกับการสตรีมน้ำหนักเข้า SRAM ไม่ใช่การคำนวณทางคณิตศาสตร์ Speculative decoding ใช้ประโยชน์จากสิ่งนี้โดยให้โมเดลขนาดเล็กเดาโทเคนถัดไปหลายตัวพร้อมกัน แล้วให้โมเดลจริงตรวจสอบคำเดาทั้งหมดในการ forward pass ครั้งเดียว หากคำเดาดี คุณสร้างโทเคนได้เก้าตัวด้วยต้นทุนประมาณหนึ่งตัว หากคำเดาไม่ดี โมเดลเป้าหมายจะเก็บโทเคนของตัวเองไว้ และคุณจ่ายเพิ่มอีกเล็กน้อย

สิ่งที่เปลี่ยนไป: จำนวนโทเคนต่อวินาที และลักษณะการใช้ประโยชน์ GPU ของคุณ สิ่งที่ไม่เปลี่ยน: น้ำหนักของโมเดล หน้าต่างบริบท พฤติกรรมการเรียกใช้เครื่องมือ หรือราคาในที่ที่จำหน่าย LFM2.5-24B-A2B ยังคงมีพารามิเตอร์ทั้งหมด 24.0B โดยมี 2.45B ที่ทำงานต่อโทเคน, 40 เลเยอร์แบ่งเป็น gated short convolutions และ grouped-query attention, ผู้เชี่ยวชาญ 64 รายต่อบล็อกพร้อมการกำหนดเส้นทางแบบ top-4, บริบท 131,072 โทเคน และคำศัพท์ 128,000 โทเคน ตัว drafter เพิ่มเลเยอร์ attention ห้าชั้น, head Markov แบบ rank-256 และ head ความเชื่อมั่น และนำ embedding กับ LM head ของโมเดลเป้าหมายกลับมาใช้ซ้ำแทนที่จะมีของตัวเอง

ข้อแม้หนึ่งข้อเปลี่ยนไปมาระหว่างสองรีลีส และควรค่าแก่การกล่าวถึงสักบรรทัด ในเดือนสิงหาคม บทความของ Liquid เกี่ยวกับ DSpark ระบุว่าลำดับที่ส่งออกนั้น "เหมือนกับการถอดรหัสแบบ greedy พื้นฐานโดยการออกแบบ" ส่วนการ์ดของดราฟเตอร์ 24B กลับระบุว่าความแตกต่างของเลขทศนิยมลอยตัวระหว่างการตรวจสอบแบบแบตช์กับการถอดรหัสปกติ "อาจทำให้ได้ข้อความที่แตกต่างกัน รวมถึงภายใต้การสุ่มแบบ greedy" ทั้งสองข้อความต่างก็มีเหตุผลรองรับ — ข้อแรกเป็นจริงเมื่อคำนวณด้วยเลขคณิตแบบแม่นยำ — แต่ถ้าฮาร์เนสประเมินผลของคุณเปรียบเทียบเอาต์พุตทีละไบต์ ก็คาดได้เลยว่ามันจะสังเกตเห็นความต่างนี้

ด้านต้นทุนของบัญชี

ดราฟเตอร์ไม่ได้ใช้ฟรี ๆ มันกินหน่วยความจำ 655 MB ในรูปแบบ BF16 บน GPU (หรือ 664 MB แบบ F16 GGUF บน CPU) มันอยู่ในพูลหน่วยความจำเดียวกับโมเดลเป้าหมาย และทุกขั้นตอนที่มันเสนอต้องแลกมาด้วย forward pass สำหรับตรวจสอบบนบล็อกโทเคนแทนที่จะเป็นโทเคนเดียว บนโมเดลเป้าหมายแบบ MoE ส่วนหลังนี้มีต้นทุนสูงกว่าที่ฟังดู: การตรวจสอบเก้าโทเคนจะเปิดใช้งานผู้เชี่ยวชาญ (experts) มากกว่าการถอดรหัสหนึ่งโทเคน ดังนั้นจำนวนไบต์ที่ถูกเคลื่อนย้ายต่อโทเคนที่ตรวจสอบจึงเพิ่มขึ้น ไม่ใช่ลดลง Liquid ระบุตรง ๆ ว่าเป็นเหตุผลที่ดราฟเตอร์ 8B ของตนให้ผลเพียง 1.18× บน M4 Max แม้จะมีอัตราการยอมรับสูงก็ตาม

เมื่อเทียบกับข้อนั้น การประหยัดที่ได้นั้นมากพอที่จะวัดเป็นหน่วย GPU-hour โดยใช้ตัวเลข B300 ของผู้จำหน่ายเองจาก benchmarks/b300-fp8.csv และไม่ได้ทำอะไรนอกจากหารหนึ่งพันล้านโทเค็นเอาต์พุตด้วยอัตราทรูพุตที่สังเกตได้:

• MATH-500, การทำงานพร้อมกัน 1 — 324 tok/s เมื่อทำงานลำพัง (857 GPU-hour ต่อพันล้านโทเค็น) เทียบกับ 853 tok/s เมื่อใช้ตัวร่าง (326 GPU-hour) ลดเวลาการคำนวณลง 2.63 เท่า

• MATH-500, concurrency 256 — 15,423 tok/s เมื่อใช้ลำพัง (18.0 GPU-hours) เทียบกับ 27,579 tok/s เมื่อใช้ร่วมกับ drafter (10.1 GPU-hours) ลดลง 1.79×

• GSM8K, concurrency 256 — 4,491 tok/s เมื่อทำงานลำพัง (61.9 GPU-hours) เทียบกับ 9,660 tok/s เมื่อใช้ drafter (28.8 GPU-hours) ลดลง 2.15×

• LiveCodeBench, การทำงานพร้อมกัน 256 — 18,812 tok/s เมื่อใช้ลำพัง (14.8 ชั่วโมง GPU) เทียบกับ 25,231 tok/s เมื่อใช้ร่วมกับตัวร่าง (11.0 ชั่วโมง GPU) ลดลงเพียง 1.34× ซึ่งเป็นช่องที่อ่อนแอที่สุดในตาราง

นั่นคืออัตราส่วนทรูพุตที่แปลงเป็นเวลา ไม่ใช่เป็นเงิน เพราะจำนวนเงินขึ้นอยู่กับว่าคุณจ่ายต่อ GPU-hour เท่าไร และบทความนี้จะไม่คิดอัตราขึ้นมาเอง แต่การจัดลำดับยังคงใช้ได้ในทุกอัตราค่าใช้จ่าย: การต่อ drafter เข้าไปมีมูลค่าเท่ากับสองถึงสามชั่วโมงต่อทุกสิบชั่วโมงสำหรับทราฟฟิกการให้เหตุผลและการสร้างโค้ดที่ concurrency ต่ำ และมีมูลค่าประมาณหนึ่งในสามของจำนวนนั้นที่ concurrency สูง ถ้าการติดตั้งใช้งาน 24B ของคุณเป็นเอเจนต์ผู้ใช้คนเดียวบนเวิร์กสเตชัน ข้อสรุปนี้ก็หนักแน่น หากเป็นเอนด์พอยต์แบบแบตช์ที่อิ่มตัว ข้อสรุปนี้ยังเป็นจริง แต่บางกว่าที่พาดหัว 2.4× ชี้ให้เห็นมาก

จุดที่นักเขียนแบบคุ้มค่าในแง่ของปริมาณงาน

การกระจายของแปดชุดข้อมูลในตารางของผู้ขายไม่ใช่สัญญาณรบกวน; มันสอดคล้องกับประเภทของพรอมป์ต์ และการจับคู่นี้คือสิ่งที่มีประโยชน์ที่สุดในรีลีสนี้ อัตราการยอมรับอยู่ในช่วงตั้งแต่ 6.70 โทเคนต่อสเต็ปบน MBPP ลงไปจนถึง 4.02 บน LiveCodeBench ชุดข้อมูลที่ได้คะแนนสูงคือชุดที่เอาต์พุตของโมเดลถูกจำกัดด้วยพรอมป์ต์ — ฟังก์ชันสั้นแบบยูนิิตเทสต์, การคำนวณที่มีเส้นทางตรวจสอบได้, คำตอบแบบปรนัย ชุดที่ได้คะแนนต่ำคือชุดที่โมเดลต้องคิดค้นวิธีแก้ปัญหาที่ยาวและไม่มีข้อจำกัด: โจทย์การเขียนโปรแกรมเชิงแข่งขันและคณิตศาสตร์สไตล์ AIME

นั่นคือสัญชาตญาณที่ควรนำไปใช้ในการประเมินของคุณเอง โมเดล reasoning ขนาด 24B ที่วางขายสำหรับงาน agentic ใช้โทเค็นเอาต์พุตส่วนใหญ่ไปกับ chain of thought ซึ่งดูคล้าย LiveCodeBench มากกว่า MBPP โมเดลที่ใช้สำหรับการสกัดข้อมูลแบบมีโครงสร้าง การจำแนกประเภทตามสคีมา หรือรูปแบบการเรียกเครื่องมือแบบคงที่ จะดูคล้ายแถวที่มีอัตราการยอมรับสูงมากกว่าอย่างชัดเจน หากภาระงานของคุณเป็นแบบแรก ให้คาดว่าจะอยู่ใกล้ขอบล่าง 1.34× ของช่วงมากกว่าขอบบน 3.28× ยังไม่มีใครเผยแพร่อัตราการยอมรับแยกตามภาระงานสำหรับ drafter นี้ และชุดข้อมูลแปดชุดใน model card ถือเป็นสิ่งที่ใกล้เคียงที่สุดกับแนวทาง

เมื่อเทียบกับสิ่งนั้น: 24B เป็นโมเดลที่เน้นการให้เหตุผลเท่านั้น Liquid กล่าวว่ามันคิดก่อนตอบเสมอ — เทมเพลตแชตจะแทรกแท็ก <think> โดยอัตโนมัติ นั่นเป็นรูปแบบที่แย่ที่สุดเท่าที่จะเป็นไปได้สำหรับการคาดเดา เพราะช่วงการให้เหตุผลเป็นช่วงที่ยาวและมีอัตราการยอมรับต่ำพอดี ตัวดราฟเตอร์ยังคงช่วยได้; มันจะช่วยมากที่สุดในคำตอบสุดท้ายและช่วยน้อยที่สุดในส่วนที่ใช้เวลานานที่สุด

วิธีตรวจสอบด้วยฮาร์ดแวร์ของคุณเองภายในบ่ายเดียว

คุณไม่จำเป็นต้องเชื่อสิ่งใดจากข้างต้นก็ได้ เส้นทางการอนุมานทั้งสองเส้นทางเปิดเผยตัวนับการยอมรับ ซึ่งเป็นตัวเลขเดียวที่ตัดสินว่า drafter คุ้มค่ากับทราฟฟิกของคุณหรือไม่

บน SGLang ให้เปิด target โดยแนบ drafter ตั้ง block size เป็น 9 และ draft token สิบตัว จากนั้นอ่านเมตริก speculative decoding ที่เซิร์ฟเวอร์รายงานต่อคำขอ อัตราการยอมรับในตารางของผู้จำหน่ายอยู่ระหว่าง 0.33 ถึง 0.65 ขึ้นอยู่กับชุดข้อมูล; การรันที่ได้ต่ำกว่ามากเมื่อเทียบกับแถวที่เกี่ยวข้องหมายความว่า drafter กำลังเดาผิด และคุณกำลังจ่ายค่าตรวจสอบโดยไม่ได้รับความเร็วที่เพิ่มขึ้น บน llama.cpp ที่มี sidecar GGUF แบบ F16 การจับเวลาต่อการตอบกลับจะบรรจุ draft_n และ draft_n_accepted โดยตรง ให้นำตัวหนึ่งหารด้วยอีกตัว

รายละเอียดด้านการปฏิบัติการสองอย่างจะทำให้คุณเสียเวลาหนึ่งชั่วโมงหากมองข้ามไป เซิร์ฟเวอร์ SGLang ต้องใช้บิลด์ที่มีเส้นทาง LFM2-MoE DSpark รวมอยู่ด้วย ซึ่งถูก merge เมื่อ 2026-08-31 — บนเวอร์ชันที่เก่ากว่านั้น สถาปัตยกรรม drafter จะไม่เป็นที่รู้จักเลย และ block size เป็นคุณสมบัติของ checkpoint ไม่ใช่พารามิเตอร์อิสระ: llama.cpp จะ clamp --spec-draft-n-max ให้เป็นค่า metadata ของ sidecar ที่ 9 ดังนั้นการขอ 12 จึงไม่ได้อะไรเพิ่ม

คำถามที่การเปรียบเทียบนี้ไม่สามารถตอบได้

มีเวอร์ชันหนึ่งของคำถาม “ฉันควรแนบดราฟเตอร์หรือไม่” ที่ไม่เกี่ยวอะไรกับ GPU เลย และเป็นเวอร์ชันที่ทีมส่วนใหญ่ต้องเจอจริง ๆ หากคุณเรียก LFM2.5-24B-A2B ผ่าน API ที่มีผู้ให้บริการโฮสต์ไว้ การตัดสินใจเรื่องดราฟเตอร์ก็ไม่ใช่ของคุณ สแตกการให้บริการจะแนบตัวถอดรหัสแบบ speculative มาด้วยหรือไม่ก็ไม่แนบ คุณเห็นเพียงตัวเลขโทเคนต่อวินาทีและราคา ซึ่งทั้งสองอย่างถูกกำหนดไว้ตั้งแต่ต้นน้ำ Console ของ Liquid เองระบุว่าโมเดล 24B อยู่ที่ $0.10 ต่ออินพุตหนึ่งล้านโทเคน, $0.05 สำหรับอินพุตที่แคชไว้ และ $1.00 ต่อเอาต์พุตหนึ่งล้านโทเคน — เป็นอัตราที่ประกาศไว้ซึ่งสะท้อนเส้นทางการถอดรหัสที่พวกเขาใช้อยู่แล้ว และเป็นอัตราที่อาจเปลี่ยนแปลงได้โดยไม่แจ้งล่วงหน้า

นี่คือจุดที่การกำหนดเส้นทางช่วยได้แทนที่จะทำให้ยุ่งยาก การเรียกใช้แบบโฮสต์กับการติดตั้งแบบโฮสต์เองไม่ใช่แผนที่แข่งขันกันเท่าไรนัก แต่เป็นสองระดับการปรับของปุ่มควบคุมต้นทุนเดียวกัน: การโฮสต์เองพร้อม drafter ช่วยลดต้นทุนต่อโทเค็นหากปริมาณงานของคุณทำให้ GPU ทำงานเต็มที่ และเอนด์พอยต์แบบโฮสต์ช่วยลดภาระในการได้คำตอบ OrcaRouter ถูกสร้างมาเพื่อแนวทางที่สอง — คีย์เดียวใช้ได้กับโมเดลกว่า 200 รุ่นในอัตราบวกเพิ่ม 0% เหนือราคาตามรายการของผู้ให้บริการ ดังนั้นการเปลี่ยนแปลงราคาจากผู้ขายจะสะท้อนฝั่งเราในวันเดียวกัน พร้อมการสลับไปใช้อื่นอัตโนมัติ (failover) หากผู้ให้บริการมีประสิทธิภาพลดลง และมี DSL สำหรับกำหนดเส้นทางเพื่อกระจายทราฟฟิกแทนการฮาร์ดโค้ดแบ็กเอนด์เพียงตัวเดียว ปัจจุบันเราไม่ได้ให้บริการตระกูล LFM2.5 ดังนั้นสำหรับโมเดลนี้โดยเฉพาะ ฝั่งโฮสต์จึงหมายถึง API ของ Liquid เองหรือ GPU ของคุณเอง การเปรียบเทียบที่คุ้มค่าจะทำกับโมเดลที่เราให้บริการอยู่ เช่นQwen3.6-35B-A3B — โมเดลที่ Liquid ใช้เป็นเกณฑ์เปรียบเทียบในงานเอเจนต์ — หรือGemma 4 26B-A4B.

สรุป: จะแนบมันหรือไม่

แนบมันไปด้วยหากคุณให้บริการ LFM2.5-24B-A2B ด้วยตัวเองที่ระดับการทำงานพร้อมกันปานกลาง โดยเฉพาะสำหรับเอาต์พุตแบบมีโครงสร้างหรือแบบการสกัด และหากคุณมีพื้นที่ว่าง 655 MB ข้างโมเดลเป้าหมาย ตัวเลขของผู้ขายระบุว่าคุณจะลดเวลาการถอดรหัสลงได้ประมาณครึ่งหนึ่งหรือเหลือหนึ่งในสาม และข้อเสียมีขอบเขตจำกัด: ดราฟเตอร์ที่ไม่ดีทำให้ต้องเสียรอบการตรวจสอบหนึ่งรอบ ไม่ใช่ทำให้ได้คำตอบผิด

ปิดมันไว้หากเอนด์พอยต์ของคุณอิ่มตัวอยู่ที่ระดับหลายร้อยแล้ว หากผลลัพธ์ของคุณเป็นการให้เหตุผลแบบอิสระที่ยาว หรือหากคุณต้องการตัวเลขบน Apple silicon ก่อนตัดสินใจ — การ์ดนี้ไม่มีตัวเลขนั้น และรุ่นที่ใกล้เคียงที่สุดในตระกูลเดียวกันทำได้ 1.18× บน MacBook และแน่นอนว่าให้ปิดมันไว้หากคุณไม่ได้รันโมเดลเลย: ดราฟเตอร์เป็นการปรับแต่งสำหรับการดีพลอย และไม่มีอะไรให้ปรับแต่งจนกว่าการดีพลอยนั้นจะมีอยู่

สิ่งที่ปิดประเด็นที่เหลือได้คือโพสต์จากผู้จำหน่ายและการวัดบน Mac ณ วันที่ 2026-10-21 ยังไม่มีทั้งสองอย่าง ซึ่งเป็นสถานะที่แปลกสำหรับรีลีสที่ดาวน์โหลดเวตได้แล้ว — และสำหรับใครก็ตามที่ยินดีรัน acceptance counter ด้วยตัวเอง นี่เป็นโอกาสที่ถูกผิดปกติในการเป็นตัวเลขอิสระตัวแรกบนกระดาน