LFM2.5-24B-A2B-DSpark กับ LFM2.5-8B-A1B-DSpark: ไฟล์ 328M เดียวกัน แต่เป็นการเดิมพันสองแบบที่แตกต่างกันอย่างมาก

ดาวน์โหลดไฟล์ใดไฟล์หนึ่งจากสองไฟล์นี้ แล้วคุณจะได้ 655,421,522 ไบต์ LFM2.5-24B-A2B-DSpark และ LFM2.5-8B-A1B-DSparkมีขนาดเท่ากันทุกไบต์ ใช้โครงหลักห้าชั้นร่วมกัน มีหัว Markov แรงก์-256 แบบเดียวกัน มีขนาดบล็อก 9 เท่ากัน และมีคำศัพท์ 128,000 โทเคนชุดเดียวกัน — และทั้งคู่ไม่สามารถตอบพรอมป์ต์ได้แม้แต่ข้อเดียว เพราะทั้งสองเป็นตัวร่างสำหรับการถอดรหัสแบบคาดเดา (speculative-decoding drafters) ที่มีอยู่เพียงเพื่อเดาโทเคนให้กับโมเดลเป้าหมาย สิ่งที่ทำให้ทั้งสองแตกต่างกันไม่ใช่สเปกของตัวมันเอง แต่คือโมเดลเป้าหมายที่ใช้ฝึกเทียบ และมีหลักฐานมากเพียงใดว่ากลเม็ดนี้ได้ผลกับเป้าหมายนั้น ตัวหนึ่งมีผลการวัดบน GPU และ MacBook ที่เผยแพร่จากโพสต์เปิดตัว ส่วนอีกตัวมีตาราง GPU แต่ไม่มีประกาศ การเลือกระหว่างทั้งสองจึงไม่ใช่การเปรียบเทียบโมเดลเลย — แต่เป็นการเปรียบเทียบเดิมพันสองรายการ และมีเพียงรายการเดียวเท่านั้นที่ได้รับผลตอบแทนแล้วความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่ได้รับการบันทึกไว้ซึ่งอยู่เบื้องหลังการเปิดตัวในลักษณะนี้ ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความมั่นใจ และธงระบุข้อโต้แย้งของตัวเอง

ไฟล์เป็นแฝดกัน แต่งานไม่ใช่

อ่านconfig.json สองไฟล์นี้แบบเคียงข้างกัน และแทบทุกฟิลด์ตรงกัน: hidden size 2,048, intermediate size 6,144, การเปิดใช้งาน SiLU, attention heads 32 หัวเหนือ KV heads 8 หัวที่ head dimension 64, เลเยอร์ full-attention ห้าเลเยอร์, block size 9, enable_confidence_head: true, มาร์คอฟเฮดแบบพื้นฐานที่มีแรงก์ 256 จำนวนพารามิเตอร์เหมือนกันทุกประการ ซึ่งเป็นเหตุให้ไฟล์ safetensors ตรงกันทุกไบต์

มีสามฟิลด์ที่แตกต่างกัน และแต่ละฟิลด์ล้วนเป็นองค์ประกอบสำคัญที่ขาดไม่ได้

• การดึงจากเลเยอร์เป้าหมาย — ดราฟเตอร์ 8B อ่านสถานะซ่อนจากเลเยอร์ 2, 6, 10, 14 และ 18 ของเป้าหมาย 24 เลเยอร์; ดราฟเตอร์ 24B อ่านเลเยอร์ 2, 10, 18, 26 และ 34 ของเป้าหมาย 40 เลเยอร์ นี่คือฟิลด์ที่ทำให้ไฟล์เหล่านี้ใช้แทนกันไม่ได้

• จำนวนตำแหน่งสูงสุด — 128,000 สำหรับดราฟเตอร์ 8B เทียบกับ 131,072 สำหรับ 24B โดยสอดคล้องกับหน้าต่างบริบทของโมเดลเป้าหมายของแต่ละตัว

• RoPE theta — 5,000,000 เทียบกับ 10,000,000 โดยค่าถูกกำหนดจากการเข้ารหัสตำแหน่งของโมเดลเป้าหมาย ไม่ใช่จากสิ่งใดๆ ที่เกี่ยวกับดราฟเตอร์

{{1}}คู่สุดท้ายนั้นเป็นหลักฐานที่ชัดเจนที่สุดว่าเช็กพอยต์เหล่านี้ถูกฝึกแยกตามเป้าหมายแต่ละตัว มากกว่าจะถูกสเกลมาจากฐานร่วมกัน{{/1}} {{2}}ดราฟเตอร์ไม่มีความเป็นตัวตนอิสระ: การแจกแจงอินพุตของมันคือรูปแบบของ hidden states ของเป้าหมาย และสิ่งเหล่านั้นจะเปลี่ยนเมื่อสถาปัตยกรรมและการฝึกของเป้าหมายเปลี่ยน ลองนำดราฟเตอร์ 8B ไปใช้กับโมเดล 24B แค่ดัชนีเลเยอร์อย่างเดียวก็ทำให้มันไร้ความหมาย; แม้ดัชนีเหล่านั้นจะตรงกัน logits ที่มันถูกฝึกให้ทำนายก็ไม่ตรง{{/2}}

แต่ละอย่างกำลังเร่งอะไรอยู่กันแน่

โมเดลเป้าหมายมีความแตกต่างกันมากกว่าที่ชื่อเรียก “8B versus 24B” บ่งบอก และความแตกต่างนั้นไปในทางที่ผิดสำหรับใครก็ตามที่สมมติว่าโมเดลที่ใหญ่กว่าคือภาระที่หนักกว่าบนอุปกรณ์

• พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งาน — LFM2.5-8B-A1B มีพารามิเตอร์ทั้งหมด 8.3B โดยใช้งาน 1.5B ต่อโทเคน; LFM2.5-24B-A2B มีพารามิเตอร์ทั้งหมด 24.0B โดยใช้งาน 2.45B

• ความลึก — {{1}}24 เลเยอร์{{/1}} {{2}}(คอนโวลูชันแบบมีเกต 18 ชั้น บวก GQA 6 ชั้น){{/2}} เทียบกับ {{3}}40 เลเยอร์{{/3}} {{4}}(คอนโวลูชัน 30 ชั้น บวก GQA 10 ชั้น){{/4}}

• บริบท — 128,000 โทเคน เทียบกับ 131,072

• งบประมาณการฝึก — 38T โทเคน เทียบกับ 36T ดังนั้นโมเดลที่เล็กกว่าจึงไม่ได้รับการฝึกน้อยเกินไปเมื่อเทียบกับโมเดลที่ใหญ่กว่า

• การกำหนดเส้นทาง — 8B ใช้ MoE แบบ 64 ผู้เชี่ยวชาญพร้อมการกำหนดเส้นทางแบบ top-4 เช่นเดียวกับ 24B ดังนั้นทั้งคู่จึงต้องแบกรับต้นทุนจากการเปิดใช้งานผู้เชี่ยวชาญซึ่งส่งผลเสียต่อการตรวจสอบ

ทั้งสองเป็นโมเดลเชิงเหตุผลที่คิดก่อนตอบ ซึ่งในกรณีนี้สำคัญกว่าจำนวนพารามิเตอร์ จุดอ่อนที่ใหญ่ที่สุดของการถอดรหัสแบบคาดเดาคือเอาต์พุตที่ยาวและไม่มีข้อจำกัด และสายความคิดก็เป็นเช่นนั้นพอดี ตารางของผู้จำหน่ายแสดงให้เห็นว่า แถวที่มีอัตราการยอมรับสูงสุดในการเปิดตัวทั้งสองครั้งคือเบนช์มาร์กแบบตอบสั้นอย่าง MBPP และ MT-Bench ส่วนแถวที่ต่ำสุดคือแถวที่โมเดลต้องสร้างเส้นทางการแก้ปัญหาที่ยาว

ช่องว่างของหลักฐานคือความแตกต่างที่แท้จริง

นี่คือจุดที่สองรีลีสเริ่มเทียบกันไม่ได้ ตัวดราฟเตอร์ 8B เปิดตัวเมื่อ 2026-08-20 โดยเป็นส่วนหนึ่งของการประกาศครอบครัวเต็มรูปแบบ พร้อมการวัดบนเครื่องที่แตกต่างกันมากสองเครื่อง ได้แก่ H100 80 GB เดี่ยวใน BF16 ผ่าน SGLang และ M4 Max MacBook Pro ที่รันน้ำหนัก FP16 GGUF ผ่าน llama.cpp ด้วยเคอร์เนล Metal แบบทดลอง โดยเฉลี่ยได้ 2.54× บน H100 โดยมีจุดสูงสุด 3.18× บน MATH-500 และเพียง 1.18× บน MacBook — 90 ถึง 106 โทเคนต่อวินาที เมื่อเฉลี่ยจากห้าชุดข้อมูล

drafter 24B มีแถวฮาร์ดแวร์เพียงแถวเดียว: NVIDIA B300 หนึ่งตัว พร้อม target FP8, KV cache แบบ BF16, อุณหภูมิ 0 โดยเฉลี่ย 2.38× ที่ concurrency 1, 2.69× ที่ concurrency 32 และ 1.71× ที่ concurrency 256 จากแปดชุดข้อมูล โดยมีจุดสูงสุด 3.28× บน MBPP ที่ concurrency 32 ไม่มีแถว Mac ไม่มีแถว H100 และไม่มีโพสต์ประกาศเพื่ออธิบายการละเว้นนี้

สำหรับโมเดลที่จุดขายทั้งหมดคือเอเจนต์บนอุปกรณ์ — โพสต์เปิดตัวของ Liquid สำหรับ 24B ขึ้นต้นด้วย 184 โทเค็นต่อวินาทีบน Apple M5 Max — ตัวเลข MacBook ที่หายไปคือช่องว่างที่มีนัยสำคัญที่สุดเพียงจุดเดียวในการเปิดตัว ผลลัพธ์ 8B ชี้ว่าทำไมมันอาจเล็ก: การตรวจสอบบล็อกโทเค็นจะเปิดใช้งานผู้เชี่ยวชาญมากกว่าการถอดรหัสหนึ่งโทเค็น ดังนั้นเป้าหมาย MoE จึงเคลื่อนย้ายน้ำหนักมากขึ้นต่อโทเค็นที่ได้รับการยอมรับ และอัตราการยอมรับเพียงอย่างเดียวไม่ใช่ตัวทำนาย: ดราฟเตอร์ 8B จริง ๆ แล้วมีค่าเฉลี่ยโทเค็นที่ได้รับการยอมรับต่อสเต็ปมากกว่าที่การ์ดของ 24B รายงาน (6.95 จากห้าชุดข้อมูล เทียบกับ 5.16 จากแปดชุด) และยังให้ผลเพียง 1.18× บน MacBook นั่นคือประเด็นที่ควรจดจำ — บน 8B อัตราการยอมรับที่สูงไม่ได้ช่วยกอบกู้ทรูพุตบนอุปกรณ์ การสมมติว่า 24B ทำงานแตกต่างออกไปคือการเดิมพันที่ไม่มีตัวเลขรองรับ

การอ่านตารางทั้งสองเทียบกัน

อัตราส่วนที่เป็นหัวข้อข่าวไม่ใช่การเปรียบเทียบแบบเดียวกัน และไม่ควรนำมาลบกัน GPU ต่างกัน ความแม่นยำเป้าหมายต่างกัน ชุดข้อมูลต่างกัน การไล่ระดับจำนวนงานที่ทำพร้อมกันต่างกัน แต่ยังมีรูปแบบสองประการที่คงอยู่แม้การเปรียบเทียบจะไม่ลงรอยกัน

ก่อนอื่น เพดานนั้นใกล้เคียงกัน เซลล์ที่ดีที่สุดของ 8B บน H100 คือ 3.18× บน MATH-500 ที่ batch size 1 ส่วนเซลล์ที่ดีที่สุดของ 24B บน B300 คือ 3.28× บน MBPP ที่ concurrency 32 ดราฟเตอร์ของการออกแบบนี้อยู่ในช่วง 1.5×–3.3× เดียวกัน ไม่ว่าจะให้บริการเป้าหมายใด ซึ่งเป็นสิ่งที่คาดหวังได้เมื่อสถาปัตยกรรมดราฟเตอร์ถูกคงไว้และมีเพียงน้ำหนักที่เปลี่ยน

ประการที่สอง และเป็นประโยชน์มากกว่า คือค่าต่ำสุดคือจุดที่เป้าหมายแตกต่างกัน เซลล์ H100 ที่อ่อนที่สุดของรุ่น 8B คือ GSM8K ที่ 1.29× ส่วนเซลล์ B300 ที่อ่อนที่สุดของรุ่น 24B ที่ระดับการทำงานพร้อมกัน 256 คือ LiveCodeBench ที่ 1.34× และ AIME ที่ 1.36× ทั้งสองรุ่นไม่ก่อให้เกิดกรณีที่การใช้ speculative decoding ไม่มีต้นทุน และทั้งคู่ก่อให้เกิดกรณีที่แทบไม่คุ้มค่าหน่วยความจำ

นอกจากนี้ยังมีการเปลี่ยนแปลงเอกสารระหว่างการ์ดทั้งสองที่มองข้ามได้ง่ายและควรค่าแก่การชี้ให้เห็น เนื้อหาเดือนสิงหาคมระบุว่าผลลัพธ์ภายใต้การถอดรหัสแบบ greedy นั้นเหมือนกับ baseline "โดยโครงสร้าง" การ์ด 8B สัญญาว่า "ผลลัพธ์เหมือนกันทุกประการ" ในทางกลับกัน การ์ด 24B เตือนว่าความแตกต่างของเลขทศนิยมลอยตัวระหว่างการตรวจสอบแบบแบตช์กับการถอดรหัสแบบธรรมดาอาจทำให้เกิดข้อความที่แตกต่างกัน รวมถึงภายใต้การสุ่มตัวอย่างแบบ greedy การ์ดฉบับหลังเป็นฉบับที่ระมัดระวังมากกว่า และหากคุณรันการเปรียบเทียบความแตกต่างของผลลัพธ์ระดับไบต์ใน CI ทั้งสองฉบับควรได้รับการปฏิบัติว่าอาจไม่เหมือนกันทุกประการ แทนที่จะเชื่อคำสัญญาที่เก่ากว่า

อันไหนที่เกี่ยวข้องกับคุณนั้น ขึ้นอยู่กับเป้าหมายของคุณ ไม่ใช่งบประมาณของคุณ

ไม่มีสถานการณ์ใดที่ทีมจะเลือกตัวหนึ่งแทนอีกตัวโดยพิจารณาจากคุณสมบัติเพียงอย่างเดียว คุณรัน 24B เพราะคุณต้องการความสามารถของโมเดล 24B บนเครื่องที่รองรับได้ — 14.5 GB ที่ Q4_K_M ใน GGUF หรือ B300 ตัวเดียวสำหรับการกำหนดค่าการให้บริการ FP8 คุณรัน 8B เพราะพารามิเตอร์รวม 8.3B โดยมี 1.5B ที่ใช้งานอยู่คือสิ่งที่พอดีกับอุปกรณ์ edge หรือแล็ปท็อป และ drafter ช่วยชดเชยความเร็วในการถอดรหัสบางส่วนที่คุณเสียไปจากการเลือกขนาดเล็ก drafter เป็นส่วนเสริมของการตัดสินใจแรกนั้น และการตัดสินใจนั้นเกือบทุกครั้งอิงกับหน่วยความจำและคุณภาพก่อนที่ speculation จะเข้ามาในบทสนทนา

กรณีเดียวที่ตัวเลือกนี้ยังใช้งานได้จริงคือการประเมิน หากคุณกำลังทดสอบว่า DSpark คุ้มค่าที่จะนำมาใช้ในสแตกของคุณหรือไม่ การจับคู่แบบ 8B คือการทดลองที่ถูกกว่า: มันพอดีกับ H100 เครื่องเดียว มีตัวเลขบน Mac ที่คุณนำไปเทียบกับแล็ปท็อปของคุณเองได้ และโหมดความล้มเหลวบนอุปกรณ์ก็ได้รับการบันทึกไว้โดยผู้จำหน่ายแล้ว การจับคู่แบบ 24B เป็นการทดลองด้านโปรดักชันที่น่าสนใจกว่า และเป็นการทดลองที่มีการบันทึกไว้น้อยกว่า

สำหรับทั้งสองกรณี ตัวเลขที่ชี้ขาดผลลัพธ์คือตัวนับการยอมรับ ไม่ใช่ตารางของผู้ขาย SGLang เปิดเผยอัตราการยอมรับของ speculative decoding ต่อคำขอ ส่วน llama.cpp รายงาน draft_n และ draft_n_accepted ในเวลาต่อการตอบสนอง ลองรันพรอมต์ของคุณเองเป็นเวลาสิบนาทีแล้วหารดู หากอัตราการยอมรับอยู่ใกล้ค่าเฉลี่ยของการ์ด drafter ก็คุ้มทุน; หากอยู่ปลายล่าง คุณกำลังจ่ายเงินเพื่อซื้อรอบการตรวจสอบและควรถอดมันออก — และข้อสรุปนี้จะใช้ได้กับทั้งสอง checkpoint เพราะกลไกเหมือนกัน

ไม่มี checkpoint ใดเป็นโมเดลที่คุณสามารถเรียกใช้ได้

นี่คือส่วนที่ทำให้คนที่เจอชื่อเหล่านี้ในแค็ตตาล็อกโมเดลเข้าใจผิดว่ามันเป็นตัวเลือกบนเมนู พวกมันไม่ใช่เอนด์พอยต์ ดราฟเตอร์ทั้งสองตัวไม่มีราคาต่อหนึ่งล้านโทเคน ทั้งคู่ไม่ปรากฏในรายการ API และจะไม่มีแพลตฟอร์มที่ให้บริการโมเดลใดกำหนดเส้นทางคำขอมาที่ทั้งคู่ เพราะการจับคู่ที่ถูกต้องเป็นการกำหนดค่าฝั่งเซิร์ฟเวอร์ ไม่ใช่พารามิเตอร์ของคำขอ

Liquid AI ขายโมเดลเป้าหมาย 24B นั้นเองในราคา 0.10 ดอลลาร์ต่อล้านโทเค็นอินพุต 0.05 ดอลลาร์สำหรับแคช และ 1.00 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต และการคาดเดาใด ๆ ที่อยู่เบื้องหลังราคานั้นก็มองไม่เห็นจากผู้เรียกใช้งาน นั่นคือรูปแบบปกติของตลาดในตอนนี้ งานวิศวกรรมที่น่าสนใจเกิดขึ้นภายในสแตกการให้บริการ และสิ่งที่นักพัฒนาได้รับคืออัตราค่าใช้จ่ายกับตัวเลขโทเค็นต่อวินาที แพลตฟอร์มเราเตอร์สร้างคุณค่าได้ตรงการเปรียบเทียบเหนือชั้นขึ้นไปนั้น — คือการวางโมเดลผู้ท้าชิงไว้ข้าง ๆ โมเดลที่มันต้องเอาชนะ OrcaRouter ให้บริการปลายทางเดียวครอบคลุมโมเดลกว่า 200 รุ่น โดยบวกเพิ่ม 0% จากราคาตามรายการของผู้ให้บริการ ดังนั้นเมื่ออัตราของผู้ขายเปลี่ยน อัตราที่คุณเห็นก็เปลี่ยนในวันเดียวกัน และการสลับไปยังระบบสำรองช่วยไม่ให้โมเดลผู้ท้าชิงกลายเป็นจุดล้มเหลวจุดเดียวระหว่างที่คุณประเมินมัน ครอบครัว LFM2.5 ยังไม่อยู่ในกลุ่มนั้นในตอนนี้ การรัน 8B หรือ 24B บนเซิร์ฟเวอร์ของคุณเองพร้อมดราฟเตอร์จึงยังคงเป็นการติดตั้งภายในเครื่อง ส่วนโมเดลที่คุ้มค่าจะนำมาเปรียบเทียบด้วย — Qwen3.6-35B-A3Bในฝั่งเอเจนต์ Gemma 4 26B-A4Bในฝั่งประสิทธิภาพ — คือรุ่นที่เราให้บริการผ่านเราเตอร์

สิ่งที่การเปิดตัว DSpark ตลอดหนึ่งปีได้พิสูจน์ให้เห็น

{{1}}ตระกูลนี้ตอนนี้ครอบคลุมเป้าหมายข้อความสี่เป้าหมายและเป้าหมายภาพหนึ่งเป้าหมาย ตั้งแต่ 1.2B ถึง 24B โดยทั้งหมดใช้สูตร drafter เดียวกัน: ประมาณ 300M พารามิเตอร์ ห้าเลเยอร์ attention บล็อก 9 ฝึกบน hidden states ของเป้าหมายเอง{{/1}} ความสอดคล้องนี้คือสิ่งที่ค้นพบจริง ๆ {{2}}Liquid ได้เปลี่ยน speculative decoding จากโครงการวิจัยเฉพาะโมเดลให้กลายเป็นขั้นตอนการผลิต — drafter เดียวกัน นำไปปรับใช้กับเป้าหมายใหม่ และจัดส่งภายในไม่กี่วันหลังจากแต่ละโมเดลใหม่{{/2}} การจะใช้ขั้นตอนนั้นคุ้มค่าบนฮาร์ดแวร์ของคุณหรือไม่ เป็นคำถามเกี่ยวกับทราฟฟิกของคุณ และคำตอบแตกต่างตามภาระงานมากกว่าที่แตกต่างตามไฟล์สองไฟล์นี้ที่คุณดาวน์โหลด

สิ่งที่การเปิดตัว 24B เพิ่มเข้ามาในภาพนั้นไม่ใช่อัตราส่วนที่ดีขึ้น แต่เป็นครั้งแรกที่ drafter ถูกส่งออกมาโดยไม่มีเอกสารประกอบ และเป็นครั้งแรกที่การ์ดของผู้ขายเองบอกคุณเป็นภาษาธรรมดาว่าผลลัพธ์อาจไม่เหมือนกันทุกบิตหลังจากทั้งหมด