LFM3-1.7B-Base เทียบกับ LFM2.5-2.6B-Base: พารามิเตอร์น้อยลง โทเค็นน้อยลง บริบทมากขึ้น

ตัวเลขกลับสวนทางกัน LFM3-1.7B-Base ซึ่งเผยแพร่เมื่อวันที่ 26 ตุลาคม 2026 มีขนาดเล็กกว่า LFM2.5-2.6B-Base อยู่ 36% โดย Liquid AI เผยแพร่เมื่อวันที่ 4 สิงหาคม 2026 — 1.73 พันล้านพารามิเตอร์ เทียบกับ 2.69 พันล้านพารามิเตอร์ นอกจากนี้ยังฝึกด้วยโทเค็นน้อยกว่า: 22 ล้านล้าน เทียบกับประมาณ 34 ล้านล้าน เมื่อพิจารณาจากตัวเลขสองตัวที่อุตสาหกรรมมักใช้จัดอันดับโมเดลที่ผ่านการฝึกมาก่อน โมเดลเช็กพอยต์ที่ใหม่กว่าควรจะแย่กว่า คำกล่าวอ้างของ Liquid กลับตรงกันข้าม อย่างน้อยสำหรับโมเดลหลังการฝึกที่สร้างขึ้นบนพื้นฐานของมัน และคำถามที่น่าสนใจสำหรับใครก็ตามที่กำลังเลือกแบ็กโบนเพื่อไฟน์จูนคือ ความแตกต่างเหล่านี้ส่วนไหนเป็นของจริง และส่วนไหนเป็นเรื่องเล่าที่สร้างขึ้นด้วยชุดทดสอบมาตรฐาน การทำการเปรียบเทียบควรแลกมาด้วยทรัพยากรประมวลผล ไม่ใช่สัญญาอีกฉบับ มาร์กอัป 0% OrcaRouter ส่งต่อราคาตามรายการของผู้ให้บริการโดยคิดมาร์กอัป 0%

นี่คือการเปรียบเทียบภายในตระกูลเดียวกัน ซึ่งทำให้มันสะอาดอย่างผิดปกติ ทั้งคู่มาจากผู้จำหน่ายรายเดียวกัน อยู่ในกลุ่มสัญญาอนุญาตเดียวกัน มีคำศัพท์ขนาด 128,000 โทเคนเท่ากัน มีขนาด hidden เท่ากันที่ 2,048 และมีบทบาทแบบ base-to-base เหมือนกัน เช็กพอยต์ทั้งสองแตกต่างกันในด้านสถาปัตยกรรม ปริมาณข้อมูล ความยาวบริบท และปริมาณการฝึกหลังการฝึก (post-training) ที่ฝังอยู่ในแกนหลัก เกือบทุกอย่างนอกเหนือจากนั้นถูกทำให้คงที่

เดลต้า ทีละมิติ

• พารามิเตอร์ — 1.73B สำหรับ LFM3-1.7B-Base เทียบกับ 2.69B สำหรับ LFM2.5-2.6B-Base การลดลง 35.7% ซึ่งเป็นที่มาของวลี "พารามิเตอร์น้อยลง 35%" ในโพสต์เปิดตัวของ Liquid

• เลเยอร์ — 24 ต่อ 30 รุ่นใหม่กว่าทั้งตื้นกว่าและแคบกว่า

• การผสมเลเยอร์ — คอนโวลูชันสั้นแบบเกต 13 ตัว บล็อกแอตเทนชันแบบหน้าต่างเลื่อน 5 บล็อก และบล็อกแอตเทนชันแบบเต็ม 6 บล็อกสำหรับ LFM3; คอนโวลูชัน 22 ตัว และบล็อกแอตเทนชันแบบเต็ม 8 บล็อกสำหรับ LFM2.5 โดยไม่มีระดับหน้าต่างเลื่อน

• แอทเทนชัน — หัวคิวรีสิบหกหัวและหัวคีย์-แวลูสี่หัวใน LFM3 เทียบกับสามสิบสองและแปดใน LFM2.5 ทั้งคู่คงมิติของหัวไว้ที่ 128 และขนาดซ่อน 2,048

• ความกว้างของฟีดฟอร์เวิร์ด — 7,680 สำหรับ LFM3 เทียบกับ 10,752 สำหรับ LFM2.5 นี่คือจุดที่การลดจำนวนพารามิเตอร์ส่วนใหญ่เกิดขึ้นจริง

• แคชคอนโวลูชัน — เจ็ดสำหรับ LFM3 เทียบกับสามสำหรับ LFM2.5 พร้อมเพิ่มหน้าต่างเลื่อนขนาด 256 โทเคน

• บริบท — 262,144 โทเค็น เทียบกับ 128,000 เช็กพอยต์ที่ใหม่กว่าทำให้เพิ่มเป็นสองเท่า

• โทเค็นก่อนการฝึก — 22 ล้านล้าน เทียบกับประมาณ 34 ล้านล้าน โดย 3.5 ล้านล้านสุดท้ายของการรันที่ใหม่กว่าถูกใช้กับข้อมูลช่วงกลางการฝึกที่คัดสรรแล้ว ซึ่งรวมถึงร่องรอยการทำงานของเอเจนต์และการเรียกใช้เครื่องมือ

• อาร์ติแฟกต์ — LFM3-1.7B-Base เผยแพร่เป็นไฟล์ safetensors แบบ BF16 เท่านั้น โดยมีขนาด 3.46 GB ส่วน LFM2.5-2.6B-Base เผยแพร่ในรูปแบบ Safetensors พร้อมบิลด์ GGUF, ONNX และ MLX ทำงานได้ในขนาดต่ำกว่า 2.5 GB เมื่อควอนไทซ์ และรองรับโดย Transformers, vLLM, SGLang, llama.cpp และ MLX

พารามิเตอร์ไปอยู่ที่ไหน

การลดลงไม่ได้กระจายอย่างสม่ำเสมอ และเรื่องนี้สำคัญสำหรับใครก็ตามที่ประเมินต้นทุนการ fine-tuning เอ็มเบดดิงถูกผูกไว้ในทั้งสองโมเดล และคำศัพท์เหมือนกันทุกประการที่ 128,000 โทเค็น ดังนั้นเมทริกซ์เอ็มเบดดิงจึงไม่เปลี่ยนแปลง hidden size ยังคงเดิมที่ 2,048 การประหยัดมาจากสามจุด: มีชั้นน้อยลงหกชั้น จำนวน attention head เป็นครึ่งหนึ่ง และบล็อก feed-forward แคบลงประมาณ 29%

การลดความกว้างของบล็อกฟีดฟอร์เวิร์ดเป็นวิธีที่ประหยัดที่สุดในการย่อทรานส์ฟอร์เมอร์ เพราะบล็อกนี้เก็บพารามิเตอร์ส่วนใหญ่ในแต่ละเลเยอร์ การลดจำนวนหัวแอตเทนชันลงครึ่งหนึ่งช่วยลดทั้งแคชคีย์-แวลูและน้ำหนักของโมเดล ซึ่งเป็นเหตุผลว่าทำไมโมเดลที่มีบริบทเพิ่มขึ้นเป็นสองเท่าจึงยังสามารถอธิบายได้ว่าพอดีอยู่ในหน่วยความจำประมาณ 1 GB ที่ 4 บิต สิ่งที่ต้องแลกมาคือความจุ: MLP ที่แคบลงมีพื้นที่น้อยลงในการจัดเก็บความสัมพันธ์เชิงข้อเท็จจริง และจำนวนหัวที่น้อยลงทำให้โมเดลมีรูปแบบแอตเทนชันอิสระให้ทำงานด้วยน้อยลง ข้อโต้แย้งของ Liquid คือข้อมูลที่ดีขึ้นและการผสมเลเยอร์ที่ดีขึ้นชดเชยได้มากกว่าที่เสียไป ข้อโต้แย้งนี้สามารถทดสอบได้ และ ณ เวลาที่เผยแพร่ ยังไม่มีใครนอกบริษัททดสอบข้อโต้แย้งนี้

บริบทนี้มาจากไหน

การเพิ่มบริบทเป็นสองเท่าจาก 128K เป็น 256K โดยไม่ทำให้ค่าใช้จ่ายด้าน attention เพิ่มขึ้นเป็นสองเท่า จำเป็นต้องไม่ทำ attention แบบครอบคลุมทั้งลำดับ สแต็กของ LFM3 ทำเช่นนั้นโดยกำหนดให้ 5 จาก 24 เลเยอร์ไปใช้ sliding window ขนาด 256 โทเคน และ 13 เลเยอร์ไปใช้ convolution เหลือเพียง 6 เลเยอร์ที่มองเห็นทั้งลำดับ การกำหนดค่ายังมี partial rotary factor เท่ากับ 0.5 บนเลเยอร์ global-attention โดยใช้ rotary embeddings กับครึ่งหนึ่งของมิติของแต่ละ head และมี rotary theta เท่ากับหนึ่งล้านบนเลเยอร์เหล่านั้น เทียบกับหนึ่งหมื่นบนเลเยอร์ sliding

โพสต์เปิดตัวของ Liquid ให้ตัวเลขที่เป็นรูปธรรมหนึ่งตัวสำหรับสิ่งที่สิ่งนี้ให้: ที่ 128K โทเค็น แคช KV ของโมเดลข้อความมีขนาด 1.6 GB สำหรับ LFM2.5-2.6B-Base ไม่มีการเผยแพร่ตัวเลขที่เทียบเท่ากัน ดังนั้นการเปรียบเทียบจึงเป็นไปในเชิงทิศทางมากกว่าจะแม่นยำตรงตัว — สถาปัตยกรรมที่ใหม่กว่าถูกออกแบบมาให้รองรับบริบทที่ยาวขึ้นโดยใช้หน่วยความจำน้อยลง และตัวเลขจากผู้ขายเองเป็นเพียงการวัดเดียวที่มีอยู่

ทำไมโทเค็นที่น้อยกว่าจึงเป็นคำกล่าวอ้างที่น่าสนใจ

จากสามสิบสี่ล้านล้านโทเคนลดลงเหลือยี่สิบสองล้านล้านโทเคน คือการลดลง 35% ของการคำนวณก่อนฝึก (pre-training compute) ในระดับข้อมูล และเป็นทิศทางที่ตรงข้ามกับโมเดลรุ่นส่วนใหญ่ เรื่องเล่าปกติคือข้อมูลมากขึ้น พารามิเตอร์มากขึ้น โมเดลดีขึ้น แต่เรื่องเล่าของ Liquid คือทั้งสองอย่างน้อยลง ด้วยสถาปัตยกรรมใหม่และส่วนผสมข้อมูลที่เพิ่มบทความวิชาการ โค้ดระดับรีโพซิทอรี คณิตศาสตร์ และการกระจายแหล่งความรู้ที่กว้างขึ้น

ช่วง mid-training ขนาด 3.5 ล้านล้านโทเคนเป็นส่วนที่ทำให้เช็กพอยต์นี้แตกต่างจากการพรีเทรนแบบทั่วไป โดยใช้ข้อมูลที่คัดสรรและมีคุณภาพสูงขึ้น ซึ่งมีสัดส่วนของร่องรอยการทำงานแบบเอเจนต์และการเรียกใช้เครื่องมือมากขึ้น และเป็นช่วงที่มีการขยายหน้าต่างบริบท ช่วงนี้ยังเป็นเหตุผลที่โมเดลฐานมีเทมเพลตแชต เนื่องจากข้อมูล mid-training ถูกจัดรูปแบบเป็นบทสนทนา ทั้งที่มีและไม่มีร่องรอยการคิด

ทั้งหมดนี้ไม่สามารถตรวจสอบได้จากภายนอก จำนวนโทเคนเป็นการรายงานเอง ส่วนผสมข้อมูลไม่ได้เผยแพร่ และไม่มีการทดลองแบบ ablation ที่แสดงว่าการเปลี่ยนแปลงใดก่อให้เกิดผลลัพธ์ใด ข้อกล่าวอ้างนี้ฟังขึ้น — คุณภาพข้อมูลเอาชนะปริมาณดิบได้ซ้ำแล้วซ้ำเล่าในช่วงสองปีที่ผ่านมา — แต่ความเป็นไปได้ไม่ใช่สิ่งที่วัดแล้ว

สิ่งที่การเปรียบเทียบแบบฐานต่อฐานสามารถชี้ขาดได้

มันสามารถสรุปสเปก ต้นทุน และความเข้ากันได้ และหน้านี้ก็ทำเช่นนั้น แต่ไม่สามารถชี้ขาดเรื่องคุณภาพได้ เพราะไม่มีเช็กพอยต์ตัวใดมี benchmark ที่เผยแพร่ Liquid ไม่ได้เผยแพร่การประเมินใด ๆ สำหรับ LFM2.5-2.6B-Base และไม่ได้เผยแพร่สำหรับ LFM3-1.7B-Base เช่นกัน การ์ดทั้งสองแนะนำเช็กพอยต์นี้สำหรับการ fine-tuning อย่างละเอียด และชี้ผู้อ่านไปที่อื่นสำหรับการแชต

หลักฐานด้านคุณภาพเพียงอย่างเดียวในตระกูลนี้คือคู่ที่ผ่าน post-training แล้ว Liquid รายงานว่า LFM3-1.7B มีค่าเฉลี่ย 49.37 บนชุดทดสอบของตนเอง เทียบกับ 31.55 ของ LFM2.5-2.6B โดยโมเดลใหม่ใช้พารามิเตอร์น้อยลง 35% นั่นเป็นช่องว่างที่ใหญ่ และเป็นตัวเลขจากผู้ขายที่วัดบนชุดทดสอบที่ผู้ขายเลือกเอง เปรียบเทียบโมเดลสองตัวที่แตกต่างกันทั้งใน post-training และโครงหลัก นี่เป็นหลักฐานว่าสูตร LFM3 สร้างโมเดล instruct ที่ดีกว่า แต่มันไม่ใช่หลักฐานว่า base checkpoint เป็นจุดเริ่มต้นที่ดีกว่า เพราะ post-training ที่อยู่บนนั้นอาจอธิบายความแตกต่างได้ทั้งหมด

บันทึกการย้ายระบบสำหรับผู้ที่ใช้ LFM2.5

เช็กพอยต์ทั้งสองใช้ขนาดคำศัพท์ ขนาดฮิดเดน และตระกูลโทเค็นไนเซอร์ร่วมกัน ซึ่งทำให้การย้ายดูง่ายกว่าที่เป็นจริง ทั้งสองไม่ได้ใช้โค้ดโมเดลร่วมกัน: LFM2.5 โหลดเป็น Lfm2ForCausalLM และ LFM3 โหลดเป็น Lfm3ForCausalLM โดยทั้งคู่โหลดผ่านโค้ดกำหนดเองด้วย trust_remote_code=True สคริปต์ฝึกที่เขียนสำหรับตัวหนึ่งจะไม่สามารถโหลดอีกตัวได้โดยไม่เปลี่ยนคลาสโมเดล และเทมเพลตแชตมีการจัดการ thinking traces แตกต่างกัน

ความแตกต่างเชิงปฏิบัติที่ใหญ่กว่าคือการแพ็กเกจ LFM2.5-2.6B-Base มีบิลด์ GGUF, ONNX และ MLX และรันได้ภายใต้ llama.cpp, vLLM, SGLang, Transformers และ MLX ส่วน LFM3-1.7B-Base จัดส่งเป็นไฟล์ safetensors BF16 ไฟล์เดียว บิลด์แบบควอนไทซ์และแบบข้ามแพลตฟอร์มมีสำหรับ LFM3-1.7B ที่ผ่านการฝึกหลังแล้ว ไม่ใช่สำหรับเช็กพอยต์ฐาน หากไปป์ไลน์ของคุณพึ่งพาอาร์ติแฟกต์ GGUF คุณจะต้องแปลงมันเองและตรวจสอบผลลัพธ์ด้วยตนเอง

การรองรับการฟайнทูนเป็นตัวถ่วงดุล LFM3-1.7B-Base มีลิงก์ไปยังโน้ตบุ๊ก TRL สำหรับการฟайнทูนแบบมีผู้สอนและการฝึกล่วงหน้าแบบต่อเนื่อง และเอกสารประกอบครอบคลุมเส้นทางต่อจากนั้น เช็กพอยต์ที่เล็กกว่า บริบท 256K และการฝึกระหว่างทางเชิงเอเจนต์ ล้วนมุ่งเป้าไปที่การปรับตัวให้เข้ากับโดเมนแบบเดียวกับที่โน้ตบุ๊กเหล่านั้นสาธิต

ควรเริ่มจาก trunk ไหน

เริ่มต้นจาก LFM3-1.7B-Base หากคุณกำลังเริ่มการ fine-tune ใหม่ งานของคุณได้ประโยชน์จากบริบทแบบยาว และคุณสามารถทำงานใน BF16 กับ Transformers หรือแปลงน้ำหนักด้วยตัวเองได้ การลดจำนวนพารามิเตอร์ลง 35% ช่วยประหยัดเงินจริงในการฝึกบน GPU เดียว บริบทที่เพิ่มเป็นสองเท่าเป็นการเปลี่ยนแปลงความสามารถอย่างแท้จริง และเทมเพลตแชตช่วยย่นระยะเฟสที่มีการกำกับดูแล

ใช้ LFM2.5-2.6B-Base ต่อไปหากคุณมีไปป์ไลน์ที่ใช้งานได้อยู่แล้ว พึ่งพาอาร์ติแฟกต์ GGUF หรือ ONNX หรือต้องการเช็กพอยต์ที่มีเครื่องมือจากชุมชนหนุนหลังมาหนึ่งปี โมเดลใหม่เพิ่งมีอายุสามวัน รุ่น instruct ในตระกูลเดียวกันมีบิลด์แบบควอนไทซ์และได้รับการรองรับตั้งแต่วันแรกใน vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX และ ONNX Runtime แต่เช็กพอยต์ base ไม่มี และช่องว่างนั้นคือต้นทุนเชิงปฏิบัติของการเป็นผู้เริ่มก่อน

หากคุณยังไม่แน่ใจ ให้ลงมือทำการทดลองแทนการอ่านโฆษณา ลองหยิบข้อมูลของคุณเองมาเพียงเสี้ยวเล็ก ๆ รันสูตร continued pre-training แบบเดียวกันกับทั้งสอง trunk เป็นจำนวนสเต็ปเท่ากัน และประเมินบนชุด held-out ที่คุณสร้างไว้ก่อนเริ่มต้น นั่นใช้เวลาเพียงไม่กี่ GPU-hour และตอบคำถามที่ตารางของผู้ขายรายใดก็ตอบไม่ได้ เมื่อ fine-tune ทั้งสองชุดพร้อมแล้ว ให้นำทั้งคู่ไปไว้หลัง endpoint เดียว: OrcaRouter's routing DSL สามารถแบ่งทราฟฟิกระหว่างทั้งสองได้ และ automatic failover หมายความว่าการทดลองที่แย่จะไม่กลายเป็นวันที่แย่ในการผลิต แพลตฟอร์มส่งต่อราคาตามรายการของผู้ให้บริการโดยบวกกำไร 0% ดังนั้นค่าใช้จ่ายในการรันการทดสอบคือค่าใช้จ่ายในการประมวลผล ไม่ใช่สัญญาอีกฉบับ

ตัวเลขที่ต้องจับตา

ข้ออ้างที่ใช้ยุติเรื่องนี้ได้ไม่ใช่ค่าเฉลี่ยอีกตัวหนึ่ง แต่คือการประเมิน base model — การประเมิน base model ใดก็ได้ — ที่เผยแพร่โดย Liquid หรือโดยฝ่ายที่สาม ซึ่งเปรียบเทียบ LFM3-1.7B-Base กับ LFM2.5-2.6B-Base หลังจากใช้สูตร fine-tuning แบบเดียวกัน จนกว่าสิ่งนั้นจะมีอยู่ ส่วนต่างระหว่างรุ่น (generational delta) ถูกบันทึกไว้ในสถาปัตยกรรมและคอนฟิก สมเหตุสมผลในแง่จำนวนโทเคน และยังพิสูจน์ไม่ได้ในจุดที่สำคัญ เช็กพอยต์ที่ใหม่กว่านั้นมีขนาดเล็กกว่า รองรับคอนเท็กซ์ยาวกว่า และถูกจัดแพ็กเกจมาเพื่อการเทรนได้ดีกว่า คำถามว่ามันดีกว่าหรือไม่เป็นสิ่งที่รีโพซิทอรีไม่ได้ตอบ