PAN 2 กับ LFM2.5-2.6B-Base: เช็กพอยต์สองแบบที่ตั้งใจให้คุณนำไปไฟน์จูน

สิ่งแรกที่ควรสังเกตเกี่ยวกับ LFM2.5-2.6B-Base คือคำว่า Base เช็กพอยต์ขนาด 2.69 พันล้านพารามิเตอร์ของ Liquid AI ไม่ใช่โมเดลสำหรับแชต แต่เป็นฐานที่ผ่านการพรีเทรนซึ่งนำไปสร้างตัวแปร LFM2.5-2.6B ที่ผ่านการฝึกหลังพรีเทรน เผยแพร่เพื่อให้ผู้อื่นสร้างเวอร์ชันของตนเองได้ PAN 2 ก็เป็นสิ่งประเภทเดียวกันในขนาดที่ใหญ่กว่าสามสิบเท่า: ดิฟฟิวชันทรานส์ฟอร์เมอร์ขนาด 29 พันล้านพารามิเตอร์จาก Institute of Foundation Models ของ MBZUAI เผยแพร่ภายใต้ Apache-2.0 พร้อมคอนฟิกการฝึกในรีโพซิทอรี มีไว้เพื่อดัดแปลงมากกว่าจะเพียงนำไปใช้เฉย ๆ เมื่อวางเทียบกันแล้วดูพิลึก ตัวหนึ่งเป็นโมเดลภาษาที่รันบนแล็ปท็อปได้ อีกตัวเป็นวิดีโอเวิลด์โมเดลที่ต้องใช้ B300 ถึงสี่ตัว แต่ทั้งคู่เป็นอาร์ติแฟกต์ฐานที่มาพร้อมสัญญาอนุญาต และสำหรับใครก็ตามที่งานจริงคือการนำเช็กพอยต์ไปทำให้ทำงานบางอย่างที่มันไม่ได้ถูกฝึกมาเพื่อสิ่งนั้น การเปรียบเทียบที่น่าสนใจจึงไม่ใช่ความสามารถเลย แต่คือสิ่งที่แต่ละตัวมอบให้คุณใช้ทำงาน และต้นทุนในการถือสิ่งนั้นไว้ระหว่างที่คุณค้นหาคำตอบ

เริ่มจากสัญญาอนุญาตก่อน เพราะนั่นคือความแตกต่างที่ชัดเจนเพียงอย่างเดียว

โค้ดและน้ำหนักของ PAN 2 เองอยู่ภายใต้ Apache-2.0 ส่วนองค์ประกอบจากบุคคลที่สาม — Qwen3.5-9B ในฐานะตัวเข้ารหัสข้อความ, Wan 2.2 ในฐานะ VAE, Diffusers — ถูกใช้ภายใต้ข้อกำหนดของแต่ละรายการและไม่ถูกแจกจ่ายต่อโดย MBZUAI คุณจะดาวน์โหลดสิ่งเหล่านี้จากผู้สร้างของมันเอง นั่นเป็นข้อตกลงที่สะอาด น่าเบื่อ และเป็นมิตรกับฝ่ายกฎหมายขององค์กร และเป็นเหตุผลหลักที่บริษัทซึ่งมีกระบวนการตรวจสอบสามารถนำ PAN 2 ไปใช้ได้จริง

LFM2.5-2.6B-Base เผยแพร่ภายใต้สัญญาอนุญาต LFM1.0 ซึ่ง Hugging Face บันทึกว่าเป็น other พร้อมลิงก์ไปยังไฟล์ LICENSE แทนที่จะเป็นตัวระบุ SPDX นั่นไม่ใช่การวิจารณ์ — สัญญาอนุญาตของ Liquid อนุญาตให้ใช้ในเชิงพาณิชย์ได้จนถึงเกณฑ์รายได้ ซึ่งเป็นรูปแบบที่พบได้ทั่วไปและสมเหตุสมผลสำหรับการเผยแพร่แบบ open-weights — แต่เป็นรูปแบบที่แตกต่างจาก Apache-2.0 และความแตกต่างนั้นไม่ใช่รายละเอียดที่คุณจะค้นพบหลังการ fine-tune หากทีมกฎหมายของคุณมีรายการสัญญาอนุญาตที่อนุมัติล่วงหน้าแล้ว หนึ่งในสองโมเดลนี้อยู่ในรายการนั้น และอีกโมเดลหนึ่งต้องมีการหารือ

ความไม่สมมาตรนั้นไปในทิศทางตรงข้ามกับจำนวนพารามิเตอร์ และมันคุ้มค่าที่จะหยุดคิดถึงเรื่องนี้สักหน่อย โมเดลจิ๋วคือตัวที่มาพร้อมเงื่อนไขผูกมัด ส่วนโมเดลมหึมาคือตัวที่คุณปล่อยออกไปได้โดยไม่ต้องขออนุญาตใคร

สิ่งที่เช็กพอยต์พื้นฐานมอบให้คุณจริง ๆ

LFM2.5-2.6B-Base เป็นสถาปัตยกรรมแบบไฮบริด: มี 30 เลเยอร์ โดย 22 เลเยอร์เป็นบล็อกคอนโวลูชันช่วงสั้นแบบ double-gated และ 8 เลเยอร์เป็น attention แบบ grouped-query การผสมผสานนี้คือหัวใจสำคัญของสาย LFM — บล็อกคอนโวลูชันมีต้นทุนต่ำเมื่อความยาวลำดับมาก และบล็อก attention รักษาความสามารถในการเรียกคืนข้อมูล — และเป็นเหตุผลว่าทำไมโมเดลจึงรองรับบริบท 131,072 โทเคนด้วยพารามิเตอร์ 2.69 พันล้าน การฝึกใช้ข้อมูลถึง 34 ล้านล้านโทเคนบนคำศัพท์ขนาด 128,000 โทเคน ครอบคลุม 16 ภาษา รวมถึงภาษาอาหรับ ญี่ปุ่น เกาหลี ไทย และเวียดนาม

สิ่งที่มันไม่มีคือการฝึกหลังการฝึก (post-training) ใด ๆ ไม่มีการปรับแต่งด้วยคำสั่ง (instruction tuning) ไม่มีเทมเพลตแชทที่เรียกได้ว่าคุ้มชื่อ และไม่มีการจัดแนวด้านความปลอดภัย โมเดลฐานจะทำนายโทเคนถัดไป และนั่นคือทั้งหมดที่มันทำ ซึ่งทำให้มันเป็นสิ่งที่ผิดที่จะใช้ประเมินบนเบนช์มาร์กการปฏิบัติตามคำสั่ง และเป็นสิ่งที่ถูกต้องที่จะใช้ประเมินว่า LoRA ลู่เข้าสู่โดเมนของคุณได้เร็วแค่ไหน Liquid เผยแพร่โมเดลพี่น้องที่ผ่านการฝึกหลังการฝึกแยกต่างหาก และการมีอยู่ของบิลด์ GGUF และ ONNX ของโมเดลพี่น้องนั้นคือคำแถลงเจตนาที่ชัดเจนที่สุด: ตระกูลนี้มีไว้สำหรับรันบนอุปกรณ์ที่คุณเป็นเจ้าของ

PAN 2 ให้โครงสร้างรองรับคุณมากกว่าอย่างชัดเจน และให้อิสระน้อยลงในแง่หนึ่งโดยเฉพาะ Repository มีคอนฟิกการเทรนมาพร้อมทั้งสำหรับ pre-training และ supervised fine-tuning — config/pretrain_29B_720p.yaml และ config/sft_29B_720p.yaml — และเอกสารแนะนำให้คุณชี้พาธข้อมูลในไฟล์เหล่านั้นไปยัง latent ของคุณเอง ดังนั้นเส้นทางการ fine-tuning จึงมีอยู่ แต่ข้อมูลที่มันคาดหวังไม่ใช่ข้อความ หากแต่เป็น video latent ที่ถูกกำกับด้วยรูปแบบแคปชันแบบมีโครงสร้างเฉพาะ ได้แก่ เหตุการณ์ตามลำดับ การกระทำที่ผูกกับ actor การเคลื่อนกล้อง ภายในงบโทเคน 1,536 ของ text encoder หากคุณต้องการ fine-tune PAN 2 กับโดเมนของคุณ โปรเจกต์แรกของคุณไม่ใช่การรันเทรน แต่เป็นไปป์ไลน์ข้อมูลที่เปลี่ยนฟุตเทจของคุณให้อยู่ในรูปแบบนั้น และ repository ให้ตัวตรวจสอบมา แต่ไม่ได้ให้ตัวติดป้ายกำกับมา

• การใช้พลังประมวลผลเพื่อไฟน์ทูน — LFM2.5-2.6B-Base: GPU ตัวเดียว, LoRA บนเวิร์กสเตชัน, ใช้เวลาหลายชั่วโมงไม่ใช่หลายสัปดาห์ PAN 2: ทรานส์ฟอร์เมอร์ขนาด 67.37 GB ที่ BF16 ก่อนสถานะออปติไมเซอร์ พร้อมเอนโคเดอร์แบบแช่แข็งขนาด 15.87 GB และ VAE บนวิดีโอเลเทนต์ แบบหลายโหนด และยังไม่มีใครเผยแพร่สูตร

• ข้อมูลที่คุณต้องจัดหา — LFM2.5-2.6B-Base: ข้อความ ในรูปแบบใดก็ตามที่งานของคุณใช้ PAN 2: วิดีโอพร้อมคำบรรยายสถานะโลกแบบมีโครงสร้างตามสคีมาของรีโพซิทอรี

• สิ่งที่คุณได้รับเป็นเอาต์พุต — LFM2.5-2.6B-Base: ตัวสร้างข้อความ และหลังจากผ่าน post-training แล้ว จะเป็นผู้ช่วยหรือนโยบายของเอเจนต์ PAN 2: วิดีโอความยาวสูงสุด 20 วินาที ที่ความละเอียด 704×1248 และ 24 fps ซึ่งแสดงผลลัพธ์ที่เกิดจากการกระทำหนึ่ง ๆ

• สัญญาอนุญาต — LFM2.5-2.6B-Base: LFM1.0, อื่น ๆ, อ่านได้เลย PAN 2: Apache-2.0 สำหรับน้ำหนักของตัวเอง

บนเบนช์มาร์กเดียวที่ทั้งสองเกือบจะบรรจบกัน

มีความทับซ้อนกันจริง และมันเล็กพอที่จะน่าสนใจ การ์ดโมเดล MiniCPM5-2B ของ OpenBMB มีการเปรียบเทียบประสิทธิภาพของ LFM2.5-2.6B กับโมเดล 2B ของตัวเองและโมเดลอื่น ๆ อีกหลายตัว และหนึ่งในแถวนั้นคือบริบทยาว ใน AA-LCR OpenBMB รายงานค่า 5.3 สำหรับ LFM2.5-2.6B เทียบกับ 59.0 สำหรับ MiniCPM5-2B ใน NoLiMa 0.7 เทียบกับ 68.1 ใน LongBench v2 30.3 เทียบกับ 43.7

นั่นคือตัวเลขที่คู่แข่งรายงานบนฮาร์เนสของคู่แข่ง และโมเดลการ์ดที่เผยแพร่ตัวเลขเหล่านั้นย่อมมีผลประโยชน์ที่ชัดเจนในเรื่องการเปรียบเทียบนี้ แต่ขนาดของช่องว่างในการทดสอบบริบทยาวที่ยากที่สุดสองรายการไม่ใช่สิ่งที่จะอธิบายได้ว่ามาจากการเลือกฮาร์เนส และมันเป็นสิ่งช่วยแก้ความเข้าใจผิดที่มีประโยชน์ต่อการอ่าน "บริบท 131,072 โทเคน" ในฐานะคำกล่าวอ้างเรื่องความสามารถ หน้าต่างบริบทคือความจุ ส่วนการเรียกคืนได้เมื่อยาวคือพฤติกรรม เช็กพอยต์ Base มีความจุอย่างแรก และจากหลักฐานของบุคคลที่สามแล้ว ไม่มีพฤติกรรมอย่างหลังมากนัก — ซึ่งเป็นเหตุผลโดยตรงว่าทำไมการทำไฟน์จูนจึงเป็นวิธีใช้ที่ตั้งใจไว้ มากกว่าการเป็นผู้ช่วยเอกสารยาวที่พร้อมใช้ทันทีหลังแกะกล่อง

PAN 2 ไม่มีการตรวจสอบไขว้ที่เทียบเท่ากัน ไม่มีใครนอก MBZUAI เคยทำ benchmarking กับมัน และตัวเลขบน model card ของมันเองคือตัวเลขชุดเดียวที่มีอยู่ นั่นเป็นสถานะเชิงหลักฐานที่อ่อนกว่าของ LFM2.5-2.6B-Base แม้ว่าการรันโมเดลนี้จะมีค่าใช้จ่ายสูงกว่าถึงหนึ่งร้อยเท่าก็ตาม — ซึ่งเป็นเครื่องเตือนใจว่าการประเมินอิสระจะตามมาหลังการนำไปใช้ และการนำไปใช้จะตามมาหลังความสามารถในการรันสิ่งนี้ได้จริงตั้งแต่แรก

ต้นทุนในการถือครองเช็กพอยต์แต่ละรายการ

LFM2.5-2.6B-Base มีพารามิเตอร์ประมาณ 2.7 พันล้านตัว ใน BF16 น้ำหนักจะอยู่ต่ำกว่า 6 GB อย่างสบาย ๆ และบิลด์ GGUF ของรุ่นพี่ที่ผ่านการฝึกหลังการฝึกก็ทำให้ขนาดต่ำกว่านั้นมาก คุณสามารถเก็บมันไว้ในหน่วยความจำบนเครื่องเดียวกันกับสแต็กที่เหลือของคุณ ปรับแต่งแบบ fine-tune ทิ้งไว้ข้ามคืน และลืมไปได้เลยว่ามันอยู่ตรงนั้น

PAN 2 มีขนาด 86.17 GB กระจายอยู่ในหกสิบไฟล์ และตัวเลขที่สำคัญไม่ใช่ยอดรวม แต่คือโครงสร้างการกระจาย ตัว transformer มีขนาด 67.37 GB และ inference worker ทุกตัวถือสำเนาเต็มหนึ่งชุด สคริปต์ inference ของ repository เองรันหนึ่ง worker ต่อหนึ่ง GPU โดยแต่ละตัวรับ prompt ทุกลำดับที่ N เพราะเส้นทางนั้นไม่มีการแบ่งชาร์ดแบบ tensor-parallel สูตร vLLM คือตัวเลือกแบบ sharded และจุดเด่นคือวิดีโอ 704×1248 ความยาวสิบสามวินาที ใช้เวลาประมาณ 119 วินาทีบน B300 สี่ตัว ด้วย classifier-free-guidance parallelism กระจายสองแรงค์ และ Ulysses sequence parallelism กระจายสองแรงค์ ค่าเริ่มต้นคือ H200 แปดตัว ตัวสุ่มตัวอย่างแบบ 50 สเต็ปที่มี guidance ในทุกสเต็ปหมายถึง forward pass หนึ่งร้อยครั้งต่อคลิป และนั่นคือเลขคณิตเบื้องหลังทุกการเลือกการตั้งค่าในสูตรนี้

ดังนั้น การเปรียบเทียบต้นทุนอย่างตรงไปตรงมาจึงไม่ใช่ "6 GB กับ 86 GB" แต่เป็น "ต้นทุนส่วนเพิ่มเป็นศูนย์ต่อการอนุมานหนึ่งครั้ง กับโหนดหลาย GPU ต่อเอาต์พุตสองนาที" โมเดลขนาด 2.6B ที่ผ่านการปรับแต่งแล้วตอบคำถามหนึ่งครั้งมีต้นทุนที่ไม่สามารถวัดได้ ขณะที่ PAN 2 ที่ผ่านการปรับแต่งแล้วเรนเดอร์คลิปความยาวยี่สิบวินาทีต้องใช้โหนด GPU เป็นเวลาสามนาที และคุณจะต้องรันมันหลายร้อยครั้งก่อนจะรู้ว่าการปรับแต่งนั้นได้ผลหรือไม่

ตรงจุดที่เราเตอร์สัมผัสกับอย่างใดอย่างหนึ่งในสองสิ่งนี้

ทั้งสองโมเดลไม่ใช่สิ่งที่เลเยอร์ routing จะให้บริการได้ LFM2.5-2.6B-Base เป็น base checkpoint ที่ไม่มี hosted endpoint ที่คุ้มค่าจะ route ไป — มันเป็นไฟล์ที่คุณดาวน์โหลด PAN 2 ไม่มี hosted endpoint เลย ไม่ว่าจะจาก MBZUAI หรือใครก็ตาม หากแผนของคุณเกี่ยวข้องกับตัวใดตัวหนึ่งในสองตัวนี้ แผนของคุณก็เกี่ยวข้องกับ GPU

เหตุผลที่ยังต้องกล่าวถึงการกำหนดเส้นทางอยู่ดีก็คือ แทบไม่มีใครติดตั้งใช้งานโมเดลพื้นฐานแบบแยกเดี่ยว LFM2.5 ที่ผ่านการไฟน์ทูนเป็นเพียงองค์ประกอบหนึ่งในแอปพลิเคชันที่ยังต้องมีตัวให้เหตุผลทั่วไป และการจำลอง PAN 2 ก็เป็นเพียงขั้นตอนหนึ่งในไปป์ไลน์ที่ขั้นตอนแรกเป็นโมเดลภาษาที่เขียนคำบรรยายภาพแบบมีโครงสร้าง ชั้นที่ล้อมรอบอยู่นี้คือจุดที่ API เดียวสำหรับโมเดลกว่า 200 ตัวมีคุณค่า: คุณเก็บเช็กพอยต์ที่ปรับแต่งไว้บนฮาร์ดแวร์ของคุณเอง ส่งคำขอทั่วไปผ่าน OrcaRouter ในราคาตามรายการของผู้ให้บริการ โดยมีมาร์กอัป 0% ที่ส่งผ่านและได้รับการสลับไปยังระบบสำรองอัตโนมัติเมื่อผู้ให้บริการมีช่วงเวลาที่มีปัญหา สำหรับไปป์ไลน์ PAN 2 โดยเฉพาะ ขั้นตอนการสร้างคำบรรยายภาพเป็นส่วนที่ยืดหยุ่นได้ — รายงานจัดอันดับ Claude Opus 5.5, GPT-6 Astra, Kimi K3 และ Qwen3.8-Flash ตามการทำแผนให้เสร็จสมบูรณ์ และQwen3.8-Flash อยู่บน OrcaRouter ดังนั้นคุณจึงทดสอบได้ว่าตัววางแผนตัวใดทำแผนของคุณให้เสร็จสมบูรณ์ได้จริง โดยไม่ต้องจัดเตรียมโมเดลถึงสี่ตัว

สิ่งที่ OrcaRouter จะไม่ทำคือการโฮสต์เช็กพอยต์ใด ๆ จากสองตัวนี้ การพูดเป็นอย่างอื่นจะเป็นการกล่าวอ้างประเภทที่ฟังดูเหมือนฟีเจอร์แต่กลับทำงานเหมือนบั๊ก

สิ่งที่กรอบความคิดแบบโมเดลฐานปิดบังไว้

ทั้งสองเวอร์ชันที่เผยแพร่นี้ ในความหมายอย่างเคร่งครัด ถือว่ายังไม่เสร็จสมบูรณ์ LFM2.5-2.6B-Base ไม่มี instruction tuning โดยการออกแบบ ส่วน PAN 2 มีส่วนข้อจำกัดที่ระบุว่าแผนจำลองประมาณสองในสามมีอย่างน้อยหนึ่งขั้นตอนที่ไม่ได้รับการดำเนินการ ทั้งสองไม่ใช่ผลิตภัณฑ์ ความแตกต่างอยู่ที่ว่า “unfinished” หมายถึงอะไรในแต่ละกรณี

สำหรับ LFM2.5-2.6B-Base การที่ยังไม่เสร็จสิ้นเป็นเพียงขั้นหนึ่งในไปป์ไลน์ที่ผู้จำหน่ายได้ดำเนินการขั้นปลายน้ำเสร็จเรียบร้อยแล้ว — โมเดลที่ผ่านการฝึกหลังการฝึกมีอยู่จริง บิลด์ที่ทำควอนไทเซชันแล้วมีอยู่จริง และเช็กพอยต์ฐานได้รับการเผยแพร่สำหรับผู้ที่ต้องการแยกสายพัฒนาไปเอง ช่องว่างนี้เป็นเจตนาและมีการบันทึกไว้เป็นเอกสาร

สำหรับ PAN 2 ทั้งรีลีสอยู่ในสถานะยังไม่เสร็จสมบูรณ์ เวตถูกอัปโหลดขึ้นแล้ว การรองรับเฟรมเวิร์กพร้อมใช้งานเมื่อวันที่ 10 พฤศจิกายน และสิ่งเดียวที่มีคนพูดถึงมันต่อสาธารณะคือโพสต์สองย่อหน้าบนบัญชี X ของแล็บเองในช่วงบ่ายวันเดียวกัน ข้อจำกัดของมันไม่ใช่ตัวเลือกการออกแบบที่ส่งต่อให้ผู้ใช้ปลายน้ำ แต่เป็นปัญหาที่ยังเปิดอยู่ซึ่งทีมกำลังระบุต่อสาธารณะ หากคุณ fine-tune PAN 2 คุณจะได้ปัญหเหล่านั้นติดมาพร้อมกับเวตด้วย

นั่นคือการเปรียบเทียบที่แท้จริง และมันไม่ได้ลงเอยด้วยคำแนะนำระหว่างสองโมเดล เพราะทั้งสองไม่ใช่สิ่งทดแทนกัน มันลงเอยเป็นคำถามเกี่ยวกับโปรเจกต์ของคุณว่า คุณกำลังดัดแปลงคอมโพเนนต์ที่ผ่านการพิสูจน์แล้วว่าดี หรือคุณกำลังสร้างบนชิ้นงานวิจัยที่รูปแบบความล้มเหลวยังคงอยู่ระหว่างการวัดกันแน่ LFM2.5-2.6B-Base คือแบบแรก PAN 2 คือแบบที่สอง และสัญญาอนุญาต Apache-2.0 เป็นเหตุผลเดียวที่ทำให้แบบที่สองเป็นตัวเลือกได้เลย