MiniCPM-V 4.7 35B-A3B กับ Qwen2.5-Omni: สิบเก้าเดือนต่อมา หนึ่งในนั้นยังคงได้ยินคุณ

ลองวาง MiniCPM-V 4.7 35B-A3B ไว้ข้าง Qwen2.5-Omni ในตารางสเปก แล้วรุ่นใหม่กว่าจะชนะเกือบทุกบรรทัด มันมีบริบทมากกว่าแปดเท่า มีสถาปัตยกรรมแบบ sparse ที่เปิดใช้พารามิเตอร์เพียงหนึ่งในสิบสองต่อโทเคน และมีเครื่องมือ inference ที่พัฒนามาราวทศวรรษซึ่งยังไม่มีอยู่ในตอนที่รุ่นเก่าเปิดตัว จากนั้นพอมาถึงแถวด้านเสียง MiniCPM-V 4.7 35B-A3B กลับไม่มีอะไรตรงนั้นเลย Qwen2.5-Omni ซึ่งเปิดตัวปลายเดือนมีนาคม 2025 รับเสียงเข้าและสตรีมเสียงพูดธรรมชาติกลับออกมา ส่วน MiniCPM-V 4.7 ซึ่งน้ำหนักโมเดลเปิดตัวในตุลาคม 2026 รับข้อความ รูปภาพ และวิดีโอ แล้วคืนข้อความ ความก้าวหน้า 19 เดือนในคู่นี้ไม่ได้ให้โมเดล omni ที่ดีขึ้น แต่ให้โมเดลวิชันที่ดีขึ้นซึ่งไม่ทำสิ่งที่โมเดลรุ่นเก่าถูกสร้างขึ้นมาเพื่อทำ

การวางกรอบเช่นนั้นไม่ใช่การตำหนิติเตียนฝ่ายใดฝ่ายหนึ่ง แต่มันคือโครงสร้างทั้งหมดของการเปรียบเทียบ และเป็นเหตุผลว่าทำไมผู้อ่านที่ต้องการเสียงกับผู้อ่านที่ต้องอ่านหน้าสแกนหนึ่งพันหน้าจึงควรได้คำตอบที่แตกต่างกันออกไป ในด้านแหล่งที่มา: ตัวเลขของ Qwen2.5-Omni เป็นของผู้จำหน่ายจากเดือนมีนาคม 2025 ตอนนี้อายุสิบเก้าเดือนและได้รับการยืนยันบางส่วนจากการนำไปใช้งานอย่างกว้างขวาง ส่วนตัวเลขของ MiniCPM-V 4.7 35B-A3B เป็นของ OpenBMB ซึ่งเผยแพร่บนโมเดลการ์ดเมื่อวันที่ 12 ตุลาคม 2026 — เป็นการ์ดฉบับแรกของมัน สิบวันหลังจากน้ำหนักโมเดลปรากฏขึ้นครั้งแรก — และไม่มีตัวเลขใดเลยที่ถูกทำซ้ำให้เห็นผลเหมือนเดิมนอกห้องแล็บ

โมเดลรุ่นเก่ากว่าคืออะไรกันแน่

Qwen2.5-Omni เป็นโมเดลแบบ omni-modal แบบ end-to-end ตัวแรกในสายนั้น และกรอบการนำเสนอของผู้ขายในตอนนั้นก็ชัดเจนว่า มันคือคำตอบสำหรับปัญหา "สวนสัตว์ของผู้เชี่ยวชาญ" (zoo of specialists) ซึ่งการถอดเสียง การมองเห็น และเสียง ต่างก็ต้องมีโมเดลแยกกันและชั้นเชื่อมต่อแยกกัน โมเดลขนาด 7B รับข้อความ รูปภาพ เสียง และวิดีโอเป็นอินพุต และตอบกลับเป็นข้อความหรือเสียงพูดธรรมชาติแบบสตรีมมิ่ง โดยมีเสียงคงที่สองเสียงคือ Chelsie และ Ethan มันอ้างว่ามีผลลัพธ์ระดับล้ำสมัยบนเบนช์มาร์กการหลอมรวม OmniBench ซึ่งนำหน้า Gemini-1.5-Pro และมีคะแนนคุณภาพการสร้างเสียงพูดที่ 4.51 ซึ่งผู้ขายบรรยายว่าเทียบเท่าระดับมนุษย์

งานวิศวกรรมนี้ยืนหยัดได้ เพราะมันถูกออกแบบมาสำหรับข้อจำกัดนั้น ไม่ใช่เพื่อหลบเลี่ยงข้อจำกัด Thinker-Talker แยกงานออกเป็นสองส่วน: ทรานส์ฟอร์เมอร์ Thinker หลอมรวมตัวเข้ารหัสเสียงและภาพเข้าด้วยกัน และสร้างความหมายกับข้อความ ขณะที่ Talker สตรีมโทเคนเสียงพูดจากสถานะซ่อนของ Thinker และแชร์ประวัติการสนทนาทั้งหมด RoPE แบบมัลติโมดัลที่จัดแนวตามเวลาสลับตำแหน่งวิดีโอและเสียง เพื่อให้สตรีมทั้งสองซิงก์กัน และการสตรีมแบบแบ่งบล็อกทำให้ตัวเข้ารหัสทำงานด้านการรับรู้ ขณะที่โมเดลภาษาจัดการลำดับยาว ซึ่งนั่นคือสิ่งที่ทำให้การตอบกลับด้วยเสียงที่มีความหน่วงต่ำเป็นไปได้ตั้งแต่แรก

ขีดจำกัดก็เป็นของจริงไม่แพ้กัน และมันคือหน่วยความจำ ไม่ใช่บริบท ตารางของผู้ขายเองระบุว่า BF16 inference ด้วย FlashAttention-2 ใช้หน่วยความจำ GPU ประมาณ 31 GB สำหรับวิดีโอ 15 วินาที, 42 GB สำหรับ 30 วินาที และ 60 GB สำหรับหนึ่งนาทีเต็ม เมื่อเทียบกับหน้าต่างบริบท 32,768 โทเคน วิดีโอหนึ่งนาทีบนโมเดล 7B บนหนึ่งใน GPU เดี่ยวที่ใหญ่ที่สุดที่คุณเช่าได้ คือตัวเลขที่ต้องจับตาไว้ — มันคือตัวเลขที่ทุกสิ่งหลังจากนั้นถูกสร้างขึ้นมาเพื่อทำลาย

สิ่งที่โมเดลใหม่ทำแทน

MiniCPM-V 4.7 35B-A3B ไปในทิศทางตรงกันข้ามโดยสิ้นเชิง มันเป็น MoE ตัวแรกของ OpenBMB ในซีรีส์ MiniCPM-V: ผู้เชี่ยวชาญ 256 ตัว โดยเปิดใช้งาน 8 ตัวต่อโทเคนใน 40 เลเยอร์ หน้าต่างบริบท 262,144 โทเคน และคลังคำศัพท์ 248,144 โทเคน ซึ่งคิดเป็นพารามิเตอร์ที่เปิดใช้งานจริงประมาณ 3B จากทั้งหมด 35.2B การประมวลผลภาพทำงานผ่านโมดูล SigLIP2 พร้อมการบีบอัดช่วงต้นแบบ intra-ViT ของ LLaVA-UHD v4 และโหมดบีบอัดโทเคนแบบผสม 4x/16x ที่เลือกได้ — ค่าเริ่มต้นคือ 16x และใช้ 4x เมื่อรายละเอียดปลีกย่อยคุ้มค่ากับโทเคนที่ใช้ไป มันรองรับภาพเดี่ยว ชุดภาพหลายภาพ และวิดีโอ โดยตอบกลับเป็นข้อความ

การ์ดนี้มีข้อกล่าวอ้างหลักว่า นี่เป็นโมเดล MoE โอเพนซอร์สตัวแรกที่มีการอนุมานบนอุปกรณ์ได้อย่างราบรื่นและไม่สูญเสียข้อมูล ซึ่งทำได้โดยใช้ Lookahead Expert Scheduling, การควอนไทซ์แบบละเอียดตามเลเยอร์ และการสุ่มตัวอย่างแบบคาดการณ์ผ่านดราฟต์ DSpark ที่แยกต่างหาก โดยมีรายงานว่าได้ 13+ โทเคนต่อวินาทีบน iPhone 17 Pro Max ตัวเลขดังกล่าวเป็นตัวเลขที่ผู้ขายรายงาน ยังไม่มีการทำซ้ำ และไม่มีรายละเอียดประกอบ — ไม่มีรูปแบบการควอนไทซ์ ไม่มีบิลด์ ไม่มีพรอมต์ ไม่มีวิธีการวัด การ์ดนี้ยังอ้างว่ามีคะแนนโดยรวมในโหมด Instruct สูงกว่า Qwen3.6 35B-A3B โดยใช้เวลาอนุมานน้อยกว่า และข้อกล่าวอ้างนั้นถูกแสดงไว้ในภาพแผนภูมิแทนที่จะเป็นตาราง ดังนั้นจึงไม่สามารถยกมาอ้างเป็นตัวเลขได้ และไม่ควรถือเป็นตัวเลขดังกล่าว

เจ็ดมิติ ทั้งสองด้าน

• รูปแบบอินพุต — Qwen2.5-Omni รองรับข้อความ รูปภาพ เสียง และวิดีโอ; MiniCPM-V 4.7 35B-A3B รองรับข้อความ รูปภาพ และวิดีโอ โดยไม่มีเส้นทางสำหรับเสียงเลย

• เอาต์พุต — ข้อความพร้อมเสียงพูดธรรมชาติแบบสตรีมมิ่งในสองเสียงคงที่ เทียบกับข้อความเท่านั้น

• บริบท — 32,768 โทเค็น เทียบกับ 262,144 เพิ่มขึ้นแปดเท่า

• พารามิเตอร์ — ตัวเลข 7B ที่ผู้ขายใช้ตั้งชื่อโมเดล เทียบกับฝั่ง MiniCPM ที่มีพารามิเตอร์รวม 35.2B และมี 3B ที่แอ็กทีฟอยู่ ตัวรีโพซิทอรีเองระบุว่าเช็กพอยต์มีพารามิเตอร์ 11B เพราะ 7B นับเฉพาะโมเดลภาษา ไม่ได้นับตัวเข้ารหัสภาพและเสียงที่อยู่เคียงข้างกัน — เป็นการเตือนที่มีประโยชน์ว่า "7B" ในที่นี้เป็นชื่อพอ ๆ กับการวัด

• ปริมาณหน่วยความจำที่ใช้ — ตารางของผู้ผลิตเองแสดงว่า วิดีโอความยาว 15 วินาทีใช้ประมาณ 31 GB และความยาว 1 นาทีใช้ 60 GB; MiniCPM-V 4.7 มีน้ำหนัก BF16 ประมาณ 70 GB ก่อนจะนับ KV cache ใด ๆ ซึ่งเป็นเหตุผลว่าทำไมบิลด์ที่ผ่านการควอนไทซ์และเรื่องการทำงานบนอุปกรณ์ของมันจึงครองเนื้อหาส่วนใหญ่ของการ์ดนี้

• สัญญาอนุญาต — Apache-2.0 ทั้งคู่ ซึ่งเป็นบรรทัดเดียวที่ทั้งสองฝ่ายเห็นตรงกันอย่างไม่มีข้อแม้

• เครื่องมือสำหรับการปรับใช้ — สิบเก้าเดือนของงานควอนไทซ์โดยชุมชนและเครื่องมือต่าง ๆ ที่รองรับ SGLang, vLLM, llama.cpp, Ollama และ OpenVINO, บิลด์ GGUF/BNB/AWQ/GPTQ/FP8 และแอป iOS, Android และ HarmonyOS

• การประเมินสาธารณะ — ตำแหน่ง OmniBench ที่ 0.561 ซึ่งมีอายุสิบเก้าเดือนและถูกอ้างอิงอย่างกว้างขวาง เทียบกับการ์ดที่ไม่มีตารางการประเมินที่ยกมาอ้างได้เลย

รูเสียงคือการตัดสินใจทั้งหมด

ถ้าไปป์ไลน์ของคุณต้องการโมเดลที่ได้ยินบางสิ่ง การเปรียบเทียบนี้ก็จบตั้งแต่ย่อหน้าแรก Qwen2.5-Omni เป็นตัวเดียวในสองตัวนี้ที่รับเสียงได้ เป็นตัวเดียวที่พูดได้ และเป็นตัวเดียวที่มีสแตกด้านเสียงพูดที่มั่นคง — Thinker-Talker, TMRoPE, การสตรีมแบบบล็อก, เสียงคงที่สองเสียง — อยู่เบื้องหลัง นอกจากนี้ยังเป็นตัวเดียวในสองตัวนี้ที่มีคนนำไปใช้งานในวงกว้าง และสิบเก้าเดือนของการควอนไทซ์และเครื่องมือจากชุมชนก็มีค่ามากกว่าเอกสารสเปก เมื่อคุณกำลังพยายามเอาโมเดลไปใช้ในแอปพลิเคชันภายในไตรมาสนี้

สิ่งที่ MiniCPM-V 4.7 แลกมานั้นคือหน่วยความจำที่ยาวขึ้นมาก และโปรไฟล์การประมวลผลต่อโทเคนที่ประหยัดกว่ามากสำหรับเอกสารภาพยาว ๆ หน้าต่าง 262K กับพารามิเตอร์ที่ใช้งาน 3B เป็นเครื่องมือที่แตกต่างอย่างแท้จริงจากหน้าต่าง 32K บนโมเดล dense ขนาด 7B — และสำหรับภาระงานที่มีภาพหน้าเอกสารหลายพันภาพ ภาพหน้าจอ หรือบทถอดความวิดีโอยาว ๆ รูปร่างของโมเดลใหม่คือแบบที่เหมาะสม เพียงแต่มันไม่สามารถเป็นโมเดลที่คอยรับสายโทรศัพท์ได้

นั่นคือการแลกเปลี่ยนที่พูดกันตรง ๆ ระหว่างการเข้าถึงกับความครอบคลุม โมเดลเก่าครอบคลุมความหมายได้มากกว่า โมเดลใหม่ครอบคลุมหน้าได้มากกว่า

เส้นทางหลักฐานสองเส้นที่แตกต่างกันอย่างมาก

ในกรณีนี้ ความไม่สมมาตรกลับไปในทิศทางตรงกันข้าม และเป็นเรื่องที่ควรพูดให้แม่นยำ

ตัวเลขของ Qwen2.5-Omni เก่ามากพอที่จะได้รับการตรวจสอบยืนยันบางส่วนจากการใช้งานจริงแล้ว โมเดลอายุสิบเก้าเดือนที่มีตำแหน่งบน benchmark ซึ่งถูกอ้างอิงอย่างกว้างขวาง มีการควอนไทซ์ในขั้นปลายน้ำมานานหนึ่งทศวรรษ และมีฐานผู้ติดตั้งขนาดใหญ่ ไม่ถือเป็นปริมาณที่พิสูจน์แล้วในความหมายเชิงทางการใด ๆ แต่ข้ออ้างของมันมีเวลานานพอที่จะถูกโต้แย้ง และก็ไม่ได้ถูกโต้แย้ง ตัวเลขด้านหน่วยความจำโดยเฉพาะถูกเผยแพร่ในฐานะข้อจำกัดทางวิศวกรรม ไม่ใช่ในฐานะการตลาด และมันมีพฤติกรรมเหมือนข้อจำกัดทางวิศวกรรม

ตัวเลขของ MiniCPM-V 4.7 ผ่านมาสองสัปดาห์แล้วโดยไม่มีการตรวจสอบจากภายนอกเลย โมเดลนี้เปิดตัวโดยไม่มีเอกสารประกอบเมื่อวันที่ 6 ตุลาคม และการ์ด สัญญาอนุญาต รวมถึงส่วนคำกล่าวอ้างก็เผยแพร่เมื่อวันที่ 12 ตุลาคม ยังคงไม่มีตารางการประเมิน ไม่มีรายงานทางเทคนิค และไม่มีบุคคลที่สามรายใดเผยแพร่ผลลัพธ์ จุดเดียวที่มีตัวเลขเผยแพร่จริงคือเช็กพอยต์ฉบับร่าง DSpark แยกต่างหาก ซึ่งตัวเลขจำนวนโทเค็นที่ยอมรับต่อสเต็ปนั้นเป็นข้อมูลของ OpenBMB เอง และทางแล็บยังไม่ได้เผยแพร่ข้อมูลดังกล่าวสำหรับโมเดลหลัก

ดังนั้น ท่าทีที่ถูกต้องต่อโมเดลใหม่คือ: ถือว่าสถาปัตยกรรมเป็นสิ่งที่อ่านแล้ว (มันอยู่ในไฟล์คอนฟิก) ถือว่าการเผยแพร่เป็นของจริง (เวตมีอยู่ในหกรูปแบบ) และถือว่าตัวเลขประสิทธิภาพทุกตัวเป็นคำกล่าวอ้างที่รอความเห็นที่สอง ส่วนหลังนั้นไม่ใช่สภาวะถาวร มันเป็นเพียงสถานะ ณ วันที่ 13 ตุลาคม

การรันสิ่งใดสิ่งหนึ่งจากสองสิ่งนี้ และเราเตอร์มีไว้เพื่ออะไร

ทั้งสองอย่างนี้เป็นไฟล์ที่คุณให้บริการเอง ทั้ง MiniCPM-V 4.7 35B-A3B และ Qwen2.5-Omni ต่างก็ไม่ได้อยู่ในแค็ตตาล็อกที่โฮสต์ของ OrcaRouter และไม่มีข้อความใดในที่นี้ที่ควรถูกตีความว่าเป็นการอ้างว่าเราเราเตอร์ไปยังโมเดลเหล่านี้ — MiniCPM-V 4.7 เป็นเช็กพอยต์อายุสองสัปดาห์ที่คุณต้องใช้ตัวเร่งความเร็วสองตัวในการรันแบบไม่ควอนไทซ์ และ Qwen2.5-Omni เป็นโมเดลที่เปิดเผยน้ำหนักปี 2025 ซึ่งที่ที่เหมาะสำหรับการใช้งานจริงคืออินสแตนซ์ vLLM ที่คุณดำเนินการเอง

จุดที่เราเตอร์พิสูจน์คุณค่าของตัวเองอยู่ที่อีกฟากของเส้นแบ่งนั้น ทีมส่วนใหญ่ที่รันโมเดลวิชันแบบโฮสต์เองยังต้องใช้โมเดลแบบโฮสต์สำหรับกรณีที่โมเดลในเครื่องจัดการไม่ได้ — การให้เหตุผลระยะยาว การเรียกใช้เครื่องมือ และอินพุตเสียงที่ MiniCPM-V 4.7 ไม่รองรับ OrcaRouter รวมโมเดลแบบโฮสต์กว่า 200 รายการไว้หลังคีย์เดียว, คิดราคาตามราคาป้ายของแต่ละผู้ให้บริการโดยไม่บวกกำไรใด ๆ จากเรา และสลับไปใช้ตัวสำรองโดยอัตโนมัติเมื่อผู้ให้บริการมีปัญหาลดประสิทธิภาพลง ซึ่งหมายความว่าการเพิ่มโมเดลตัวที่สองนั้นเป็นการเปลี่ยนการกำหนดเส้นทาง ไม่ใช่สัญญาอีกฉบับ โมเดลแบบโฮสต์ที่ใกล้เคียงกับโมเดล MiniCPM มากที่สุดคือ Qwen3.6 35B A3B — ขนาดรวม 35B เปิดใช้งาน 3B คอนเท็กซ์ 262K รับข้อความ-ภาพ-วิดีโอ — ในราคา $0.25 ต่อล้านโทเคนอินพุต และ $1.48 ต่อล้านโทเคนเอาต์พุต ซึ่งเป็นไม้บรรทัดที่ยุติธรรมสำหรับสิ่งที่การโฮสต์เองช่วยคุณประหยัดได้จริง

อันไหน และเมื่อไหร่

เลือก Qwen2.5-Omni หากคุณต้องการออดิโอหรือเสียงพูดไม่ว่าจะแบบใด หากคุณต้องการโมเดลที่ผ่านการนำไปใช้งานจริงมาแล้ว 19 เดือน หรือหาก 32K โทเคนและเพดาน 60 GB สำหรับวิดีโอหนึ่งนาทีพอดีกับงบประมาณของคุณ ข้อจำกัดของมันเป็นที่รู้กันและมีการบันทึกไว้ ซึ่งถือเป็นข้อดีเมื่อคุณกำลังปล่อยผลิตภัณฑ์

ลองใช้ MiniCPM-V 4.7 35B-A3B ถ้าปัญหาของคุณคือบริบทภาพและเอาต์พุตข้อความแบบยาว ถ้าคุณต้องการสัญญาอนุญาตแบบผ่อนปรน และถ้าคุณยอมเป็นพวกเริ่มก่อนแต่เนิ่น ๆ — เพราะความเนิ่น ๆ คือสิ่งที่คุณจะเป็น ไม่มีบุคคลที่สามรายใดรันมัน ข้ออ้างเรื่องการทำงานบนอุปกรณ์ยังไม่ถูกทำซ้ำ และยังไม่มีเบนช์มาร์กใด ๆ สิ่งที่คุณได้มาแลกเปลี่ยนคือโมเดลที่มีเอกสารประกอบครบ วัดปริมาณได้ และรองรับหลายรันไทม์ พร้อมหน้าต่างขนาด 262K และเรื่องราวประสิทธิภาพที่ฟังดูน่าเชื่อ และคุณจะได้เป็นคนที่ค้นพบเองว่าเรื่องราวนั้นยังยืนได้หรือไม่

สิ่งที่อาจเปลี่ยนคำตอบได้: ตาราง benchmark จาก OpenBMB หรือความยาว acceptance ที่ทำซ้ำได้จากฉบับร่าง DSpark — ยังคงเป็นเส้นทางที่ถูกที่สุดสู่ตัวเลขจากภายนอกสำหรับตระกูลนี้ สิ่งที่ไม่อาจเปลี่ยนคำตอบได้คือเวลาที่มากขึ้น สิบเก้าเดือนไม่ได้มอบความสามารถในการได้ยินให้ MiniCPM-V 4.7 และไม่มีอะไรใน roadmap ที่บ่งชี้ว่ามันกำลังจะมาถึง