Moondream 3 กับ MiniCPM-V 4.7: บิลค่าจัดเก็บของ MoE ที่ไม่มีใครพูดถึง

ทั้ง Moondream 3 Preview และ MiniCPM-V 4.7 ต่างก็เป็นโมเดลภาษาและภาพแบบ mixture-of-experts และทั้งคู่ได้รับการโฆษณาด้วยจำนวนพารามิเตอร์ที่ทำงานอยู่เพียงน้อยนิด ซึ่งทำให้ดูเหมือนว่าพวกมันเหมาะกับฮาร์ดแวร์ระดับปานกลาง Moondream 3 Preview เปิดใช้งานพารามิเตอร์ 2B จากทั้งหมด 9B ต่อโทเคน ส่วนรุ่นเด่นของ MiniCPM-V 4.7 อย่าง MiniCPM-V 4.7 35B-A3B เปิดใช้งานประมาณ 3B จาก 35B อ่านสองประโยคนี้แล้วคุณคงคาดว่าชุดเช็กพอยต์ Moondream จะติดตั้งได้ง่ายกว่า คำตอบนั้นขึ้นอยู่กับคำถามที่ไม่มีโพสต์เปิดตัวใดหยิบมาเป็นประเด็นนำเลยโดยสิ้นเชิง: ผู้เชี่ยวชาญที่หลับอยู่เหล่านั้นอาศัยอยู่ที่ไหน?

คำถามนั้นคือจุดที่สองโมเดลนี้แยกจากกันอย่างแท้จริง และคำตอบก็คือเหตุผลทั้งหมดที่ MiniCPM-V 4.7 ดำรงอยู่ในรูปแบบที่เป็นอยู่ การเปิดตัวของมัน — MiniCPM-V 4.7 35B-A3B และ MiniCPM-V 4.7 1B จาก OpenBMB เผยแพร่เมื่อวันที่ 6 ตุลาคม 2026 — ถูกสร้างขึ้นโดยมุ่งไปที่การรัน MoE ขนาด 35B บนโทรศัพท์ได้อย่างราบรื่นโดยไม่ทำให้ประสิทธิภาพลดลง Moondream 3 Preview ซึ่ง Moondream เปิดตัวเมื่อวันที่ 18 กันยายน 2025 และตอนนี้เป็นส่วนหนึ่งของ Prime Intellect หลังการเข้าซื้อกิจการในเดือนตุลาคม 2026 ได้เลือกเส้นทางตรงกันข้าม: ทำให้ MoE เล็กและรันบน GPU ด้วย Photon ซึ่งเป็นเอนจินอินเฟอเรนซ์ของ Moondream เอง ไม่มีทางเลือกใดผิด ทั้งคู่เป็นคำตอบสำหรับข้อจำกัดที่ต่างกัน และข้อจำกัดที่คุณเผชิญอยู่จะเป็นตัวตัดสินการเปรียบเทียบให้คุณเอง

พารามิเตอร์ที่ใช้งานอยู่เป็นตัวเลขด้านการประมวลผล ไม่ใช่ตัวเลขด้านพื้นที่จัดเก็บ

นี่คือคณิตศาสตร์ที่ทำให้ MoE บนอุปกรณ์เป็นเรื่องยาก และ OpenBMB ก็ระบุไว้อย่างชัดเจนในโมเดลการ์ดของตัวเองว่า โมเดล MoE สามารถมีพารามิเตอร์รวมได้มากกว่าที่มันเปิดใช้งานสำหรับโทเคนเดียวมาก แต่ความต้องการพื้นที่จัดเก็บบนอุปกรณ์ไม่ได้จำกัดอยู่แค่พารามิเตอร์ที่เปิดใช้งานเหล่านั้น โทเคนที่ต่างกันเลือกผู้เชี่ยวชาญที่ต่างกันในเลเยอร์ที่ต่างกัน และหน่วยความจำของอุปกรณ์มักไม่สามารถเก็บผู้เชี่ยวชาญเหล่านั้นทั้งหมดไว้ได้

• Moondream 3 Preview — 9B ทั้งหมด, 2B ใช้งาน. 24 เลเยอร์, สี่ชั้นแรกเป็น dense, ที่เหลือเป็นบล็อก feed-forward แบบ MoE ที่มี 64 ผู้เชี่ยวชาญ และเปิดใช้งาน 8 ต่อโทเคน. มิติ hidden 2048, มิติ inner/gate ของ GeGLU 1024.

• MiniCPM-V 4.7 35B-A3B — มีพารามิเตอร์ทั้งหมด 35B และเปิดใช้งานจริงราว 3B เป็น MoE ตัวแรกในซีรีส์ MiniCPM-V ส่วนรุ่น 1B ในรุ่นเดียวกันเป็นแบบ dense ไม่ใช่ MoE ซึ่ง matters ต่อประเด็นด้านล่าง

• ความไม่สอดคล้อง — ถ้าเอาจำนวน active หารด้วยจำนวนทั้งหมด Moondream 3 Preview ดูเหมือนจะเป็นโมเดลที่เบากว่าอย่างชัดเจน แต่ถ้าเอาจำนวนไบต์หารด้วยจำนวนไบต์ MiniCPM-V 4.7 35B-A3B กลับเป็นตัวที่แบกน้ำหนักมากกว่าถึงสี่เท่า

• เหตุใดจึงไม่ได้ยุติอะไรเลย — resident set ต่างหากที่เป็นตัวจำกัดอุปกรณ์ และ resident set นั้นใกล้เคียงกับจำนวนรวมมากกว่าจำนวนที่ active อยู่ โมเดล MoE ขนาด 9B ไม่พอดีกับหน่วยความจำที่โมเดล dense ขนาด 2B พอดีได้ ไม่ว่าเราเตอร์จะเลือกเปิดใช้งานส่วนใด

ดังนั้น "2B active" เป็นข้อความเกี่ยวกับปริมาณการประมวลผลต่อโทเคน ไม่ใช่ข้อความเกี่ยวกับหน่วยความจำที่คุณต้องใช้ และการมองว่ามันเป็นข้อความเกี่ยวกับหน่วยความจำคือสาเหตุที่พบบ่อยที่สุดที่ทำให้ทีมประเมินขนาดการติดตั้งใช้งาน MoE ผิดพลาด

OpenBMB จัดการกับปัญหาการจัดเก็บโดยตรง

การออกแบบของ MiniCPM-V 4.7 ควรตีความได้ดีที่สุดว่าเป็นสามเทคนิคที่มุ่งเป้าไปที่ช่องว่างนั้นโดยเฉพาะ Lookahead Expert Scheduling ใช้การคาดการณ์เส้นทางแบบข้ามชั้น (cross-layer routing prediction) เพื่อโหลดผู้เชี่ยวชาญ (experts) ล่วงหน้าที่ชั้นถัดไปมีแนวโน้มจะต้องการ และจัดลำดับความสำคัญของผู้เชี่ยวชาญที่โหลดล่วงหน้าสำเร็จแล้วในบรรดาผู้ที่เราเตอร์จริงเลือก — การคาดการณ์เป็นเพียงแนวทางสำหรับการโหลดล่วงหน้าและการจัดตารางเท่านั้น ในขณะที่การคำนวณยังคงเป็นไปตามเส้นทางระดับโทเคน (token-level routing) ดั้งเดิมของโมเดล และผู้เชี่ยวชาญที่จำเป็นรายใดที่การคาดการณ์พลาดไปก็จะถูกโหลดและประเมินตามปกติ การควอนไทซ์แบบละเอียดระดับชั้น (Fine-grained layer-wise quantisation) ลดขนาดพื้นที่จัดเก็บและปริมาณการรับส่งข้อมูลหน่วยความจำของน้ำหนักผู้เชี่ยวชาญ DSpark speculative sampling ถูกผสานรวมเข้ากับเส้นทางบนอุปกรณ์ (on-device path) เพื่อปรับปรุงประสิทธิภาพการถอดรหัสบนพื้นฐานของทั้งสองอย่าง

ผลลัพธ์ที่ระบุไว้คือ 13+ โทเค็นต่อวินาที โดยใช้หน่วยความจำประมาณ 3 GB บน iPhone 17 Pro Max ซึ่ง OpenBMB อธิบายว่าเป็นโมเดล MoE โอเพนซอร์สตัวแรกที่ทำงานบนอุปกรณ์ได้อย่างราบรื่นโดยไม่กระทบประสิทธิภาพ การเปรียบเทียบของมันชัดเจนและน่าสังเกตในตัวของมันเอง: ในโหมด Instruct, MiniCPM-V 4.7 35B-A3B ทำคะแนนโดยรวมได้สูงกว่าในเวลา inference ที่น้อยกว่า Qwen3.6 35B-A3B นั่นเป็นข้อกล่าวอ้างจากผู้ขายในระดับขนาดเดียวกัน และเป็นประเภทที่มีประโยชน์มากกว่า เพราะทั้งสองโมเดลถูกวัดบนฮาร์เนสเดียวกัน

ส่วนที่เหลือของเรื่องการนำไปใช้งานนั้นกว้างขวางอย่างผิดปกติ รองรับ iOS, Android และ HarmonyOS พร้อมการรองรับตั้งแต่ Day-0 สำหรับแพลตฟอร์มชิปจาก Rockchip, Houmo, Intel, AMD และ Arm การอนุมานทำงานบน SGLang, vLLM, llama.cpp และ Ollama ส่วนการปรับละเอียดทำงานบน SWIFT และ LLaMA-Factory มีการจัดส่งการควอนไทซ์แบบ GGUF, BNB, AWQ และ GPTQ พร้อมทั้ง FP8 รุ่น 1B ก็เป็นข้อเสนอที่แยกออกไปอีกครั้ง — เป็นแบบ dense ไม่ใช่ MoE และ OpenBMB วางตำแหน่งให้มันพัฒนาต่อยอดจาก MiniCPM-V 4.6 อย่างต่อเนื่อง ขณะเดียวกันก็มีประสิทธิภาพเหนือกว่า Qwen3.5 0.8B อย่างมากทั้งในด้านคะแนนโดยรวมและประสิทธิภาพการอนุมาน ซึ่งเป็นการเปรียบเทียบที่ตรงไปตรงมาสำหรับโมเดลที่มีขนาดต่ำกว่า 1B

คำตอบของ Moondream คือการย้ายฮาร์ดแวร์ ไม่ใช่ย้ายค่าน้ำหนัก

Moondream ไม่ได้พยายามทำให้ 9B MoE รันบนโทรศัพท์ได้ มันคงสถาปัตยกรรมเดิมไว้และเปลี่ยนสถานที่ที่มันทำงาน: Photon เอนจินอินเฟอเรนซ์ของมัน คอมไพล์แต่ละโมเดลให้เป็นโปรแกรม GPU เดียวที่มีเคอร์เนลแบบกำหนดเอง และรันภายในเครื่องบน GPU NVIDIA ตั้งแต่ Ampere เป็นต้นไป และบน Mac Apple Silicon โดยใช้ API เดียวกันกับ Moondream Cloud

นี่เป็นกลยุทธ์ที่สามารถปกป้องได้ และประกาศการเข้าซื้อกิจการของ Prime Intellect ก็บอกว่าทำไมกลยุทธ์นี้จึงน่าสนใจ: ทีมของ Moondream สร้าง Photon และคอมไพเลอร์ megakernel ที่อยู่เบื้องหลังมัน และเหตุผลของ Prime ในการซื้อบริษัทคือ การให้บริการ ไม่ใช่สถาปัตยกรรม คือจุดที่กำหนดว่าความมีประโยชน์ของโมเดล และตัวเลข throughput ในโพสต์นั้น — มากกว่า 60 การอนุมาน Moondream ต่อวินาทีบน H100 ตัวเดียว, คำตอบในหลักสิบมิลลิวินาที, Moondream 3.1 ที่ 34 คำขอต่อวินาที — เป็นของ Prime เองและตอนนี้กลายเป็นสื่อขาย จึงควรติดป้ายกำกับให้สอดคล้องกัน แต่ทิศทางนั้นชัดเจนไม่กำกวม: เดิมพันของ Moondream คือคุณน่าจะอยากได้โมเดลที่เร็วซึ่งขับเคลื่อนด้วย GPU มากกว่าโมเดลขนาดเท่าโทรศัพท์

มีความแตกต่างประการที่สอง และมันไม่ได้อยู่ในโมเดลการ์ดเลยสักนิด เอนด์พอยต์แบบโฮสต์ของ Moondream 3 Preview นั่นคือ Moondream Cloud กำลังจะถูกปิดให้บริการในวันที่ 13 พฤศจิกายน 2026 ภายหลังการเข้าซื้อกิจการ โดยเครดิตที่ซื้อไว้แต่ยังไม่ได้ใช้จะได้รับการคืนเงิน ส่วน MiniCPM-V 4.7 ไม่มีภาวะพึ่งพิงเช่นนั้น เพราะมันไม่เคยเป็นผลิตภัณฑ์แบบโฮสต์เป็นหลักตั้งแต่แรก — มันคือชุดน้ำหนักที่มาพร้อมเรื่องราวการนำไปใช้งานบนอุปกรณ์อย่างกว้างขวาง หากการประเมินของคุณรวมความสะดวกในการเรียกใช้เอนด์พอยต์เข้าไว้ด้วย ความสะดวกนั้นกำลังจะหมดอายุลงในฝั่งหนึ่งของการเปรียบเทียบนี้

ความสามารถของงาน: การ์ดทั้งสองใบซื่อสัตย์ในเรื่องที่ต่างกัน

ทักษะเนทีฟทั้งสี่ของ Moondream 3 Preview ได้แก่ query, caption, point และ detect โดยทั้งหมดส่งคืนเอาต์พุตแบบมีโครงสร้าง และโพสต์เปิดตัวให้ความสำคัญกับ detection และ pointing เป็นหลัก ทักษะ query ทำงานในโหมด reasoning เป็นค่าเริ่มต้น พร้อมแฟล็ก reasoning=False ที่มีเอกสารระบุไว้สำหรับคำถามง่าย ๆ และร่องรอยการ reasoning นั้นมี grounding กล่าวคืออ้างอิงถึงส่วนต่าง ๆ ของภาพ จึงเป็นเหตุผลที่ Moondream เรียกมันว่า visual reasoning with grounding มากกว่า reasoning ทั่วไป บริบทมีขนาด 32K โทเคน เพิ่มขึ้นจากประมาณ 2K ในเจเนอเรชันก่อนหน้า โดยใช้ตัวตัดคำ SuperBPE แบบกำหนดเอง โพสต์เปิดตัวกล่าวอย่างตรงไปตรงมาว่า post-training ยังไม่ได้ใช้ประโยชน์จากหน้าต่างบริบทยาวอย่างเต็มที่ และ 32K เต็มจำนวนมีไว้ส่วนใหญ่สำหรับ fine-tuning

การ์ดของ MiniCPM-V 4.7 กลับชูจุดเด่นด้านประสิทธิภาพและความครอบคลุมแทน นั่นคือการเข้าใจภาพเดี่ยว ภาพหลายภาพ และวิดีโอ พร้อมการบีบอัดโทเคนภาพแบบผสม 4x/16x ที่ช่วยให้คุณแลกเปลี่ยนระหว่างรายละเอียดภาพกับต้นทุนการอนุมานในแต่ละงาน และการบีบอัดตั้งแต่เนิ่น ๆ ภายใน ViT จาก LLaVA-UHD v4 ซึ่งลดการคำนวณในเลเยอร์ตัวเข้ารหัสช่วงท้าย นอกจากนี้ยังมาพร้อมกับวิธีการปรับแต่งแบบละเอียดอย่าง Self-Replay Fine-Tuning ที่มุ่งขยายความสามารถของโมเดลอย่างประหยัดค่าใช้จ่าย พร้อมทั้งลดการหลงลืมสิ่งที่โมเดลรู้อยู่แล้ว

• การตรวจจับและการชี้ตำแหน่งแบบ grounded — Moondream 3 Preview: ทักษะที่เป็นเนทีฟในสถาปัตยกรรม พิกัดแบบมีโครงสร้าง ร่องรอยการให้เหตุผลแบบ grounded MiniCPM-V 4.7: ความสามารถที่ระบุว่าเป็นจุดแข็งคือการเข้าใจภาพหลายภาพและวิดีโอ; การ์ดโมเดลไม่ได้ชูจุดเด่นด้านการตรวจจับแบบ open-vocabulary

• วิดีโอ — MiniCPM-V 4.7 รองรับอินพุตวิดีโอ โดยมีตัวอย่างที่ระบุไว้ในเอกสารซึ่งใช้ 128 เฟรม การ์ดของ Moondream 3 Preview ระบุถึงความสามารถด้านรูปภาพพร้อมแคชการเข้ารหัสรูปภาพสำหรับการค้นหาซ้ำบนรูปภาพเดียวกัน

• รายละเอียดที่ควบคุมได้ — MiniCPM-V 4.7: พารามิเตอร์ downsample_mode โดยค่าเริ่มต้นเป็น 16x และ 4x สำหรับรายละเอียดที่ละเอียดยิ่งขึ้น ซึ่งเลือกใช้ต่อการเรียกแต่ละครั้ง Moondream 3 Preview: การเชื่อมช่องแบบ multi-crop ใน vision encoder โดยโพสต์เปิดตัวระบุว่า encoder อาจสะดุดได้เมื่อเจอฟอนต์ที่เล็กมาก

• สัญญาอนุญาต — MiniCPM-V 4.7: Apache 2.0 ทั้งสองรูปแบบ Moondream 3 Preview: Business Source License 1.1 พร้อม Additional Use Grant ซึ่งอนุญาตให้ใช้เชิงพาณิชย์และในสภาพแวดล้อมการผลิต และห้ามการให้บริการ Moondream แบบโฮสต์สำหรับการใช้งานทั่วไป Moondream 3.1 เปลี่ยนไปใช้ Moondream Model License 1.0 โดยมีข้อจำกัดหลักเดียวกันที่ระบุไว้อย่างชัดเจนยิ่งขึ้น

บรรทัดเรื่องสัญญาอนุญาตไม่ใช่หมายเหตุประกอบสำหรับการจับคู่เปรียบเทียบนี้ หากคุณตั้งใจจะโฮสต์โมเดลให้ผู้อื่นใช้งาน เงื่อนไข Apache 2.0 กับเงื่อนไข source-available ของ Moondream ไม่ใช่จุดตั้งต้นที่เหมือนกันแม้แต่นิดเดียว และนั่นเป็นจริงไม่ว่าตัวไหนจะทำ benchmark ได้ดีกว่าสำหรับงานของคุณ

ไฟน์ทูนนิ่งคือจุดที่การ์ดทั้งสองชี้ไป ด้วยเหตุผลที่ตรงกันข้าม

ผู้ขายทั้งสองรายต่างบอกคุณว่าโมเดลพื้นฐานไม่ใช่ตัวผลิตภัณฑ์ ซึ่งเป็นเรื่องน่าสดชื่นและยังเป็นคำใบ้ถึงว่าคุณค่าอยู่ตรงไหน

โพสต์เปิดตัวของ Moondream ระบุความสามารถในการเทรนได้เป็นหนึ่งในสี่เป้าหมาย โดยให้เหตุผลว่างานด้านวิชันจริง ๆ ต้องมีความเชี่ยวชาญเฉพาะทาง — การตีความภาพเอกซเรย์ การมองหาคนที่กำลังลำบากในฝูงชน — และแม้แต่มนุษย์ก็ยังต้องฝึกฝนสำหรับงานเหล่านี้ บริษัทได้ปล่อย Lens ออกมาเพื่อสิ่งนี้ และการเปิดตัว Moondream 3.1 ก็ไปไกลกว่านั้น: คะแนน benchmark ของ 3.1 ที่เผยแพร่ได้มาจากการ fine-tune LoRA แยกตามงานบนชุดข้อมูลฝึกของแต่ละ benchmark เองผ่าน Lens จากนั้นจึงรวมสิ่งที่เรียนรู้กลับเข้าไปในน้ำหนักฐานด้วย on-policy distillation เพื่อให้ checkpoint ที่ดาวน์โหลดได้ทำคะแนนได้ดีโดยไม่ต้องปรับแต่ง นั่นคุ้มค่าที่จะอ่านสองรอบ มันเป็นกระบวนการทำงานที่ชอบด้วย และเป็นการเปิดเผยที่โปร่งใสอย่างผิดปกติ และยังหมายความว่าตัวเลขเหล่านั้นไม่ใช่ตัวเลขที่ได้มาลอย ๆ แบบใช้งานได้ทันทีโดยไม่ปรับแต่ง — งานที่กล่าวถึงนั้นได้นำชุดข้อมูลฝึกไปป้อนให้โมเดลแล้ว

สิ่งที่เทียบเท่าของ OpenBMB คือ Self-Replay Fine-Tuning ซึ่งมุ่งแก้ปัญหาที่ต่างออกไป: การเพิ่มความสามารถโดยไม่ลืมความสามารถเดิม ด้วยต้นทุนต่ำ ข้อกล่าวอ้างหลักของมันเน้นเรื่องการคงความสามารถไว้ มากกว่าคะแนนสูงสุด

หากคุณกำลังจะไฟน์จูนโมเดลใดโมเดลหนึ่งจากสองตัวนี้ ความแตกต่างในทางปฏิบัติก็คือความแตกต่างแบบเดียวกันที่ปรากฏอยู่ตลอดการเปรียบเทียบทั้งหมดนี้ แนวทางของ Moondream สันนิษฐานว่ามี GPU และบริการแบบโฮสต์ ส่วนแนวทางของ MiniCPM-V 4.7 สันนิษฐานว่าคุณสามารถไฟน์จูนบนเฟรมเวิร์กที่คุณใช้อยู่แล้ว จากนั้นดีพลอยไปยังอุปกรณ์ที่คุณตั้งเป้าไว้อยู่แล้ว โดยมีแนวทางการควอนไทซ์บนอุปกรณ์ที่เผยแพร่ไว้เพื่อพาไปถึงจุดนั้น

เมื่อเลเยอร์การกำหนดเส้นทางพิสูจน์คุณค่าของตัวเอง

ไม่มีโมเดลใดในที่นี้ให้บริการผ่าน OrcaRouter — ทั้งคู่เป็นเช็กพอยต์แบบเปิดน้ำหนักที่คุณโฮสต์เอง และหนึ่งในนั้นกำลังจะสูญเสียเอนด์พอยต์ที่โฮสต์ไว้ในเดือนหน้า นั่นทำให้คำถามที่น่าสนใจกลายเป็นคำถามที่การ์ดทั้งสองใบหลีกเลี่ยง: เกิดอะไรขึ้นกับคำขอที่โมเดลที่คุณเลือกจัดการได้ไม่ดี?

คำตอบมาตรฐานคือโมเดลที่สอง และค่าใช้จ่ายมาตรฐานของโมเดลที่สองคือการผสานรวม: SDK อีกตัว กลไกการยืนยันตัวตนอีกแบบ นโยบายการลองใหม่อีกชุด มันเป็นงานประเภทที่ค่อยๆ กินเวลาหนึ่งสปรินต์แล้วกลายเป็นการบำรุงรักษาถาวร การหลอมรวมโมเดลของ OrcaRouter มีอยู่สำหรับปัญหารูปแบบแคบกว่า — คณะโมเดลที่ตอบร่วมกันในการเรียกที่คำตอบของโมเดลเดียวไม่น่าเชื่อถือเพียงพอด้วยตัวเอง — และ DSL การกำหนดเส้นทางสำหรับรูปแบบที่กว้างกว่า ให้คุณประกอบหลายโมเดลเข้าเป็นการเรียกเดียว เพื่อให้โมเดลท้องถิ่นราคาถูกจัดการส่วนใหญ่ที่ง่าย และบางสิ่งที่ใหญ่กว่าจัดการส่วนที่เหลือ

เบื้องหลังคีย์เดียวมีโมเดลมากกว่า 200 รายการในราคาตามรายการของผู้ให้บริการโดยไม่มีการบวกเพิ่มซึ่งหมายความว่าการลดราคาของผู้ขายจะมาถึงคุณภายในวันเดียวกัน ไม่ใช่รอถึงรอบบิลถัดไป และการสลับไปยังผู้ให้บริการรายอื่นจะเกิดขึ้นโดยอัตโนมัติเมื่อผู้ให้บริการต้นทางมีปัญหา สำหรับ VLM ที่ติดตั้งบนเซิร์ฟเวอร์ของตนเอง เลเยอร์การจัดเส้นทางจะอยู่เหนือโมเดล ไม่ได้เข้าไปแทนที่โมเดล นั่นคือคำอธิบายที่ตรงไปตรงมาว่ามันอยู่ตรงไหนในการเปรียบเทียบนี้ และสำหรับระบบที่ MiniCPM-V 4.7 35B-A3B อยู่บนอุปกรณ์และมีโมเดลแบบโฮสต์คอยรองรับกรณีที่พลาดไป มันคือส่วนที่ทำให้ทั้งสองไม่กลายเป็นสองระบบแยกจากกัน

อันไหน ถูกกำหนดโดยข้อจำกัดที่คุณมีอยู่จริง

ถ้าต้องรันโมเดลบนอุปกรณ์ MiniCPM-V 4.7 35B-A3Bคือคำตอบ และมันไม่ใกล้เคียงเลย OpenBMB สร้างรีลีสทั้งชุดโดยมุ่งแก้ปัญหาพื้นที่จัดเก็บที่ทำให้ MoE ขนาด 35B รันบนมือถือไม่ได้ — การจัดตารางผู้เชี่ยวชาญ การควอนไทซ์แบบรายชั้น การถอดรหัสเชิงคาดการณ์ — และเผยแพร่ตัวเลขที่ตามมาจากสิ่งนั้น: มากกว่า 13 โทเคนต่อวินาทีในหน่วยความจำประมาณ 3 GB ไม่มีอะไรใน Moondream 3 Preview ที่จัดการปัญหานั้น เพราะ Moondream เลือกที่จะไม่ให้มีปัญหาดังกล่าว

หากมี GPU อยู่ในภาพและงานคือการตรวจจับแบบ grounded Moondream 3 Previewคือเครื่องมือที่เชี่ยวชาญกว่า การตรวจจับและชี้ตำแหน่งแบบเนทีฟพร้อมพิกัดที่มีโครงสร้างและร่องรอยการใช้เหตุผลแบบ grounded ที่ตรวจสอบได้นั้น เป็นผลิตภัณฑ์ที่แตกต่างจากโมเดลมัลติโมดัลทั่วไปที่อ่านข้อความในภาพได้ด้วย และหากมีมนุษย์คอยตรวจสอบผลลัพธ์ ร่องรอยนั้นเองคือฟีเจอร์

หากคุณกำลังเลือกระหว่างสองตัวนี้ อย่าตัดสินใจจากตารางเบนช์มาร์ก จงรันภาพของคุณเองผ่านทั้งสองตัวด้วยพรอมป์ต์ของคุณเอง แล้วให้คะแนนผลลัพธ์ เพราะตัวเลขเดียวในการเปรียบเทียบนี้ที่จะอยู่รอดเมื่อเจอกับเวิร์กโหลดของคุณ คือตัวเลขที่คุณสร้างขึ้นเอง และตรวจสอบสัญญาอนุญาตก่อนตัวโมเดล เพราะ Apache 2.0 กับสัญญาอนุญาตแบบ source-available ที่มีข้อจำกัดเรื่องบริการโฮสต์เป็นการตัดสินใจที่แตกต่างกันโดยสิ้นเชิง — หนึ่งในนั้นอาจทำให้การประเมินจบลงก่อนที่ตัวเลขความแม่นยำจะมีความสำคัญ

การเปรียบเทียบเช่นนี้ก็เป็นจุดที่รูปแบบความล้มเหลวปรากฏให้เห็นเช่นกัน: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในคลาสนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และแฟล็กข้อโต้แย้งของตนเอง