MiniCPM-V 4.7 กับ Gemma 4 12B: ตัวหนึ่งส่งมอบผลเบนช์มาร์ก อีกตัวส่งมอบภาพของผลเหล่านั้น

เปิดการ์ดโมเดลของ MiniCPM-V 4.7 แล้วเลื่อนไปยังส่วนการประเมิน คุณจะพบรูปภาพสามรูป ได้แก่ กราฟพรมแดนระหว่างประสิทธิภาพกับเวลาการอนุมาน การเปรียบเทียบภาพและภาษาโดยรวม และการเปรียบเทียบภาษาโดยรวม คุณจะไม่พบตาราง ตอนนี้เปิดการ์ดของ Gemma 4 12B แล้วเลื่อนไปยังตำแหน่งเดียวกัน คุณจะพบ MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision และอัตราข้อผิดพลาดในการแยกวิเคราะห์เอกสาร โดยแต่ละรายการมีตัวเลขที่คุณคัดลอกลงสเปรดชีตได้ ทั้งสองโมเดลเป็นแบบเปิดน้ำหนัก ทั้งคู่ใช้ Apache 2.0 ทั้งคู่ถูกวางตำแหน่งเป็นโมเดลมัลติโมดัลที่ทำงานบนฮาร์ดแวร์ที่คุณเป็นเจ้าของ — และมีเพียงหนึ่งในนั้นที่จะให้คุณตรวจสอบผลงานของมันได้ ความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังการเปิดตัวเช่นนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งของตัวเอง

ความไม่สมมาตรนั้นคือการเปรียบเทียบที่แท้จริง MiniCPM-V 4.7 ซึ่งเปิดตัวโดย OpenBMB เมื่อวันที่ 12 ตุลาคม 2026 และ Gemma 4 12B ซึ่งเปิดตัวโดย G​oogle DeepMind เมื่อวันที่ 3 มิถุนายน 2026 ไม่ใช่สิ่งประเภทเดียวกัน และความแตกต่างไม่ใช่เรื่องขนาด แต่เป็นเรื่องของปริมาณข้อกล่าวอ้างของตนเองที่ผู้ขายแต่ละรายยินดีใส่ไว้เป็นข้อความ

สิ่งที่ผู้ขายแต่ละรายจะบอกคุณ ในรูปตัวเลข

การ์ดของ Gemma 4 12B เผยแพร่คะแนนเทียบกับรุ่นพี่น้องห้ารุ่นและรุ่นก่อนหน้า โดยระบุชื่อ evaluation harness ตามแต่ละ benchmark สำหรับรุ่นย่อย 12B Unified โดยเฉพาะ ผู้จำหน่ายรายงานว่าได้ 77.2 บน MMLU Pro, 77.5 บน AIME 2026 โดยไม่ใช้เครื่องมือ, 72.0 บน LiveCodeBench v6, 78.8 บน GPQA Diamond, ค่า ELO บน Codeforces 1659, 69.0 บน Tau2 เฉลี่ยจากการรันสามครั้ง, 83.4 บน MMMLU และ — ตัวเลขที่สะท้อนภาพของโมเดล 12B ได้อย่างตรงไปตรงมาที่สุด — 5.2 บน Humanity's Last Exam โดยไม่ใช้เครื่องมือ ด้านวิสัยทัศน์รายงานว่าได้ 69.1 บน MMMU Pro, 79.7 บน MATH-Vision และระยะแก้ไขเฉลี่ย 0.164 บน OmniDocBench 1.5 โดยค่ายิ่งต่ำยิ่งดี

นั่นคือตัวเลขจากผู้ขาย ไม่มีใครที่เป็นอิสระจำเป็นต้องเห็นด้วยกับตัวเลขเหล่านี้ และกับโมเดลที่ถูกนำไปใช้งานอย่างกว้างขวางขนาดนี้ บางตัวเลขจะไม่รอดเมื่อเจอฮาร์เนสที่แตกต่างออกไป แต่ตัวเลขเหล่านี้สามารถถูกพิสูจน์ว่าผิดได้ ซึ่งเป็นคุณสมบัติที่สำคัญ ถ้าคุณได้ 62 บน MMLU Pro จากการประเมินของคุณเอง คุณก็รู้ว่ามีอะไรผิดปกติกับการตั้งค่าของคุณหรือกับตัวการ์ด

การ์ดของ MiniCPM-V 4.7 ระบุข้อกล่าวอ้างเชิงตัวเลขสี่ข้อในเนื้อความ และไม่มีตาราง benchmark เลย ตัวแปร 35B-A3B ถอดรหัสได้ที่ 13 โทเค็นต่อวินาทีหรือมากกว่า โดยใช้หน่วยความจำประมาณ 3 GB บน iPhone 17 Pro Max Lookahead Expert Scheduling ให้ความเร็วเพิ่มขึ้น 5× บนอุปกรณ์จริง ตัวแปร 1B เหนือกว่า Qwen3.5 0.8B ในคะแนนรวมและประสิทธิภาพการอนุมาน และในโหมด Instruct, 35B-A3B ทำคะแนนรวมได้สูงกว่าในเวลาอนุมานที่น้อยกว่า Qwen3.6 35B-A3B ทุกอย่างอื่น — ทุกแกนของการเปรียบเทียบ — อยู่ในภาพกราฟ

นั่นไม่ใช่การโกหก แผนภูมิมีข้อมูล และกราฟ frontier ถือได้ว่าเป็นสรุปที่ดีกว่าของการแลกเปลี่ยนระหว่างความเร็วกับคุณภาพ เมื่อเทียบกับตารางคะแนนบน benchmark ต่างๆ ที่วัดที่ batch size ต่างกัน แต่แผนภูมิไม่สามารถยกมาอ้างอิงได้ ไม่สามารถคำนวณซ้ำได้ และไม่สามารถเปรียบเทียบกับแผนภูมิของผู้ขายรายอื่นได้โดยไม่มีใครอ่านตำแหน่งพิกเซล เมื่อการประเมินโมเดลต่อสาธารณะเพียงอย่างเดียวคือรูปภาพ จุดยืนที่ถูกต้องคือปฏิบัติต่อโมเดลนั้นว่าเป็นสิ่งที่ยังไม่ได้วัด จนกว่าจะมีคนวัดมัน

สถาปัตยกรรมทั้งสองกำลังแก้ปัญหาที่แตกต่างกัน

อ่านเลยส่วนการประเมินไป แล้วจะเห็นว่าการออกแบบแตกต่างกันอย่างชัดเจน ซึ่งเป็นสัญญาณที่มีประโยชน์กว่าคะแนนใดเพียงค่าเดียว

Gemma 4 12B ไม่มีเอนโคเดอร์แยกต่างหาก ไม่มีวิสชันทาวเวอร์แยก และไม่มีเอนโคเดอร์เสียงแยก: แพตช์ภาพดิบและรูปคลื่นเสียงถูกฉายตรงเข้าสู่พื้นที่ embedding ของโมเดลภาษาผ่านเลเยอร์เชิงเส้นน้ำหนักเบา เหตุผลที่ G​oogle ระบุคือความหน่วงและ fine-tuning แบบ single-pass — โมเดลเดียว การฝึกครั้งเดียว ครบทุกโมดัลลิตี ข้อแลกเปลี่ยนคือบริษัทกำลังเดิมพันว่า transformer แบบ decoder-only สามารถเรียนรู้ที่จะมองเห็นได้ดีพอโดยไม่ต้องมีฟรอนต์เอนด์ด้านภาพโดยเฉพาะ ตัวเลข MMMU Pro ของมันเองที่ 69.1 เมื่อเทียบกับ 76.9 ของรุ่นพี่ 31B ซึ่งมีเอนโคเดอร์ภาพขนาดประมาณ 550M พารามิเตอร์จริง บ่งชี้ว่าการเดิมพันนี้มีต้นทุนบางอย่างในด้านการให้เหตุผลเชิงภาพละเอียด

MiniCPM-V 4.7 ไปคนละทาง โดยยังคงมีวิสชันทาวเวอร์เฉพาะ — ความกว้างซ่อน 1152, 27 เลเยอร์, ไทล์ขนาด 980 พิกเซล — และทุ่มความพยายามด้านวิศวกรรมไปกับการทำให้ทาวเวอร์นั้นมีต้นทุนต่ำ การบีบอัดระยะต้นภายใน ViT ที่ยืมแนวคิดมาจาก LLaVA-UHD v4 จะตัดโทเคนภาพภายในเอนโคเดอร์แทนที่จะตัดหลังจากนั้น และสวิตช์ดาวน์แซมปลิงแบบผสม 4×/16× ช่วยให้ผู้เรียกเลือกได้ระหว่างรายละเอียดกับต้นทุนในแต่ละคำขอ ทางฝั่งภาษา 35B-A3B เป็นโมเดลผสมผู้เชี่ยวชาญ 256 คนที่เปิดใช้งาน 8 ผู้เชี่ยวชาญต่อโทเคน โดยจัดเรียงเป็นรูปแบบ 3:1 ของ linear attention ต่อ full attention ตลอด 40 เลเยอร์

ผลในทางปฏิบัติของดีไซน์นั้นคือเส้นทางวิดีโอของ {{1}}MiniCPM{{/1}} ชัดเจนเป็นพิเศษ การ์ดระบุ max_num_frames ไว้ที่ 128 พารามิเตอร์ stack_frames ที่รวมเฟรมย่อยเป็นกริดระหว่างเฟรมหลัก และคำแนะนำจำนวนสไลซ์แยกสำหรับภาพ (36) เทียบกับวิดีโอ (1) หากคุณกำลังสร้างสิ่งที่อ่านการบันทึกหน้าจอหรือวิดีโอบรรยาย ความสามารถควบคุมได้ถึงระดับนั้นว่าอะไรจะถูกสุ่มตัวอย่างคือฟีเจอร์ {{2}}Gemma 4 12B{{/2}} จัดการวิดีโอได้เช่นกัน ในรูปแบบลำดับของเฟรม แต่การ์ดของมันให้รายละเอียดเกี่ยวกับรูปแบบมากกว่าจะอธิบายเศรษฐศาสตร์ของการสุ่มตัวอย่าง

แถวที่ตัดสินผลจริง ๆ

• พารามิเตอร์ — รวม 35.21B โดยมีผู้เชี่ยวชาญที่ใช้งานอยู่ 8 จาก 256 ราย พร้อมรุ่นพี่แบบ dense ขนาด 1.55B เทียบกับแบบ dense ขนาด 11.95B

• รูปแบบข้อมูลขาเข้า — ข้อความ รูปภาพ วิดีโอ โดยระบุ OCR และการแยกวิเคราะห์ PDF ไว้อย่างชัดเจน เทียบกับ ข้อความ รูปภาพ วิดีโอ และเสียงแบบเนทีฟ

• บริบท — 262,144 โทเคน เทียบกับ 262,144 โทเคนบนรุ่น 12B และ 128K บนรุ่นพี่น้องซีรีส์ E

• สัญญาอนุญาต — Apache 2.0 ดาวน์โหลดเวตได้ เทียบกับ Apache 2.0 ดาวน์โหลดเวตได้

• การประเมินที่เผยแพร่แล้ว — แผนภูมิ frontier และแผนภูมิเปรียบเทียบ ข้อความเชิงพรรณนา 4 ข้อ เทียบกับตารางตัวเลขแบบเต็มครอบคลุมแปดรุ่นพี่น้อง

• การประเมินโดยอิสระ — ณ เวลาที่เขียนนี้ ยังไม่มีรายการ Artificial Analysis สำหรับตัวแปร 4.7 ทั้งสองแบบ เทียบกับหน้า Artificial Analysis ที่มีการจัดตำแหน่งด้านความสามารถทางปัญญาและทรูพุต

• หน่วยความจำที่ BF16 — น้ำหนักประมาณ 70 GB สำหรับ 35B-A3B ประมาณ 3.1 GB สำหรับ 1B เทียบกับประมาณ 24 GB

• รูปแบบควอนไทซ์ที่มีให้ใช้งาน — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 เทียบกับเช็กพอยต์ต้นทาง พร้อมบิลด์ GGUF และ QAT จากชุมชนโดย Google และบุคคลภายนอก

• เส้นทางการให้บริการที่ผู้จำหน่ายระบุชื่อ — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers โดยมีระบบนิเวศที่กว้างกว่าซึ่งชุมชนเป็นผู้จัดหา

• เรื่องราวการทำงานบนอุปกรณ์ — แอป iOS, Android และ HarmonyOS พร้อมการรองรับตั้งแต่ day-0 สำหรับ Rockchip, Houmo, Intel, AMD และ Arm เทียบกับการออกแบบที่ปรับให้เหมาะกับแล็ปท็อปและ GPU สำหรับผู้บริโภค

สามเวิร์กโหลด สามคำตอบ

การทำความเข้าใจหน้าจอและเอกสารในปริมาณมาก นี่คือจุดที่การออกแบบของ MiniCPM-V 4.7 มุ่งเป้าไป และเป็นจุดที่เอกสารประกอบมีความแข็งแกร่งที่สุด โหมดดาวน์แซมเปิล 4× การตั้งค่า 36 สไลซ์ รายการคุกบุ๊กสำหรับ OCR และการแยกวิเคราะห์ PDF และการควบคุมการสุ่มตัวอย่างเฟรมสำหรับวิดีโออย่างชัดเจน ล้วนอธิบายไปป์ไลน์สำหรับเปลี่ยนเนื้อหาที่เรนเดอร์แล้วให้เป็นข้อความที่มีโครงสร้าง Gemma 4 12B ก็มีความน่าเชื่อถือในจุดนี้เช่นกัน — ค่าระยะแก้ไข OmniDocBench ที่ 0.164 เป็นตัวเลขการแยกวิเคราะห์เอกสารจริง — แต่การ์ดของผู้จำหน่ายมองว่าการแยกวิเคราะห์เอกสารเป็นความสามารถหนึ่งในหลาย ๆ อย่าง มากกว่าจะเป็นหลักการจัดระเบียบ

ทุกสิ่งที่จำเป็นต้องได้ยิน Gemma 4 12B รองรับเสียงแบบเนทีฟ โดยมี CoVoST อยู่ที่ 38.5 และ FLEURS อยู่ที่ 0.069 บนการ์ดของมัน ส่วน MiniCPM-V 4.7 ไม่รองรับ งานด้านเสียงของ OpenBMB อยู่ในสาย MiniCPM-o แยกต่างหาก และการ์ดของ 4.7 ไม่ได้ระบุโมดัลลิตี้ด้านเสียงไว้เลย หากอินพุตของคุณมีเสียงพูด การเปรียบเทียบก็จบตั้งแต่ยังไม่เริ่ม — โมเดลหนึ่งต้องมีขั้นตอนถอดเสียงนำหน้า แต่อีกโมเดลไม่ต้อง

GPU สำหรับผู้บริโภคเพียงตัวเดียวภายใต้งบประมาณที่จำกัด Gemma 4 12B ที่ 4-bit พอดีภายใต้ 8 GB และยังเหลือที่ไว้สำหรับบริบท ส่วน 35B-A3B ที่ 4-bit ไม่พอดีกับการ์ดสำหรับผู้บริโภคเพียงใบเดียว และเรื่องราวประสิทธิภาพของการ์ดของมันเองก็เป็นเรื่องเกี่ยวกับโทรศัพท์ที่ถือหน่วยความจำค้างไว้ 3 GB ไม่ใช่เกี่ยวกับ GPU ที่มีน้ำหนัก expert ถึง 70 GB ให้สลับเพจ หากข้อจำกัดคือ "การ์ดหนึ่งใบที่คุณมีอยู่แล้ว" 12B คือคำตอบ และรุ่นย่อย 1B เป็น MiniCPM เพียงตัวเดียวที่เข้าข่าย

ส่วนต่างที่ผู้ซื้อควรนำมาคิดในราคา

ทั้งสองโมเดลดาวน์โหลดได้ฟรี ดังนั้นบรรทัดเรื่องสัญญาอนุญาตจึงเสมอกัน และต้นทุนจริงคือทุกอย่างที่ตามมาหลังจากนั้น สำหรับ Gemma 4 12B ระบบนิเวศมีเวลาสี่เดือนครึ่งในการตามให้ทัน: บิลด์แบบควอนไทซ์จาก G​oogle เอง, การแปลง GGUF โดยชุมชน, เช็กพอยต์ QAT และการจัดทำดัชนีอิสระที่ให้คุณเปรียบเทียบกับโมเดลอื่นอีกร้อยโมเดลบนมาตรฐานเดียวกัน สำหรับ MiniCPM-V 4.7 คุณอยู่ในช่วงแปดวันแรกของสถาปัตยกรรมใหม่ — model_type ใหม่, เลย์เอาต์แอตเทนชันแบบใหม่, เวอร์ชัน Transformers ขั้นต่ำ — และการ์ดของค่ายเองขึ้นต้นด้วยหมายเหตุเกี่ยวกับความไม่ตรงกันของเวอร์ชัน CUDA ที่ทำให้การถอดรหัสวิดีโอผ่าน torchcodec ใช้งานไม่ได้

นั่นไม่ใช่การวิจารณ์โมเดล แต่เป็นต้นทุนมาตรฐานที่ต้องจ่ายเมื่อนำอะไรก็ตามมาใช้ในช่วงสองสัปดาห์แรก และนั่นคือเหตุผลว่าทำไมการเปิดตัวแบบเงียบ ๆ พร้อมการประเมินที่มีเพียงกราฟ จึงเป็นตัวเลือกที่ไม่ดีสำหรับเส้นทางสู่โปรดักชัน และเป็นตัวเลือกที่ดีสำหรับการทดสอบแบบเคียงข้างกัน วิธีทำให้การทดสอบนั้นมีต้นทุนต่ำ คือคงให้ตัวเดิมที่ใช้งานอยู่ยังให้บริการต่อไปขณะที่คุณประเมินตัวใหม่ ซึ่งเป็นปัญหาเรื่องการจัดเส้นทาง (routing) มากกว่าปัญหาเรื่องการสร้างโมเดล

OrcaRouter ให้บริการโมเดลแบบโฮสต์กว่า 200 โมเดลผ่าน endpoint เดียวที่เข้ากันได้กับ OpenAI โดยบวกกำไร 0%, ราคาตามที่ผู้ให้บริการประกาศไว้ถูกส่งผ่านตรงถึงคุณ ดังนั้นค่าใช้จ่ายในการลองใช้โมเดลที่สองจึงเป็นเพียงการเปลี่ยนคอนฟิก ไม่ใช่การทำสัญญาอีกฉบับ DSL สำหรับการกำหนดเส้นทางของมันสามารถบรรจุเส้นทางหลักและเส้นทางสำรองไว้ในการเรียกครั้งเดียว และการสลับอัตโนมัติเมื่อเกิดปัญหา (automatic failover) จะช่วยให้เส้นทางหลักยังทำงานอยู่ได้เมื่อผู้ให้บริการรายใดมีช่วงเวลาที่มีปัญหา หมายเหตุเรื่องความครอบคลุมคือส่วนที่สำคัญในที่นี้: แคตาล็อกของเรามี Gemma 4 26B-A4B และ Gemma 4 31B ไม่ใช่รุ่น 12B นี้ และไม่มี MiniCPM-V 4.7 อยู่เลย โมเดลทั้งสองที่บทความนี้กล่าวถึงเป็นเช็กพอยต์ที่คุณรันเอง — เราเตอร์คือสิ่งที่อยู่รายรอบโมเดลเหล่านั้น ไม่ใช่วิธีในการเรียกใช้งานโมเดลเหล่านั้น

อะไรจะยุติเรื่องนี้ได้

การเปรียบเทียบตอนนี้ไม่สมดุลในแบบที่พูดได้ง่ายและแก้ได้ง่าย Gemma 4 12B มีตัวเลขที่คุณโต้แย้งได้ ส่วน MiniCPM-V 4.7 มีข้ออ้างที่คุณทำได้เพียงยอมรับหรือปฏิเสธ: 13 โทเค็นต่อวินาที, 3 GB, เร็วกว่า 5 เท่า, ดีกว่าคู่แข่งที่ระบุชื่อบนคะแนนรวมที่ไม่ระบุชื่อ ทุกข้อเหล่านั้นจะมีประโยชน์กว่าถ้าอยู่ในรูปแถวตาราง และ OpenBMB ก็ชัดเจนว่ามีความสามารถที่จะสร้างมันออกมาได้ — การ์ดรุ่นก่อน ๆ ของตระกูลนี้มีตาราง benchmark มาตรฐาน

จุดยืนที่มีประโยชน์จึงเป็นแบบอสมมาตรโดยเจตนา หากคุณต้องการตัดสินใจภายในสัปดาห์นี้ Gemma 4 12B คือโมเดลที่คุณคาดเดาพฤติกรรมได้จากตัวเลขที่เผยแพร่ และการรองรับเสียงของมันเป็นความสามารถที่ความอดทนไม่ว่าจะมากเพียงใดก็ไม่ได้เพิ่มให้ MiniCPM-V 4.7 หากคุณกำลังสร้างสำหรับโทรศัพท์ สำหรับ HarmonyOS สำหรับบอร์ด Rockchip หรือสำหรับการอ่านหน้าจอและเอกสารที่เส้นทางการดาวน์แซมเปิล 4× เหมาะสมพอดี วิศวกรรมของ MiniCPM-V 4.7 ก็เจาะจงกับปัญหาของคุณมากกว่าสิ่งใดที่ G​oogle เคยส่งมอบในขนาดนี้ — และตารางที่หายไปเป็นเหตุผลให้คุณวัดมันด้วยตัวเอง มากกว่าเป็นเหตุผลให้มองข้ามมัน

มีอีกเรื่องหนึ่งที่ควรพูดให้ตรงไปตรงมา เพราะเป็นส่วนที่ไม่เข้ากับกรอบการนำเสนอของผู้ขายทั้งสองราย โมเดลทั้งสองนี้ไม่ได้แข่งขันกับ API ระดับแนวหน้าเพื่อลูกค้ารายเดียวกัน พวกมันกำลังแข่งขันกับการตัดสินใจที่จะไม่รันโมเดลในเครื่องเลย ข้อโต้แย้งที่แข็งแกร่งที่สุดของ Gemma 4 12B คือระบบนิเวศสี่เดือนหมายความว่าเส้นทางที่ธรรมดาที่สุดใช้ได้ผล ส่วนข้อโต้แย้งที่แข็งแกร่งที่สุดของ MiniCPM-V 4.7 คือโมเดล 1B ที่ 3 GB สามารถรันได้ในที่ที่ 12B ไปไม่ได้ เลือกข้อจำกัดก่อน แล้วค่อยเลือกโมเดล ตาราง benchmark เมื่อมาถึงจะเพียงจัดเรียงโมเดลใหม่ภายในหมวดหมู่ที่คุณเลือกไว้แล้วเท่านั้น