MiniCPM-V 4.7-35B-A3B-DSpark: Draft ขนาด 389M ของ OpenBMB เปิดตัวพร้อมการ์ดโมเดลที่โมเดลฐานของมันไม่เคยได้รับ

MiniCPM-V-4.7-35B-A3B-DSpark เป็นโมเดลร่างที่มีพารามิเตอร์ 389,223,169 ตัว มันไม่ตอบคำถาม ไม่เห็นภาพ และหากทำงานลำพัง มันก็ไร้ประโยชน์ หน้าที่ทั้งหมดของมันคือการเดาโทเค็นถัดไปสิบห้าตัว เพื่อให้ MiniCPM-V-4.7-35B-A3B ตรวจสอบทั้งบล็อกได้ในฟอร์เวิร์ดพาสเดียว แทนที่จะสร้างทีละหนึ่งโทเค็น นั่นคือการถอดรหัสแบบคาดการณ์ (speculative decoding) และ OpenBMB ได้ปล่อยโมเดลร่างสำหรับโมเดลภาษาภาพ 35B ตัวใหม่ของตนเมื่อสิบเอ็ดวันก่อน โดยไม่พูดถึงมันต่อสาธารณะแม้แต่คำเดียว

สิ่งที่ทำให้มันคุ้มค่าที่จะเขียนถึงเป็นหน้าเพจไม่ใช่ฉบับร่าง หากแต่เป็นชุดเอกสารที่มาพร้อมกับมัน DSpark checkpoint มีการ์ดโมเดล: ใบอนุญาต ตารางสเปก สูตรการฝึก และตารางความยาวที่ยอมรับได้สำหรับหมวดหมู่งานเจ็ดประเภท โมเดลแม่ขนาด 35 พันล้านพารามิเตอร์ของมันไม่มีสิ่งเหล่านั้นเลยตอนที่เปิดตัว ดังนั้นนี่จึงเป็นครั้งแรกที่มีตัวเลขจริง ๆ ผูกอยู่กับการเปิดตัว MiniCPM-V 4.7 — และเป็นตัวเลขเกี่ยวกับโมเดลแม่ ซึ่งวัดทางอ้อม ด้วยไฟล์ขนาด 0.78 GB ที่จุดประสงค์ที่ระบุไว้คือทำให้มันเร็วขึ้น

ทุกอย่างด้านล่างนี้แยกสิ่งที่อยู่บนการ์ดออกจากสิ่งที่การ์ดไม่ได้ยืนยัน ตัวเลขการยอมรับเป็นของ OpenBMB เอง และยังไม่มีใครนอกห้องแล็บทำซ้ำได้ ตารางเบนช์มาร์กของโมเดลพื้นฐานยังไม่มีอยู่

DSpark checkpoint จริงๆ คืออะไร

ที่เก็บ openbmb/MiniCPM-V-4.7-35B-A3B-DSparkมีวันที่ 8 ตุลาคม 2026 เป็นเช็กพอยต์แบบไฟล์เดียว — model.safetensors พร้อมกับ config.json และ README — ภายใต้สัญญาอนุญาต Apache-2.0 ติดแท็กสำหรับภาษาอังกฤษและภาษาจีน ฉบับร่างที่สอง openbmb/MiniCPM-V-4.7-1B-DSpark ถูกสร้างขึ้นก่อนหน้านั้นหนึ่งวินาที ดังนั้นทั้งสองจึงถูกพุชขึ้นฮับในชุดเดียวกัน แทนที่จะถูกค้นพบทีละรายการ

ดราฟต์แต่ละตัวจะอยู่ข้างหน้าเป้าหมายหนึ่งตัว และเฉพาะเป้าหมายนั้นเท่านั้น การ์ดระบุไว้ตรง ๆ ว่า: เช็กพอยต์นี้ "ถูกฝึกมาเพื่อจับคู่แบบตรงตัวกับ MiniCPM-V-4.7-35B-A3B และโทเคไนเซอร์ของมัน" คลังคำศัพท์เป็นของโมเดลแม่ ทั้ง 248,144 โทเคน ซึ่งเป็นข้อกำหนดมากกว่าจะเป็นการปรับให้เหมาะสม — ดราฟเตอร์ที่โทเคนไม่แมปแบบหนึ่งต่อหนึ่งเข้ากับโทเคนของเป้าหมาย ย่อมไม่สามารถเสนอสิ่งใดที่เป้าหมายจะยอมรับได้ ข้อจำกัดเดียวกันนี้เองคือเหตุผลที่ดราฟต์พี่น้องมีอยู่แยกต่างหาก แทนที่จะมีดราฟเตอร์ตัวเดียวคอยให้บริการทั้งตระกูล

สถาปัตยกรรมนี้ไม่ใช่สำเนาที่เล็กกว่าของโมเดลแม่ แต่เป็นสแตกแอตเทนชันห้าชั้น ความกว้างที่ซ่อนอยู่ 2,048, 8 หัว query เทียบกับ 2 หัว key/value, ขนาด intermediate 6,144 และ RoPE ที่ theta เท่ากับ 10,000,000สถาปัตยกรรม ฟิลด์อ่านว่า Qwen3DSparkModel — แบ็กโบนตระกูล Qwen3 ตัวเดียวกับที่สแตกภาษาของโมเดลแม่มาจาก ถูกตัดทอนลงจนเหลือเป็นสตับ

ส่วนที่น่าสนใจคือวิธีที่สตับสื่อสารกับทาร์เก็ต มันไม่อ่านเลเยอร์สุดท้ายของทาร์เก็ต มันดึงสถานะซ่อนจากเลเยอร์กลางห้าเลเยอร์ — [3, 11, 19, 27, 35] จากทั้งหมด 40 เลเยอร์ของพาเรนต์ — แล้วฉายมันผ่านdsparkซึ่งเป็นโปรเจกเตอร์ชนิดนั้น การดึงจากตรงกลางของสแตกแทนที่จะดึงจากปลายเป็นเรื่องจงใจ: สถานะกลางเครือข่ายมีต้นทุนการจัดแนวต่ำกว่าและพาข้อมูลที่เลเยอร์สุดท้ายบีบอัดไปเป็น logits ของโทเคนถัดไปแล้ว คอนฟิกยังติดตั้ง confidence head ที่มีองค์ประกอบ Markov แรงค์ 256 ซึ่งเป็นกลไกจากบทความ DSpark สำหรับตัดสินว่าควรตรวจสอบบล็อกที่เสนอมาเพียงใดจึงคุ้มค่า

ตารางการยอมรับคือบัตร ไม่ใช่การวัด

นี่คือข้อมูลตัวเลขทั้งหมดที่ OpenBMB เผยแพร่เกี่ยวกับประสิทธิภาพของคู่นี้ โดยแสดงเป็นจำนวนโทเค็นที่ยอมรับต่อขั้นตอนการตรวจสอบ พร้อมการสิ้นสุด EOS ตามธรรมชาติ และmax_new_tokens=8192:

• Vision, MMMU — 5.098 โทเค็นที่ได้รับการยอมรับต่อขั้นตอน

• Vision, MathVista — 6.126

• วิชัน, การให้เหตุผล CharXiv (การตรวจสอบ) — 5.479

• Vision, OCRBench — 5.407

• ข้อความ, คณิตศาสตร์ — 6.687

• ข้อความ, โค้ด — 7.387.

• ข้อความ, ทั่วไป — 3.501.

มีสามเรื่องเกี่ยวกับตารางนั้นที่ควรพูดออกมาตรง ๆ เรื่องแรก มันเป็นข้อมูลที่รายงานเอง ไม่มีใครนอก OpenBMB ที่ได้รันเช็กพอยต์นี้แล้วโพสต์ตัวเลข และเมื่อมีการบันทึกการดาวน์โหลดเพียงครั้งเดียวในรีโป ก็ไม่มีใครนอก OpenBMB ที่ได้รันมันเลย เรื่องที่สอง ความยาวการยอมรับเป็นคุณสมบัติของคู่ ไม่ใช่ของโมเดล — มันวัดว่าผลลัพธ์ของ MiniCPM-V-4.7-35B-A3B คาดเดาได้เพียงใด ไม่ใช่ว่าผลลัพธ์นั้นดีเพียงใด โมเดลเป้าหมายที่พูดซ้ำตัวเองย่อมทำให้ดราฟเตอร์ได้ชัยชนะง่าย ๆ เรื่องที่สาม ช่วงห่างคือประเด็นสำคัญ: 7.387 ในงานโค้ด เทียบกับ 3.501 ในข้อความทั่วไป คิดเป็นสองเท่าระหว่างหมวดที่ดีที่สุดกับแย่ที่สุด และการที่โค้ดเป็นหมวดที่ง่ายที่สุดสะท้อนพื้นผิวที่มีเอนโทรปีต่ำและซ้ำซากสูงของโค้ด มากกว่าจะสะท้อนความแข็งแกร่งใด ๆ ในโมเดล

ยังมีการตีความเชิงเลขคณิตล้วนๆ ที่การ์ดทิ้งไว้เป็นนัยด้วย ดราฟเตอร์ที่เสนอ 15 โทเค็นและมี 5 ถึง 7 โทเค็นที่ได้รับการยอมรับ ก็ยังเคลื่อนไปได้หลายโทเค็นต่อ forward pass ของเป้าหมาย ดังนั้นเพดานตรงนี้จึงเป็นการเพิ่มอัตราการประมวลผลที่มาก แต่ไม่ใช่ข้ออ้างแบบง่ายๆ ว่า "เร็วขึ้น 5 เท่า" เพราะการตรวจสอบบล็อก 15 โทเค็นมีต้นทุนสูงกว่าการสร้างหนึ่งโทเค็น และข้อเสนอที่ถูกปฏิเสธก็มีต้นทุนที่จ่ายไปแล้วและถูกโยนทิ้งไป ช่องว่างนี้คือสิ่งที่เปเปอร์ DSpark ว่าด้วยอยู่พอดี และเป็นเหตุผลที่ config เปิดให้มีสวิตช์สำหรับปิดการตรวจสอบแบบปรับตัว

สิ่งที่ร่างบอกเราโดยบังเอิญเกี่ยวกับโมเดลฐาน

MiniCPM-V 4.7 ระบุว่าการเปิดตัวของมันถูกปล่อยอย่างเงียบ ๆ — มีเพียงเวต ไม่มีโพสต์เปิดตัว ตอนนี้สิ่งนั้นเปลี่ยนไปแล้ว ในแบบเล็ก ๆ แต่เป็นจริง รีโพซิทอรีแม่ที่ openbmb/MiniCPM-V-4.7-35B-A3B ถูกสร้างเมื่อวันที่ 7 ตุลาคม 2026 ภายในวันที่ 12 ตุลาคม มันมีการ์ดโมเดลแบบเต็มพร้อม README หน้าเผยแพร่สไตล์ Hugging Face รายการคำกล่าวอ้าง ส่วนการใช้งานบนอุปกรณ์ และตารางเวต นับแต่นั้น รีโพซิทอรีได้เพิ่มตระกูลการควอนไทเซชัน — บิลด์ FP8, int4, AWQ, GPTQ และ GGUF โดยแต่ละแบบอยู่ในรีโพของตัวเอง ทั้งหมดถูกแตะเมื่อวันที่ 12 ตุลาคม — และ 27 ไลก์ เทียบกับ 166 ดาวน์โหลด

ภาพที่ถูกต้องคือการเปิดตัวแบบสองระยะ ไม่ใช่การเปิดตัวแบบเงียบ ๆ เวตโมเดลลงเมื่อวันที่ 6 และ 7 ตุลาคม เช็กพอยต์ฉบับร่างตามมาในวันที่ 8 ตุลาคม เอกสาร เวอร์ชันควอนไทซ์ และเรื่องการใช้งานบนอุปกรณ์มาถึงภายในวันที่ 12 ตุลาคม OpenBMB ยังไม่ออกโพสต์บล็อกหรือรายงานทางเทคนิคสำหรับตระกูลนี้ และยังไม่มีตาราง benchmark บนการ์ดหลัก — ข้อกล่าวอ้างด้านประสิทธิภาพอยู่ในภาพแผนภูมิที่ลิงก์ไว้ แทนที่จะเป็นข้อความที่ผู้อ่านสามารถอ้างอิงได้

ข้อกล่าวอ้างที่ปรากฏอยู่ในข้อความคือข้อกล่าวอ้างเชิงพาดหัว: ด้วย Lookahead Expert Scheduling, การควอนไทซ์แบบแยกตามเลเยอร์ และ "DSpark speculative sampling integration" โมเดล 35B-A3B ถูกอธิบายว่าเป็นโมเดล MoE โอเพนซอร์สตัวแรกที่ทำงานบนอุปกรณ์ได้อย่างราบรื่น ด้วยความเร็ว 13+ โทเคนต่อวินาทีบน iPhone 17 Pro Max ตัวเลขดังกล่าวเป็นข้อมูลที่ผู้ขายรายงาน ไม่ได้ถูกทำซ้ำ และไม่มีการระบุรายละเอียดประกอบ — ไม่มีรูปแบบการควอนไทซ์ ไม่มีบิลด์ ไม่มีพรอมป์ต์ ไม่มีวิธีการวัด แช็กพอยต์ DSpark เป็นหนึ่งในสามเทคนิคที่ข้อกล่าวอ้างนั้นอาศัยอยู่ ซึ่งทำให้มันเป็นเพียงหนึ่งเดียวในสามอย่างที่คุณสามารถดาวน์โหลดและตรวจสอบได้ มันยังเป็นอันที่หลักฐานเป็นเพียงแถวเบนช์มาร์กหนึ่งแถวต่อหนึ่งงานที่ยังไม่ได้อ่าน

จะรันมันก็ได้ ถ้าคุณต้องการ

การ์ดนี้มาพร้อมสูตรสำเร็จหนึ่งสูตร และมันคือคำสั่ง vLLM ไม่ใช่แค่การพูดลอย ๆ มันให้บริการโมเดลเป้าหมายที่ขนาด tensor-parallel เท่ากับ 2 ด้วยความยาวโมเดลสูงสุด 40,960, เปิด FLASH_ATTN ทั้งบนแบ็กเอนด์ความสนใจของตัวเข้ารหัสภาษาและตัวเข้ารหัสมัลติโมดัล, โหมดลดขนาดภาพ (visual downsample) ที่ 4x, enable_thinking ถูกตั้งเป็น false, และ speculative config ชี้ไปที่เช็กพอยต์ DSpark ด้วย 15 โทเคนแบบ speculative และปิดการตรวจสอบแบบอะแดปทีฟ รายละเอียดสองอย่างในบรรทัดนี้ควรค่าแก่การสังเกตในตัวเอง: --max-num-seqs 1 หมายความว่าการตั้งค่าที่เผยแพร่นี้ให้บริการครั้งละหนึ่งซีเควนซ์ และ --disable-custom-all-reduce ที่มาพร้อมกับการปิดพาสรวม all-reduce (all-reduce fusion pass) หมายความว่านี่คือการตั้งค่าที่ถูกปรับจูนให้ทำงานได้ มากกว่าที่จะให้เร็วที่สุด มองสูตรสำเร็จนี้เป็นจุดเริ่มต้นที่ OpenBMB ทำให้รันได้ ไม่ใช่เป็นข้ออ้างเรื่อง throughput

ขอบเขตฮาร์ดแวร์คืออุปสรรคที่แท้จริง เป้าหมายคือน้ำหนัก BF16 ประมาณ 70 GB ก่อนแคช KV และโมเดลดราฟต์เพิ่มอีกประมาณ 0.78 GB เข้าไปข้างบน ตัวเร่งความเร็วสองตัวคือขั้นต่ำที่ระบุไว้ ซึ่งทำให้เรื่องนี้อยู่นอกเหนือขอบเขตของโทรศัพท์ที่การตลาดของตระกูลนี้ใช้เป็นจุดขายอย่างมาก — การติดตั้งใช้งานบนอุปกรณ์สำหรับโมเดล 35B-A3B หมายถึงการควอนไทซ์และการออฟโหลดอย่างรุนแรง ซึ่งเป็นสิ่งที่งานด้าน LES และการควอนไทซ์แบบรายชั้นมีไว้รองรับ และทั้งสองอย่างนั้นก็ไม่มีอยู่ในสูตร vLLM ข้างต้น

ความไม่สมมาตรนั้นคือการตัดสินใจเชิงปฏิบัติสำหรับทีมส่วนใหญ่ การให้บริการ MiniCPM-V 4.7 ต้องใช้ GPU สองตัวที่คุณเป็นเจ้าของ ส่วนการเรียกใช้ hosted multimodal MoE ที่เทียบเคียงได้นั้นไม่มีค่าใช้จ่ายล่วงหน้า Qwen3.6 35B A3B คือการเปรียบเทียบโดยตรงที่ใกล้เคียงที่สุด — มีขนาดรวม 35B และ active 3B เหมือนกัน มี context 262K เท่ากัน รับอินพุตรูปภาพและวิดีโอ — และให้บริการผ่าน OrcaRouter ในราคาเริ่มต้น $0.248 ต่อล้านโทเคนอินพุต และ $1.485 ต่อล้านโทเคนเอาต์พุต ขึ้นอยู่กับเส้นทางผู้ให้บริการ โดยมี automatic failover หากหนึ่งในเส้นทางเหล่านั้นมีประสิทธิภาพลดลง MiniCPM-V 4.7 ไม่ใช่โมเดลแบบ hosted บน OrcaRouter และบทความนี้จะไม่แสร้งทำเป็นเช่นนั้น กรอบที่ตรงไปตรงมาคือทั้งสองเป็นทางเลือก ณ จุดตัดสินใจ และตัวที่เป็น hosted คือตัวที่คุณวัดผลได้ในบ่ายนี้

อะไรจะทำให้สิ่งนี้ตรวจสอบได้

เช็กพอยต์ DSpark เป็น Apache-2.0 มีขนาดต่ำกว่าหนึ่งกิกะไบต์ และมาพร้อมคำสั่งสำหรับให้บริการที่ใครก็ตามที่มี GPU สองตัวสามารถวางลงในเทอร์มินัลได้วันนี้ การรวมกันนั้นทำให้มันเป็นเส้นทางที่ถูกที่สุดสู่ตัวเลขอิสระบน MiniCPM-V 4.7 — ไม่ใช่คะแนน benchmark แต่เป็นสิ่งที่แทบจะมีประโยชน์พอๆ กัน: ความยาวการยอมรับที่ทำซ้ำได้ หากบุคคลภายนอกทำได้เท่ากับ 5.1 บน MMMU และ 3.5 บนข้อความทั่วไป การ์ดนี้ก็เชื่อถือได้ และเรื่องราวประสิทธิภาพของตระกูลก็ได้จุดข้อมูลจากภายนอกจุดแรก หากค่าการยอมรับออกมาต่ำกว่าอย่างมีนัยสำคัญ ตารางที่เผยแพร่ก็ถูกวัดภายใต้เงื่อนไขที่สูตรนี้ไม่สามารถทำซ้ำได้ และข้ออ้าง 13 โทเคนต่อวินาทีก็สืบทอดความสงสัยนั้นไปด้วย

สิ่งที่ยังขาดไปก็คือสิ่งที่โมเดลการ์ด (model card) ปกติมีไว้เพื่อนั่นเอง ไม่มีคะแนน MMMU ไม่มีคะแนน OCRBench ไม่มีผลลัพธ์ด้านการเข้าใจเอกสาร ไม่มีตัวเลข grounding และไม่มีตัวเลข latency สำหรับ MiniCPM-V 4.7 เอง — ไม่มีอะไรที่ตอบได้ว่าโมเดลนี้ดีหรือไม่ ตารางของ draft model ใช้แทนสิ่งนั้นไม่ได้ และการตีความค่า acceptance length ที่สูงว่าเป็นสัญญาณของคุณภาพ ก็คือความผิดพลาดที่ตัวเลขเหล่านั้นชักชวนให้เกิดขึ้นพอดี การทำนายในรูปแบบ ChatGPT นั้นง่ายสำหรับ drafter และไม่ได้บอกอะไรเลยว่าการทำนายนั้นถูกต้องหรือไม่

ดังนั้น: อาร์ติแฟกต์จริง ใบอนุญาตจริง หลักฐานที่เผยแพร่ใหม่จริง ๆ หนึ่งชิ้นเกี่ยวกับโมเดลที่ไม่มีมาก่อน — และช่องว่างการประเมินที่กว้างเท่ากับเมื่อวันที่ 7 ตุลาคมเป๊ะ ไฟล์ถัดไปที่ต้องรีเฟรชก็ยังคงเป็นการ์ดโมเดลของโมเดลแม่