การ์ดฮีโร่ที่สร้างขึ้นสำหรับการเปรียบเทียบ โดยมีคำโปรย 'รันไทม์แบบกำหนดเอง vs LLAMA ธรรมดา' พาดหัว 'Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B' คำโปรยย่อย 'ตัวหนึ่งโหลดบนเอนจินที่คุณใช้อยู่แล้ว อีกตัวต้องสร้างจาก pull request ที่เปิดอยู่' และการ์ดสามใบที่อ่านว่า 'Dory: 4B / แบบวนซ้ำ, เคอร์เนลกำหนดเอง', 'MiniCPM5 2B: 2.5B / LlamaForCausalLM' และ 'ให้บริการวันนี้: บิลด์จากสาขา vs เวอร์ชันที่ปล่อยแล้ว' โดยมีส่วนท้ายที่อ่านว่า 'ตารางเปรียบเทียบทั้งสองเป็นผลวัดจากผู้ขายบนฮาร์เนสแยกกัน'
Guides & Insights

NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: รันไทม์แบบกำหนดเองเมื่อเทียบกับ LlamaForCausalLM ธรรมดา

ผู้เขียน

Magnus Corvin

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

สิ่งที่มีประโยชน์ที่สุดที่ควรสังเกตเกี่ยวกับ N​VIDIA N​emotron Labs Dory 1.0 4B และ MiniCPM5-2B ไม่ใช่ตาราง benchmark ของโมเดลใดโมเดลหนึ่ง — แต่เป็นสิ่งที่ปรากฏในบรรทัดแรกของส่วนสถาปัตยกรรมของ MiniCPM5-2B การ์ดของมันระบุตรง ๆ ว่าสถาปัตยกรรมเป็นแบบมาตรฐาน LlamaForCausalLM: 42 เลเยอร์, grouped-query attention ที่มี 16 query heads และ 2 KV heads, ไม่มี custom kernel, ไม่ต้อง fork โค้ดโมเดล การ์ดของ Dory กลับระบุตรงกันข้ามในทางปฏิบัติทุกแง่ สถาปัตยกรรมของมันเป็นโครงข่าย latent-recurrent แบบวนซ้ำซึ่งบล็อกเลเยอร์ถูกนำไปใช้จำนวนครั้งที่แปรผัน และหากจะให้บริการมันในวันนี้ คุณต้องติดตั้ง vLLM จาก pull request ที่เปิดอยู่ หรือคอมไพล์ llama.cpp จาก commit ที่ปักหมุดไว้ หนึ่งในโมเดลเหล่านี้เสียบเข้ากับสแต็กที่คุณมีอยู่แล้วได้เลย ส่วนอีกตัวต้องให้คุณเปลี่ยนสแต็กก่อน ความแตกต่างนี้จะตัดสินการดีพลอยมากกว่าคะแนนใด ๆ ที่ผู้ขายทั้งสองเผยแพร่

สองโมเดลเล็ก สองเดิมพันที่แตกต่างกันโดยสิ้นเชิง

NVIDIA Nemotron Labs Dory 1.0 4Bเป็นโมเดลแบบ dense looped ขนาด 4B ของ NVIDIA เผยแพร่บน Hugging Face ในรูปแบบ BF16, MXFP8, NVFP4 และ Q5_K_M GGUF ภายใต้สัญญาอนุญาต OpenMDW 1.1 โดยการ์ดของโมเดลระบุว่า "GA (10/16/2026)" เป็นโมเดลข้อความล้วนและรองรับเฉพาะภาษาอังกฤษ รองรับได้สูงสุด 256K โทเค็น และใช้โทเค็นก่อนการฝึก (pre-training) ประมาณ 6 ล้านล้านโทเค็นในสแต็กที่ฝึกมาโดยกำเนิดด้วย NVFP4 สำหรับช่วง ~4.5T แรก ก่อนจะเปลี่ยนไปใช้ BF16 จากนั้นขยายไปสู่บริบทแบบยาวด้วยโทเค็นอีก 300B และปิดท้ายด้วย SFT บวกกับการเรียนรู้แบบเสริมแรง GRPO ในหลายสภาพแวดล้อม เผยแพร่โดยไม่มีการประกาศใด ๆ เลย

MiniCPM5-2B เป็นโมเดลแบบ dense ขนาด 2.5B ของ OpenBMB — มีพารามิเตอร์ทั้งหมด 2,516,756,480 ตัว โดย 1,981,982,720 ตัวไม่ใช่ embedding — อยู่ภายใต้สัญญาอนุญาต Apache 2.0 พร้อมหน้าต่างบริบท 131,072 โทเคน และรองรับสองภาษา คืออังกฤษและจีน เป็นรายการที่สองในสาย MiniCPM5 ต่อจากรุ่น 1B สร้างขึ้นเพื่อขยายสิ่งที่การ์ดระบุว่าเป็นสูตรการเทรนเดียวกัน และมุ่งเป้าโดยชัดเจนไปที่การติดตั้งบนอุปกรณ์ ภายในเครื่อง และสภาพแวดล้อมที่มีทรัพยากรจำกัด การฝึกหลังการเทรนประกอบด้วย supervised fine-tuning, reinforcement learning และ on-policy distillation การ์ดอ้างว่าอยู่ในระดับ state of the art ของโอเพนซอร์สคลาส 2B ด้วยค่าเฉลี่ย 53.9 จากชุดเกณฑ์มาตรฐานของตน

ทั้งคู่มีขนาดเล็กพอที่จะรันบนตัวเร่งความเร็วเพียงตัวเดียว ทั้งคู่ดาวน์โหลดได้แล้ววันนี้ หลังจากนั้นทุกอย่างก็แตกต่างออกไป

ความแตกต่าง ทีละมิติ

• สถาปัตยกรรม — Dory 1.0 4B เป็น G​PT แบบนอร์มัลไลซ์ที่เกิดซ้ำแฝงแบบวนลูป พร้อมกลไกความสนใจแบบสลับหน้าต่างเลื่อนและแบบเต็ม บล็อกอินพุต 8 เลเยอร์ บล็อกเกิดซ้ำ 20 เลเยอร์ และบล็อกเอาต์พุต 8 เลเยอร์ MiniCPM5-2B เป็นทรานส์ฟอร์เมอร์เชิงสาเหตุแบบหนาแน่นทั่วไป 42 เลเยอร์ GQA 16 หัว ต่อ 2 หัว KV มาตรฐาน LlamaForCausalLM.

• ต้นทุนการเริ่มต้นให้บริการ — นี่คือประเด็นหลัก MiniCPM5-2B ไม่ต้องใช้ custom kernel และไม่ต้องใช้เอนจินที่ fork มา; หากสแต็กของคุณรันโมเดลแบบ L​lama ได้ ก็รันตัวนี้ได้ Dory ต้องใช้ vLLM ที่บิลด์จาก pull request ที่ยังไม่ถูก merge หรือ llama.cpp ที่บิลด์จาก commit ที่ปักหมุดไว้ โดยมีการ override ตอนรันไทม์สำหรับจำนวนลูปและโหมด KV-cache

• พารามิเตอร์ — 4B แบบ dense เมื่อเทียบกับ 2.516B ทั้งหมด (1.98B ที่ไม่ใช่ embedding) Dory มีขนาดใหญ่กว่าประมาณ 60% และบล็อก recurrent ของมันถูกนำไปใช้ซ้ำ ดังนั้นการประมวลผลที่มีประสิทธิผลต่อโทเคนเมื่อวนสี่รอบจึงเกินกว่าสิ่งที่จำนวนพารามิเตอร์บ่งชี้

• บริบท — Dory ไปถึง 256K โทเค็น โดยมี 262,144 ตำแหน่งที่ได้รับการตรวจสอบยืนยันใน vLLM MiniCPM5-2B รองรับ 131,072 หน้าต่างของ Dory เป็นสองเท่า; ไม่ว่าคุณจะต้องการจ่ายเพื่อสิ่งนั้นหรือไม่ นั่นคือคำถามเรื่อง KV-cache ที่อธิบายไว้ด้านล่าง

• ภาษา — Dory รองรับเฉพาะภาษาอังกฤษเท่านั้น โดยมีภาษาโปรแกรม 43 ภาษาในส่วนผสมการฝึกก่อน (pre-training) ของมัน MiniCPM5-2B เป็นแบบสองภาษาทั้งอังกฤษและจีน สำหรับภาระงานที่ใช้ภาษาจีน มิตินี้ชี้ขาดการเปรียบเทียบได้โดยไม่ต้องอ้างอิงถึงแถวอื่นใดเลย

• ใบอนุญาต — OpenMDW 1.1 สำหรับ Dory, Apache 2.0 สำหรับ MiniCPM5-2B ทั้งสองอนุญาตให้ใช้งานเชิงพาณิชย์ได้ โดย Apache 2.0 เป็นตัวที่ผ่านการตรวจสอบทางกฎหมายส่วนใหญ่แล้ว

• ความยืดหยุ่นในการคำนวณ — ความลึกของ Dory เป็นพารามิเตอร์ขณะรันไทม์: หนึ่งลูปเพื่อความหน่วงต่ำ สองลูปเป็นค่าเริ่มต้นที่แนะนำ สี่ลูปเมื่อความแม่นยำแบบเอเจนต์สำคัญกว่า ทั้งหมดมาจากเช็กพอยต์เดียว MiniCPM5-2B มีความลึกคงที่ และคันโยกด้านประสิทธิภาพของมันคือการควอนไทซ์ — ตระกูลนี้มีบิลด์ GGUF, MLX, GPTQ และ LiteRT พร้อมโมเดลร่าง DSpark สำหรับการถอดรหัสแบบสเปกคิวเลทีฟ

• ระบบนิเวศ — MiniCPM5-2B เปิดสู่สาธารณะมาตั้งแต่ต้นเดือนกันยายน 2026 และมียอดดาวน์โหลดมากกว่าหนึ่งล้านครั้ง พร้อมบิลด์แบบควอนไทซ์และบิลด์ดัดแปลงที่กระจายอยู่หลายแบบ รีโพซิทอรีสี่แห่งของ Dory ถูกเติมข้อมูลภายในชั่วข้ามคืน และตัวนับดาวน์โหลดของพวกมันเป็นศูนย์ ณ เวลาที่เขียนข้อความนี้

A generated two-column scoreboard titled 'Dory 1.0 4B vs MiniCPM5 2B - the scoreboard'. The left column, 'Nemotron Labs Dory 1.0 4B', lists Parameters 4B dense; Architecture looped, custom kernels; Context 256K; Languages English only; Licence OpenMDW 1.1; Serving build from open pull requests. The right column, 'MiniCPM5 2B', lists Parameters 2.516B total; Architecture standard LlamaForCausalLM; Context 128K; Languages English and Chinese; Licence Apache 2.0; Serving existing engines, no fork. The footer reads 'Each card measured on its own harness; no independent head-to-head exists.'

ตัวเลข และเหตุผลที่คุณไม่ควรนำมาลบกัน

การ์ดทั้งสองใบเผยแพร่ตาราง benchmark และตารางทั้งสองทับซ้อนกันในงานจำนวนมากพอที่จะทำให้การดูแบบเคียงข้างกันเป็นไปได้ จึงคุ้มค่าที่จะทำอย่างระมัดระวัง เพราะการลบแบบง่าย ๆ จะทำให้เข้าใจผิดในลักษณะที่เฉพาะเจาะจงและคาดเดาได้

อ่าน Dory ในการตั้งค่าลูปทั้งสามค่า เทียบกับตัวเลขที่รายงานเพียงค่าเดียวของ MiniCPM5-2B:

• SciCode — 27.3 / 34.94 / 35.11 เทียบกับ 26.3 ที่ 2 ลูปขึ้นไป Dory นำอยู่

• SWE-bench Verified — 50.3 / 59.5 / 61.8 เทียบกับ 46.4

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 เทียบกับ 8.6

• GPQA Diamond — 69.19 / 72.41 / 72.16 เทียบกับ 70.2 แม้ที่หนึ่งลูป Dory จะตามหลังอยู่เล็กน้อย แต่ที่สามลูปขึ้นไปกลับแซงนำไปได้

• HLE, ข้อความเท่านั้น — 8.25 / 10.89 / 10.43 เทียบกับ 8.9

• IFBench — 74.29 / 77.94 / 79 เทียบกับ 66.3

• AA-LCR — 63 / 71 / 73 เทียบกับ 59.0

Dory ดูแข็งแกร่งกว่าในเกือบทั้งหมดนี้ บางครั้งก็มากทีเดียว ทีนี้เหตุผลที่เราไม่ควรเชื่อการคำนวณนี้: นี่คือฮาร์เนสสองตัวที่ต่างกันซึ่งวัดชุดพรอมป์ที่ต่างกัน และไม่มีผู้ขายรายใดรันโมเดลของอีกรายหนึ่งเลย NVIDIA วัด Dory บน NeMo Gym และ Nemo Evaluator SDK โดยมีจำนวนครั้งที่ทำซ้ำต่อเบนช์มาร์กที่การ์ดเปิดเผยไว้ — SciCode แปดครั้ง, AA-LCR สิบหกครั้ง, และอีกหลายเบนช์มาร์กเพียงครั้งเดียว OpenBMB วัด MiniCPM5-2B บนเซ็ตอัปของตัวเองและรายงานค่าเฉลี่ยเดียวที่ 53.9 จากชุดทดสอบทั้งหมดของมัน ส่วนต่างสองหรือสามจุดระหว่างสองเซ็ตอัปนั้นคือสัญญาณรบกวน ไม่ใช่คำตัดสิน ไม่มีอะไรในการ์ดทั้งสองใบที่เป็นการทำซ้ำอย่างอิสระ และไม่มีบุคคลที่สามรายใดเผยแพร่การเปรียบเทียบแบบตัวต่อตัวของสองโมเดลนี้

มีเหตุผลเชิงโครงสร้างอยู่ข้อหนึ่งที่ทำให้คาดได้ว่าความได้เปรียบที่ดูเหมือนจะมีของ Dory นั้นเป็นจริงในงานแบบเอเจนต์ และจะหายไปในงานประเภทอื่น การ์ดของมันแสดงว่าการวนซ้ำให้ผลตอบแทนมากที่สุดบน SWE-bench และ Terminal-Bench แต่น้อยที่สุดในการเรียกคืนความรู้ — AA-Omniscience แทบไม่ขยับตามจำนวนรอบลูป จุดแข็งของ MiniCPM5-2B เองกระจายต่างออกไป: มันรายงาน 97.1 บน τ²-Bench Telecom และ 88.7 บน GAIA Text-103 ซึ่งเป็นผลลัพธ์แบบเอเจนต์ที่การ์ดของ NVIDIA ไม่ได้วัดในรูปแบบที่เทียบเคียงกันได้ หากงานของคุณคือการใช้เครื่องมือในโดเมนแคบ ๆ ตัวเลขบนการ์ดของ MiniCPM คือสิ่งที่ควรทดสอบก่อน และไม่มีตัวเลขใดในนั้นปรากฏบนชีตของ Dory

สังเกตด้วยว่าการ์ดทั้งสองเลือกที่จะไม่เปรียบเทียบสิ่งใด MiniCPM5-2B ทดสอบเปรียบเทียบตัวเองกับ Qwen3.5-4B ที่ 51.1, granite-4.2-3B ที่ 42.7 และ LFM2.5-2.6B ที่ 33.2 บนค่าเฉลี่ยของตัวเอง Dory ทดสอบเปรียบเทียบตัวเองกับ Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B และ Qwen3.6-35B-A3B โมเดลเดียวที่การ์ดทั้งสองให้ตัวเลขไว้คือ Qwen3.5-4B และทั้งคู่ให้คะแนนมันต่างกัน — ซึ่งบอกคุณเกี่ยวกับฮาร์เนสได้มากกว่าเกี่ยวกับ Qwen

A screenshot of the Hugging Face model card for nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8, captured October 17 2026, showing the NVIDIA organisation header, the model name, '4B params', the tags Model Card, datasets, English and arxiv 2606.19227, and the licence card reading 'License: openmdw'.

ค่าใช้จ่ายในการใช้งานแต่ละรายการที่คุณต้องจ่าย

เรื่องราวการใช้งานจริงของ MiniCPM5-2B เป็นแบบน่าเบื่อ และความน่าเบื่อในที่นี้ถือเป็นคำชม สถาปัตยกรรมมาตรฐาน ไม่มีเคอร์เนลแบบกำหนดเอง มีการควอนไทซ์สำเร็จรูปให้เลือกหลากหลาย และเป็นตระกูลที่รวม MLX บิลด์สำหรับ Apple Silicon, GPTQ สำหรับการอนุมานบน GPU, LiteRT สำหรับมือถือ และโมเดลร่างสำหรับการถอดรหัสเชิงคาดการณ์ไว้แล้ว โมเดลรูปทรง LLaMA ขนาด 2.5B ที่บริบท 128K พอดีกับหน่วยความจำระดับปานกลาง และให้บริการบนเอนจินที่คุณใช้งานอยู่แล้ว OpenBMB วางตำแหน่งทั้งไลน์ผลิตภัณฑ์ว่าเป็นแบบ on-device และจำกัดทรัพยากรโดยการออกแบบ และไม่มีอะไรในโมเดลการ์ดที่บังคับให้คุณต้องนำอะไรใหม่มาใช้

เรื่องราวการทำงานของ Dory เป็นเรื่องที่น่าสนใจและยังไม่จบ การรองรับ vLLM อยู่ระหว่างการตรวจสอบใน pull request 60149; จนกว่าจะ merge การ์ดจะบอกให้คุณติดตั้ง vLLM จากสาขานั้นโดยตั้งค่าแฟล็ก precompiled-kernel จากนั้นเปิดด้วยการ override ที่กำหนดจำนวนรอบ recurrent loop และโหมด KV-cache การรองรับ llama.cpp อยู่ใน pull request 30306 โดยใช้ revision ที่ปักหมุดไว้แทน head ที่เคลื่อนที่ พร้อมคำแนะนำในการ build ที่มุ่งเป้าไปที่ ARM64 macOS แบบเนทีฟบน Apple Silicon ตัวเลขความเร็ว Dory เพียงชุดเดียวที่ NVIDIA เผยแพร่คือความเร็วที่เพิ่มขึ้นจากการควอนไทซ์บน DGX Spark — 1.69× และ 1.84× สำหรับ MXFP8 เทียบกับ BF16 ขึ้นอยู่กับการผสมของอินพุต/เอาต์พุต, 2.17× และ 2.44× สำหรับ NVFP4 — ไม่ใช่ตัวเลข throughput ไม่มี hosted endpoint สำหรับ Dory ที่ใดก็ตามที่เราสามารถตรวจสอบได้

ชิ้นงานทางวิศวกรรมชิ้นเดียวที่ใหม่จริง ๆ ฝั่ง Dory คือการออกแบบหน่วยความจำ และเป็นคำกล่าวอ้างที่คุ้มค่าที่สุดในการทดสอบก่อนที่คุณจะตัดสินใจเลือกใช้ การวนซ้ำแบบ recurrent มาตรฐานจะเก็บ KV cache แยกต่างหากต่อหนึ่งลูป ดังนั้นหน่วยความจำจึงเพิ่มขึ้นทุกครั้งที่เพิ่มรอบ Dory รองรับโหมด KV caching แบบ last-loop ซึ่งเก็บแคชเพียงชุดเดียวต่อเลเยอร์ attention แบบ recurrent และเขียนทับทุกครั้งที่ประมวลผล ทำให้ขนาดหน่วยความจำที่ใช้คงอยู่ประมาณเท่ากับตอนรันหนึ่งลูป ไม่ว่าคุณจะรันกี่ลูป NVIDIA กล่าวว่าความแม่นยำยังใกล้เคียงกับโหมด per-loop โดยความยาวเอาต์พุตแทบไม่เปลี่ยนแปลง ถ้าสิ่งนี้เป็นจริง ความลึกแบบยืดหยุ่น (elastic depth) ก็เป็นความสามารถจริง; ถ้าความแม่นยำคลาดเคลื่อน ฟีเจอร์นี้ก็มีต้นทุนสูงกว่าที่การ์ดบ่งชี้ ยังไม่มีใครนอก NVIDIA ตรวจสอบ

จุดที่เราเตอร์คุ้มค่ากับการลงทุน — และจุดที่มันไม่คุ้ม

MiniCPM5-2B ไม่ได้อยู่ในแค็ตตาล็อกของ OrcaRouter และ N​VIDIA N​emotron Labs Dory 1.0 4B ก็ไม่อยู่เช่นกัน Dory ไม่มีเอนด์พอยต์แบบโฮสต์ที่ใดก็ตามที่เรายืนยันได้ ส่วน MiniCPM5-2B เป็นโมเดลบนอุปกรณ์ซึ่งการ์ดของมันเขียนไว้สำหรับการติดตั้งใช้งานในเครื่อง ไม่ใช่สำหรับแพลตฟอร์มอินเฟอเรนซ์ การพูดแบบตรงไปตรงมาเช่นนี้สำคัญกว่าการหามุมนำเสนอ เพราะผลในทางปฏิบัติคือทั้งสองฝั่งของการเปรียบเทียบนี้ทำงานบนฮาร์ดแวร์ที่คุณเป็นเจ้าของ

นั่นคือจุดที่โมเดลฐานแบบโฮสต์กลายเป็นส่วนที่ทำให้การทดลองดูไม่ลงตัว ทีมส่วนใหญ่ที่ประเมินโมเดลขนาด 2B หรือ 4B ไม่ได้ประเมินมันในสุญญากาศ — พวกเขากำลังถามว่ามันแทนที่การเรียกใช้โมเดลแบบโฮสต์ได้หรือไม่ ในต้นทุนเพียงเสี้ยวเดียวและความสามารถเพียงเสี้ยวเดียว และการตอบคำถามนั้นหมายถึงการรันโมเดลแบบโฮสต์บนชุดงานเดียวกัน คีย์ OrcaRouter เพียงคีย์เดียวเข้าถึงโมเดลแบบโฮสต์เหล่านั้นได้ในราคาตามรายการของผู้ให้บริการ โดยบวกเพิ่ม 0% ไม่ต้องมีสัญญาที่สองและไม่ต้องมี SDK ที่สอง ดังนั้นการเปรียบเทียบจึงไม่จำเป็นต้องมีขั้นตอนจัดซื้อจัดจ้างของตัวเอง การสลับไปใช้ระบบสำรองอัตโนมัติมีความสำคัญด้วยเหตุผลที่ต่างออกไปตรงนี้: การประเมินแบบโลคัลที่ใช้เวลานานบน GPU ตัวเดียวจะถูกขัดจังหวะแน่นอน และการมีเส้นทางสำรองที่เชื่อมไว้แล้วหลังเอนด์พอยต์เดียวกันจะช่วยให้การรันดำเนินต่อไปได้ DSL สำหรับการกำหนดเส้นทางช่วยให้เอนด์พอยต์แบบโลคัลและแบบโฮสต์ใช้จุดเรียกใช้เดียวกันได้ ดังนั้นสองส่วนของการติดตั้งแบบไฮบริดจึงไม่แยกออกเป็นสองโค้ดเบส ทั้งหมดนี้ไม่ได้ชี้ขาดว่า Dory หรือ MiniCPM5-2B ตัวไหนชนะ แต่มันทำให้การตัดตัวผู้แพ้ออกไปเป็นเรื่องถูกต้นทุน

A screenshot of the Hugging Face model card for openbmb/MiniCPM5-2B, captured October 17 2026, showing the OpenBMB organisation header, the model name, the Model card and Files info tabs, and the licence and download figures for the repository.

คำตัดสิน

เลือก MiniCPM5-2B หากความยุ่งยากในการนำไปใช้งานสำคัญกว่าคะแนน agentic สูงสุด มันเป็น Apache 2.0 มีขนาดเพียงครึ่งเดียว รองรับสองภาษา สถาปัตยกรรมมาตรฐาน และรายล้อมไปด้วยการทำ quantisation ต่าง ๆ รวมถึง runtime บนมือถือ หากทีมของคุณต้องส่งงานภายในเดือนนี้ และทางเลือกอื่นคือการต้องต่อสู้กับ kernel build แล้ว 2.5B ก็ชนะในแง่โลจิสติกส์เพียงอย่างเดียว — และผลลัพธ์ τ²-Bench และ GAIA ที่รายงานไว้บ่งชี้ว่ามันไม่ได้สูญเสียความสามารถไปมากนักในงาน tool-use ที่โมเดลขนาดเล็กถูกนำไปใช้งานจริง

เลือก NVIDIA Nemotron Labs Dory 1.0 4B ถ้าสิ่งที่คุณต้องการไม่ใช่โมเดลแต่เป็นการทดลอง: เช็กพอยต์เดียวที่ปรับความแม่นยำของตัวเองตามคอมพิวต์ที่ใช้ในการอนุมาน หน้าต่าง 256K ที่มีการออกแบบแคชเพื่อให้จ่ายไหว และใบอนุญาตที่อนุญาตให้ใช้งานเชิงพาณิชย์ได้ เข้าไปโดยรู้ว่าคุณจะสร้าง serving engine ของคุณจาก branch ว่าตัวเลขทุกตัวที่เผยแพร่เป็นของผู้ขายเองบนฮาร์เนสของผู้ขายเอง โดยมีจำนวนครั้งที่ทำซ้ำเปิดเผยในเชิงอรรถ และตัวนับดาวน์โหลดยังเป็นศูนย์ ข้อดีคือคุณจะเป็นหนึ่งในคนแรกนอก NVIDIA ที่ได้ทดสอบวิธีใช้คอมพิวต์กับโมเดลเล็กที่แตกต่างอย่างแท้จริง ข้อเสียคือคุณจะต้องทำงานตรวจสอบยืนยันแทน NVIDIA

สิ่งที่ทำให้การเปรียบเทียบนี้เปลี่ยนไปเร็วที่สุดไม่ใช่ benchmark แต่คือการที่ vLLM และ llama.cpp รวม pull request ของ Dory เข้าด้วยกัน ทันทีที่ Dory โหลดจากไบนารีที่เผยแพร่แล้ว ข้อโต้แย้งเรื่องความยุ่งยากที่ตอนนี้เอื้อต่อ MiniCPM5-2B เป็นส่วนใหญ่ก็จะหายไป และสองโมเดลก็จะแข่งขันกันบนเงื่อนไขที่ตาราง benchmark บ่งบอก แทนที่จะเป็นเงื่อนไขที่ระบบบิลด์ของคุณกำหนด

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

providers@orcarouter.ai

เข้าร่วมคอมมูนิตี้ของเรา

Discordsupport@orcarouter.aiXGitHubYouTube