
NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: รันไทม์แบบกำหนดเองเมื่อเทียบกับ LlamaForCausalLM ธรรมดา
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 61 tok/s
- Orcaใหม่Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 77 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 724 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040ความฉลาด
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241ความฉลาด76การเขียนโค้ด
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245ความฉลาด76การเขียนโค้ด
- AnthropicAnthropic: Claude Fable 5.12026-09-0153ความฉลาด82การเขียนโค้ด
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 ต่อ 1 ล้านโทเค็น · 111 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642ความฉลาด72การเขียนโค้ด
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 ต่อ 1 ล้านโทเค็น · 174 tok/s
สิ่งที่มีประโยชน์ที่สุดที่ควรสังเกตเกี่ยวกับ NVIDIA Nemotron Labs Dory 1.0 4B และ MiniCPM5-2B ไม่ใช่ตาราง benchmark ของโมเดลใดโมเดลหนึ่ง — แต่เป็นสิ่งที่ปรากฏในบรรทัดแรกของส่วนสถาปัตยกรรมของ MiniCPM5-2B การ์ดของมันระบุตรง ๆ ว่าสถาปัตยกรรมเป็นแบบมาตรฐาน LlamaForCausalLM: 42 เลเยอร์, grouped-query attention ที่มี 16 query heads และ 2 KV heads, ไม่มี custom kernel, ไม่ต้อง fork โค้ดโมเดล การ์ดของ Dory กลับระบุตรงกันข้ามในทางปฏิบัติทุกแง่ สถาปัตยกรรมของมันเป็นโครงข่าย latent-recurrent แบบวนซ้ำซึ่งบล็อกเลเยอร์ถูกนำไปใช้จำนวนครั้งที่แปรผัน และหากจะให้บริการมันในวันนี้ คุณต้องติดตั้ง vLLM จาก pull request ที่เปิดอยู่ หรือคอมไพล์ llama.cpp จาก commit ที่ปักหมุดไว้ หนึ่งในโมเดลเหล่านี้เสียบเข้ากับสแต็กที่คุณมีอยู่แล้วได้เลย ส่วนอีกตัวต้องให้คุณเปลี่ยนสแต็กก่อน ความแตกต่างนี้จะตัดสินการดีพลอยมากกว่าคะแนนใด ๆ ที่ผู้ขายทั้งสองเผยแพร่
สองโมเดลเล็ก สองเดิมพันที่แตกต่างกันโดยสิ้นเชิง
NVIDIA Nemotron Labs Dory 1.0 4Bเป็นโมเดลแบบ dense looped ขนาด 4B ของ NVIDIA เผยแพร่บน Hugging Face ในรูปแบบ BF16, MXFP8, NVFP4 และ Q5_K_M GGUF ภายใต้สัญญาอนุญาต OpenMDW 1.1 โดยการ์ดของโมเดลระบุว่า "GA (10/16/2026)" เป็นโมเดลข้อความล้วนและรองรับเฉพาะภาษาอังกฤษ รองรับได้สูงสุด 256K โทเค็น และใช้โทเค็นก่อนการฝึก (pre-training) ประมาณ 6 ล้านล้านโทเค็นในสแต็กที่ฝึกมาโดยกำเนิดด้วย NVFP4 สำหรับช่วง ~4.5T แรก ก่อนจะเปลี่ยนไปใช้ BF16 จากนั้นขยายไปสู่บริบทแบบยาวด้วยโทเค็นอีก 300B และปิดท้ายด้วย SFT บวกกับการเรียนรู้แบบเสริมแรง GRPO ในหลายสภาพแวดล้อม เผยแพร่โดยไม่มีการประกาศใด ๆ เลย
MiniCPM5-2B เป็นโมเดลแบบ dense ขนาด 2.5B ของ OpenBMB — มีพารามิเตอร์ทั้งหมด 2,516,756,480 ตัว โดย 1,981,982,720 ตัวไม่ใช่ embedding — อยู่ภายใต้สัญญาอนุญาต Apache 2.0 พร้อมหน้าต่างบริบท 131,072 โทเคน และรองรับสองภาษา คืออังกฤษและจีน เป็นรายการที่สองในสาย MiniCPM5 ต่อจากรุ่น 1B สร้างขึ้นเพื่อขยายสิ่งที่การ์ดระบุว่าเป็นสูตรการเทรนเดียวกัน และมุ่งเป้าโดยชัดเจนไปที่การติดตั้งบนอุปกรณ์ ภายในเครื่อง และสภาพแวดล้อมที่มีทรัพยากรจำกัด การฝึกหลังการเทรนประกอบด้วย supervised fine-tuning, reinforcement learning และ on-policy distillation การ์ดอ้างว่าอยู่ในระดับ state of the art ของโอเพนซอร์สคลาส 2B ด้วยค่าเฉลี่ย 53.9 จากชุดเกณฑ์มาตรฐานของตน
ทั้งคู่มีขนาดเล็กพอที่จะรันบนตัวเร่งความเร็วเพียงตัวเดียว ทั้งคู่ดาวน์โหลดได้แล้ววันนี้ หลังจากนั้นทุกอย่างก็แตกต่างออกไป
ความแตกต่าง ทีละมิติ
• สถาปัตยกรรม — Dory 1.0 4B เป็น GPT แบบนอร์มัลไลซ์ที่เกิดซ้ำแฝงแบบวนลูป พร้อมกลไกความสนใจแบบสลับหน้าต่างเลื่อนและแบบเต็ม บล็อกอินพุต 8 เลเยอร์ บล็อกเกิดซ้ำ 20 เลเยอร์ และบล็อกเอาต์พุต 8 เลเยอร์ MiniCPM5-2B เป็นทรานส์ฟอร์เมอร์เชิงสาเหตุแบบหนาแน่นทั่วไป 42 เลเยอร์ GQA 16 หัว ต่อ 2 หัว KV มาตรฐาน LlamaForCausalLM.
• ต้นทุนการเริ่มต้นให้บริการ — นี่คือประเด็นหลัก MiniCPM5-2B ไม่ต้องใช้ custom kernel และไม่ต้องใช้เอนจินที่ fork มา; หากสแต็กของคุณรันโมเดลแบบ Llama ได้ ก็รันตัวนี้ได้ Dory ต้องใช้ vLLM ที่บิลด์จาก pull request ที่ยังไม่ถูก merge หรือ llama.cpp ที่บิลด์จาก commit ที่ปักหมุดไว้ โดยมีการ override ตอนรันไทม์สำหรับจำนวนลูปและโหมด KV-cache
• พารามิเตอร์ — 4B แบบ dense เมื่อเทียบกับ 2.516B ทั้งหมด (1.98B ที่ไม่ใช่ embedding) Dory มีขนาดใหญ่กว่าประมาณ 60% และบล็อก recurrent ของมันถูกนำไปใช้ซ้ำ ดังนั้นการประมวลผลที่มีประสิทธิผลต่อโทเคนเมื่อวนสี่รอบจึงเกินกว่าสิ่งที่จำนวนพารามิเตอร์บ่งชี้
• บริบท — Dory ไปถึง 256K โทเค็น โดยมี 262,144 ตำแหน่งที่ได้รับการตรวจสอบยืนยันใน vLLM MiniCPM5-2B รองรับ 131,072 หน้าต่างของ Dory เป็นสองเท่า; ไม่ว่าคุณจะต้องการจ่ายเพื่อสิ่งนั้นหรือไม่ นั่นคือคำถามเรื่อง KV-cache ที่อธิบายไว้ด้านล่าง
• ภาษา — Dory รองรับเฉพาะภาษาอังกฤษเท่านั้น โดยมีภาษาโปรแกรม 43 ภาษาในส่วนผสมการฝึกก่อน (pre-training) ของมัน MiniCPM5-2B เป็นแบบสองภาษาทั้งอังกฤษและจีน สำหรับภาระงานที่ใช้ภาษาจีน มิตินี้ชี้ขาดการเปรียบเทียบได้โดยไม่ต้องอ้างอิงถึงแถวอื่นใดเลย
• ใบอนุญาต — OpenMDW 1.1 สำหรับ Dory, Apache 2.0 สำหรับ MiniCPM5-2B ทั้งสองอนุญาตให้ใช้งานเชิงพาณิชย์ได้ โดย Apache 2.0 เป็นตัวที่ผ่านการตรวจสอบทางกฎหมายส่วนใหญ่แล้ว
• ความยืดหยุ่นในการคำนวณ — ความลึกของ Dory เป็นพารามิเตอร์ขณะรันไทม์: หนึ่งลูปเพื่อความหน่วงต่ำ สองลูปเป็นค่าเริ่มต้นที่แนะนำ สี่ลูปเมื่อความแม่นยำแบบเอเจนต์สำคัญกว่า ทั้งหมดมาจากเช็กพอยต์เดียว MiniCPM5-2B มีความลึกคงที่ และคันโยกด้านประสิทธิภาพของมันคือการควอนไทซ์ — ตระกูลนี้มีบิลด์ GGUF, MLX, GPTQ และ LiteRT พร้อมโมเดลร่าง DSpark สำหรับการถอดรหัสแบบสเปกคิวเลทีฟ
• ระบบนิเวศ — MiniCPM5-2B เปิดสู่สาธารณะมาตั้งแต่ต้นเดือนกันยายน 2026 และมียอดดาวน์โหลดมากกว่าหนึ่งล้านครั้ง พร้อมบิลด์แบบควอนไทซ์และบิลด์ดัดแปลงที่กระจายอยู่หลายแบบ รีโพซิทอรีสี่แห่งของ Dory ถูกเติมข้อมูลภายในชั่วข้ามคืน และตัวนับดาวน์โหลดของพวกมันเป็นศูนย์ ณ เวลาที่เขียนข้อความนี้

ตัวเลข และเหตุผลที่คุณไม่ควรนำมาลบกัน
การ์ดทั้งสองใบเผยแพร่ตาราง benchmark และตารางทั้งสองทับซ้อนกันในงานจำนวนมากพอที่จะทำให้การดูแบบเคียงข้างกันเป็นไปได้ จึงคุ้มค่าที่จะทำอย่างระมัดระวัง เพราะการลบแบบง่าย ๆ จะทำให้เข้าใจผิดในลักษณะที่เฉพาะเจาะจงและคาดเดาได้
อ่าน Dory ในการตั้งค่าลูปทั้งสามค่า เทียบกับตัวเลขที่รายงานเพียงค่าเดียวของ MiniCPM5-2B:
• SciCode — 27.3 / 34.94 / 35.11 เทียบกับ 26.3 ที่ 2 ลูปขึ้นไป Dory นำอยู่
• SWE-bench Verified — 50.3 / 59.5 / 61.8 เทียบกับ 46.4
• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 เทียบกับ 8.6
• GPQA Diamond — 69.19 / 72.41 / 72.16 เทียบกับ 70.2 แม้ที่หนึ่งลูป Dory จะตามหลังอยู่เล็กน้อย แต่ที่สามลูปขึ้นไปกลับแซงนำไปได้
• HLE, ข้อความเท่านั้น — 8.25 / 10.89 / 10.43 เทียบกับ 8.9
• IFBench — 74.29 / 77.94 / 79 เทียบกับ 66.3
• AA-LCR — 63 / 71 / 73 เทียบกับ 59.0
Dory ดูแข็งแกร่งกว่าในเกือบทั้งหมดนี้ บางครั้งก็มากทีเดียว ทีนี้เหตุผลที่เราไม่ควรเชื่อการคำนวณนี้: นี่คือฮาร์เนสสองตัวที่ต่างกันซึ่งวัดชุดพรอมป์ที่ต่างกัน และไม่มีผู้ขายรายใดรันโมเดลของอีกรายหนึ่งเลย NVIDIA วัด Dory บน NeMo Gym และ Nemo Evaluator SDK โดยมีจำนวนครั้งที่ทำซ้ำต่อเบนช์มาร์กที่การ์ดเปิดเผยไว้ — SciCode แปดครั้ง, AA-LCR สิบหกครั้ง, และอีกหลายเบนช์มาร์กเพียงครั้งเดียว OpenBMB วัด MiniCPM5-2B บนเซ็ตอัปของตัวเองและรายงานค่าเฉลี่ยเดียวที่ 53.9 จากชุดทดสอบทั้งหมดของมัน ส่วนต่างสองหรือสามจุดระหว่างสองเซ็ตอัปนั้นคือสัญญาณรบกวน ไม่ใช่คำตัดสิน ไม่มีอะไรในการ์ดทั้งสองใบที่เป็นการทำซ้ำอย่างอิสระ และไม่มีบุคคลที่สามรายใดเผยแพร่การเปรียบเทียบแบบตัวต่อตัวของสองโมเดลนี้
มีเหตุผลเชิงโครงสร้างอยู่ข้อหนึ่งที่ทำให้คาดได้ว่าความได้เปรียบที่ดูเหมือนจะมีของ Dory นั้นเป็นจริงในงานแบบเอเจนต์ และจะหายไปในงานประเภทอื่น การ์ดของมันแสดงว่าการวนซ้ำให้ผลตอบแทนมากที่สุดบน SWE-bench และ Terminal-Bench แต่น้อยที่สุดในการเรียกคืนความรู้ — AA-Omniscience แทบไม่ขยับตามจำนวนรอบลูป จุดแข็งของ MiniCPM5-2B เองกระจายต่างออกไป: มันรายงาน 97.1 บน τ²-Bench Telecom และ 88.7 บน GAIA Text-103 ซึ่งเป็นผลลัพธ์แบบเอเจนต์ที่การ์ดของ NVIDIA ไม่ได้วัดในรูปแบบที่เทียบเคียงกันได้ หากงานของคุณคือการใช้เครื่องมือในโดเมนแคบ ๆ ตัวเลขบนการ์ดของ MiniCPM คือสิ่งที่ควรทดสอบก่อน และไม่มีตัวเลขใดในนั้นปรากฏบนชีตของ Dory
สังเกตด้วยว่าการ์ดทั้งสองเลือกที่จะไม่เปรียบเทียบสิ่งใด MiniCPM5-2B ทดสอบเปรียบเทียบตัวเองกับ Qwen3.5-4B ที่ 51.1, granite-4.2-3B ที่ 42.7 และ LFM2.5-2.6B ที่ 33.2 บนค่าเฉลี่ยของตัวเอง Dory ทดสอบเปรียบเทียบตัวเองกับ Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B และ Qwen3.6-35B-A3B โมเดลเดียวที่การ์ดทั้งสองให้ตัวเลขไว้คือ Qwen3.5-4B และทั้งคู่ให้คะแนนมันต่างกัน — ซึ่งบอกคุณเกี่ยวกับฮาร์เนสได้มากกว่าเกี่ยวกับ Qwen

ค่าใช้จ่ายในการใช้งานแต่ละรายการที่คุณต้องจ่าย
เรื่องราวการใช้งานจริงของ MiniCPM5-2B เป็นแบบน่าเบื่อ และความน่าเบื่อในที่นี้ถือเป็นคำชม สถาปัตยกรรมมาตรฐาน ไม่มีเคอร์เนลแบบกำหนดเอง มีการควอนไทซ์สำเร็จรูปให้เลือกหลากหลาย และเป็นตระกูลที่รวม MLX บิลด์สำหรับ Apple Silicon, GPTQ สำหรับการอนุมานบน GPU, LiteRT สำหรับมือถือ และโมเดลร่างสำหรับการถอดรหัสเชิงคาดการณ์ไว้แล้ว โมเดลรูปทรง LLaMA ขนาด 2.5B ที่บริบท 128K พอดีกับหน่วยความจำระดับปานกลาง และให้บริการบนเอนจินที่คุณใช้งานอยู่แล้ว OpenBMB วางตำแหน่งทั้งไลน์ผลิตภัณฑ์ว่าเป็นแบบ on-device และจำกัดทรัพยากรโดยการออกแบบ และไม่มีอะไรในโมเดลการ์ดที่บังคับให้คุณต้องนำอะไรใหม่มาใช้
เรื่องราวการทำงานของ Dory เป็นเรื่องที่น่าสนใจและยังไม่จบ การรองรับ vLLM อยู่ระหว่างการตรวจสอบใน pull request 60149; จนกว่าจะ merge การ์ดจะบอกให้คุณติดตั้ง vLLM จากสาขานั้นโดยตั้งค่าแฟล็ก precompiled-kernel จากนั้นเปิดด้วยการ override ที่กำหนดจำนวนรอบ recurrent loop และโหมด KV-cache การรองรับ llama.cpp อยู่ใน pull request 30306 โดยใช้ revision ที่ปักหมุดไว้แทน head ที่เคลื่อนที่ พร้อมคำแนะนำในการ build ที่มุ่งเป้าไปที่ ARM64 macOS แบบเนทีฟบน Apple Silicon ตัวเลขความเร็ว Dory เพียงชุดเดียวที่ NVIDIA เผยแพร่คือความเร็วที่เพิ่มขึ้นจากการควอนไทซ์บน DGX Spark — 1.69× และ 1.84× สำหรับ MXFP8 เทียบกับ BF16 ขึ้นอยู่กับการผสมของอินพุต/เอาต์พุต, 2.17× และ 2.44× สำหรับ NVFP4 — ไม่ใช่ตัวเลข throughput ไม่มี hosted endpoint สำหรับ Dory ที่ใดก็ตามที่เราสามารถตรวจสอบได้
ชิ้นงานทางวิศวกรรมชิ้นเดียวที่ใหม่จริง ๆ ฝั่ง Dory คือการออกแบบหน่วยความจำ และเป็นคำกล่าวอ้างที่คุ้มค่าที่สุดในการทดสอบก่อนที่คุณจะตัดสินใจเลือกใช้ การวนซ้ำแบบ recurrent มาตรฐานจะเก็บ KV cache แยกต่างหากต่อหนึ่งลูป ดังนั้นหน่วยความจำจึงเพิ่มขึ้นทุกครั้งที่เพิ่มรอบ Dory รองรับโหมด KV caching แบบ last-loop ซึ่งเก็บแคชเพียงชุดเดียวต่อเลเยอร์ attention แบบ recurrent และเขียนทับทุกครั้งที่ประมวลผล ทำให้ขนาดหน่วยความจำที่ใช้คงอยู่ประมาณเท่ากับตอนรันหนึ่งลูป ไม่ว่าคุณจะรันกี่ลูป NVIDIA กล่าวว่าความแม่นยำยังใกล้เคียงกับโหมด per-loop โดยความยาวเอาต์พุตแทบไม่เปลี่ยนแปลง ถ้าสิ่งนี้เป็นจริง ความลึกแบบยืดหยุ่น (elastic depth) ก็เป็นความสามารถจริง; ถ้าความแม่นยำคลาดเคลื่อน ฟีเจอร์นี้ก็มีต้นทุนสูงกว่าที่การ์ดบ่งชี้ ยังไม่มีใครนอก NVIDIA ตรวจสอบ
จุดที่เราเตอร์คุ้มค่ากับการลงทุน — และจุดที่มันไม่คุ้ม
MiniCPM5-2B ไม่ได้อยู่ในแค็ตตาล็อกของ OrcaRouter และ NVIDIA Nemotron Labs Dory 1.0 4B ก็ไม่อยู่เช่นกัน Dory ไม่มีเอนด์พอยต์แบบโฮสต์ที่ใดก็ตามที่เรายืนยันได้ ส่วน MiniCPM5-2B เป็นโมเดลบนอุปกรณ์ซึ่งการ์ดของมันเขียนไว้สำหรับการติดตั้งใช้งานในเครื่อง ไม่ใช่สำหรับแพลตฟอร์มอินเฟอเรนซ์ การพูดแบบตรงไปตรงมาเช่นนี้สำคัญกว่าการหามุมนำเสนอ เพราะผลในทางปฏิบัติคือทั้งสองฝั่งของการเปรียบเทียบนี้ทำงานบนฮาร์ดแวร์ที่คุณเป็นเจ้าของ
นั่นคือจุดที่โมเดลฐานแบบโฮสต์กลายเป็นส่วนที่ทำให้การทดลองดูไม่ลงตัว ทีมส่วนใหญ่ที่ประเมินโมเดลขนาด 2B หรือ 4B ไม่ได้ประเมินมันในสุญญากาศ — พวกเขากำลังถามว่ามันแทนที่การเรียกใช้โมเดลแบบโฮสต์ได้หรือไม่ ในต้นทุนเพียงเสี้ยวเดียวและความสามารถเพียงเสี้ยวเดียว และการตอบคำถามนั้นหมายถึงการรันโมเดลแบบโฮสต์บนชุดงานเดียวกัน คีย์ OrcaRouter เพียงคีย์เดียวเข้าถึงโมเดลแบบโฮสต์เหล่านั้นได้ในราคาตามรายการของผู้ให้บริการ โดยบวกเพิ่ม 0% ไม่ต้องมีสัญญาที่สองและไม่ต้องมี SDK ที่สอง ดังนั้นการเปรียบเทียบจึงไม่จำเป็นต้องมีขั้นตอนจัดซื้อจัดจ้างของตัวเอง การสลับไปใช้ระบบสำรองอัตโนมัติมีความสำคัญด้วยเหตุผลที่ต่างออกไปตรงนี้: การประเมินแบบโลคัลที่ใช้เวลานานบน GPU ตัวเดียวจะถูกขัดจังหวะแน่นอน และการมีเส้นทางสำรองที่เชื่อมไว้แล้วหลังเอนด์พอยต์เดียวกันจะช่วยให้การรันดำเนินต่อไปได้ DSL สำหรับการกำหนดเส้นทางช่วยให้เอนด์พอยต์แบบโลคัลและแบบโฮสต์ใช้จุดเรียกใช้เดียวกันได้ ดังนั้นสองส่วนของการติดตั้งแบบไฮบริดจึงไม่แยกออกเป็นสองโค้ดเบส ทั้งหมดนี้ไม่ได้ชี้ขาดว่า Dory หรือ MiniCPM5-2B ตัวไหนชนะ แต่มันทำให้การตัดตัวผู้แพ้ออกไปเป็นเรื่องถูกต้นทุน

คำตัดสิน
เลือก MiniCPM5-2B หากความยุ่งยากในการนำไปใช้งานสำคัญกว่าคะแนน agentic สูงสุด มันเป็น Apache 2.0 มีขนาดเพียงครึ่งเดียว รองรับสองภาษา สถาปัตยกรรมมาตรฐาน และรายล้อมไปด้วยการทำ quantisation ต่าง ๆ รวมถึง runtime บนมือถือ หากทีมของคุณต้องส่งงานภายในเดือนนี้ และทางเลือกอื่นคือการต้องต่อสู้กับ kernel build แล้ว 2.5B ก็ชนะในแง่โลจิสติกส์เพียงอย่างเดียว — และผลลัพธ์ τ²-Bench และ GAIA ที่รายงานไว้บ่งชี้ว่ามันไม่ได้สูญเสียความสามารถไปมากนักในงาน tool-use ที่โมเดลขนาดเล็กถูกนำไปใช้งานจริง
เลือก NVIDIA Nemotron Labs Dory 1.0 4B ถ้าสิ่งที่คุณต้องการไม่ใช่โมเดลแต่เป็นการทดลอง: เช็กพอยต์เดียวที่ปรับความแม่นยำของตัวเองตามคอมพิวต์ที่ใช้ในการอนุมาน หน้าต่าง 256K ที่มีการออกแบบแคชเพื่อให้จ่ายไหว และใบอนุญาตที่อนุญาตให้ใช้งานเชิงพาณิชย์ได้ เข้าไปโดยรู้ว่าคุณจะสร้าง serving engine ของคุณจาก branch ว่าตัวเลขทุกตัวที่เผยแพร่เป็นของผู้ขายเองบนฮาร์เนสของผู้ขายเอง โดยมีจำนวนครั้งที่ทำซ้ำเปิดเผยในเชิงอรรถ และตัวนับดาวน์โหลดยังเป็นศูนย์ ข้อดีคือคุณจะเป็นหนึ่งในคนแรกนอก NVIDIA ที่ได้ทดสอบวิธีใช้คอมพิวต์กับโมเดลเล็กที่แตกต่างอย่างแท้จริง ข้อเสียคือคุณจะต้องทำงานตรวจสอบยืนยันแทน NVIDIA
สิ่งที่ทำให้การเปรียบเทียบนี้เปลี่ยนไปเร็วที่สุดไม่ใช่ benchmark แต่คือการที่ vLLM และ llama.cpp รวม pull request ของ Dory เข้าด้วยกัน ทันทีที่ Dory โหลดจากไบนารีที่เผยแพร่แล้ว ข้อโต้แย้งเรื่องความยุ่งยากที่ตอนนี้เอื้อต่อ MiniCPM5-2B เป็นส่วนใหญ่ก็จะหายไป และสองโมเดลก็จะแข่งขันกันบนเงื่อนไขที่ตาราง benchmark บ่งบอก แทนที่จะเป็นเงื่อนไขที่ระบบบิลด์ของคุณกำหนด
ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง
