NVIDIA Nemotron Labs Dory 1.0 4B מול MiniCPM5 2B: סביבת ריצה מותאמת אישית לעומת LlamaForCausalLM פשוט

The most useful thing to notice about N​VIDIA N​emotron Labs Dory 1.0 4B and MiniCPM5-2B is not either model's benchmark table — it is what appears in the first line of MiniCPM5-2B's architecture section. Its card says, flatly, that the architecture is a standard LlamaForCausalLM: 42 layers, grouped-query attention with 16 query heads and 2 KV heads, no custom kernels, no model-code fork needed. Dory's card says the opposite in every practical sense. Its architecture is a looped latent-recurrent network whose layer block is applied a variable number of times, and to serve it today you install vLLM from an open pull request or build llama.cpp from a pinned commit. One of these models drops into the stack you already have. The other requires you to change the stack first. That difference will decide more deployments than any score either vendor published.

שני מודלים קטנים, שני הימורים שונים לחלוטין

N​VIDIA N​emotron Labs Dory 1.0 4B is N​VIDIA's 4B dense looped model, published to Hugging Face in BF16, MXFP8, NVFP4 and Q5_K_M GGUF under the OpenMDW 1.1 licence, with its card stamped "GA (10/16/2026)". It is text-only and English-only, holds up to 256K tokens, and put roughly 6 trillion pre-training tokens into a stack trained natively in NVFP4 for the first ~4.5T before switching to BF16, then extended to long context over 300B tokens and finished with SFT plus multi-environment GRPO reinforcement learning. It was published without an announcement of any kind.

MiniCPM5-2B הוא המודל ה-dense של OpenBMB בנפח 2.5B — 2,516,756,480 פרמטרים בסך הכול, מהם 1,981,982,720 שאינם פרמטרי embedding — תחת רישיון Apache 2.0, עם חלון הקשר של 131,072 טוקנים ותמיכה דו-לשונית באנגלית ובסינית. זהו הדגם השני בסדרת MiniCPM5 אחרי ה-1B, שנבנה כדי להרחיב את מה שהכרטיס מכנה 'אותו מתכון אימון', והוא מכוון במפורש לפריסה על-מכשיר, מקומית וכזו שמוגבלת במשאבים. בשלב שלאחר-האימון בוצעו כיוונון עדין מפוקח, למידת חיזוק וזיקוק on-policy. הכרטיס טוען לרמת המוביל בקוד פתוח בקטגוריית 2B, עם ממוצע של 53.9 על פני מערך הבנצ'מרקים שלו.

שניהם קטנים מספיק כדי לרוץ על מאיץ אחד. שניהם זמינים להורדה כבר היום. כל מה שאחרי זה מתפצל.

הניגוד, ממד אחר ממד

• Architecture — Dory 1.0 4B is a looped latent-recurrent normalized-G​PT with interleaved sliding-window and full attention, an 8-layer input block, a 20-layer recurrent block and an 8-layer output block. MiniCPM5-2B is a conventional dense causal transformer, 42 layers, GQA 16 heads by 2 KV heads, standard LlamaForCausalLM.

• Serving cost of entry — this is the headline. MiniCPM5-2B needs no custom kernel and no forked engine; if your stack runs L​lama-shaped models, it runs this. Dory needs vLLM built from an unmerged pull request or llama.cpp built from a pinned commit, with runtime overrides for loop count and KV-cache mode.

• פרמטרים — 4B צפוף לעומת 2.516B בסך הכול (1.98B ללא embedding). Dory גדול בכ-60% בקירוב, והבלוק הרקורנטי שלו מוחל שוב ושוב, כך שהחישוב האפקטיבי שלו לכל טוקן בארבע לולאות עולה על מה שמספר הפרמטרים מרמז.

• הקשר — Dory מגיע ל-256K טוקנים, עם 262,144 מיקומים שאומתו ב-vLLM. MiniCPM5-2B תומך ב-131,072. החלון של Dory כפול; אם ברצונך לשלם על כך, זו שאלת ה-KV-cache שנדונה בהמשך.

• שפות — Dory היא באנגלית בלבד, עם 43 שפות תכנות בתערובת האימון המקדים שלה. MiniCPM5-2B היא דו-לשונית באנגלית ובסינית. עבור עומס עבודה בשפה הסינית, ממד זה מכריע את ההשוואה בלי להתייחס לשורה אחרת.

• רישיון — OpenMDW 1.1 עבור Dory, ו-Apache 2.0 עבור MiniCPM5-2B. שניהם מתירים שימוש מסחרי; Apache 2.0 הוא זה שרוב הסקירות המשפטיות כבר אישרו.

• גמישות מחשוב — העומק של Dory הוא פרמטר בזמן ריצה: לולאה אחת עבור השהיה, שתיים כברירת המחדל המומלצת, ארבע כאשר דיוק סוכני חשוב יותר, והכול מצ'קפוינט אחד. ל-MiniCPM5-2B יש עומק קבוע, ומנוף הביצועים שלו הוא קוונטיזציה — המשפחה מספקת בניות GGUF, MLX, GPTQ ו-LiteRT ובנוסף מודל טיוטה DSpark לפענוח ספקולטיבי.

• אקוסיסטם — MiniCPM5-2B זמין לציבור מתחילת ספטמבר 2026, עם יותר ממיליון הורדות ומגוון של בניות מכוונטות ונגזרות. ארבעת המאגרים של Dory אוכלסו בין לילה, ומוני ההורדות שלהם היו באפס בזמן כתיבת שורות אלה.

המספרים, ולמה לא כדאי לחסר אותם.

שני הכרטיסים מפרסמים טבלאות בנצ'מרק, והטבלאות חופפות במספיק משימות כדי לאפשר השוואה זה לצד זה. כדאי לעשות זאת בקפידה, כי חיסור נאיבי יהיה מטעה באופן ספציפי וצפוי.

קראו את Dory בשלוש הגדרות הלולאה שלה לעומת הנתון הבודד המדווח של MiniCPM5-2B:

• SciCode — 27.3 / 34.94 / 35.11 לעומת 26.3. בשתי לולאות ומעלה, Dory מוביל.

• SWE-bench Verified — 50.3 / 59.5 / 61.8 לעומת 46.4.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 לעומת 8.6.

• GPQA Diamond — 69.19 / 72.41 / 72.16 לעומת 70.2. אפילו בלופ אחד Dory נמצאת לכאורה מאחור; בשלושה לופים ומעלה היא מקדימה במעט.

• HLE, טקסט בלבד — 8.25 / 10.89 / 10.43 לעומת 8.9.

• IFBench — 74.29 / 77.94 / 79 לעומת 66.3.

• AA-LCR — 63 / 71 / 73 לעומת 59.0.

Dory looks stronger on most of these, sometimes by a lot. Now the reason not to believe the arithmetic: these are two different harnesses measuring two different prompts sets, and neither vendor ran the other's model. N​VIDIA measured Dory on NeMo Gym and the Nemo Evaluator SDK, with per-benchmark repeat counts the card discloses — SciCode eight times, AA-LCR sixteen, several benchmarks exactly once. OpenBMB measured MiniCPM5-2B on its own setup and reported a single average of 53.9 across its suite. A delta of two or three points between those two setups is noise, not a verdict. Nothing in either card is an independent reproduction, and no third party has published a head-to-head of these two models.

There is one structural reason to expect Dory's apparent edge to be real on agentic tasks and to evaporate elsewhere. Its card shows looping buys the most on SWE-bench and Terminal-Bench, the least on knowledge recall — AA-Omniscience barely moves across loop counts. MiniCPM5-2B's own strength is spread differently: it reports a 97.1 on τ²-Bench Telecom and 88.7 on GAIA Text-103, agentic results N​VIDIA's card does not measure in a comparable form. If your task is tool use in a narrow domain, the MiniCPM card's numbers are the ones to test first, and none of them appear on Dory's sheet.

Note also what the two cards decline to compare. MiniCPM5-2B benchmarks itself against Qwen3.5-4B at 51.1, granite-4.2-3B at 42.7 and LFM2.5-2.6B at 33.2 on its own average. Dory benchmarks itself against Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B and Qwen3.6-35B-A3B. The only model both cards put a number on is Qwen3.5-4B, and they score it differently — which tells you more about the harnesses than about Q​wen.

כמה זה עולה לך להפעיל כל אחד מהם

סיפור ההפעלה של MiniCPM5-2B הוא הסיפור המשעמם, וכאן "משעמם" הוא מחמאה. ארכיטקטורה סטנדרטית, ללא קרנלים מותאמים אישית, מגוון של כימותים מוכנים מראש, ומשפחה שכבר כוללת בניות MLX ל-Apple Silicon, ‏GPTQ להסקה על GPU, ‏LiteRT למובייל, ומודל טיוטה לפענוח ספקולטיבי. מודל בצורת LLaMA בגודל 2.5B עם חלון הקשר של 128K נכנס בזיכרון צנוע ורץ על המנועים שאתם כבר מריצים. OpenBMB מציגה את כל הקו כמיועד למכשיר ולמוגבל במשאבים מלכתחילה, ושום דבר בכרטיס לא מחייב אתכם לאמץ משהו חדש.

Dory's operating story is the interesting one and it is not finished. vLLM support sits under review in pull request 60149; until it merges, the card tells you to install vLLM from that branch with the precompiled-kernel flag set, then launch with overrides configuring the recurrent loop count and the KV-cache mode. llama.cpp support is in pull request 30306, with a pinned revision rather than the moving head, and build instructions targeting native ARM64 macOS on Apple Silicon. N​VIDIA's only published Dory speed figures are quantisation speedups on a DGX Spark — 1.69× and 1.84× for MXFP8 over BF16 depending on the input/output mix, 2.17× and 2.44× for NVFP4 — not throughput numbers. There is no hosted endpoint for Dory anywhere we can verify.

The one genuinely novel piece of engineering on the Dory side is the memory design, and it is the claim most worth testing before you commit. Standard recurrent looping keeps a separate KV cache per loop, so memory climbs with each added pass. Dory supports a last-loop KV-caching mode that holds a single cache per recurrent attention layer and overwrites it on each pass, keeping the footprint at roughly the one-loop size no matter how many loops you run. N​VIDIA says accuracy stays close to the per-loop mode with nearly unchanged output lengths. If that holds, elastic depth is a real capability; if the accuracy drifts, the feature costs more than the card implies. Nobody outside N​VIDIA has checked.

היכן ראוטר מצדיק את עצמו — והיכן לא

MiniCPM5-2B is not on the OrcaRouter catalogue, and neither is N​VIDIA N​emotron Labs Dory 1.0 4B. Dory has no hosted endpoint anywhere we can confirm; MiniCPM5-2B is an on-device model whose card is written for local deployment, not for an inference platform. Saying that plainly matters more than finding an angle, because the practical effect is that both sides of this comparison run on hardware you own.

זה הרגע שבו קו הבסיס המתארח הופך לחלק המסורבל של הניסוי. רוב הצוותים שמעריכים מודל 2B או 4B לא מעריכים אותו בוואקום — הם שואלים אם הוא יכול להחליף קריאה מתארחת בשבריר מהעלות ובשבריר מהיכולת, ומענה על השאלה הזו מחייב להריץ את המודל המתארח על אותה קבוצת משימות. מפתח OrcaRouter אחד מאפשר להגיע למודלים המתארחים האלה במחיר המחירון של הספק עם 0% תוספת, בלי חוזה שני ובלי SDK שני, כך שההשוואה לא צריכה רכש משלה. מעבר אוטומטי לגיבוי חשוב כאן מסיבה אחרת: הערכה מקומית ארוכה על GPU בודד תיקטע, וקיום נתיב גיבוי שכבר מחווט מאחורי אותה נקודת קצה שומר על הריצה חיה. ה-DSL של הניתוב מאפשר לנקודת קצה מקומית ולאחת מתארחת לחלוק אתר קריאה יחיד, כך ששני החצאים של פריסה היברידית לא מתפצלים לשני בסיסי קוד. שום דבר מזה לא בוחר מנצח בין Dory ל-MiniCPM5-2B. זה הופך את פסילת המפסיד לזולה.

פסק הדין

בחרו ב-MiniCPM5-2B אם חיכוך בפריסה חשוב לכם יותר מציוני סוכנות בשיא. הוא ברישיון Apache 2.0, בחצי מהגודל, דו-לשוני, בארכיטקטורה סטנדרטית, ומוקף בקוונטיזציות כולל סביבות הרצה למובייל. אם הצוות שלכם צריך להשיק החודש, והחלופה היא להיאבק בבניית קרנל, ה-2.5B מנצח בזכות הלוגיסטיקה לבדה — והתוצאות המדווחות שלו ב-τ²-Bench וב-GAIA מרמזות שהוא לא מוותר על הרבה במשימות שימוש בכלים שמודלים קטנים נפרסים עבורן בפועל.

Choose N​VIDIA N​emotron Labs Dory 1.0 4B if the thing you want is not a model but an experiment: a single checkpoint that scales its own accuracy with inference compute, a 256K window with a caching design intended to make that affordable, and a licence that permits commercial deployment. Go in knowing that you will build your serving engine from a branch, that every published number is the vendor's own on the vendor's harness with the repeat counts disclosed in a footnote, and that the download counters are still zero. The upside is that you would be among the first people outside N​VIDIA to test a genuinely different way of spending compute on a small model. The cost is that you would be doing N​VIDIA's verification work for it.

הדבר שישנה את ההשוואה הזו במהירות הרבה ביותר אינו בנצ'מרק, אלא ש-vLLM ו-llama.cpp ימזגו את בקשות ה-pull שלהם עבור Dory. ברגע ש-Dory ייטען מבינארי שפורסם, טיעון החיכוך שכרגע מעדיף את MiniCPM5-2B נעלם ברובו, ושני המודלים סוף סוף יתחרו בתנאים שטבלאות הבנצ'מרק מרמזות עליהם ולא בתנאים שמערכת הבנייה שלך כופה.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.