NVIDIA Nemotron Labs Dory 1.0 4B kontra MiniCPM5 2B: niestandardowe środowisko uruchomieniowe przeciw zwykłemu LlamaForCausalLM

Najbardziej użyteczna rzecz, jaką można zauważyć w przypadku N​VIDIA N​emotron Labs Dory 1.0 4B i MiniCPM5-2B, to nie tabela wyników żadnego z tych modeli — lecz to, co pojawia się w pierwszym wierszu sekcji architektury MiniCPM5-2B. Jej karta mówi wprost, że architektura to standardowy LlamaForCausalLM: 42 warstwy, uwaga z grupowaniem zapytań z 16 głowami zapytań i 2 głowami KV, brak niestandardowych jąder, brak potrzeby forkowania kodu modelu. Karta Dory'ego mówi przeciwnie pod każdym praktycznym względem. Jej architektura to zapętlona sieć latentnie rekurencyjna, której blok warstw jest stosowany zmienną liczbę razy, a aby ją dziś obsługiwać, instalujesz vLLM z otwartego pull requesta albo budujesz llama.cpp z przypiętego commita. Jeden z tych modeli wpasowuje się w stos, który już masz. Drugi wymaga najpierw zmiany stosu. Ta różnica zdecyduje o większej liczbie wdrożeń niż jakikolwiek wynik opublikowany przez któregokolwiek z dostawców.

Dwa małe modele, dwa całkowicie różne zakłady

N​VIDIA N​emotron Labs Dory 1.0 4B to gęsty, pętlowy model 4B firmy N​VIDIA, opublikowany na Hugging Face w formatach BF16, MXFP8, NVFP4 i Q5_K_M GGUF na licencji OpenMDW 1.1, z kartą opatrzoną pieczątką „GA (10/16/2026)”. Jest wyłącznie tekstowy i wyłącznie angielskojęzyczny, obsługuje kontekst o długości do 256 tys. tokenów, a do jego stosu treningowego trafiło około 6 bilionów tokenów pre-treningowych; był trenowany natywnie w NVFP4 przez pierwsze ~4,5 bln, zanim przełączono go na BF16, następnie rozszerzono go do długiego kontekstu na przestrzeni 300 mld tokenów i zwieńczono SFT oraz wielośrodowiskowym uczeniem ze wzmocnieniem GRPO. Został opublikowany bez jakiegokolwiek ogłoszenia.

MiniCPM5-2B to gęsty model 2,5B od OpenBMB — łącznie 2 516 756 480 parametrów, z czego 1 981 982 720 to parametry niebędące osadzeniami — na licencji Apache 2.0, z oknem kontekstu 131 072 tokenów oraz dwujęzycznym wsparciem dla angielskiego i chińskiego. To druga pozycja w linii MiniCPM5 po modelu 1B, stworzona, aby skalować to, co karta określa jako tę samą receptę treningową, i jest wyraźnie ukierunkowana na wdrożenia na urządzeniach, lokalne oraz przy ograniczonych zasobach. Po treningu wstępnym przeprowadzono nadzorowane dostrajanie, uczenie ze wzmocnieniem oraz destylację on-policy. Karta reklamuje osiągnięcie najlepszego w klasie 2B wyniku wśród modeli open source, ze średnią 53,9 w swoim zestawie testów.

Oba są wystarczająco małe, by działać na jednym akceleratorze. Oba można już dziś pobrać. Wszystko po tym punkcie się rozchodzi.

Kontrast, wymiar po wymiarze

• Architektura — Dory 1.0 4B to zapętlony latentno-rekurencyjny znormalizowany-G​PT z przeplataną uwagą okienkową i pełną, 8-warstwowym blokiem wejściowym, 20-warstwowym blokiem rekurencyjnym i 8-warstwowym blokiem wyjściowym. MiniCPM5-2B to konwencjonalny gęsty przyczynowy transformer, 42 warstwy, GQA 16 głowic na 2 głowice KV, standardowy LlamaForCausalLM.

• Koszt wejścia w zakresie serwowania — to jest najważniejsze. MiniCPM5-2B nie wymaga niestandardowego jądra ani sforkowanego silnika; jeśli Twój stack uruchamia modele typu Llama, uruchomi też ten model. Dory wymaga vLLM zbudowanego z niezsmergowanego pull requesta lub llama.cpp zbudowanego z przypiętego commita, z nadpisaniami w czasie działania dla liczby pętli i trybu KV-cache.

• Parametry — 4B gęstych w porównaniu z 2,516B łącznie (1,98B bez embeddingu). Dory jest około 60% większy, a jego blok rekurencyjny jest stosowany wielokrotnie, więc jego efektywny koszt obliczeń na token przy czterech pętlach przekracza to, co sugeruje liczba parametrów.

• Kontekst — Dory osiąga 256K tokenów, a 262 144 pozycje zostały zwalidowane w vLLM. MiniCPM5-2B obsługuje 131 072. Okno Dory jest dwukrotnie większe; to, czy chcesz za nie płacić, to kwestia KV-cache omówiona poniżej.

• Języki — Dory obsługuje wyłącznie angielski, a w jego mieszance danych do wstępnego trenowania znajdują się 43 języki programowania. MiniCPM5-2B jest dwujęzyczny: angielski i chiński. W przypadku obciążenia w języku chińskim ten wymiar rozstrzyga porównanie bez odwoływania się do żadnego innego wiersza.

• Licencja — OpenMDW 1.1 dla Dory, Apache 2.0 dla MiniCPM5-2B. Obie pozwalają na użycie komercyjne; Apache 2.0 jest tą, którą większość przeglądów prawnych już zatwierdziła.

• Elastyczność obliczeń — głębokość Dory'ego jest parametrem czasu wykonania: jedna pętla, gdy priorytetem jest opóźnienie, dwie jako zalecana wartość domyślna, cztery, gdy większe znaczenie ma dokładność w trybie agentowym — a wszystko to z jednego checkpointu. MiniCPM5-2B ma stałą głębokość, a jego dźwignią wydajności jest kwantyzacja — rodzina oferuje kompilacje GGUF, MLX, GPTQ i LiteRT oraz model szkicowy DSpark do dekodowania spekulacyjnego.

• Ekosystem — MiniCPM5-2B jest publicznie dostępny od początku września 2026 roku i ma ponad milion pobrań oraz szereg skwantyzowanych i pochodnych kompilacji. Cztery repozytoria Dory zostały zapełnione w ciągu nocy, a ich liczniki pobrań wynosiły zero w chwili pisania tego tekstu.

Liczby i dlaczego nie należy ich odejmować

Obie karty publikują tabele wyników benchmarków, a tabele te pokrywają się w wystarczającej liczbie zadań, by możliwe było porównanie ich obok siebie. Warto zrobić to starannie, ponieważ naiwne odjęcie wartości byłoby mylące w konkretny i przewidywalny sposób.

Odczytaj Dory przy jej trzech ustawieniach pętli w zestawieniu z pojedynczą raportowaną wartością MiniCPM5-2B:

• SciCode — 27,3 / 34,94 / 35,11 wobec 26,3. Od dwóch pętli wzwyż prowadzi Dory.

• SWE-bench Verified — 50,3 / 59,5 / 61,8 wobec 46,4.

• Terminal-Bench 2.1 — 12,5 / 18,1 / 22,2 wobec 8,6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 wobec 70,2. Nawet przy jednej pętli Dory nominalnie pozostaje z tyłu; przy trzech lub więcej pętlach wysuwa się minimalnie naprzód.

• HLE, tylko tekst — 8.25 / 10.89 / 10.43 wobec 8.9.

• IFBench — 74.29 / 77.94 / 79 wobec 66.3.

• AA-LCR — 63 / 71 / 73 wobec 59,0.

Dory wypada mocniej w większości tych przypadków, czasem znacznie. A oto powód, by nie wierzyć tej arytmetyce: to dwa różne środowiska testowe mierzące dwa różne zestawy promptów, a żaden z dostawców nie uruchomił modelu drugiego. N​VIDIA zmierzyła Dory w NeMo Gym i Nemo Evaluator SDK, przy czym karta ujawnia liczby powtórzeń dla poszczególnych benchmarków — SciCode osiem razy, AA-LCR szesnaście, a kilka benchmarków dokładnie raz. OpenBMB zmierzyła MiniCPM5-2B na własnej konfiguracji i podała jedną średnią 53,9 dla całego swojego zestawu. Różnica dwóch lub trzech punktów między tymi dwoma układami to szum, a nie wyrok. Żadna z kart nie stanowi niezależnej reprodukcji i żadna strona trzecia nie opublikowała bezpośredniego porównania tych dwóch modeli.

Istnieje jeden strukturalny powód, by oczekiwać, że widoczna przewaga Dory jest rzeczywista w zadaniach agentowych, a gdzie indziej zanika. Karta Dory pokazuje, że zapętlanie najbardziej się opłaca na SWE-bench i Terminal-Bench, a najmniej na przywoływaniu wiedzy — AA-Omniscience prawie nie zmienia się wraz z liczbą pętli. Mocne strony samego MiniCPM5-2B rozkładają się inaczej: podaje on 97,1 w τ²-Bench Telecom i 88,7 w GAIA Text-103, wyniki agentowe, których karta NVIDIA nie mierzy w porównywalnej formie. Jeśli twoim zadaniem jest użycie narzędzi w wąskiej domenie, liczby z karty MiniCPM są tymi, które należy sprawdzić najpierw, a żadna z nich nie pojawia się na karcie Dory.

Zwrć też uwagę na to, czego obie karty nie decydują się porównać. MiniCPM5-2B porównuje się w benchmarkach z Qwen3.5-4B na poziomie 51,1, granite-4.2-3B na poziomie 42,7 i LFM2.5-2.6B na poziomie 33,2 w swojej własnej średniej. Dory porównuje się w benchmarkach z Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B i Qwen3.6-35B-A3B. Jedynym modelem, dla którego obie karty podają liczbę, jest Qwen3.5-4B, a oceniają go różnie — co mówi więcej o środowiskach testowych niż o Qwen.

Ile kosztuje cię eksploatacja każdego z nich

Opowieść o działaniu MiniCPM5-2B jest nudna, a nuda to tutaj komplement. Standardowa architektura, brak własnych jąder, mnóstwo gotowych kwantyzacji oraz rodzina, która obejmuje już kompilacje MLX dla Apple Silicon, GPTQ do wnioskowania na GPU, LiteRT dla urządzeń mobilnych i model szkicowy do dekodowania spekulacyjnego. Model o 2,5 mld parametrów w kształcie LLaMA i kontekście 128K mieści się w skromnej pamięci i działa na silnikach, których już używasz. OpenBMB przedstawia całą linię jako zaprojektowaną do działania na urządzeniu i z założenia ograniczoną zasobowo, a nic w karcie nie wymaga od ciebie przyjmowania czegokolwiek nowego.

Historia działania Dory jest tą interesującą i nie jest ukończona. Wsparcie dla vLLM znajduje się w trakcie przeglądu w pull requeście 60149; dopóki nie zostanie scalony, karta mówi, aby zainstalować vLLM z tej gałęzi z ustawioną flagą precompiled-kernel, a następnie uruchomić z nadpisaniami konfigurującymi liczbę iteracji pętli rekurencyjnej i tryb KV-cache. Wsparcie dla llama.cpp znajduje się w pull requeście 30306, z przypiętą rewizją zamiast ruchomego HEAD, oraz instrukcjami budowania dla natywnego ARM64 macOS na Apple Silicon. Jedyne opublikowane przez NVIDIA liczby dotyczące szybkości Dory to przyspieszenia kwantyzacji na DGX Spark — 1,69× i 1,84× dla MXFP8 względem BF16 w zależności od proporcji wejścia/wyjścia, 2,17× i 2,44× dla NVFP4 — a nie liczby przepustowości. Nie ma hostowanego endpointu dla Dory nigdzie, gdzie moglibyśmy to zweryfikować.

Jedynym naprawdę nowatorskim elementem inżynierii po stronie Dory jest projekt pamięci i to właśnie to twierdzenie najbardziej warto sprawdzić, zanim podejmiesz decyzję. Standardowe rekurencyjne zapętlenie utrzymuje oddzielną pamięć podręczną KV dla każdej pętli, więc zużycie pamięci rośnie z każdym dodanym przebiegiem. Dory obsługuje tryb buforowania KV ostatniej pętli, który przechowuje pojedynczą pamięć podręczną na każdą rekurencyjną warstwę attention i nadpisuje ją przy każdym przebiegu, dzięki czemu zajętość pamięci pozostaje w przybliżeniu taka jak przy jednej pętli, niezależnie od tego, ile pętli uruchomisz. NVIDIA twierdzi, że dokładność pozostaje zbliżona do trybu z pamięcią podręczną dla każdej pętli, a długości wyjść są prawie niezmienione. Jeśli to się utrzyma, elastyczna głębokość jest realną możliwością; jeśli dokładność będzie dryfować, funkcja kosztuje więcej, niż sugeruje karta. Nikt spoza NVIDIA tego nie sprawdził.

Gdzie router się opłaca — a gdzie nie

MiniCPM5-2B nie znajduje się w katalogu OrcaRouter, podobnie jak Nvidia Nemotron Labs Dory 1.0 4B. Dory nie ma hostowanego endpointu, którego istnienia moglibyśmy potwierdzić; MiniCPM5-2B to model działający na urządzeniu, którego karta jest napisana z myślą o wdrożeniu lokalnym, a nie o platformie inferencyjnej. Powiedzenie tego wprost ma większe znaczenie niż szukanie ujęcia, ponieważ praktyczny skutek jest taki, że obie strony tego porównania działają na sprzęcie, który posiadasz.

Wtedy hostowana linia bazowa staje się kłopotliwą częścią eksperymentu. Większość zespołów oceniających model 2B lub 4B nie ocenia go w próżni — pytają, czy może zastąpić hostowane wywołanie za ułamek kosztu i ułamek możliwości, a odpowiedź na to pytanie wymaga uruchomienia hostowanego modelu na tym samym zestawie zadań. Jeden klucz OrcaRouter zapewnia dostęp do tych hostowanych modeli w cenie katalogowej dostawcy z 0% marży, bez drugiej umowy i drugiego SDK, więc porównanie nie wymaga własnego procesu zakupowego. Automatyczne przełączanie awaryjne ma tutaj znaczenie z innego powodu: długa lokalna ocena na pojedynczym GPU zostanie przerwana, a posiadanie ścieżki zapasowej już podłączonej za tym samym punktem końcowym pozwala przetrwać uruchomieniu. DSL routingu pozwala lokalnemu i hostowanemu punktowi końcowemu współdzielić jedno miejsce wywołania, dzięki czemu dwie połowy wdrożenia hybrydowego nie rozchodzą się w dwie oddzielne bazy kodu. Nic z tego nie wybiera zwycięzcę między Dory a MiniCPM5-2B. Dzięki temu można tanio wykluczyć przegranego.

Werdykt

Wybierz MiniCPM5-2B, jeśli trudności wdrożeniowe mają większe znaczenie niż szczytowe wyniki agentowe. Ma licencję Apache 2.0, jest o połowę mniejszy, dwujęzyczny, oparty na standardowej architekturze, a wokół niego dostępne są kwantyzacje, w tym środowiska uruchomieniowe mobilne. Jeśli Twój zespół musi wypuścić produkt w tym miesiącu, a alternatywą jest walka z kompilacją jądra, model 2.5B wygrywa już samą logistyką — a jego raportowane wyniki τ²-Bench i GAIA sugerują, że nie ustępuje wiele w zadaniach korzystania z narzędzi, do których małe modele są faktycznie wdrażane.

Wybierz N​VIDIA N​emotron Labs Dory 1.0 4B, jeśli to, czego chcesz, nie jest modelem, lecz eksperymentem: pojedynczy checkpoint, który sam skalibruje swoją własną dokładność wraz z mocą obliczeniową inferencji, okno 256K z projektem buforowania mającym uczynić to przystępnym, oraz licencja pozwalająca na wdrożenie komercyjne. Wchodź w to ze świadomością, że swój silnik serwujący zbudujesz z gałęzi, że każda opublikowana liczba pochodzi od samego dostawcy, na jego własnym harnessie, z liczbami powtórzeń ujawnionymi w przypisie, oraz że liczniki pobrań wciąż wynoszą zero. Zaletą jest to, że byłbyś wśród pierwszych osób spoza N​VIDIA, które przetestują naprawdę odmienny sposób wydatkowania mocy obliczeniowej na małym modelu. Kosztem jest to, że wykonywałbyś za nią pracę weryfikacyjną.

To, co najszybciej zmieniłoby to porównanie, to nie benchmark. Jest nim scalenie przez vLLM i llama.cpp ich pull requestów dotyczących Dory. W momencie, gdy Dory zacznie się ładować z wydanej binarki, argument związany z tarciem, który obecnie przemawia na korzyść MiniCPM5-2B, w dużej mierze zniknie, a oba modele w końcu zaczną konkurować na warunkach, które sugerują tabele benchmarków, a nie na warunkach narzucanych przez twój system budowania.

Nic z tego nie jest hipotetyczne: udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są zebrane w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporne.