Moondream 3 kontra MiniCPM-V 4.7: rachunek za przechowywanie MoE, którego nikt nie podaje

Zarówno Moondream 3 Preview, jak i MiniCPM-V 4.7 są modelami wizyjno-językowymi opartymi na mieszaninie ekspertów, a oba są reklamowane z niewielką liczbą aktywnych parametrów, która sprawia, że brzmią, jakby mieściły się na skromnym sprzęcie. Moondream 3 Preview aktywuje 2 mld ze swoich 9 mld parametrów na token. Flagowy wariant MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, aktywuje około 3 mld z 35 mld. Po przeczytaniu tych dwóch zdań można by oczekiwać, że to checkpoint Moondream będzie łatwiejszy do wdrożenia. To, czy tak jest, zależy wyłącznie od pytania, którego nie wysuwa na pierwszy plan żaden z wpisów zapowiadających premierę: gdzie mieszkają uśpieni eksperci?

To pytanie jest punktem, w którym te dwa modele naprawdę się rozchodzą, a odpowiedź stanowi cały powód, dla którego MiniCPM-V 4.7 istnieje w takiej właśnie formie. Jego wydanie — MiniCPM-V 4.7 35B-A3B i MiniCPM-V 4.7 1B od OpenBMB, opublikowane 6 października 2026 — zostało zbudowane wokół płynnego uruchamiania 35B MoE na telefonie bez pogarszania jego jakości. Moondream 3 Preview, wydany przez Moondream 18 września 2025 i będący obecnie częścią Prime Intellect po przejęciu w październiku 2026, obrał przeciwną drogę: utrzymać MoE w małym rozmiarze i uruchamiać go na GPU za pomocą Photon, własnego silnika wnioskowania Moondream. Żaden z tych wyborów nie jest błędny. To odpowiedzi na różne ograniczenia, a ograniczenie, któremu podlegasz, decyduje o tym, jak wypada dla ciebie to porównanie.

Parametry aktywne to liczba obliczeniowa, a nie pamięciowa.

To jest arytmetyka, która sprawia, że MoE na urządzeniu jest trudne, a OpenBMB wykłada to jasno w swojej własnej karcie modelu: model MoE może mieć znacznie więcej wszystkich parametrów, niż aktywuje dla pojedynczego tokenu, ale jego wymagania dotyczące pamięci na urządzeniu nie ograniczają się do tych aktywnych parametrów. Różne tokeny wybierają różnych ekspertów w różnych warstwach, a pamięć urządzenia często nie może pomieścić ich wszystkich.

• Moondream 3 Preview — 9B łącznie, 2B aktywnych. 24 warstwy, pierwsze cztery gęste, pozostałe to bloki feed-forward MoE z 64 ekspertami i 8 aktywowanymi na token. Wymiar ukryty 2048, wymiar wewnętrzny/bramkowy GeGLU 1024.

• MiniCPM-V 4.7 35B-A3B — łącznie 35B, około 3B aktywnych. Pierwszy MoE w serii MiniCPM-V. Wariant 1B w tym samym wydaniu jest gęsty, a nie MoE, co ma znaczenie poniżej.

• Rozbieżność — podziel aktywne przez całkowite, a Moondream 3 Preview wygląda na znacznie lżejszy model. Podziel bajty przez bajty, a to MiniCPM-V 4.7 35B-A3B dźwiga czterokrotnie więcej wag.

• Dlaczego to niczego nie rozstrzyga — to zbiór rezydentny ogranicza urządzenie, a zbiór rezydentny jest bliższy całości niż liczba aktywnych. MoE o 9B nie mieści się w pamięci, w której mieści się gęsty model o 2B, niezależnie od tego, co uruchomi router.

Zatem „2B active” to stwierdzenie o liczbie obliczeń na token. Nie jest to stwierdzenie o pamięci, jakiej potrzebujesz, a traktowanie go jako takie to najczęstszy sposób, w jaki zespoły błędnie szacują rozmiar wdrożenia MoE.

OpenBMB bezpośrednio rozprawił się z problemem przechowywania

Konstrukcję MiniCPM-V 4.7 najlepiej odczytywać jako trzy techniki wymierzone dokładnie w tę lukę. Lookahead Expert Scheduling wykorzystuje predykcję routingu międzywarstwowego, aby wstępnie załadować ekspertów, których następna warstwa prawdopodobnie będzie potrzebować, i priorytetyzuje te pomyślnie wstępnie pobrane spośród tych wybranych przez rzeczywisty router — predykcja kieruje wyłącznie wstępnym pobieraniem i planowaniem, podczas gdy obliczenia nadal podążają za oryginalnym routingiem na poziomie tokenów modelu, a każdy wymagany ekspert pominięty przez predykcję jest ładowany i oceniany jak zwykle. Drobnoziarnista kwantyzacja warstwowa zmniejsza zajętość pamięci masowej i ruch pamięciowy wag ekspertów. Próbkowanie spekulatywne DSpark jest zintegrowane ze ścieżką na urządzeniu, aby poprawić wydajność dekodowania oprócz obu.

Otrzymany wynik to ponad 13 tokenów na sekundę przy około 3 GB pamięci na iPhone 17 Pro Max, który OpenBMB opisuje jako pierwszy otwartoźródłowy model MoE działający płynnie na urządzeniu bez kompromisów w wydajności. Jego porównanie jest jednoznaczne i warte odnotowania ze względu na to, czym jest: w trybie Instruct MiniCPM-V 4.7 35B-A3B osiąga wyższy ogólny wynik w krótszym czasie wnioskowania niż Qwen3.6 35B-A3B. To zgłoszone przez dostawcę twierdzenie dotyczące modeli tej samej klasy rozmiarowej i jest to ten bardziej użyteczny rodzaj, ponieważ oba modele są mierzone na tym samym środowisku testowym.

Pozostała część historii wdrożeniowej jest wyjątkowo szeroka. Obsługiwane są iOS, Android i HarmonyOS, ze wsparciem od dnia zerowego dla platform chipowych od Rockchip, Houmo, Intel, AMD i Arm. Wnioskowanie działa na SGLang, vLLM, llama.cpp i Ollama; dostrajanie na SWIFT i LLaMA-Factory. Dostępne są kwantyzacje GGUF, BNB, AWQ i GPTQ, a także FP8. Wariant 1B to znów odrębna propozycja — gęsty, nie MoE — a OpenBMB pozycjonuje go jako model, który nadal ulepsza MiniCPM-V 4.6, jednocześnie znacząco przewyższając Qwen3.5 0.8B zarówno pod względem ogólnego wyniku, jak i wydajności wnioskowania, co jest uczciwym porównaniem dla modelu poniżej 1B.

Odpowiedzią Moondream było przeniesienie sprzętu, a nie wag.

Moondream nie próbował upchnąć modelu MoE 9B na telefonie. Zachował architekturę i zmienił miejsce działania: Photon, jego silnik inferencji, kompiluje każdy model do pojedynczego programu GPU z niestandardowymi kernelami i działa lokalnie na GPU NVIDIA od architektury Ampere wzwyż oraz na komputerach Mac z Apple Silicon, oferując to samo API co Moondream Cloud.

To obronna strategia, a ogłoszenie o przejęciu przez Prime Intellect wyjaśnia, dlaczego było to atrakcyjne: zespół Moondream zbudował Photon i stojący za nim kompilator megakernel, a argument Prime za kupnem spółki jest taki, że to obsługa, a nie architektura, decyduje o użyteczności modelu. Liczby przepustowości w tym wpisie — ponad 60 wnioskowań Moondream na sekundę na pojedynczym H100, odpowiedzi w dziesiątkach milisekund, Moondream 3.1 przy 34 żądaniach na sekundę — pochodzą od samego Prime i są teraz materiałem sprzedażowym, więc należy je odpowiednio oznaczyć. Kierunek jest jednak jednoznaczny: zakład Moondream polegał na tym, że wolisz szybki model oparty na GPU niż model rozmiaru telefonu.

Istnieje druga różnica, której w ogóle nie ma w karcie modelu. Hostowany endpoint Moondream 3 Preview, Moondream Cloud, zostanie wyłączony 13 listopada 2026 r. w następstwie przejęcia, a niewykorzystane zakupione kredyty zostaną zwrócone. MiniCPM-V 4.7 nie ma takiej zależności, ponieważ nigdy nie był przede wszystkim produktem hostowanym — to zestaw wag z szeroką narracją dotyczącą wdrożeń na urządzeniach. Jeśli Twoja ocena obejmowała wygodę wywoływania endpointu, ta wygoda wygasa po jednej stronie tego porównania.

Możliwość zadania: obie karty są szczere w różnych kwestiach.

Cztery natywne umiejętności Moondream 3 Preview to query, caption, point i detect — wszystkie zwracają ustrukturyzowane dane wyjściowe — a wpis premierowy w pierwszej kolejności omawia detekcję i wskazywanie. Umiejętność query domyślnie działa w trybie rozumowania, z udokumentowaną flagą reasoning=False dla prostych pytań, a ślady rozumowania są ugruntowane — odwołują się do konkretnych części obrazu, dlatego Moondream nazywa to rozumowaniem wizualnym z ugruntowaniem, a nie rozumowaniem w ogóle. Kontekst to 32K tokenów, w porównaniu z około 2K w poprzedniej generacji, z wykorzystaniem niestandardowego tokenizera SuperBPE; wpis premierowy otwarcie przyznaje, że etap po treningu nie wykorzystuje w pełni długiego okna, a pełne 32K służy głównie do dostrajania.

Karta MiniCPM-V 4.7 przoduje natomiast w wydajności i wszechstronności: rozumieniu pojedynczych obrazów, wielu obrazów i wideo, z mieszaną kompresją tokenów wizualnych 4x/16x, która pozwala wymieniać szczegółowość wizualną na koszt wnioskowania w zależności od zadania, oraz wczesną kompresją wewnątrz ViT z LLaVA-UHD v4, która zmniejsza obliczenia w późniejszych warstwach enkodera. Dostarcza również metodę dostrajania — Self-Replay Fine-Tuning — mającą na celu tanie rozszerzanie możliwości modelu przy jednoczesnym ograniczaniu zapominania tego, co już wiedział.

• Ugruntowana detekcja i wskazywanie — Moondream 3 Preview: natywne umiejętności w architekturze, ustrukturyzowane współrzędne, ugruntowane ślady rozumowania. MiniCPM-V 4.7: rozumienie wielu obrazów i wideo to deklarowane mocne strony; karta nie wiedzie prymu w detekcji otwartego słownika.

• Wideo — MiniCPM-V 4.7 obsługuje wejście wideo, z udokumentowanym przykładem wykorzystującym 128 klatek. Karta Moondream 3 Preview dokumentuje możliwości przetwarzania obrazów wraz z buforowaniem kodowania obrazu dla powtarzanych zapytań dotyczących tego samego obrazu.

• Kontrolowana szczegółowość — MiniCPM-V 4.7: parametr downsample_mode, domyślnie 16x, a 4x dla większej szczegółowości, wybierany przy każdym wywołaniu. Moondream 3 Preview: konkatenacja kanałów multi-crop w enkoderze wizyjnym, przy czym we wpisie premierowym zauważono, że enkoder może się gubić przy bardzo małych czcionkach.

• Licencja — MiniCPM-V 4.7: Apache 2.0, oba warianty. Moondream 3 Preview: Business Source License 1.1 z Additional Use Grant, który zezwala na użycie komercyjne i produkcyjne oraz zabrania oferowania hostowanego Moondream ogólnego przeznaczenia. Moondream 3.1 przeszedł na Moondream Model License 1.0 z tym samym kluczowym ograniczeniem wyrażonym jaśniej.

Kwestia licencji nie jest przypisem w tym porównaniu. Jeśli zamierzasz hostować model dla innych osób, Apache 2.0 i warunki source-available Moondream nie są nawet w przybliżeniu taką samą pozycją startową — i jest to prawdą niezależnie od tego, który z nich wypada lepiej w benchmarkach dla twojego zadania.

Fine-tuning jest tym, na co wskazują obie karty, z przeciwnych powodów.

Obaj dostawcy mówią, że model bazowy nie jest produktem, co jest odświeżające, a także stanowi wskazówkę, gdzie leży wartość.

Wpis Moondream o premierze wymienia możliwość trenowania jako jeden z czterech celów, argumentując, że prawdziwe zadania wizyjne wymagają specjalizacji — interpretacji zdjęcia RTG, dostrzegania ludzi w potrzebie w tłumie — a nawet ludzie potrzebują do nich szkolenia. Firma wypuściła w tym celu Lens, a premiera Moondream 3.1 poszła dalej: opublikowane wyniki benchmarków 3.1 powstały przez dostrajanie LoRA dla poszczególnych zadań na własnym zbiorze treningowym każdego benchmarku za pomocą Lens, a następnie wtapiając to, czego się nauczyły, z powrotem w wagi bazowe przez destylację on-policy, dzięki czemu pobierany checkpoint osiąga dobre wyniki bez dostrajania. To warto przeczytać dwa razy. To prawomocny sposób pracy i nietypowo przejrzyste ujawnienie, a oznacza też, że te liczby nie są zimnymi wynikami od razu po wyjęciu z pudełka — modelowi podano zbiory treningowe omawianych zadań.

Odpowiednikiem ze strony OpenBMB jest Self-Replay Fine-Tuning, ukierunkowany na inny problem: dodawanie możliwości bez zapominania istniejących, przy niskim koszcie. Jego główna obietnica dotyczy utrzymania, a nie szczytowego wyniku.

Jeśli zamierzasz dostroić którykolwiek z tych modeli, praktyczna różnica jest tą samą, która przewija się przez całe to porównanie. Ścieżka Moondream zakłada GPU i usługę hostowaną. Ścieżka MiniCPM-V 4.7 zakłada, że możesz dostroić model na frameworkach, których już używasz, a następnie wdrożyć go na urządzenia, które już są twoim celem, z opublikowanym podejściem do kwantyzacji na urządzeniu, które pozwoli go tam przenieść.

Kiedy warstwa routingu zasługuje na swoje miejsce

Żaden z tutejszych modeli nie jest udostępniany przez OrcaRouter — oba to checkpointy z otwartymi wagami, które hostujesz samodzielnie, a jeden z nich traci w przyszłym miesiącu swój hostowany endpoint. To sprawia, że ciekawe pytanie to to, którego unikają obie karty: co dzieje się z żądaniami, które wybrany model obsługuje źle?

Standardową odpowiedzią jest drugi model, a standardowym kosztem drugiego modelu jest integracja: kolejny SDK, kolejny schemat uwierzytelniania, kolejna polityka ponawiania. To rodzaj pracy, która po cichu pochłania sprint, a potem staje się stałym utrzymaniem. Fuzja modeli OrcaRouter istnieje dla węższej wersji tego problemu — panelu modeli odpowiadających wspólnie przy wywołaniach, w których odpowiedź jednego modelu nie jest wystarczająco wiarygodna samodzielnie — a DSL routingu dla szerszej, pozwalając komponować kilka modeli w jedno wywołanie, tak aby tani lokalny model obsługiwał łatwą większość, a coś większego przejmowało resztę.

Za jednym kluczem dostępnych jest ponad 200 modeli po cenie katalogowej dostawcy, bez doliczonej marży, co oznacza, że obniżka ceny u dostawcy dociera do Ciebie tego samego dnia, a nie dopiero w kolejnym cyklu rozliczeniowym, a przełączanie awaryjne między dostawcami jest automatyczne, gdy usługa nadrzędna ulega degradacji. W przypadku VLM hostowanego samodzielnie warstwa routingu znajduje się ponad modelem, a nie zastępuje go. To uczciwy opis jego miejsca w tym porównaniu, a w systemie, w którym MiniCPM-V 4.7 35B-A3B działa na urządzeniu, a model hostowany pokrywa braki, to właśnie ten element sprawia, że oba nie stają się dwoma systemami.

Który z nich — decyduje o tym ograniczenie, które faktycznie masz.

Jeśli model ma działać na urządzeniu, MiniCPM-V 4.7 35B-A3B jest odpowiedzią i to nie jest nawet blisko. OpenBMB zbudowało całe wydanie wokół problemu pamięciowego, który uniemożliwia uruchomienie 35B MoE na telefonie — szeregowanie ekspertów, kwantyzacja warstwowa, dekodowanie spekulatywne — i opublikowało wynikającą z tego liczbę: ponad 13 tokenów na sekundę w około 3 GB. Nic w Moondream 3 Preview nie rozwiązuje tego problemu, ponieważ Moondream postanowił go nie mieć.

Jeśli w grze jest GPU, a zadaniem jest detekcja ugruntowana, Moondream 3 Preview jest bardziej wyspecjalizowanym narzędziem. Natywne wykrywanie i wskazywanie ze strukturalnymi współrzędnymi oraz możliwymi do zbadania śladami rozumowania ugruntowanego to inny produkt niż ogólny model multimodalny, który odczytuje także tekst z obrazów, a jeśli wynik weryfikuje człowiek, to właśnie ten ślad jest kluczową cechą.

Jeśli wahasz się między tymi dwoma, nie podejmuj decyzji na podstawie tabel z benchmarkami. Przepuść własne obrazy przez oba z własnymi promptami i oceń wyniki, ponieważ jedyną liczbą w tym porównaniu, która przetrwa zetknięcie z Twoim obciążeniem, jest ta, którą sam uzyskasz. A licencję sprawdź przed modelem, ponieważ Apache 2.0 i licencja source-available z ograniczeniem dla usług hostowanych to zupełnie inna decyzja — jedna z nich może zakończyć ocenę, zanim liczby dotyczące dokładności zaczną mieć znaczenie.

Takie porównania jak to są również miejscem, w którym ujawniają się tryby awarii: udokumentowane incydenty AI i awarie agentów stojące za modelami w tej klasie są gromadzone w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis zawiera własne źródła, wagę, ocenę pewności i znacznik sporności.