MiniCPM-V 4.7 vs LFM3-VL-2B: Lepszy wynik w benchmarku to niewłaściwy czujnik

{{1}}Liquid AI umieściło MiniCPM-V 4.7 1B we własnej tabeli porównawczej, a następnie go pobiło.{{/1}} W zestawie 62 benchmarków uruchomionych przez Liquid {{2}}LFM3-VL-2B osiąga średnio 71,4 przy włączonym rozumowaniu i 62,1 bez niego; MiniCPM-V 4.7 1B osiąga średnio 57,5.{{/2}} To różnica 13,9 punktu w segmencie małych modeli i to liczba, na której zatrzymuje się większość wpisów porównawczych. Jest to jednak najmniej użyteczna liczba w tej decyzji, ponieważ oba modele nie konkurują o to samo miejsce. Jeden to gęsty model z 1,92 miliarda parametrów, zbudowany tak, by być całą odpowiedzią. Drugi to tania połowa dwumodelowego systemu, którego droga połowa jest mieszanką ekspertów z 35 miliardami parametrów.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Trzy poziomy udające dwa modele

LFM3-VL-2B to jeden artefakt. To 1,92 miliarda parametrów złożonych z 1,73B szkieletu językowego, wewnętrznego enkodera wizyjnego o rozmiarze 164M i projektora 25M, z kontekstem 128K tokenów, wideo próbkowanym z częstotliwością dwóch klatek na sekundę oraz pojedynczym zestawem wag, który realizuje detekcję, OCR, analizę wykresów i opisywanie. Liquid ogłosił rodzinę LFM3 27 października 2026 r.; repozytorium LFM3-VL-2B pojawiło się 19 października.

MiniCPM-V 4.7 to dwa artefakty ze wspólną wieżą wizyjną. Wariant 1B to gęsty backbone qwen3_5_text z 24 warstwami, kontekstem 262 144 tokenów i trzema warstwami uwagi liniowej na każdą warstwę pełnej uwagi. Wariant 35B-A3B to rzadki model z 256 ekspertami, który kieruje ośmiu ekspertów na token, zachowuje ten sam kontekst 262 144 tokenów i istnieje, ponieważ OpenBMB chciało dużego modelu, który mógłby strumieniować ekspertów z pamięci masowej, zamiast trzymać ich w pamięci. Oba są objęte licencją Apache-2.0. Wagi pojawiły się 6 i 7 października 2026 r., karta modelu ukazała się 12 października, a ModelBest wydało angielskojęzyczny komunikat prasowy 15 października.

Uczciwe ujęcie nie brzmi więc: „2B kontra 1B”. Brzmi: „jeden model, który musi robić wszystko” przeciwko „rodzinie, w której wybierasz, ile modelu zasługuje na każde pytanie”. Jeśli Twój pipeline zadaje jedno pytanie na obraz, kształt LFM3-VL-2B jest prostszy i, na dolnym końcu, mocniejszy. Jeśli Twój pipeline zadaje dziesięć tysięcy tanich pytań i jedno drogie, kształt MiniCPM jest z założenia tańszy.

Co mówi własna tabela Liquid i ile kosztuje jej odczytanie

Zestaw 62 testów porównawczych należy do Liquid, został uruchomiony na vLLM 0.27.1, znormalizowany do skali 0–100, z włączonym trybem rozumowania dla każdego modelu poza wierszami oznaczonymi inaczej. To normalne, że dostawca testuje konkurenta, i warto to przeczytać, ale środowisko testowe należy do dostawcy, zestaw promptów należy do dostawcy, a agregat należy do dostawcy. Traktuj wiersze jako twierdzenia.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Schemat jest spójny: przy włączonym rozumowaniu gęsty model 2B lepiej radzi sobie z wieloetapowym rozumowaniem wizualnym i interpretacją wykresów, a w zwykłym OCR wypada mniej więcej na tym samym poziomie. Przy wyłączonym rozumowaniu różnica spada do około 4,6 punktu, co pokazuje, że większość przewagi uzyskuje się dzięki tokenom w czasie testu, a nie dzięki parametrom. Ma to większe znaczenie dla opóźnienia niż dla jakości, a opóźnienie to oś, którą to porównanie zwykle pomija.

Niezależny test, który odwraca ranking

W późnym październiku WebBrain opublikował benchmark zrzutów ekranu przeglądarki obejmujący 100 przypadków, uruchomiony całkowicie offline w Q4_K_M GGUF na dwóch kartach RTX 5060 Ti, z zamrożonym zestawem zrzutów ekranu, jednym promptem produkcyjnym i deterministycznymi kryteriami oceny. MiniCPM-V 4.7 1B uzyskał 37 ścisłych zaliczeń na 100 i średni wynik kryteriów wynoszący 68,2 procent przy 1,30 sekundy na zrzut ekranu. LFM3-VLD-2B — bliźniaczy wariant modelu Liquid, a nie dokładnie checkpoint LFM3-VL-2B — uzyskał 4 ścisłe zaliczenia i 44,7 procent przy 2,20 sekundy.

Zastrzeżenie jest istotne i działa w obie strony. Przy rygorystycznym wyrażeniu regularnym dla numerowanych nagłówków MiniCPM uzyskał zero zaliczonych prób, ponieważ zapisywał nagłówki sekcji jako etykiety tekstowe zamiast cyfr. Wynik 37 zaliczeń pochodzi z ponownego oceniania tych samych wyników według nazwy sekcji. To rzeczywisty błąd formatowania i jeśli Twój parser downstream oczekuje numerowanych nagłówków, jest to dyskwalifikujące. Ale wynik treści nie jest blisko: 68,2 wobec 44,7, przy 60 procentach opóźnienia, w zadaniu — odczytywaniu gęstego viewportu przeglądarki — które jest znacznie bliższe produkcji niż benchmark wykresów.

To jedyna niezależna ocena, jaką którykolwiek z modeli ma w tej klasie; to jeden zestaw testowy na jednej parze GPU, a testowany model Liquid to wariant VLD. Wciąż dostarcza więcej informacji niż zbiorczy wynik 62 testów, ponieważ mierzy to, co faktycznie robisz z małym modelem wizyjnym: patrzysz na ekran i szybko odpowiadasz na ustalone pytanie.

Licencja jest cichym decydentem

MiniCPM-V 4.7 jest udostępniany na licencji Apache-2.0 bez warunku dotyczącego przychodów. LFM3-VL-2B jest udostępniany na licencji LFM Open License v1.0, którą Liquid opisuje jako bezpłatną do użytku komercyjnego poniżej 10 milionów dolarów rocznego przychodu. Powyżej tego progu warunki się zmieniają i trzeba je przeczytać.

W projekcie hobbystycznym ta różnica jest teoretyczna. W produkcie to pierwsza rzecz, o którą zapyta prawnik, i jedyny wiersz w każdej tabeli porównawczej, którego żaden benchmark nie jest w stanie przebić. Model, który jest o cztery punkty lepszy w rozumowaniu na wykresach i wiąże się z progiem przychodowym, nie jest automatycznie lepszą zależnością. To także miejsce, w którym wybór Apache-2.0 w obu rozmiarach MiniCPM-V 4.7 robi więcej niż liczby z benchmarków: eliminuje rozmowę.

Cadence: liczba, której nie podaje żadna z tabel

Monitor kotów esp32-eye to najwyraźniejszy publiczny przykład faktycznego użycia MiniCPM 1B. Działa jako Q4_K_M GGUF za llama-server na MacBooku i jest wywoływany najwyżej raz na 1,5 sekundy, z bramkowaniem przez kontrolę różnicy tła, dzięki czemu większość klatek nigdy do niego nie dociera. Ten sam build uznał 1B za niewiarygodny w rozróżnianiu czterech podobnych kotów i przeniósł identyfikację na 35B, zamiast wypuszczać zgadywanie.

To jest profil wdrożenia, którego tabele benchmarków nie oddają. Model wywoływany co 1,5 sekundy musi być wystarczająco mały, by pozostać w pamięci, wystarczająco szybki, by odpowiedź nadeszła przed następną klatką, i wystarczająco permisywny, by można było go wdrożyć. Model 1B spełnia wszystkie trzy warunki. LFM3-VL-2B zajmuje 1,25 GB w Q4 i potrzebuje 2,2 sekundy na zrzut ekranu w niezależnym teście, co jest w porządku w potoku przetwarzania pojedynczych obrazów, a zbyt wolne dla bramki 1,5 sekundy na tym samym sprzęcie.

Jeśli chcesz hostowany punkt końcowy zamiast lokalnego pliku, to żaden z tych modeli nie znajduje się dziś w katalogu OrcaRouter, więc uczciwa odpowiedź brzmi: model 1B działa tam, gdzie go umieścisz, a 35B działa przez własne API OpenBMB. To, co router faktycznie oferuje, to otaczająca architektura: jeden klucz do ponad 200 modeli, 0% narzutu na ceny katalogowe dostawców, oraz automatyczne przełączanie awaryjne, dzięki któremu utrzymujesz przy życiu potok dwóch modeli, gdy kosztowny etap to pojedynczy zewnętrzny punkt końcowy. Nie sprawia to, że model niehostowany staje się hostowanym, i warto powiedzieć to wprost.

Który wybrać?

Jeśli budujesz potok przetwarzania obrazu oparty na jednym modelu i chcesz mieć najsilniejszego generalistę klasy 2B w benchmarkach publikowanych przez oba laboratoria, LFM3-VL-2B jest wyborem, którego można bronić, pod warunkiem odnotowania zastrzeżenia licencyjnego. Jeśli budujesz agenta, który w pętli patrzy na ekrany, niezależny test przeglądarkowy stawia MiniCPM 1B wyżej zarówno pod względem wyniku, jak i opóźnienia, a jego dyscyplinę formatowania należy poprawić w parserze, a nie w modelu.

Jeśli potrzebujesz modelu, który potrafi przeczytać dokument o 262 144 tokenach, obejrzeć wideo i nie odstawać na MMMU, żaden z małych modeli nie jest odpowiedzią: to poziom 35B-A3B, w którym OpenBMB podaje 80,2 na MMMU, 91,2 na OCRBench i 68,9 na LongVideoBench — wszystkie dane od dostawcy i żadne nie zostały niezależnie odtworzone. Prawdziwa decyzja nie dotyczy tego, który 2B wygrywa. Chodzi o to, czy Twój pipeline może sobie pozwolić na tanie zadawanie łatwego pytania i rzadkie zadawanie trudnego — a jeśli może, projekt z dwoma modelami jest tańszy niż jakikolwiek pojedynczy model, który próbuje być dobry w obu.

Ostatnia kalibracja. 13,9-punktowa różnica publikowana przez Liquid jest realna w zestawie testów Liquid, a 23,5-punktowa różnica publikowana przez WebBrain jest realna w zestawie WebBrain — i wskazują przeciwne kierunki, ponieważ mierzą różne zadania. Każdy, kto cytuje jedną bez drugiej, sprzedaje ci wniosek. Przydatne pytanie nie brzmi, który model jest lepszy; brzmi, ile razy dziennie musisz zapytać i ile jesteś gotów zapłacić za odpowiedź.