LFM3-VL-2B vs MiniCPM-V 4.7 1B: 14-punktowa różnica, która maleje do 4 po wyłączeniu trybu myślenia

Najistotniejsza różnica między LFM3-VL-2B a MiniCPM-V 4.7 1B nie tkwi w żadnej z tabel benchmarków. Tkwi w wierszu licencji. Model OpenBMB jest na licencji Apache 2.0. Model Liquid AI jest objęty LFM Open License v1.0, która zawiera warunki komercyjne zamiast zwykłych warunków permisywnych. Poza tym oba modele mają wystarczająco zbliżoną wielkość, by być bezpośrednimi zamiennikami — 1,92B wobec 1,55B — i pojawiły się w odstępie trzech tygodni od siebie: MiniCPM-V 4.7 1B trafił na Hugging Face 6 października i został opatrzony datą 12 października w notach wydania dostawcy, podczas gdy LFM3-VL-2B był dostępny w publicznym repozytorium od 19 października i został ogłoszony 27 października. W zestawie 62 benchmarków Liquid nowy model osiąga średnio 71,4 wobec 57,5 — różnica 13,9 punktu, która spada do 4,6 punktu w momencie wyłączenia rozumowania w modelu Liquid.

Dwa modele w tej samej klasie wagowej, podlegające różnym zasadom.

MiniCPM-V 4.7 1B jest mniejszym z dwóch o około 370 milionów parametrów. Łączy wieżę wizyjną w stylu SigLIP z wywodzącym się z Qwen3.5 szkieletem językowym, stosuje wybieraną dla każdego żądania kompresję tokenów wizualnych 4× lub 16× i według dokumentacji dostawcy deklaruje okno kontekstu 256K. Jest dostarczany w wersjach BF16, int4, AWQ, GPTQ i GGUF, z dedykowanym modelem szkicowym DSpark do dekodowania spekulatywnego.

LFM3-VL-2B łączy model językowy LFM3-1.7B z nowym opracowanym wewnętrznie enkoderem wizyjnym 164M i projektorem 25M, przy udokumentowanym kontekście 128K, z wejściem wideo przy 2 klatkach na sekundę i udokumentowanym trybem bez myślenia.

• Parametry — 1,92B dla LFM3-VL-2B w porównaniu z 1,55B dla MiniCPM-V 4.7 1B, według dokumentacji OpenBMB; oznaczenie rozmiaru modelu na Hugging Face zaokrągla ten drugi do 2B.

• Licencja — LFM Open License v1.0 a Apache 2.0.

• Kontekst — 128 tys. tokenów w porównaniu z deklarowanymi 256 tys., choć konfiguracje wnioskowania zwykle ustawiają ten limit znacznie niżej.

• Ścieżka wizyjna — wewnętrzny enkoder 164M z jednym tokenem na blok 2×2 w porównaniu z wieżą w stylu SigLIP z kompresją 4×/16×.

• Wideo — 2 klatki na sekundę, pierwszy model wizyjny LFM obsługujący wideo, z opublikowanymi przez dostawcę wynikami LongVideoBench i MotionBench.

• Tryb rozumowania — dostępny i mierzony na oba sposoby vs dostępny i używany w przebiegu testu porównawczego.

• Średnia dostawcy w zestawie 62 benchmarków Liquid — 71,4 z myśleniem, 62,1 bez myślenia, wobec 57,5.

Łączna różnica wynosi 13,9 punktu. Najpierw przeczytaj przypis.

Tabela Liquid to jedyny artefakt, który ocenia oba modele na tych samych 62 benchmarkach z tą samą normalizacją, i to właśnie dzięki niemu to porównanie jest w ogóle możliwe. Własna karta OpenBMB nie zawiera porównania z LFM3-VL-2B, który nie istniał, gdy MiniCPM-V 4.7 1B trafił na rynek.

Istotny przypis: tryb rozumowania zastosowano dla każdego modelu w tabeli z wyjątkiem LFM2.5-VL-3B, który go nie obsługuje, oraz konfiguracji LFM3-VL-2B bez myślenia. Zatem 71,4 i 57,5 to oba wyniki z włączonym rozumowaniem, co czyni porównanie uczciwszym niż zestawienie z LFM2.5. Oba modele są mierzone w swoich najlepszych ustawieniach, na tych samych narzędziach, przez to samo laboratorium.

Uczciwe nie znaczy to samo co niezależne. Liquid wybrał benchmarki i je przeprowadził. Tabela jest nietypowo kompletna — zawiera wiersze na poziomie kategorii i poszczególnych benchmarków oraz wymienia każdego konkurenta — ale żadna strona trzecia nie odtworzyła żadnej jej części.

Wyłącz myślenie, a 1B wygrywa 24 z 62

LFM3-VL-2B publikuje drugi wynik dla tych samych wag przy wyłączonym rozumowaniu. Ta kolumna jest ciekawa, ponieważ pokazuje, skąd tak naprawdę pochodzi zagregowany wynik 13,9 punktu. Bez rozumowania LFM3-VL-2B wygrywa 35 benchmarków, MiniCPM-V 4.7 1B wygrywa 24, a 3 kończą się remisem. Średnia różnica spada do 4,6 punktu.

Bardziej uderzające jest to, co 1B wygrywa w tej konfiguracji. Zdobywa większość w klastrze matematyki i rozumowania na wykresach, często ze znaczną przewagą.

• We-Math (testmini, tryb rygorystyczny) — 47,8 dla MiniCPM-V 4.7 1B w porównaniu z 20,1 dla LFM3-VL-2B bez myślenia i 68,6 z myśleniem.

• LogicVista — 46,1 vs 30,2 bez rozumowania, 60,4 z rozumowaniem.

• MathVista (mini) — 71,2 vs 68,5 bez myślenia, 84,2 z myśleniem.

• ChartQA (test) — 88,8 vs 81,4 bez myślenia, 92,7 z myśleniem.

• CharXiv (opisowy) — 73,4 vs 65,5 bez myślenia, 87,5 z myśleniem.

• DynaMath — 63,8 vs 57,7 bez myślenia.

• MMMU (wal.) — 51,0 vs 48,6 bez myślenia, 55,7 z myśleniem.

Wynik We-Math jest tym, nad którym warto się zatrzymać: 27,7-punktowa przewaga modelu 1B, gdy żaden z modeli nie może rozumować — i 20,8-punktowa przewaga LFM3-VL-2B, gdy tylko może. We-Math to benchmark ścisłej dokładności dla wieloetapowej matematyki wizualnej, a wynik nie zmienia się stopniowo między tymi dwoma modelami. On się odwraca. To najwyraźniejsza pojedyncza ilustracja w tabeli tego, co daje tryb rozumowania.

Praktyczny wniosek: jeśli wyłączysz rozumowanie ze względu na opóźnienia, a Twoje obciążenie obejmuje liczby na wykresach lub diagramach, zbiorcza przewaga większego modelu Cię nie ochroni. Model 1B jest lepszym narzędziem.

Gdzie LFM3-VL-2B wygrywa niezależnie od trybu

Odwrotność również jest prawdziwa, a kategorie są równie konkretne. Pięć z nich jest bliskich jednostronności nawet w kolumnie bez myślenia.

• rozumienie GUI — 83,1 z myśleniem, 81,5 bez myślenia, w porównaniu z 45,3 dla MiniCPM-V 4.7 1B. ScreenSpot-Pro to 55,5 wobec 4,9; ScreenSpot-v2 Desktop to 94,6 wobec 51,5.

• Ugruntowanie wizualne — 77,3 z myśleniem, 72,6 bez myślenia, wobec 51,1. RefCOCO-avg osiąga 90,5 wobec 86,3.

• Rozumowanie ucieleśnione — 64,4 z myśleniem, 57,9 bez myślenia, w porównaniu z 45,3.

• Agentic — 42,5 z myśleniem, 32,9 bez myślenia, wobec 16,9. Najsłabsza kategoria dla wszystkich czterech modeli w tabeli i największa względna różnica między tymi dwoma.

• Wielojęzyczność — 84,4 w trybie thinking, 76,2 w trybie no-thinking, wobec 77,4. Jedyna kategoria, w której model Liquid bez trybu thinking przegrywa z modelem 1B.

ScreenSpot-Pro z wynikiem 55,5 wobec 4,9 to największa pojedyncza różnica między tymi dwoma modelami w całym zestawie 62 benchmarków. Jeśli budujesz automatyzację interfejsu użytkownika, nie ma tu nad czym się zastanawiać; jeśli budujesz korepetytora matematyki, ranking się odwraca. Średnia 13,9 punktu to artefakt uśredniania dwóch populacji, które zachowują się bardzo różnie.

Dwa harnessy, dwie liczby dla tego samego benchmarku

To właśnie ta część sprawia, że porównywanie produktów różnych dostawców jest zdradliwe, i dlatego zasługuje na osobną sekcję — obaj dostawcy publikują liczby dla benchmarków o tej samej nazwie.

OpenBMB podaje MathVista 74,3 dla MiniCPM-V 4.7 1B na swojej własnej stronie. Ponowne uruchomienie przez Liquid tego samego modelu na tym samym benchmarku o tej nazwie daje 71,2. OpenBMB podaje OCRBench 86,1; harness Liquid podaje OCRBench v1 na poziomie 82,1. Żadne z laboratoriów nie kłamie. Stosują różne formaty promptów, różne zasady wyodrębniania odpowiedzi lub różne podzbiory, a wynikające z tego różnice wynoszące 3,1 i 4,0 punktu to zwykła wariancja harnessu.

Konsekwencja jest taka, że nie można wziąć wyniku 74,3 OpenBMB i odjąć od niego wyniku 68,5 Liquid w MathVista bez trybu myślenia dla LFM3-VL-2B, aby otrzymać przewagę 5,8 punktu. Była to interpretacja możliwa do obrony przed 27 października, kiedy jedyny wspólny benchmark między MiniCPM-V 4.7 1B i LFM2.5-VL-3B mierzono na dwóch różnych stanowiskach testowych. Nie da się jej obronić teraz, gdy Liquid opublikował oba modele w jednej tabeli. Użyj tabeli i traktuj każdą liczbę ze strony producenta jako należącą do jej własnego narzędzia pomiarowego.

Remis, który po cichu rozstrzyga starszy spór

W tej samej tabeli znajduje się wynik, którego nikt w żadnej z obu firm nie rozgłaszał. MiniCPM-V 4.7 1B osiąga średnio 57,5 w 62 benchmarkach. LFM2.5-VL-3B osiąga średnio 57,6.

Strona produktu OpenBMB twierdzi, że model 1B przewyższa LFM2.5-VL-3B w OCR, rozumieniu wykresów i rozumieniu wideo. W zestawie testów Liquid to twierdzenie jest w połowie prawdziwe, a w połowie fałszywe, a wynik łączny to całkowity remis:

• Dokument, OCR i wykres — 73,0 dla MiniCPM-V 4.7 1B vs 71,2 dla LFM2.5-VL-3B. Twierdzenie potwierdzone, ale z niewielką przewagą.

• Wideo — 53,7 vs 41,3. Twierdzenie potwierdzone, zdecydowanie.

• Matematyka — 51,8 vs 40,6. Twierdzenie potwierdzone, a nie wspomniano o nim w pierwotnym twierdzeniu.

• Ugruntowanie wizualne — 51,1 vs 68,3. Twierdzenie zdecydowanie nie znajduje potwierdzenia.

• Rozumienie GUI — 45,3 vs 66,0. Twierdzenie zdecydowanie się nie potwierdza.

• Agentic — 16,9 vs 21,1. Twierdzenie nie potwierdza się.

Zatem model 1,55B na licencji Apache 2.0 dorównuje modelowi 3,1B z dobrze finansowanego laboratorium we wspólnym zestawie 62 benchmarków, i czyni to, wygrywając niektóre kategorie zdecydowanie, a w innych zdecydowanie przegrywając. To prawdziwy wynik dotyczący gęstości zdolności, a także ostrzeżenie przed tym, co ukrywa średnia. Co sprowadza porównanie z powrotem do LFM3-VL-2B: model, który bije oba, to ten, którego tryb rozumowania podnosi jego najsłabsze kategorie, a nie ten, który jest jednolicie lepszy.

Licencja, pliki do pobrania i co faktycznie możesz dostarczyć

Różnica w licencji zadecyduje o większej liczbie wdrożeń niż jakikolwiek wiersz powyżej. Apache 2.0 nie wymaga rozmowy z działem prawnym. LFM Open License v1.0 zawiera warunki komercyjne i choć jest wystarczająco otwarta, by Liquid wydawał każdy model z rodziny na jej podstawie, nie jest to ta sama zgoda.

Adopcja opowiada podobną historię. Na Hugging Face MiniCPM-V 4.7 1B zgromadził od 6 października około 155 000 pobrań i nieco ponad 400 polubień. LFM3-VL-2B w chwili pisania ma kilkaset pobrań i 16 polubień; jest publicznie dostępny od dziewięciu dni, a ogłoszony od jednego. Liczby pobrań to zaszumiony sygnał — zawyżają je potoki CI i lustrzane kopie kwantyzacji — ale różnica trzech rzędów wielkości nie jest szumem. Odzwierciedla ona, że za jednym modelem stoi miesiąc narzędzi, samouczków i społecznościowych kwantyzacji, a za drugim — jeden dzień.

Narzędzia podążają za tym samym schematem. MiniCPM-V 4.7 1B wymienia Transformers, SGLang, vLLM, llama.cpp, Ollama i OpenVINO oraz natywne aplikacje na iOS, Androida i HarmonyOS. LFM3-VL-2B ma SGLang w dniu premiery, dostępne wagi GGUF, a obsługa llama.cpp wciąż jest w recenzji — bez wejścia wideo w oczekującej implementacji, zgodnie z jego własną kartą modelu.

Który model do jakiego zadania

• automatyzacja UI, odczytywanie ekranu, percepcja robotyczna — LFM3-VL-2B, bez wahania, a tryb bez myślenia jest w porządku. ScreenSpot-Pro przy 55,5 wobec 4,9 to nie jest różnica, którą można zniwelować inżynierią.

• Rozumowanie na wykresach, matematyka wizualna, pytania z diagramami — MiniCPM-V 4.7 1B, jeśli działasz bez rozumowania, a jeśli nie — prawdziwy sprawdzian. Sprawdź We-Math na własnych danych; 27,7-punktowa luka bez myślenia to coś, co od razu daje o sobie znać w produkcji.

• Długie wideo — bliżej niż sugerują średnie kategorii. LFM3-VL-2B prowadzi w kategorii wideo 61,2 do 53,7, ale MiniCPM-V 4.7 1B faktycznie wygrywa Video-MMMU 50,1 do 49,6 nawet w konfiguracji myślącej.

• Wszystko, co musi przejść kontrolę prawną bez weryfikacji — MiniCPM-V 4.7 1B, wyłącznie na licencji Apache 2.0.

• Wszystko, co dziś wymaga dojrzałego stosu inferencji — MiniCPM-V 4.7 1B, przynajmniej przez najbliższe kilka tygodni, dopóki llama.cpp nie scali wsparcia dla LFM3-VL.

Gdzie pasuje router, gdy żaden z modeli się na nim nie znajduje

Żaden z tych checkpointów nie znajduje się w katalogu OrcaRouter; oba to wagi, które pobierasz, kwantyzujesz i uruchamiasz. Ciekawe zastosowanie warstwy routingu nie polega tu na serwowaniu ich, lecz na komponowaniu wokół nich. Fuzja modeli pozwala panelowi modeli wspólnie odpowiadać na to samo pytanie, a lokalny specjalista 1,55B w matematyce wizualnej w parze z hostowanym modelem, silniejszym w kategoriach, w których tamten przegrywa — ugruntowanie, praca agentowa — to konfiguracja, która bije oba modele osobno. DSL routingu to sposób, w jaki wyrażasz, która gałąź obsługuje które pytanie, bez przepisywania aplikacji za każdym razem, gdy pojawia się nowy checkpoint.

Uczciwe podsumowanie brzmi: nagłówkowe 13,9 punktu jest prawdziwe, zmierzone w środowisku testowym jednego laboratorium — i mylące jako podstawa decyzji zakupowej. LFM3-VL-2B to lepszy model do ekranów i groundingu, z przewagą, do której nic innego w jego klasie rozmiarowej się nie zbliża. MiniCPM-V 4.7 1B to lepszy model do matematyki wizualnej bez rozumowania; jest udostępniany na licencji, która nie wymaga negocjacji, i dorównuje dwukrotnie większemu modelowi w tym samym zestawie testów. Właściwa odpowiedź zależy od tego, które z tych zdań opisuje Twoje obciążenie — a średnia żadnego z dostawców Ci tego nie powie.