LFM3-1.7B vs MiniCPM5-2B: testowanie tabeli wyników Liquid 23 do 4

27 października 2026 r. Liquid AI opublikowała tabelę benchmarków z 27 wierszami, przeciwstawiającą LFM3-1.7B modelowi MiniCPM5-2B. Model Liquid wygrywa w 23 z tych wierszy. MiniCPM5 wygrywa w czterech. Ta liczba szybko zaczęła krążyć, co jest problemem, ponieważ liczba wygranych to najmniej informacyjna rzecz, jaką można wyciągnąć z tabeli, w której jeden dostawca wybrał benchmarki, napisał harness i uruchomił oba modele. To jest test tego, co tak naprawdę mówi ci 23–4 — a zaczyna się od przyznania: porównanie, na które Liquid po cichu odpowiada, zostało opublikowane na tym blogu dzień wcześniej, a on nie zdecydował się na przedstawienie dokładnie tego argumentu. Ten tekst porównywał dwa bazowe checkpointy i doszedł do wniosku, że żaden nie miał użytecznych ewaluacji. Oto wersja z wagami po treningu po obu stronach.

MiniCPM5-2B to gęsty model rozumowania OpenBMB o 2,52 mld parametrów, wydany na początku września 2026 r. na licencji Apache 2.0. LFM3-1.7B to model tekstowy i agentowy Liquid AI o 1,73 mld parametrów, wydany 27 października 2026 r. na licencji LFM Open License v1.0. Należą do tej samej klasy wagowej, konkurują o to samo miejsce na urządzeniu i zostały stworzone do wyraźnie różnych zadań.

Dwóch dostawców, dwie wiązki, jedna tabela

Wynik 23–4 istnieje tylko dlatego, że Liquid ponownie uruchomił testy konkurenta. To zasadne i nietypowo rygorystyczne posunięcie jak na premierę — większość dostawców porównuje się z liczbą z publicznego rankingu i nie ujawnia zaplecza metodologicznego. Jednak ponowne uruchomienie konkurenta we własnym środowisku testowym nie daje neutralnego wyniku, a zdradzają to wiersze, w których ten sam benchmark pojawia się na kartach obu dostawców.

Rozważmy BFCL V4. Liquid mierzy MiniCPM5-2B na poziomie 62,65. Własna karta OpenBMB podaje 66,6. Weźmy Humanity's Last Exam: Liquid otrzymuje 8,20 dla MiniCPM5, a OpenBMB twierdzi 8,9. Te różnice są niewielkie — w granicach czterech punktów w skali 0–100 — i sugerują, że różnica w systemie testowym jest umiarkowana na standaryzowanych benchmarkach. Teraz weźmy SWE-bench Verified, gdzie OpenBMB podaje 46,4 dla MiniCPM5-2B, a Liquid podaje 43,40 dla LFM3-1.7B. Postaw te dwie liczby obok siebie, a MiniCPM5 wygrywa. Postaw własny wiersz Liquid dla MiniCPM5 obok własnego wiersza Liquid dla LFM3, a LFM3 wygrywa. Ten sam benchmark, te same dwa modele, przeciwna odpowiedź, ponieważ liczby pochodziły z różnych systemów testowych.

To cały problem w jednym przykładzie. Żaden z dostawców nie opublikował konfiguracji harnessu, polityki ponawiania ani szkieletu promptów. Dopóki ktoś nie uruchomi obu modeli w jednym harnessie, którego nie kontroluje, każdy wiersz porównania między dostawcami to rzut monetą przebrany za pomiar.

Tam, gdzie różnica jest zbyt duża, by mogła być szumem stanowiska testowego

Niektórych wierszy nie da się zbyć wyjaśnieniami. Nawigacja po sieci przez agentów jest najwyraźniejszym przykładem:

• WebArena-Verified — LFM3-1.7B 38.42 vs MiniCPM5-2B 9.11 w środowisku testowym Liquid.

• AutomationBench — 41,29 vs 4,71.

• RULER 128K — 65,56 vs 37,96.

• BFCL V4 — 71,39 vs 62,65.

Czteropunktowa różnica to kwestia rusztowania. Różnica dwudziestu dziewięciu punktów na WebArena-Verified albo trzydziestu siedmiu punktów na AutomationBench już nie. To różnice w tym, czy model w ogóle potrafi utrzymać spójny wieloetapowy plan, i pokrywają się z tym, co każdy dostawca mówi o sobie: Liquid zbudował LFM3 wokół agentowego mid-trainingu ze śladami wywołań narzędzi, a dokumentacja samego OpenBMB wskazuje MiniCPM5 jako słaby w długich zadaniach wieloetapowych i podatny na powtarzanie. Dwa niezależne opisy tej samej słabości, nadchodzące z przeciwnych stron, to najsilniejszy dowód w całym tym porównaniu.

Wiersz dotyczący długiego kontekstu zasługuje na osobne omówienie, ponieważ to właśnie on zostanie błędnie odczytany. RULER 128K na poziomie 37,96 dla MiniCPM5 to wynik wyszukiwania przy 128K, a nie stwierdzenie, że model ma limit 128K — MiniCPM5-2B oficjalnie obsługuje 131 072 tokeny. Oznacza to, że przy tej długości MiniCPM5 znajduje mniej tego, o co go prosisz. LFM3 uzyskuje 65,56 przy tej samej długości. Jeśli Twoje zadanie polega na „przeszukaniu długiego dokumentu i udzieleniu odpowiedzi”, ta różnica przesądza o całym wyborze.

Cztery wiersze, w których MiniCPM5 wygrywa — i dlaczego mają znaczenie

Tabela Liquid daje MiniCPM5-2B cztery zwycięstwa: τ³-bench 69,44 wobec 68,01, GPQA Diamond 65,15 wobec 63,37, HLE 8,20 wobec 7,17 oraz AA-Omniscience 9,13 wobec 7,07. Trzy z czterech to benchmarki wiedzy. Różnice wynoszą od jednego do dwóch punktów, co mieści się w granicach szumu większości zestawów ewaluacyjnych.

Ale ten wzorzec jest spójny z projektem MiniCPM5. OpenBMB wytrenowało go jako model rozumujący z jawnym trybem myślenia, w łańcuchu, który obejmował SFT głębokiego myślenia na 400 miliardach tokenów, a następnie uczenie ze wzmocnieniem z nauczycielami specjalistycznymi przed destylacją on-policy do pojedynczego gęstego checkpointu. To recepta mająca na celu wydobycie więcej ze zmagazynowanej wiedzy na parametr. Trening LFM3 jest ukierunkowany na wywołania narzędzi i przestrzeganie instrukcji. Przewaga MiniCPM5 w GPQA Diamond o 1,8 punktu nie jest zaskoczeniem; to dwie filozofie treningu ujawniające się tam, gdzie można się ich spodziewać.

Znacznie ciekawsze porównanie to to, którego tabela Liquid nie może przeprowadzić. MiniCPM5-2B ma Artificial Analysis Intelligence Index wynoszący 12. LFM3-1.7B, na dzień 28 października 2026 r., nie ma żadnego wpisu w Artificial Analysis — ani indeksu, ani niezależnie zmierzonej szybkości, ani neutralnego wskaźnika opóźnienia. Tak więc model, który przegrywa 23 z 27 wierszy, jest tym z niezależnym punktem danych, a model, który je wygrywa, jest tym, który prosi o zaufanie na słowo. Ta asymetria powinna ważyć więcej niż liczba zwycięstw.

Specyfikacje, które rzeczywiście można czysto porównać

Tam, gdzie żaden z dostawców nie przeprowadza testu porównawczego drugiego, liczby są nudne i wiarygodne:

• Parametry — LFM3-1.7B 1,73B gęsty vs MiniCPM5-2B 2,52B łącznie, 1,98B poza osadzeniami.

• Warstwy — 24 hybrydowe (13 konwolucyjnych, 5 z oknem przesuwnym, 6 globalnych) w porównaniu z 42 standardowymi warstwami transformera z uwagą grupowanych zapytań przy 16 głowicach zapytań i 2 głowicach KV.

• Kontekst — 256K vs 131 072.

• Pamięć podręczna KV przy 128K — 1,6 GB w porównaniu z 5,6 GB, według pomiarów obu dokonanych przez Liquid.

• Zajętość pamięci w trybie 4-bit — około 1 GB w porównaniu z około 1,1 GB w relacjach z praktycznych testów.

• Słownictwo — 128K vs 130,560.

• Licencja — LFM Open License v1.0, bezpłatna poniżej 10 mln USD przychodu vs Apache 2.0, bez progu.

Wiersz KV-cache to ten, który decyduje o sprzęcie. Różnica 3,5× przy tej samej długości kontekstu to różnica między agentem długiego kontekstu, który mieści się w telefonie, a takim, który się nie mieści. Wyjaśnia to również, dlaczego LFM3 może oferować 256K, podczas gdy MiniCPM5 oferuje 131K: mieszanka warstw tri-hybrid jest tańsza na token kontekstu, co jest całym sensem jej budowania.

Różnica w licencji ma dla niektórych zespołów większe znaczenie niż różnica w pamięci. Apache 2.0 nie ma progu przychodów, nie wymaga negocjowania umowy komercyjnej ani nie pozostawia niejasności co do redystrybucji. LFM Open License jest bezpłatna poniżej 10 mln dolarów rocznego przychodu, a powyżej tej kwoty wymaga rozmów. Startup poniżej tego progu dostaje obie za darmo. Firma powyżej niego dostaje jedną za darmo, a drugą po telefonie — i to jest realny koszt zakupowy, niezależnie od tego, który model wypada lepiej.

Wsparcie ekosystemu to obszar, w którym MiniCPM5 wciąż przoduje.

Obie rodziny od dnia premiery oferowały szerokie wsparcie środowisk uruchomieniowych, więc ta różnica jest mniejsza niż rok temu. LFM3 wymienia vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama i LM Studio, wraz z wersjami BF16, FP8, NVFP4, GGUF, MLX i ONNX. MiniCPM5-2B wymienia te same środowiska uruchomieniowe oraz GPTQ i DSpark — model szkicowy do dekodowania spekulatywnego, który współpracuje z głównym checkpointem.

Praktyczna różnica polega na dojrzałości, a nie dostępności. MiniCPM5-2B można pobierać od początku września, co oznacza siedem tygodni zgłoszeń błędów od społeczności, eksperymentów z kwantyzacją i poprawek frameworków, których LFM3 nie miał. Model wydany wczoraj będzie miał niedociągnięcia w konwersji do GGUF i pakowaniu dla Ollama. To nie jest krytyka Liquid; tak wygląda pierwszy dzień. Jeśli potrzebujesz modelu w produkcji w tym tygodniu, siedem tygodni, w których inni pierwsi napotkali problemy, ma swoją wartość.

Jak podjąć decyzję i gdzie router zasługuje na swoje miejsce

Żaden z tych modeli nie znajduje się w katalogu OrcaRouter — oba to modele z otwartymi wagami, które uruchamiasz samodzielnie, i wolimy powiedzieć to wprost, niż sugerować coś innego. Router ma znaczenie na granicy. Uczciwym sposobem przeprowadzenia tej oceny jest umieszczenie obu modeli za jednym endpointem i skierowanie do nich rzeczywistego ruchu, a uczciwym sposobem uruchomienia któregokolwiek z nich w produkcji jest niedopuszczenie, by model 2B był jedynym, który może odpowiadać.

Do tego właśnie służy automatyczne przełączanie awaryjne. Skieruj żądanie do LFM3-1.7B, pozwól mu obsłużyć wywołanie narzędzia lub ekstrakcję, do której został wytrenowany, a gdy okaże się, że zadanie wymaga więcej kroków, niż jest w stanie udźwignąć model 2B, przejdź do modelu hostowanego. Ponieważ OrcaRouter przekazuje cennik dostawcy bez marży (0%), kosztowna ścieżka kosztuje tylko tyle, ile faktycznie pobiera dostawca, gdy jest rzeczywiście używana — oszczędności z kierowania do małego lokalnego modelu nie są pochłaniane przez router. DSL routingu pozwala wyrazić to jako regułę zamiast przepisywania: najpierw specjalista, generalista w przypadku błędu lub po przekroczeniu progu pewności.

Fuzja modeli to niedostatecznie wykorzystywana tutaj opcja. Gdy dwa modele 2B nie zgadzają się co do klasyfikacji, uzyskanie odpowiedzi od obu i uzgodnienie ich jest często tańsze niż eskalowanie do modelu 27B, a sam odsetek niezgodności jest użytecznym sygnałem wskazującym, które dane wejściowe są trudne. Mając niezweryfikowany model po jednej stronie potoku, tego rodzaju kontrola krzyżowa jest tańsza niż zaufanie tabeli dostawcy.

Co by to rozstrzygnęło

Za trzydzieści dni ktoś powinien opublikować LFM3-1.7B i MiniCPM5-2B za pośrednictwem jednego harnessu, z konfiguracją zacommitowaną wraz z wynikami. Jeśli LFM3 utrzyma się choćby w pobliżu 38 na WebArena-Verified i 65 na RULER 128K, wynik 23–4 będzie w przybliżeniu słuszny z niewłaściwych powodów, a luka agentowa jest realna. Jeśli spadnie w stronę liczb MiniCPM5, to tabela premierowa mierzyła rusztowanie.

Do tego czasu możliwe do obrony stanowisko jest węższe niż marketing któregokolwiek z dostawców. Jeśli Twoje obciążenie robocze obejmuje wiele kroków, wywoływanie narzędzi lub długie dokumenty, LFM3-1.7B jest lepszym wyborem, a przewaga pamięciowa sprawia, że jest to jedyny z tych dwóch modeli, który mieści się na ograniczonym sprzęcie z zapasem. Jeśli Twoje obciążenie robocze polega na wyszukiwaniu wiedzy, rozumowaniu w pojedynczej turze lub wymaga jednoznacznej licencji i modelu z dołączoną niezależną oceną, MiniCPM5-2B jest bezpieczniejszym wyborem, a cztery wiersze, w których wygrywa, wskazują dokładnie w tym kierunku. Wynik 23–4 nie tyle jest błędny, ile niezasłużony — a liczba modeli w tabeli premier nie jest tym samym co rezultat.