LFM3-1.7B-Base vs MiniCPM5 2B: dwaj dostawcy, dwie tablice wyników, jedna uczciwa odpowiedź

Liquid AI utworzyło repozytorium LFM3-1.7B-Base na Hugging Face 26 października 2026 r. i następnego dnia opublikowało zapowiedź rodziny LFM3 — a tabela benchmarków w tej zapowiedzi robi coś wyjątkowo przydatnego: zestawia poddany treningowi końcowemu LFM3-1.7B bezpośrednio z MiniCPM5-2B, modelem 2,5B, który OpenBMB od czasu publikacji jego wag we wrześniu nazywa stanem sztuki open source w klasie 2B. W opracowanym przez Liquid zestawie 27 testów LFM3-1.7B wygrywa w 23 wierszach, a MiniCPM5-2B w czterech. Checkpoint z tytułu tego artykułu nie jest jednak tym z tej tabeli i nie zawiera żadnych liczb benchmarkowych. To właśnie ta luka jest sednem historii.

W każdym porównaniu małych modeli zacierają się trzy rzeczy, więc warto rozdzielić je od razu: co zmierzył Liquid, co zmierzył OpenBMB oraz to, czego żaden z dostawców nie opublikował na temat bazowych checkpointów, które ludzie faktycznie dostrajają. Tylko trzecia kategoria opisuje uczciwe starcie między dwiema nazwami na tej stronie.

Tabela opublikowana przez Liquid i model, który ona opisuje

Karta modelu LFM3-1.7B zawiera 27 wierszy rozłożonych na siedem kategorii — agenci, korzystanie z narzędzi, kodowanie agentowe, kodowanie, podążanie za instrukcjami, wiedza i długi kontekst — z kolumnami dla LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B i Qwen3.5 9B. Własny model Liquid wygrywa we wszystkich poza czterema z nich, a przewagi w wierszach dotyczących agentów nie są małe: LiveClaw 45,60 wobec 30,37, WebArena-Verified 38,42 wobec 9,11, AutomationBench 41,29 wobec 4,71, BrowseComp-Plus 37,00 wobec 16,83. Ten sam wzorzec utrzymuje się w korzystaniu z narzędzi (BFCL V4 71,39 wobec 62,65, ToolSandbox 80,36 wobec 68,16) i w długim kontekście, gdzie RULER 128K wynosi 65,56 wobec 37,96 modelu MiniCPM5-2B.

Cztery zwycięstwa MiniCPM5-2B dotyczą wyłącznie wiedzy lub odporności w trybie wieloturowym: τ³-bench 69,44 wobec 68,01, GPQA Diamond 65,15 wobec 63,37, Humanity's Last Exam bez narzędzi 8,20 wobec 7,17 oraz dokładność AA-Omniscience 9,13 wobec 7,07. To wąskie przewagi na benchmarkach, na których ułamek punktu często jest szumem. Luki w zadaniach agentowych już nie.

Każda liczba w tym akapicie pochodzi od producenta. Liquid uruchomił własne stanowiska testowe, wybrał własny zestaw porównawczy i nie opublikował na karcie żadnej metodologii poszczególnych testów. Na dzień 28 października 2026 r. nie udało nam się znaleźć żadnego wpisu LFM3 w Artificial Analysis, więc nie ma niezależnego odtworzenia, które można by z nim skonfrontować. Podział 23–4 należy traktować jako argument Liquid, a nie jako wynik branżowy.

Czym właściwie jest bazowy checkpoint

Po odjęciu etapu po treningu otrzymujemy model tekstowy o 1,73 mld parametrów z 24 warstwami: 13 bramkowanych krótkich konwolucji, pięć warstw uwagi z przesuwnym oknem o rozmiarze 256 tokenów i sześć warstw uwagi globalnej. Wartość kontekstu 256K jest prawdziwa — max_position_embeddings w opublikowanej konfiguracji wynosi 262,144 — a nie okno 256 tokenów, z którym myliły ją wczesne materiały. Słownik liczy 128 000 tokenów, karta wymienia 16 języków, a licencją jest LFM Open License v1.0, której zezwolenie komercyjne przestaje obowiązywać podmiot prawny z rocznym przychodem 10 mln USD lub większym.

Przepis treningowy udokumentowano bardziej szczegółowo niż w przypadku większości wydań bazowych: łącznie 22 biliony tokenów, z czego końcowe 3,5 biliona przeznaczono na wyselekcjonowane dane do treningu pośredniego obejmujące ślady agentowe i wywołania narzędzi, a także rozszerzenia kontekstu do 128K i 256K. Przy precyzji 4-bitowej checkpoint jest opisywany jako zajmujący około 1 GB, co jest liczbą istotną, jeśli celem jest telefon lub laptop, a nie serwer.

Czego karta nie daje, to jakiejkolwiek oceny samego modelu bazowego. Opublikowane wyniki Liquid należą do LFM3-1.7B po SFT, mieszanym RL, wielodomenowej destylacji on-policy i agentowym RL. Na podstawie materiałów publicznych nie da się rozdzielić, jaka część tej średniej 49,37 pochodziła z 22 bilionów tokenów wstępnego trenowania, a jaka ze stosu po trenowaniu. To nie jest zarzut skierowany konkretnie do Liquid — prawie nikt nie publikuje ewaluacji modeli bazowych — ale oznacza to, że nazwa w tytule tego artykułu nie ma własnej tablicy wyników.

Licznik wyników OpenBMB

Karta MiniCPM5-2B przedstawia odmienną deklarację na innym zestawie osi. Jej radar zdolności ocenia dziewięć wymiarów i podaje średnią 53,9 wobec 51,1 dla Qwen3.5-4B, 42,7 dla granite-4.2-3B i 33,2 dla LFM2.5-2.6B. Na tej planszy model jest najlepszy w klasie 2B i konkurencyjny wobec modeli klasy 4B. Nie uwzględnia LFM3-1.7B, który nie istniał, gdy tworzono kartę.

Tych dwóch tabel wyników nie można od siebie odejmować. Wykorzystują różne testy, różną normalizację i różne zestawy porównawcze — a jedyny pokrywający się benchmark, τ³-bench, jest dokładnie tym miejscem, w którym model OpenBMB wysuwa się na prowadzenie w tabeli Liquid. Jeśli postawisz 53,9 obok 49,37 i wyciągniesz wniosek, że MiniCPM5-2B jest mocniejszym modelem, porównałeś dziewięcioosiową średnią dostawcy z 27-testową średnią dostawcy i nie dowiedziałeś się niczego.

Fakty dotyczące sprzętu są mniej niejednoznaczne. MiniCPM5-2B to standardowy LlamaForCausalLM z 2 516 756 480 łącznymi parametrami, z czego 1 981 982 720 to parametry niebędące osadzeniami, 42 warstwami, uwagą z grupowaniem zapytań przy 16 głowicach zapytań i 2 głowicach KV oraz kontekstem 131 072 tokenów w konfiguracji dostarczanej. Jest objęty licencją Apache 2.0, jest dostarczany w kompilacjach GGUF, MLX, GPTQ i LiteRT wraz z modelem szkicowym do dekodowania spekulatywnego, a OpenBMB udostępnił wraz z nim korpusy treningowe. To gotowy produkt z fabryką w zestawie.

Baza kontra baza to jedyne czyste porównanie.

Obie rodziny są dostarczane ze wstępnie wytrenowanym checkpointem, co po raz pierwszy umożliwia porównanie na równych zasadach. MiniCPM5-2B-Base powstał 27 sierpnia 2026 r., jest objęty licencją Apache 2.0 i istnieje z tego samego powodu co LFM3-1.7B-Base: aby poddać go dalszemu treningowi i przekształcić w coś innego. Żadna karta modelu bazowego nie publikuje tabeli ewaluacji. Dlatego decyzję trzeba podjąć na podstawie specyfikacji, licencji i ekosystemu, a nie wyniku punktowego.

To przeformułowanie ma znaczenie, ponieważ najczęstszym błędem w przypadku tej pary jest pobranie modelu bazowego Liquid, traktowanie go jak modelu czatowego za pomocą promptów i wyciągnięcie wniosku, że jest gorszy niż MiniCPM5-2B. Będzie gorszy. LFM3-1.7B-Base to wynik etapu mid-training z szablonem czatu i trybem myślenia, a nie asystent; sama karta Liquid zaleca używanie LFM3-1.7B do czatu, wywoływania narzędzi i agentów. Gotowy checkpoint OpenBMB to właściwa rzecz, z którą należy porównywać LFM3-1.7B, a to porównanie już istnieje w tabeli Liquid. Porównanie base do base jest dla osób, które zamierzają samodzielnie przeprowadzić trening.

Arkusz specyfikacji, wymiar po wymiarze

• Parametry — LFM3-1.7B-Base: 1,73 mld w 24 warstwach. MiniCPM5-2B: łącznie 2,52 mld, 1,98 mld parametrów nieosadzeniowych, w 42 warstwach.

• Kontekst — LFM3-1.7B-Base: 256K tokenów, wejście i wyjście. MiniCPM5-2B: 131,072 tokenów w dostarczanej konfiguracji.

• Architektura — LFM3-1.7B-Base: trójhybrydowa z bramkowanymi krótkimi konwolucjami oraz uwagą z przesuwnym oknem i globalną, ładowana z użyciem trust_remote_code. MiniCPM5-2B: standardowy dekoder Llama, który działa na niezmodyfikowanych narzędziach.

• Licencja — LFM3-1.7B-Base: LFM Open License v1.0, użycie komercyjne uwarunkowane pozostaniem poniżej 10 mln USD rocznego przychodu. MiniCPM5-2B: Apache 2.0, bez warunku dotyczącego przychodu.

• Dostępne formaty — LFM3-1.7B-Base: tylko wagi BF16 na karcie modelu bazowego; model siostrzany po treningu udostępniono w wersjach GGUF, MLX, ONNX, FP8 i NVFP4. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ i LiteRT, a także checkpointy SFT i mid-training oraz model draft DSpark.

• Zajętość pamięci — LFM3-1.7B-Base: około 1 GB w 4-bit, według Liquid. MiniCPM5-2B: gęsty model 2,5B, dla którego na karcie modelu nie opublikowano zajętości pamięci w 4-bit; należy oczekiwać typowego zapotrzebowania na pamięć klasy 2,5B, a nie 1 GB.

• Języki — LFM3-1.7B-Base: 16 nazwanych języków, w tym arabski, hindi, tajski i wietnamski. MiniCPM5-2B: karta zorientowana na język angielski i chiński, wraz z udostępnionymi danymi, które za nią stoją.

• Dane treningowe — LFM3-1.7B-Base: 22T tokenów, przepis opisany, ale dane nie zostały udostępnione. MiniCPM5-2B: korpusy UltraData udostępnione razem z wagami.

Co repozytoria mówią ci o wdrożeniu

MiniCPM5-2B to łatwiejszy model do uruchomienia na urządzeniu już dziś. Architektura jest standardowa, więc obsługa w llama.cpp, Ollama i LM Studio sprowadza się do użycia opublikowanego GGUF, a nie czekania na kernel. Apple Silicon ma kompilacje MLX, Android ma ścieżkę LiteRT, a model szkicowy DSpark istnieje specjalnie po to, by przyspieszyć dekodowanie na sprzęcie o ograniczonych zasobach.

LFM3-1.7B-Base wymaga więcej od środowiska uruchomieniowego. Potrzebuje niestandardowego kodu modelowania, a bazowy checkpoint jest publikowany tylko w BF16. Pozostałe modele z rodziny są lepiej obsługiwane: Liquid wymienia obsługę BF16 przez vLLM, SGLang i Transformers, FP8 i NVFP4 przez SGLang, GGUF przez llama.cpp i Ollama, Apple Silicon przez MLX oraz pracy wieloplatformowej przez ONNX Runtime. Haczyk polega na tym, że te buildy dotyczą LFM3-1.7B, a nie bazowego checkpointu. Pull request do SGLang dodający obsługę LFM3, #46858, był jeszcze otwarty w momencie pisania; towarzyszący pull request do cookbooka został scalony.

Jeśli pytanie brzmi, który model umieścić za punktem końcowym w tym tygodniu, warto zauważyć, że ani MiniCPM5-2B, ani LFM3-1.7B-Base nie znajduje się dziś w katalogu OrcaRouter. Oba są na razie propozycjami typu „pobierz i hostuj samodzielnie”. To dokładnie ta sytuacja, w której warstwa routingu bardziej się przydaje później niż wcześniej: jeden klucz zgodny z OpenAI dla ponad 200 modeli, 0% marży z przekazaną ceną katalogową dostawcy i automatyczne przełączanie awaryjne, gdy samodzielnie hostowany serwer lub pojedynczy upstream przestanie działać. Nie potrzebujesz tego do uruchomienia modelu o rozmiarze 1 GB na laptopie; potrzebujesz tego, gdy mały model staje się jednym z elementów ścieżki produkcyjnej i coś musi przechwycić awarię.

Czego jeszcze nie można poznać

Uczciwa lista jest krótka i konkretna. Nie udało nam się znaleźć żadnego niezależnego benchmarku dla któregokolwiek modelu LFM3, więc każde twierdzenie o możliwościach tej rodziny pochodzi od samego Liquid. Nie opublikowano oceny LFM3-1.7B-Base, więc nikt nie może powiedzieć, jak dobry jest surowy checkpoint przed post-trainingiem. Nie ma ceny za token dla LFM3 w hostowanym API, co sprawia, że porównania kosztów z MiniCPM5-2B — również w większości wdrożeń hostowanym samodzielnie — są ćwiczeniem z zakresu sprzętu i energii elektrycznej, a nie cennika. I nie ma jeszcze dowodów, niezależnych ani żadnych innych, czy 256-tokenowe okno przesuwne kosztuje model cokolwiek w zadaniach długiego kontekstu mocno opartych na wyszukiwaniu; własny wynik Liquid w RULER 128K wynoszący 65,56 jest znacznie poniżej 87,11, które podaje dla Qwen3.5 9B, co jest sygnałem wartym obserwacji, a nie werdyktem.

Trzy pytania, na które warto odpowiedzieć, zanim pobierzesz którykolwiek z nich

Czy chcesz model, czy punkt wyjścia?

Jeśli potrzebujesz czegoś, co odpowiada na pytania, wywołuje narzędzia i przetrwa poniedziałkowe demo, MiniCPM5-2B jest produktem gotowym, a LFM3-1.7B-Base nie. Jeśli masz korpus dziedzinowy, pipeline do post-trainingu i powód, dla którego model seryjny się nie sprawdzi, właściwym zakupem jest bazowy checkpoint — a notebooki TRL od Liquid do SFT, DPO, GRPO i kontynuowanego pre-trainingu to więcej wskazówek, niż zapewnia większość dostawców.

Czy Twoja organizacja kiedykolwiek osiągnie 10 milionów dolarów rocznych przychodów?

Licencja LFM Open License v1.0 przyznaje prawa komercyjne tylko poniżej tego progu. Powyżej niego utwór w ogóle nie jest objęty licencją na mocy umowy i potrzebujesz osobnego porozumienia z Liquid. Apache 2.0 nie ma takiego klifu. Dla projektu hobbystycznego lub wczesnego startupu różnica jest teoretyczna; dla ugruntowanej firmy decyduje o liście kandydatów, zanim zostanie przeprowadzony jakikolwiek benchmark.

Czy warto tworzyć niestandardową architekturę dla kontekstu 256K?

LFM3-1.7B-Base oferuje dwukrotnie większy kontekst niż MiniCPM5-2B przy mniejszej liczbie parametrów, co jest najsilniejszym technicznym argumentem na jego korzyść. Ceną jest niestandardowy model wymagający zdalnego kodu, węższy zestaw gotowych kompilacji na checkpointcie bazowym oraz integracja ze środowiskiem uruchomieniowym, która wciąż jest wdrażana. Jeśli Twoje obciążenie mieści się w 131K, płacisz tę cenę za zapas, którego nie wykorzystasz.

Który wybrać?

Dla większości zespołów porównujących te dwie nazwy odpowiedzią jest MiniCPM5-2B — nie dlatego, że wygrywa konkurs benchmarków, lecz dlatego, że jest ukończonym produktem na licencji Apache-2.0 ze skwantyzowanymi wersjami, udostępnionymi danymi treningowymi i bez górnego limitu licencji. To mniej ryzykowny sposób na uruchomienie sprawnego modelu 2,5B na urządzeniu.

LFM3-1.7B-Base to ciekawszy zakład dla węższego grona odbiorców: zespołów, które chcą checkpointu o 1,73 mld parametrów z kontekstem 256K, 16 językami i niestandardową architekturą, którą mogą dalej trenować na jednym GPU, oraz które mogą zaakceptować licencję LFM i uboższy ekosystem modeli bazowych. Liquid dał temu gronu realny punkt wyjścia i niezwykle szczegółową recepturę treningową. Nie dał jednak nikomu podstaw, by wierzyć, że bazowy checkpoint jest lepszy niż ukończony model OpenBMB, a własna tabela dostawcy nawet nie próbuje tego twierdzić.

Liczba, na którą warto zwrócić uwagę, to nie podział 23–4. To pierwsza niezależna ocena jakiegokolwiek modelu LFM3 — moment, w którym tablica wyników Liquid przestaje być jedyną tablicą wyników.