LFM3-1.7B vs Gemma 4 12B: Kiedy siedmiokrotnie mniejszy model wygrywa benchmark kodowania

LFM3-1.7B to model tekstowy z 1,73 mld parametrów, który Liquid AI opublikowała na Hugging Face 26 października 2026 r., a dzień później ogłosiła w ramach premiery rodziny LFM3. Gemma 4 12B to gęsty model z 11,95 mld parametrów, który Google DeepMind udostępnił 3 czerwca 2026 r.; odczytuje on obrazy i dźwięk, a także tekst. W jednym benchmarku kodowania publikowanym przez obu dostawców — LiveCodeBench v6 — mniejszy model uzyskuje 73,46, a większy 72,0. Przeczytaj to dwa razy, bo to jest cały powód istnienia tej strony, a zarazem liczba, którą najłatwiej na całym internecie odczytać błędnie. Routing nie dolicza marży do ceny katalogowej dostawcy. 0% marży Zobacz ceny przenoszone bez narzutów na naszej stronie z cennikiem.

Obie liczby pochodzą od producentów. Żadnej nie odtworzył niezależny ewaluator. Powstały w różnych zespołach, na różnych harnessach, w odstępie miesięcy, a Liquid nie opublikował noty metodologicznej wyjaśniającej, jak skonfigurowano jego przebieg LiveCodeBench. Uczciwa wersja powyższego zdania nie brzmi więc: „model 1.7B bije model 12B w kodowaniu”. Brzmi ona: dwóch producentów raportuje niemal identyczne wyniki w benchmarku o tej samej nazwie, a dziewięciopunktowa różnica na GPQA Diamond w przeciwnym kierunku sugeruje, że te modele wcale nie są bliskie równoważności.

Co jest naprawdę porównywalne, a co nie

Większość stron „X vs Y” umieszcza dwie tabele dostawców obok siebie i nazywa to porównaniem. Działa to tylko wtedy, gdy tabele się pokrywają. Między postem startowym Liquid o LFM3 a kartą modelu Gemma 4 od Google dokładnie dwie nazwy benchmarków pojawiają się po obu stronach ze zgodnymi definicjami: LiveCodeBench v6 i GPQA Diamond. Wszystko inne jest raportowane przez jednego dostawcę, a nie przez drugiego, a pusta komórka nie jest zerem.

Na tych dwóch wspólnych osiach wynik rozkłada się wyraźnie. LFM3-1.7B wygrywa LiveCodeBench v6 stosunkiem 73,46 do 72,0. Gemma 4 12B wygrywa GPQA Diamond stosunkiem 78,8 do 63,37 — przewaga 15,4 punktu, co nie jest szumem w ewaluacji złożonej z kilkuset pytań.

Warto ten wzorzec nazwać, zamiast go uśredniać. LiveCodeBench mierzy, jak model rozwiązuje zadania z programowania konkursowego, co jest wąską, silnie opartą na wzorcach umiejętnością, w której mały model wytrenowany na odpowiednich danych może być dobry. GPQA Diamond mierzy rozumowanie naukowe na poziomie absolwenta, zależne od szerokości wiedzy — dokładnie tego, co zapewnia liczba parametrów. Model 1.7B może być konkurencyjny w pierwszym przypadku i przegra w drugim, a to spójny wynik, a nie sprzeczność.

Sprzedawca przebija własną najlepszą ofertę.

Oto część, która powinna zmienić sposób, w jaki czytasz 73.46. Przewiń na dół karty modelu LFM3-1.7B, a Liquid pisze wprost, że model jest przeznaczony do lokalnych agentów, wywoływania narzędzi i ustrukturyzowanych wyników oraz że nie jest zalecany do kodowania agentowego ani złożonego wieloetapowego rozumowania ze względu na niewielki rozmiar.

To dostawca, a nie konkurent, mówi ci o pułapie. Kłopotliwie współgra to z wynikiem LiveCodeBench, który nieznacznie przebija model ogólnego przeznaczenia o 11,95B, a pogodzenie tego polega na tym, że mierzą one różne rzeczy. Rozwiązanie pojedynczego problemu programowania konkursowego to nie to samo zadanie co utrzymywanie repozytorium w kontekście i wprowadzanie dwudziestu skoordynowanych zmian. Model może być mocny w pierwszym i wyraźnie nieodpowiedni do drugiego, a Liquid mówi to wprost, zamiast pozwalać benchmarkowi sugerować coś innego.

Uwierz producentowi na słowo. Jeśli twoje obciążenie to programowanie agentowe, to porównanie nie powinno kończyć się na LFM3-1.7B. Jeśli twoje obciążenie to wywoływanie narzędzi, ekstrakcja strukturalna, klasyfikacja lub lokalny asystent na urządzeniu, które posiadasz, ostrzeżenie z karty cię nie dotyczy, a zajętość 1 GB staje się całym argumentem.

Gdzie 12B to po prostu coś z zupełnie innej kategorii

Model Gemma 4 12B jest multimodalny w sposób, którego nie da się dodać do LFM3-1.7B przez dostrajanie. Karta modelu Google opisuje wejście obrazu i dźwięku rzutowane bezpośrednio w tę samą przestrzeń co tokeny tekstowe, bez osobnych enkoderów — obsługa dźwięku jest natywna w 12B i jego mniejszych wariantach. LFM3-1.7B przyjmuje tekst i zwraca tekst. Możliwości wizyjne Liquid znajdują się w LFM3-VL-2B, osobnym checkpointcie z osobnym enkoderem, a model tekstowy nie nabywa enkodera przez dostrajanie.

• Parametry — 1,73 mld gęstych parametrów dla LFM3-1.7B; 11,95 mld gęstych dla Gemma 4 12B. Stosunek wynosi 6,9 do 1.

• Modalność — wyłącznie tekst w porównaniu z tekstem, obrazem i dźwiękiem na wejściu.

• Kontekst — 262,144 tokeny w obu przypadkach. To jedyny wiersz, w którym mały model niczego nie traci, i jest to rzeczywiste osiągnięcie architektury tri-hybrydowej, a nie przypadek.

• Footprint — około 1 GB przy 4 bitach w porównaniu z około 7 GB. Na telefonie ta różnica to różnica między wydaniem produktu a jego niewydaniem.

• Języki — 16 nazwanych języków wobec ponad 140 wstępnie wytrenowanych z silnym wsparciem od razu po wyjęciu z pudełka. W przypadku produktu opartego na łacińskim piśmie ta luka rzadko daje się we znaki; w przypadku wdrożenia regionalnego jest rozstrzygająca.

• Licencja — LFM Open License v1.0 jest bezpłatna do użytku komercyjnego przy rocznym przychodzie poniżej 10 mln USD, a powyżej tego progu wymaga płatnej licencji. Gemma 4 12B jest na licencji Apache 2.0 bez progu przychodowego.

Te dwa banknoty nie są wyrażone w tej samej walucie.

Gemma 4 12B ma cenę rynkową, ponieważ obsługują ją podmioty trzecie. Artificial Analysis podaje łączną medianę na poziomie 0,10 USD za milion tokenów wejściowych i 0,30 USD za milion tokenów wyjściowych na platformach hostujących otwarte wagi — to mediana wśród dostawców, a nie cena katalogowa, i zmienia się wraz ze zmianami podaży. Przy takiej stawce większość zespołów nawet nie myśli o samodzielnym uruchamianiu modelu 12B.

LFM3-1.7B nie ma takiej ceny. Karta na Hugging Face wyraźnie stwierdza, że model nie jest wdrażany przez żadnego dostawcę inferencji, co jest spójne z tym, co widzimy po naszej stronie: OrcaRouter obecnie nie kieruje ruchu do LFM3-1.7B. Jeśli chcesz go wywołać, pobierasz 3,46 GB wag BF16 albo wersję 4-bitową o rozmiarze około 1 GB i samodzielnie uruchamiasz vLLM, SGLang, llama.cpp, MLX lub ONNX. Własne API Liquid będzie je obsługiwać, podobnie jak kilka platform zewnętrznych.

Porównanie kosztów nie polega więc na zestawianiu tokenów z tokenami. To zestawienie rachunku za dostrajanie i serwowanie modelu z rachunkiem za poszczególne wywołania. Przy niskim wolumenie API wygrywa bezapelacyjnie; przy stałym wolumenie na sprzęcie, który już posiadasz, model 1 GB, pozostawiający resztę GPU wolną, ma zupełnie inny kształt ekonomiczny. To właśnie ta asymetria — a nie czteropunktowa różnica w LiveCodeBench — jest prawdziwym powodem, by rozważyć mały model.

Do czego właściwie służy każdy z nich

Wybierz LFM3-1.7B, gdy ograniczeniem jest cel wdrożenia: telefon, laptop, pojedynczy mały GPU, który musi też wykonywać inne zadania. Kontekst 256K jest naprawdę nietypowy przy tym rozmiarze, słownik 16 języków obejmuje większość produktów regionalnych, a obsługa wnioskowania na sześć sposobów oznacza, że nie stawiasz na jedno środowisko uruchomieniowe. Zaakceptuj, że kupujesz model do wywoływania narzędzi i ekstrakcji, a nie model rozumowania, i zaplanuj pozyskiwanie informacji z uwzględnieniem luki w wiedzy, którą sam dostawca wskazuje.

Wybierz model Gemma 4 12B, gdy zadanie wymaga szerokiego zakresu, gdy dane wejściowe to zrzut ekranu lub nagranie albo gdy Apache 2.0 ma znaczenie w procesie zakupowym. Uzyskuje o 15 punktów wyższy wynik w rozumowaniu naukowym na poziomie absolwenta, natywnie odczytuje obrazy i jest dostępny w podanej cenie medianowej od pierwszego dnia. Kosztem jest pamięć: 7 GB przy 4 bitach to laptop lub skromna karta GPU, a nie telefon.

Wybierz oba, gdy masz wąską ścieżkę o dużym wolumenie i szeroką o małym wolumenie. Skieruj szeroką ścieżkę do hostowanego modelu ogólnego przeznaczenia, a mały model zachowaj na urządzeniu dla wąskich wywołań wrażliwych na opóźnienia. OrcaRouter jest stworzony na potrzeby pierwszej połowy tego podziału — jeden klucz do ponad 200 modeli, ceny katalogowe dostawców przekazywane bez marży (0%), dzięki czemu zmiana ceny obowiązuje tego samego dnia, oraz automatyczne przełączenie awaryjne, jeśli dostawca zacznie działać gorzej. Nie pomaga w hostowaniu LFM3-1.7B, ponieważ nie obsługujemy tego modelu, a sugerowanie czegoś innego byłoby nieuczciwe.

Co by to rozstrzygnęło

Jedna niezależna ewaluacja LFM3-1.7B na harnessie, którego model nie wybrał, znaczyłaby więcej niż cała ta strona. Tabela premierowa Liquid jest szczegółowa i wewnętrznie spójna, a ten blog traktuje ją jako dane zgłoszone przez dostawcę, a nie zweryfikowane — bo tak właśnie jest. Konkretne rzeczy, na które warto zwracać uwagę, to przeprowadzony przez stronę trzecią test LiveCodeBench lub SWE-bench, który odtwarza wynik 73,46, profil w Artificial Analysis, który umieściłby oba modele na jednej skali, oraz jakikolwiek raport o tym, że model poradził sobie z rzeczywistym zadaniem w repozytorium — dokładnie tym zastosowaniem, przed którym ostrzega karta.

Do tego czasu uzasadniona interpretacja jest węższa niż nagłówek. Model 1,73B z kontekstem 256K, zajętością 1 GB i mocnym profilem wywoływania narzędzi dogonił 12B model ogólnego przeznaczenia w jednym izolowanym benchmarku kodowania, ale znacznie mu ustępuje pod względem wiedzy. To nie jest sensacja. To dwa modele zbudowane do różnych zadań, a użyteczne pytanie brzmi, jakie zadanie masz do wykonania.