LFM3-1.7B-Base vs LFM2.5-2.6B-Base: Mniej parametrów, mniej tokenów, więcej kontekstu

Arytmetyka wskazuje odwrotny kierunek. LFM3-1.7B-Base, opublikowany 26 października 2026 r., jest o 36% mniejszy niż LFM2.5-2.6B-Base, który Liquid AI udostępniła 4 sierpnia 2026 r. — 1,73 mld parametrów wobec 2,69 mld. Został także wytrenowany na mniejszej liczbie tokenów: 22 bln wobec około 34 bln. Według tych dwóch liczb, których branża zwykle używa do rankingu modeli wstępnie wytrenowanych, nowszy checkpoint powinien być gorszy. Twierdzenie Liquid jest przeciwne, przynajmniej w przypadku modelu po treningu zbudowanego na jego podstawie, a interesującym pytaniem dla każdego, kto wybiera trzon do dostrojenia, jest to, które z tych różnic są rzeczywiste, a które są opowieścią opowiedzianą za pomocą zestawu benchmarków. Przeprowadzenie porównania powinno kosztować zasoby obliczeniowe, a nie kolejną umowę. 0% narzutu OrcaRouter przekazuje ceny listowe dostawców po 0% narzutu.

To porównanie w obrębie jednej rodziny, co czyni je wyjątkowo przejrzystym. Ten sam dostawca, ta sama rodzina licencji, to samo słownictwo obejmujące 128 000 tokenów, ten sam rozmiar ukryty wynoszący 2048, ta sama rola base-to-base. Oba checkpointy różnią się architekturą, wolumenem danych, długością kontekstu oraz ilością dostrajania po treningu wbudowanego w trzon. Niemal wszystko pozostałe pozostaje stałe.

Delta, wymiar po wymiarze

• Parametry — 1,73 mld dla LFM3-1.7B-Base w porównaniu z 2,69 mld dla LFM2.5-2.6B-Base. Redukcja o 35,7%, stąd pochodzi sformułowanie „35% mniej parametrów” z wpisu Liquid o premierze.

• Warstwy — 24 wobec 30. Nowszy model jest zarówno płytszy, jak i węższy.

• Miks warstw — trzynaście bramkowanych krótkich splotów, pięć bloków uwagi z oknem przesuwnym i sześć bloków pełnej uwagi dla LFM3; dwadzieścia dwa sploty i osiem bloków pełnej uwagi dla LFM2.5, bez poziomu okna przesuwnego.

• Uwaga — szesnaście głowic zapytań i cztery głowice klucz-wartość w LFM3, w porównaniu z trzydziestoma dwiema i ośmioma w LFM2.5. Oba zachowują wymiar głowicy 128 i rozmiar ukryty 2,048.

• Szerokość feed-forward — 7 680 dla LFM3 wobec 10 752 dla LFM2.5. To tutaj faktycznie mieści się większość redukcji liczby parametrów.

• Pamięć podręczna konwolucji — siedem dla LFM3 w porównaniu z trzema dla LFM2.5, z dodanym oknem przesuwnym obejmującym 256 tokenów.

• Kontekst — 262,144 tokeny w porównaniu z 128,000. Nowszy checkpoint podwaja tę liczbę.

• Tokeny wstępnego trenowania — 22 biliony wobec około 34 bilionów, przy czym ostatnie 3,5 biliona w nowszym przebiegu poświęcono na wyselekcjonowane dane mid-trainingu, w tym ślady agentowe i wywołania narzędzi.

• Artefakty — LFM3-1.7B-Base jest dostarczany wyłącznie jako safetensors BF16, o rozmiarze 3.46 GB. LFM2.5-2.6B-Base jest dostarczany w wersjach Safetensors oraz GGUF, ONNX i MLX, po kwantyzacji zajmuje mniej niż 2.5 GB i jest obsługiwany przez Transformers, vLLM, SGLang, llama.cpp oraz MLX.

Gdzie podziały się parametry

Redukcja nie rozkłada się równomiernie i ma to znaczenie dla każdego, kto szacuje koszt fine-tuningu. Osadzenia są powiązane w obu modelach, a słownik jest identyczny i liczy 128 000 tokenów, więc macierz osadzeń pozostaje bez zmian. Rozmiar ukryty pozostaje bez zmian i wynosi 2 048. Oszczędności wynikają z trzech miejsc: sześciu mniej warstw, o połowę mniej głowic uwagi oraz bloku feed-forward węższego o około 29%.

Zwężenie bloku feed-forward to najtańszy sposób na zmniejszenie transformera, ponieważ ten blok zawiera większość parametrów w każdej warstwie. Zmniejszenie liczby głowic uwagi o połowę redukuje zarówno pamięć podręczną kluczy i wartości, jak i wagi, dlatego model z podwojonym kontekstem nadal można opisać jako mieszczący się w około 1 GB przy 4 bitach. Ceną jest pojemność: węższy MLP ma mniej miejsca na przechowywanie skojarzeń faktograficznych, a mniejsza liczba głowic daje modelowi mniej niezależnych wzorców uwagi, z którymi może pracować. Argument Liquid jest taki, że lepsze dane i lepsza mieszanka warstw rekompensują to z nawiązką. Ten argument można przetestować, a na moment publikacji nikt spoza firmy go nie przetestował.

Skąd pochodzi kontekst

Podwojenie kontekstu ze 128K do 256K bez podwojenia kosztu uwagi wymaga zrezygnowania z globalnej uwagi. Stos LFM3 osiąga to, kierując pięć z dwudziestu czterech warstw do okna przesuwnego o rozmiarze 256 tokenów, a trzynaście do konwolucji, pozostawiając tylko sześć warstw, które widzą całą sekwencję. Konfiguracja zawiera także częściowy współczynnik rotacyjny 0,5 w warstwach globalnej uwagi, stosując osadzenia rotacyjne do połowy wymiarów każdej głowy, oraz theta rotacyjną równą milionowi w tych warstwach wobec dziesięciu tysięcy w warstwach z oknem przesuwnym.

Post premierowy Liquid podaje jedną konkretną liczbę ilustrującą, co to daje: przy 128 tys. tokenów pamięć podręczna KV modelu tekstowego wynosi 1,6 GB. Dla LFM2.5-2.6B-Base nie opublikowano równoważnej wartości. Porównanie ma zatem charakter orientacyjny, a nie dokładny — nowsza architektura jest zaprojektowana tak, aby utrzymywać dłuższy kontekst przy mniejszym zużyciu pamięci, a liczba podana przez producenta to jedyny dostępny pomiar.

Dlaczego mniejsza liczba tokenów to interesująca teza

Z trzydziestu czterech bilionów tokenów do dwudziestu dwóch bilionów to redukcja o 35% nakładu obliczeniowego na przedtrenowanie na poziomie danych i jest to kierunek przeciwny do większości generacji modeli. Zwykła historia to więcej danych, więcej parametrów, lepszy model. Historia Liquid to mniej jednego i drugiego, z nową architekturą i mieszanką danych, która dodaje artykuły naukowe, kod na poziomie repozytoriów, matematykę i szerszy wachlarz źródeł wiedzy.

Etap mid-trainingu obejmujący 3,5 biliona tokenów to część, która odróżnia ten checkpoint od zwykłego pre-trainu. Wykorzystuje on starannie dobrane dane o wyższej jakości, z większym udziałem śladów agentowych i wywołań narzędzi, i to na tym etapie rozszerzane jest okno kontekstu. Ten etap jest także powodem, dla którego model bazowy ma szablon czatu: dane mid-trainingowe zostały sformatowane jako rozmowy, ze śladami rozumowania i bez nich.

Niczego z tego nie da się zweryfikować z zewnątrz. Liczby tokenów są podawane przez samych autorów, składy danych nie są publikowane, a żadna analiza ablacyjna nie pokazuje, która zmiana przyniosła który przyrost. Twierdzenie jest wiarygodne — w ciągu ostatnich dwóch lat jakość danych wielokrotnie wygrywała z surowym wolumenem — ale wiarygodne nie znaczy zmierzone.

Co może rozstrzygnąć porównanie baza do bazy

Może rozstrzygnąć kwestie specyfikacji, kosztu i zgodności — i ta strona to robi. Nie może rozstrzygnąć kwestii jakości, ponieważ żaden z checkpointów nie ma opublikowanego benchmarku. Liquid nie opublikował żadnej ewaluacji dla LFM2.5-2.6B-Base ani dla LFM3-1.7B-Base. Obie karty polecają checkpoint do rozbudowanego dostrajania i odsyłają czytelników gdzie indziej w kwestii rozmowy.

Jedynym dowodem jakości w rodzinie jest para modeli po post-trainingu. Liquid podaje, że LFM3-1.7B osiąga średnio 49,37 w swoim własnym zestawie, wobec 31,55 dla LFM2.5-2.6B, przy czym nowszy model używa o 35% mniej parametrów. To duża różnica, a jest to wartość dostawcy zmierzona na wybranym przez dostawcę zestawie, porównująca dwa modele różniące się zarówno pod względem post-trainingu, jak i trzonu. To dowód, że przepis LFM3 daje lepszy model typu instruct. To nie jest dowód, że bazowy checkpoint jest lepszym punktem wyjścia, ponieważ post-training nałożony na niego może odpowiadać za całą różnicę.

Notatki dotyczące migracji dla wszystkich korzystających z LFM2.5

Oba checkpointy mają ten sam rozmiar słownika, wymiar ukryty i rodzinę tokenizera, co sprawia, że migracja wydaje się łatwiejsza, niż jest w rzeczywistości. Nie współdzielą kodu modelowania: LFM2.5 ładuje się jako Lfm2ForCausalLM, a LFM3 jako Lfm3ForCausalLM — oba przez niestandardowy kod z trust_remote_code=True. Skrypt treningowy napisany dla jednego nie wczyta drugiego bez zmiany klasy modelu, a szablony czatu różnią się sposobem obsługi śladów myślenia.

Większa różnica operacyjna dotyczy pakowania. LFM2.5-2.6B-Base ma kompilacje GGUF, ONNX i MLX i działa w ramach llama.cpp, vLLM, SGLang, Transformers i MLX. LFM3-1.7B-Base jest dostarczany jako pojedynczy plik safetensors BF16; skwantyzowane i wieloplatformowe kompilacje istnieją dla wytrenowanego końcowo LFM3-1.7B, a nie dla bazowego checkpointu. Jeśli Twój potok zależy od artefaktu GGUF, samodzielnie go konwertujesz i weryfikujesz wynik.

Wsparcie dla dostrajania jest przeciwwagą. LFM3-1.7B-Base zawiera linki do notatników TRL dotyczących nadzorowanego dostrajania i kontynuowanego wstępnego trenowania, a dokumentacja opisuje dalszą ścieżkę. Mniejszy checkpoint, kontekst 256K i agentowe trenowanie pośrednie są ukierunkowane dokładnie na tego rodzaju adaptację dziedzinową, którą demonstrują te notatniki.

Od którego pnia zacząć?

Zacznij od LFM3-1.7B-Base, jeśli rozpoczynasz nowy fine-tuning, Twoje zadanie korzysta z długiego kontekstu, a Ty możesz pracować w BF16 z Transformers lub samodzielnie przekonwertować wagi. Redukcja liczby parametrów o 35% to realne pieniądze w treningu na jednym GPU, podwojony kontekst to rzeczywista zmiana możliwości, a szablon czatu skraca fazę nadzorowaną.

Pozostań przy LFM2.5-2.6B-Base, jeśli masz już działający pipeline, zależysz od artefaktu GGUF lub ONNX albo potrzebujesz checkpointu z rokiem społecznościowego toolingu za sobą. Nowszy model ma trzy dni. Jego instruktorski bliźniak ma skwantyzowane buildy i wsparcie od pierwszego dnia w vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX i ONNX Runtime, ale bazowy checkpoint go nie ma, a ta luka to praktyczny koszt bycia wczesnym.

Jeśli nie masz pewności, przeprowadź eksperyment, zamiast czytać materiały marketingowe. Weź niewielki wycinek własnych danych, uruchom tę samą recepturę kontynuowanego wstępnego trenowania na obu pniach przez tę samą liczbę kroków i oceń na zbiorze wydzielonym, który przygotowałeś przed rozpoczęciem. To kilka godzin GPU i odpowiada na pytanie, na które nie odpowie żadna tabela dostawcy. Gdy oba dostrojone modele będą istnieć, umieść oba za jednym punktem końcowym: OrcaRouter i jego DSL routingu może rozdzielać ruch między nimi, a automatyczne przełączanie awaryjne oznacza, że zły eksperyment nie staje się złym dniem produkcyjnym. Platforma przekazuje ceny katalogowe dostawców z marżą 0%, więc koszt przeprowadzenia testu to koszt obliczeń, a nie drugi kontrakt.

Liczba, na którą warto zwrócić uwagę

Twierdzenie, które by to rozstrzygnęło, nie jest kolejną średnią. To ewaluacja modelu bazowego — jakakolwiek ewaluacja modelu bazowego — opublikowana przez Liquid lub przez stronę trzecią, porównująca LFM3-1.7B-Base i LFM2.5-2.6B-Base po identycznym przepisie dostrajania. Dopóki taka ewaluacja nie istnieje, różnica międzypokoleniowa jest udokumentowana w architekturze i konfiguracji, prawdopodobna w liczbach tokenów i nieudowodniona tam, gdzie ma to znaczenie. Nowszy checkpoint jest mniejszy, ma dłuższy kontekst i jest lepiej przygotowany do trenowania. Czy jest lepszy, to pytanie, na które repozytorium nie odpowiada.