LFM3-1.7B-Base: Co mówi repo, a czego Liquid AI nie powiedziało

Najważniejszy checkpoint w nowej rodzinie Liquid AI to ten, o którym napisano najmniej. LFM3-1.7B-Base to wstępnie wytrenowany model tekstowy z 1,73 mld parametrów, a 27 października 2026 r. stał się pniem, z którego zbudowano każdy model LFM3 po dotrenowaniu — model tekstowy, model wizyjny, model audio, model omni oraz oba modele decyzyjne. We wpisie zapowiadającym rodzinę wspomniano o nim w jednym zdaniu podrzędnym. Nie ma osobnego ogłoszenia, tabeli wyników modelu bazowego ani materiałów prasowych mu poświęconych. Repozytorium jest natomiast nietypowo jednoznaczne co do tego, czym jest ten checkpoint i do czego służy, co sprawia, że to wydanie łatwo opisać, a trudno przecenić. Do opłat pobieranych przez dostawcę modelu nie dolicza się marży. Ceny katalogowe dostawców Zmiana ceny u dostawcy trafia na Twój rachunek tego samego dnia.

To, co następuje, rozdziela te dwie rzeczy. Wszystko w pierwszej połowie pochodzi z karty modelu, pliku konfiguracyjnego, tekstu licencji lub samego wpisu Liquid o premierze i można to zweryfikować już dziś. Druga połowa to to, co trzy dni po udostępnieniu wag pozostaje naprawdę nieznane.

Dwa repozytoria, jeden wpis o premierze i dwunastogodzinna luka

Znaczniki czasu opowiadają historię premiery, która wydarzyła się publicznie, zanim nastąpiła w marketingu. Repozytorium z modelem po treningu LFM3-1.7B utworzono 23 października 2026 r. Repozytorium bazowe utworzono 26 października o 16:28 UTC, a jego kartę ostatnio zmodyfikowano 27 października o 04:15 UTC — niecałe dwanaście godzin później. Wpis na blogu „Przedstawiamy LFM3: każda modalność dla wyspecjalizowanej inteligencji” jest datowany na 27 października. Zanim ktokolwiek spoza firmy mógł przeczytać specyfikację, wagi leżały już na Hugging Face od doby.

O tej kolejności warto powiedzieć wprost, ponieważ jest tu ona czymś najbliższym „cichej premierze”. Firma Liquid rzeczywiście ogłosiła rodzinę, a w ogłoszeniu wskazano LFM3-1.7B-Base jako checkpoint, na którym wytrenowano pozostałe sześć modeli. Firma nie ogłosiła jednak bazowego checkpointu na jego własnych warunkach — bez osobnego wpisu, bez ewaluacji dotyczącej wyłącznie modelu bazowego i bez pozycjonowania wykraczającego poza jeden akapit w karcie modelu. Rodzina dostała premierę. Trzon dostał repozytorium i wskazanie na rodzinę.

Co znajduje się w repozytorium?

Karta jest zwięzła i, jak na ten raz, kompletna w kwestiach podstawowych. Jeden plik model.safetensors o rozmiarze 3,46 GB w bfloat16. Tokenizer ze słownikiem 128 000 tokenów. Kod modelu dostarczany jako niestandardowy kod Python razem z wagami, ładowany przez trust_remote_code=True, a nie przez scalone wydanie Transformers od upstreamu. Licencja to LFM Open License v1.0, ta sama rodzina warunków, których Liquid używa od czasu LFM2.

• Parametry — 1,73 mld, gęsty, każdy parametr odczytywany przy każdym tokenie.

• Warstwy — 24: trzynaście bramkowanych bloków krótkiej konwolucji, pięć bloków uwagi z oknem przesuwnym, sześć bloków pełnej uwagi.

• Kontekst — 262,144 tokenów, wejście i wyjście.

• Geometria uwagi — rozmiar ukryty 2,048, szesnaście głowic zapytań, cztery głowice kluczy i wartości, wymiar głowicy 128. To uwaga z grupowaniem zapytań w stosunku cztery do jednego, a nie osiem do jednego jak w LFM2.5.

• Lokalne okno — 256 tokenów, z pamięcią podręczną konwolucji o rozmiarze siedmiu. To ustawienie uwagi dla poszczególnych warstw, a nie długość kontekstu, i wywołało niewielką falę błędnych doniesień, gdy architektura po raz pierwszy pojawiła się w pull requeście silnika dzień przed premierą.

• Słownictwo i języki — 128 000 tokenów, wymieniono szesnaście języków: angielski, arabski, chiński, francuski, niemiecki, włoski, japoński, koreański, portugalski, hiszpański, wietnamski, tajski, indonezyjski, hindi, rosyjski, polski.

• Pamięć — około 1 GB przy precyzji 4-bitowej według Liquid, 3,46 GB w wersji dostarczanej w BF16.

O jednej drobnej niespójności warto wiedzieć, zanim podasz rozmiar. Pasek boczny Hugging Face zaokrągla model do „2B params”, podczas gdy tabela na karcie podaje 1,73B. Rozstrzyga to plik: 3,46 GB bfloat16 to 1,73 miliarda parametrów po dwa bajty każdy, więc etykieta na pasku bocznym to konwencja zaokrąglania, a nie druga specyfikacja. W chwili pisania tego tekstu repozytorium pokazywało piętnaście pobrań w ciągu ostatniego miesiąca i osiem polubień — profil checkpointu, który został opublikowany, podlinkowany z posta startowego i jeszcze nie został przez nikogo wykorzystany.

Architektura, bez diagramu

Najlepiej rozumieć ten projekt jako argument budżetowy. Pełna uwaga to kosztowna część transformera przy długim kontekście: każdy token porównuje się z każdym innym tokenem, a koszt rośnie wraz z kwadratem długości sekwencji. Trihybrydowy stos Liquid przeznacza na tę operację tylko sześć z dwudziestu czterech warstw. Trzynaście warstw to bramkowane krótkie konwolucje, które mieszają informacje lokalnie przy stałym koszcie na token, a pięć to bloki uwagi z przesuwnym oknem, które widzą 256 tokenów naraz. Dwie trzecie sieci w ogóle nie wykonuje globalnej operacji uwagi.

To ten sam zakład, który Liquid podejmuje od czasów LFM2, posunięty dalej. LFM2.5-2.6B-Base wykorzystywał trzydzieści warstw podzielonych na dwadzieścia dwie konwolucje i osiem bloków pełnej uwagi, bez poziomu okna przesuwnego. LFM3 zastępuje parę konwolucji blokiem uwagi przesuwnej w pięciu miejscach stosu, zwiększa pamięć podręczną konwolucji z trzech do siedmiu i dodaje ustawienia normalizacji kanapkowej oraz częściowej rotacji, które pojawiają się w konfiguracji. Czy ten konkretny kompromis poprawia jakość, to pytanie, na które może odpowiedzieć tylko ewaluacja, a na moment publikacji nie ma ewaluacji modelu bazowego, która by na nie odpowiedziała. To, co konfiguracja faktycznie ustala, to że kontekst 256K nie jest osiągany przez skalowanie uwagi do 256K; jest osiągany przez utrzymywanie większości stosu lokalnie.

Model bazowy jest dostarczany z szablonem czatu.

To szczegół, który najłatwiej może zdezorientować każdego, kto pobiera checkpoint, oczekując surowego uzupełniania tekstu. LFM3-1.7B-Base zawiera pełny szablon czatu, a karta modelu podaje, że trening pośredni obejmował dane czatowe zarówno ze śladami rozumowania, jak i bez nich, sformatowane tym samym szablonem co model po treningu. Wywołaj apply_chat_template, a rozumowanie będzie domyślnie włączone: odpowiedź zaczyna się wewnątrz bloku myślenia, chyba że przekażesz enable_thinking=False, co wstępnie wypełnia pusty ślad i prosi o bezpośrednią odpowiedź.

Zachowuje się więc trochę jak model instrukcyjny, a jest udokumentowany jako coś zupełnie innego. Zalecenie w samej karcie modelu jest jednoznaczne: LFM3-1.7B-Base „jest zalecany wyłącznie do zadań wymagających intensywnego dostrajania, takich jak asystenci dla konkretnego języka lub danej dziedziny, trenowanie na danych zastrzeżonych czy eksperymentowanie z nowatorskimi podejściami do treningu po treningu wstępnym”. W przypadku czatu, wywoływania narzędzi i agentów wskazuje na LFM3-1.7B. Szablon istnieje, ponieważ dane z mid-trainingu zostały w ten sposób sformatowane i ponieważ dostrojony model go dziedziczy — a nie dlatego, że checkpoint był dostrajany do rozmów. Każdy, kto potraktuje szablon jako sygnał gotowości, będzie rozczarowany wynikami, a karta mówi o tym, zanim zacznie.

Liczby, które ludzie będą cytować, nie są liczbami tego modelu.

Wpis premierowy zawiera obszerną tabelę benchmarków i niemal żadna jej część nie odnosi się do checkpointu, którego dotyczy ten artykuł. Główna średnia 49.37 należy do LFM3-1.7B, modelu po treningu końcowym, zmierzonego w własnym zestawie testów Liquid. Wiersze porównawcze — LFM2.5-2.6B z 31.55, MiniCPM5-2B z 39.19, Gemma 4 E4B z 31.74, Qwen3.5-4B z 39.27, Qwen3.5-9B z 47.24 — to modele po treningu końcowym porównywane z modelami po treningu końcowym. Wyniki 43.40 w SWE-bench Verified i 73.46 w LiveCodeBench v6 również należą do dostrojonego modelu.

W potocznym odbiorze do bazowego checkpointu przypisuje się dwa twierdzenia, których nie powinno się do niego przypisywać. Pierwsze to „35% mniej parametrów” — chodzi o to, że LFM3-1.7B przewyższa LFM2.5-2.6B, czyli stwierdzenie dotyczące pary modeli po treningu, a nie wyniku porównania modeli bazowych. Drugie to twierdzenie, że LFM3 „dorównuje Gemma 4 12B”. To zdanie dotyczy LFM3-VL-2B, modelu wizyjnego, na 62 benchmarkach wizyjnych. Nie mówi nic o tekstowym bazowym checkpoincie, który nie ma żadnej opublikowanej ewaluacji. Model bazowy bez tabeli benchmarków nie jest niczym niezwykłym — Liquid celowo nie opublikował żadnej również dla LFM2.5-2.6B-Base — ale ten brak oznacza, że każde twierdzenie o jakości tego checkpointu jest obecnie twierdzeniem o modelu, który z niego powstał.

Szkolenie — i ta część, która jest naprawdę charakterystyczna

Liquid twierdzi, że checkpoint przetworzył 22 biliony tokenów w dwóch etapach. Główny etap wstępnego trenowania zmienił mieszankę danych względem LFM2, dodając więcej artykułów naukowych, kodu na poziomie repozytoriów, matematyki i szerszy wachlarz źródeł wiedzy. Ostatnie 3,5 biliona tokenów to etap trenowania pośredniego na wyselekcjonowanych danych o wyższej jakości, z większym udziałem śladów agentowych i wywołań narzędzi, i to na tym etapie okno kontekstu jest rozszerzane do 256K.

Niezwykłe nie jest to, ile wynosi liczba tokenów; chodzi o to, że dane agentowe trafiły do modelu bazowego, a nie tylko na etap dostrajania po treningu wstępnym. Większość dostawców zachowuje ślady wywołań narzędzi na etap dostrajania instrukcyjnego. Liquid umieścił je w rdzeniu, a następnie dostroił na ich podstawie sześć różnych modeli za pomocą SFT, mieszanego RL, wielodomenowej destylacji on-policy i RL agentowego. To spójna strategia dla rodziny, która ma współdzielić jeden szkielet między modalnościami, i dlatego także bazowy punkt kontrolny zawiera szablon czatu. To twierdzenie o metodologii treningu, którego nie można zweryfikować z zewnątrz, i nie istnieje niezależna reprodukcja.

Co możesz z tym zrobić dzisiaj

Karta zawiera linki do dwóch notatników TRL: jednego dotyczącego nadzorowanego dostrajania w zakresie wyodrębniania ustrukturyzowanego JSON z nieuporządkowanych dokumentów, a drugiego dotyczącego kontynuowanego wstępnego trenowania w nowym języku, na przykładzie tureckiego z surowego tekstu. Oba są napisane pod LFM3-1.7B i wymagają zmiany pojedynczego model_id, aby wskazywał na bazowy checkpoint. Strona dokumentacji obejmuje pozostałą część ścieżki dostrajania. Model instruct ma pełny zestaw wariantów środowiska uruchomieniowego — BF16 dla vLLM, SGLang i Transformers; FP8 i NVFP4 dla SGLang; GGUF dla llama.cpp, Ollama i LM Studio; MLX dla Apple silicon; ONNX Runtime. Bazowy checkpoint ma dokładnie jeden artefakt: plik safetensors BF16. Żadnego GGUF, żadnej kompilacji MLX, żadnego wydania skwantyzowanego. Jeśli chcesz uruchomić go na telefonie, musisz samodzielnie wykonać tę konwersję.

Gdzie to się wpisuje, jeśli utrzymujesz się z udostępniania modeli

Wytrenowany checkpoint to nie punkt końcowy czatu i warto powiedzieć to wprost. LFM3-1.7B-Base nie widnieje w katalogu OrcaRouter w chwili pisania tego tekstu, a model bazowy byłby dziwnym wyborem do routingu: nie ma w nim zdolności podążania za instrukcjami, do których można by kierować ruch. Sensowne miejsce dla routera zaczyna się o krok później, gdy istnieje już model dostrojony. OrcaRouter udostępnia ponad 200 modeli za jednym API z 0% marży na ceny katalogowe dostawców, automatycznym przełączaniem awaryjnym i DSL do routingu, dzięki czemu dostrojony do danej dziedziny checkpoint LFM3 może sąsiadować z większym modelem ogólnym i być z nim porównywany lub objęty przełączaniem awaryjnym bez drugiej integracji. Fuzja modeli — panel odpowiadający wspólnie — to druga opcja, gdy specjalista o 1,73B parametrów jest dobry w jednej rzeczy, a potrzebna jest druga opinia. Żadna z tych opcji nie wymaga hostowania samego checkpointu bazowego.

Co nadal pozostaje niepotwierdzone

• Jakość bazowa. Brak tabeli benchmarków, brak wyników środowiska ewaluacyjnego, brak porównania z LFM2.5-2.6B-Base w jakimkolwiek zadaniu.

• Niezależna weryfikacja. Żadne laboratorium zewnętrzne nie opublikowało wyników testu ani modelu bazowego, ani modelu dostrojonego. Każda liczba w poście zapowiadającym pochodzi od samego Liquid.

• Wsparcie dla Transformers upstream. Repozytorium korzysta z niestandardowego kodu modelowania i trust_remote_code. Jest to normalne na etapie uruchamiania, a później stanowi koszt utrzymania.

• Jak udostępniany jest model bazowy. W poście o premierze napisano, że model bazowy oraz modele po treningu końcowym są dostępne na Hugging Face, w Liquid Playground i przez Liquid API. Nie wyjaśniono, co API robi z niedostrojonym checkpointem modelu bazowego, ani nie opublikowano dla niego cennika.

• Przypadki graniczne licencji. LFM Open License v1.0 jest bezpłatna do użytku komercyjnego przy rocznym przychodzie poniżej 10 milionów dolarów; powyżej tego progu obowiązuje licencja komercyjna. Tekst jest publiczny, ale to, jak traktuje model pochodny wytrenowany na modelu bazowym, a następnie udostępniany komercyjnie, jest pytaniem dla prawnika, a nie dla karty modelu.

Co obejrzeć

Następnym znaczącym sygnałem nie jest kolejne ogłoszenie — jest nim pierwsza niezależna ewaluacja modelu poddanego treningowi po wstępnym treningu oraz pierwsze publiczne dostrojenie, które opisuje, jak trenowało się na bazowym checkpoincie. Sposób, w jaki Liquid sam to ujmuje, wprost zaprasza do takiego testu: 1,73B-parametrowy trzon, który dał sześć modeli i rzekomo przewyższa poprzednika o 2,69B, jest albo naprawdę wydajną architekturą, albo dobrze dobranym zestawem benchmarków, a tylko zewnętrzne uruchomienia pozwolą odróżnić jedno od drugiego. Do tego czasu cała historia to repozytorium: plik 3,46 GB, jasna specyfikacja, szablon czatu, który nie jest zaproszeniem, oraz licencja, którą warto przeczytać, zanim linia przychodów się zbliży.