SingVL_S1_4B vs LFM2.5-VL-3B: prawdopodobieństwa kontra akapity

Pytanie, czy SingVL_S1_4B jest lepszy od LFM2.5-VL-3B to źle sformułowane pytanie, a najszybszym sposobem na zmarnowanie tygodnia jest i tak udzielenie na nie odpowiedzi. Jeden z tych modeli pisze akapity o obrazach; drugi zwraca prawdopodobieństwo dla każdej przekazanej mu opcji i nigdy nie generuje ani jednego własnego słowa. Ta różnica nie jest luką jakościową do rozstrzygnięcia na leaderboardzie. Decyduje o tym, które z twoich potoków mogą używać którego modelu, zanim w ogóle spojrzy się na jakikolwiek test porównawczy. Uczciwe porównanie przebiega więc w drugą stronę: zacznij od tego, co twój kod musi otrzymać, i sprawdź, który model potrafi to wytworzyć.

Dwa różne typy zwracane

LFM2.5-VL-3B firmy Liquid AI to model językowo-wizualny w zwykłym tego słowa znaczeniu. Wystarczy podać mu obraz i pytanie, a generuje odpowiedź token po tokenie, co oznacza, że potrafi opisać scenę, prowadzić wieloturnową rozmowę, wywołać funkcję, transkrybować stronę tekstu z adnotacjami układu albo zwracać ramki ograniczające dla wskazanych obiektów. Został wydany 12 sierpnia 2026 r., zbudowano go na szkielecie językowym LFM2.5-2.6B z enkoderem wizyjnym SigLIP2 NaFlex, i jest wyraźnie pozycjonowany jako rozwiązanie do wdrożeń na urządzeniu — 228 tokenów na sekundę na Apple M5 Max przy zużyciu poniżej 3,3 GB pamięci, a obok natywnego checkpointu opublikowano kompilacje GGUF, ONNX i MLX.

SingVL_S1_4B od inclusionAI, po cichu wgrany 11 listopada 2026 r., robi jedną rzecz i robi ją w pojedynczym przebiegu w przód. Podajesz mu stan — tekst, JSON, maksymalnie cztery obrazy — oraz słownik nazwanych pytań, z których każde deklaruje typ (wybór, tak/nie pod etykietą „noul” lub uporządkowaną ocenę na skali od 2 do 10 poziomów) i swoje odpowiedzi kandydujące. Zwraca prawdopodobieństwo dla każdego kandydata. Nie ma kroku próbkowania, temperatury do ustawienia ani wyniku do parsowania. Sama karta modelu jest w całości napisana tym słownictwem, aż po przykłady API.

Jeśli Twój endpoint ma zwracać "faktura pochodzi od Acme, została wystawiona w marcu, na kwotę 1 240,00", LFM2.5-VL-3B potrafi to zrobić, a SingVL_S1_4B nie. Jeśli Twój endpoint potrzebuje {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, jest odwrotnie. To cała decyzja, a wszystko poniżej dotyczy jej granic.

Karta specyfikacji, obok siebie, bez tabeli

• {{1}}Parametry{{/1}} — {{2}}SingVL_S1_4B{{/2}} ma około {{3}}4,54 mld{{/3}} w {{4}}BF16{{/4}} na dwóch shardach o łącznym rozmiarze {{5}}9,1 GB{{/5}}; {{6}}LFM2.5-VL-3B{{/6}} ma {{7}}3,1 mld{{/7}}, z rdzeniem językowym o {{8}}2,6 mld{{/8}} parametrów.

• Dane wyjściowe — SingVL_S1_4B zwraca prawdopodobieństwa dla poszczególnych opcji z jednego przebiegu w przód; LFM2.5-VL-3B zwraca wygenerowany tekst, wywołania narzędzi lub ustrukturyzowaną adnotację układu.

• Kontekst — SingVL_S1_4B akceptuje 65 536 tokenów wejściowych wyłącznie dla tekstu, a po dołączeniu obrazów liczba ta spada do 10 000; LFM2.5-VL-3B deklaruje 32 768 tokenów end-to-end.

• Obrazy na żądanie — SingVL_S1_4B obsługuje maksymalnie cztery, przy czym maksimum procesora wynosi 1,806,336 pikseli na obraz; LFM2.5-VL-3B przyjmuje dane wejściowe jedno- i wieloobrazowe i dzieli duże obrazy na fragmenty 512×512 oraz miniaturę.

• Języki — LFM2.5-VL-3B wymienia piętnaście języków, od arabskiego po wietnamski; karta SingVL_S1_4B nie zawiera żadnej deklaracji językowej.

• Licencja — LFM2.5-VL-3B jest udostępniany na licencji LFM Open License v1.0, a skwantyzowane wersje pochodne są już w obiegu; SingVL_S1_4B jest udostępniany bez pola licencji i bez pliku LICENSE.

• Wdrożenie — LFM2.5-VL-3B ma natywne kompilacje oraz kompilacje GGUF, ONNX i MLX, a także demo WebGPU i ścieżki vLLM, SGLang i llama.cpp; SingVL_S1_4B oznacza sklonowanie repozytorium i uruchomienie własnego serwera FastAPI na porcie 8173.

Ekosystem — LFM2.5-VL-3B jest w Hubie od sierpnia i doczekał się społecznościowych kwantyzacji i portów; SingVL_S1_4B w chwili pisania miał jeden dzień i zero pobrań.

Dwie z tych pozycji są bardziej rozstrzygające, niż się wydaje. Pierwsza jest kwestia licencji: repozytorium bez licencji nie daje nikomu prawa do redystrybucji ani dostarczania, a „dostawca tego nie powiedział” nie jest zgodą, którą można wpisać do przeglądu zgodności. Druga jest kwestia wdrożenia: kompilacja ONNX działająca na telefonie i serwer Python oczekujący urządzenia CUDA nie konkurują o to samo miejsce w twojej architekturze, niezależnie od tego, co mówią liczby parametrów.

Dlaczego liczb benchmarkowych nie można odejmować

Obie karty raportują wyniki na zbiorach danych, których nazwy się pokrywają, a to nakładanie się jest pułapką. SingVL_S1_4B raportuje 82,17 na RealWorldQA, 72,11 na BLINK, 50,17 na MMMU-Pro vision i 96,31 na InfographicVQA. LFM2.5-VL-3B raportuje 73,1 na RealWorldQA, 61,5 na BLINK, 30,5 na MMMU Pro i 81,3 na ChartQA. Zestawione obok siebie wygląda to jak pogrom. To nie jest porównanie czegokolwiek.

Pierwszy powód to tryb odpowiadania. Każda liczba w SingVL_S1_4B powstaje przez ocenienie zestawu dostarczonych opcji i wybranie tej o najwyższym prawdopodobieństwie, co jest zadaniem zasadniczo łatwiejszym niż wygenerowanie swobodnej odpowiedzi, którą oceniający musi następnie dopasować. Decision Index mierzy dokładnie to i mówi o tym wprost: jego wyniki są skorygowane o losowość, więc zgadywanie nie przynosi punktów, ale model nadal nigdy nie musi wytworzyć ciągu — jedynie uszeregować kandydatów napisanych przez kogoś innego. Model generatywny odpowiadający na to samo pytanie od zera wykonuje więcej pracy za ten sam punkt na wykresie.

Drugi powód dotyczy tego, kto go uruchomił. Oba zestawy są raportowane przez dostawców, na własnym stanowisku testowym każdego z dostawców. Żaden nie został odtworzony przez neutralne laboratorium. SingVL_S1_4B ma dodatkowo zaledwie jeden dzień i nie zgłoszono go do publicznego zestawu do reprodukcji Decision Index — karta zawiera instrukcje jego utworzenia, co wskazuje na intencję i niczego nie dowodzi. LFM2.5-VL-3B jest od trzech miesięcy uruchamiany przez ludzi, co nie jest tym samym co audytowana liczba, ale oznacza, że ktoś obcy przynajmniej spojrzał na jego wyniki.

Trzeci problem to dryf wersji. Karta modelu LFM2.5-VL-3B oznacza jego wynik OCRBench v2 jako podzbiór wyłącznie angielski. Wiersz InfographicVQA dla SingVL_S1_4B jest raportowany w ramach zestawu z własną normalizacją. Dwie liczby o tej samej nazwie zbioru danych, ale z różnych podzbiorów, to nie ta sama liczba, a uczciwym posunięciem jest przestać je odejmować.

Twierdzenie o efektywności należy wyłącznie do jednej strony

Najważniejszym elementem LFM2.5-VL-3B nie jest dokładność, lecz przepustowość w ramach ograniczeń pamięci: poniżej 3,3 GB, 228 tokenów na sekundę na M5 Max, 116 na Ryzen AI Max+ 395 i 20 na Galaxy S26 Ultra. To ta ostatnia liczba ma znaczenie przy projektowaniu produktu, ponieważ stanowi różnicę między funkcją działającą na urządzeniu a funkcją wymagającą rundy do serwera. Nic w repozytorium SingVL_S1_4B nie zawiera porównywalnego twierdzenia, a nie ma wersji skwantyzowanej, która by na to pozwalała — dostajesz shardy BF16 i skrypt serwerowy.

Drugą stroną medalu jest to, że pojedynczy przebieg w przód ma profil kosztów, którego model generatywny nie jest w stanie dorównać. Ocena czterech opcji dla jednego pytania to jeden przebieg; wygenerowanie opisu o długości 200 tokenów to 200 kolejnych przebiegów. Jeśli Twoje zadanie jest faktycznie klasyfikacją — czy ten dokument jest paragonem, czy ta klatka zawiera osobę, czy ta oferta jest zgodna z przepisami — projekt SingVL_S1_4B powinien być tańszy na decyzję i zwraca skalibrowaną liczbę, na której próg może zadziałać, zamiast zdania, które parser musi przetrwać. Ta przewaga jest strukturalna i nie zależy od tego, czy benchmark dostawcy jest poprawny. Nie została też zmierzona przez nikogo spoza laboratorium, więc traktuj ją jako oczekiwanie, a nie fakt.

Ile kosztuje, żeby się dowiedzieć

LFM2.5-VL-3B można przetestować na laptopie jeszcze dziś po południu. Kompilacja MLX działa na Apple silicon, kompilacja GGUF działa na CPU przez llama.cpp, a jeśli chcesz zobaczyć efekt, zanim cokolwiek pobierzesz, dostępny jest hostowany playground. Koszt przełączenia to identyfikator modelu w pliku konfiguracyjnym, a ryzyko ogranicza to, że wagi są objęte licencją, a format jest standardowy.

SingVL_S1_4B wymaga GPU i popołudnia na konfigurację. Potrzebujesz Pythona 3.12, kompilacji PyTorch dopasowanej do swojej karty, własnych wymagań repozytorium oraz wolnego portu. Serwer udostępnia jedną trasę — POST /v1/systemone — z płaskim ciałem JSON, co jest nietypowo łatwe do podłączenia jak na artefakt badawczy, a karta zawiera działające przykłady curl zarówno dla żądań tekstowych, jak i obrazowych. Nie da się natomiast skierować na niego istniejącego klienta w kształcie OpenAI, ponieważ nie ma on takiego kształtu. Endpoint jest zaprojektowany pod zestaw ewaluacyjny Decision Index, a zestaw jest zaprojektowany pod niego.

Ta asymetria jest praktyczną odpowiedzią na pytanie „co powinienem wypróbować najpierw”. Jeśli nie ustaliłeś jeszcze, że model zwracający prawdopodobieństwo pomaga Twojemu potokowi przetwarzania, tanim eksperymentem jest uruchomienie tego wzorca na czymś, co jest już udostępniane. OrcaRouter udostępnia TypeSafe Jev 1.14 w cenie 0,042 USD za milion tokenów wejściowych w ramach jednego klucza, co stanowi działający endpoint decyzyjny, względem którego możesz w ciągu godziny porównać własne zadanie, bez konieczności hostowania checkpointu i bez kwestii licencyjnej do eskalacji. SingVL_S1_4B nie jest tam dostępny — nie ma żadnego hostowanego dostawcy — więc porównanie, które możesz dziś faktycznie przeprowadzić, to „czy punktowanie decyzji z typami przewyższa generowanie na moich danych”, a nie „czy ten konkretny nowy checkpoint wygrywa”. Najpierw uzyskaj odpowiedź na pierwsze pytanie, zanim poniesiesz wydatki na drugie.

Gdzie każdy należy

• Dokumenty, które musisz przeczytać i zacytować — LFM2.5-VL-3B. Tworzy transkrypcję wraz z etykietami układu, a jego wiersz OCR to rzeczywista możliwość, a nie wynik.

• Ekrany, formularze i GUI — LFM2.5-VL-3B. ScreenSpot-v2 z wynikiem 80,7 oraz ulepszenia w zakresie groundingu względem poprzedniej generacji są sednem tego wydania.

• Wszystko, co działa na telefonie lub laptopie — LFM2.5-VL-3B, i nie ma konkurencji, ponieważ alternatywa wymaga serwera.

• Bramka przed kosztownym wywołaniem — tak czy inaczej, a kształt SingVL_S1_4B jest lepszym dopasowaniem, jeśli możesz go hostować, ponieważ bramka potrzebuje prawdopodobieństwa.

• Wieloetykietowy triaż w obrębie stałej taksonomii — zasadniczo SingVL_S1_4B. Jego typy pytań wyboru i punktacji odwzorowują się bezpośrednio na taksonomie, podczas gdy model generatywny trzeba za pomocą promptów i przetwarzania końcowego z powrotem ograniczyć do jednej.

• Moderacja — żadna z nich nie obejdzie się bez pracy. Karta modelu SingVL_S1_4B sama pokazuje, że jego wiersz dotyczący memów nienawistnych spada z 71,64 do 43,28 po zastosowaniu promptu umiejętności, co jest ostrzeżeniem przed wrażliwością na prompt w dokładnie tej dziedzinie, w której fałszywe negatywy są kosztowne.

• Wdrożenie komercyjne w tym kwartale — LFM2.5-VL-3B, wyłącznie ze względów licencyjnych.

Część, która wciąż pozostaje niezmierzona

Ciekawe pytanie nie brzmi, który model jest lepszy, ponieważ nie konkurują w tej samej kategorii. Chodzi o to, czy klasyfikator o 4,5 miliarda parametrów wytrenowany na bazie wizyjnego backbone'u może dorównać modelowi wizyjnemu ogólnego przeznaczenia w wąskim wycinku zadań, w których potrzebujesz tylko etykiety i poziomu pewności. Jeśli może, zmienia to koszt wielu pipeline'ów, ponieważ pojedynczy forward pass to inny rząd kosztów niż wygenerowany akapit. Nikt spoza inclusionAI jeszcze tego nie wie — repozytorium ma dzień, licencja jest pusta, a benchmark jest własny laboratorium.

Tymczasem model ogólnego przeznaczenia jest dostępny, licencjonowany, skwantyzowany, udokumentowany i wystarczająco szybki, by działać na telefonie. Kiedy zespół pyta, który z nich wdrożyć do produkcji, odpowiedź na razie jest ta nudna, a ta interesująca to hipoteza z dołączonym repozytorium.