d1-2B vs Liquid AI d1-3B: Mniejszy model wygrywa ranking, ale przegrywa we wdrożeniu

Cztery pytania rozstrzygają to starcie i ani jedno z nich nie brzmi: „który model jest lepszy”. Czy stan obejmuje wideo? Czy przekracza 32K tokenów? Czy musisz uruchomić go w llama.cpp? Czy stać cię na to, by być pierwszą osobą, która go przetestuje? d1-2B to model decyzyjny Liquid AI o 1,92 mld parametrów, zbudowany na LFM3-VL-2B, który uzyskał 51,1 w tabeli Decision Index producenta. Liquid AI d1-3B to model o 3,12 mld parametrów wydany 7 października, zbudowany na LFM2.5-VL-3B, który uzyskał 49,0 w tej samej tabeli. Nowszy, mniejszy model prowadzi średnio. Wciąż przegrywa w trzech wierszach, które faktycznie mają znaczenie przy wdrożeniu, i to on jest tym z dwóch, który nie ma ścieżki llama.cpp ani niezależnego wyniku testu. Ta strona jest zorganizowana wokół tych czterech pytań, a nie wokół rankingu, ponieważ ranking nie odpowiada na żadne z nich.

Krótka odpowiedź, według obciążenia pracą

• Triage wyłącznie tekstowy na dużą skalę — d1-2B, dzięki wydajności 1132 decyzji na sekundę dla 64 stanów przetwarzanych wsadowo i 3,84 GB wag. Przewaga modelu 3B w przypadku Typed Decisions jest nieistotna, gdy wynikiem jest etykieta.

• Czytanie diagramów i wykresów — Liquid AI d1-3B. Wygrywa AI2D 79,9 do 76,7 i jest modelem, za którym stoi niezależny przebieg.

• Długie dokumenty, długie formularze, długie transkrypcje rozmów — d1-2B. Jego okno to 128 tys. tokenów w porównaniu z 32 768, a karta uczciwie przyznaje, że niezawodność spada po około 64 tys., co nadal daje dwukrotność całkowitej pojemności modelu 3B.

• Urządzenia brzegowe uruchamiające llama.cpp — Liquid AI d1-3B, domyślnie, a nie z uwagi na zalety. Ma repozytorium GGUF i skwantyzowaną kompilację weight-activation; d1-2B nie ma ani jednego, ani drugiego.

• Wszystko, gdzie błędna decyzja jest kosztowna i niesprawdzona — żadne z nich, dopóki nie uruchomisz obu na własnych danych. Tylko jedno z nich zostało w ogóle przetestowane przez podmiot trzeci.

Ta sama rodzina, jedno pokolenie różnicy

Te dwa modele nie są rodzeństwem w sposób, na jaki sugerują nazwy. Liquid AI d1-3B wywodzi się z LFM2.5-VL-3B, który z kolei pochodzi od LFM2.5-2.6B-Base, i zawiera 400M enkoder wizyjny SigLIP2 NaFlex. d1-2B wywodzi się z LFM3-VL-2B, kolejnej rodziny, na szkielecie 24 warstw podzielonych między 13 bramkowanych krótkich konwolucji, 5 warstw uwagi z przesuwnym oknem i 6 warstw globalnej uwagi. Ta różnica pokoleń jest źródłem inwersji wyników benchmarku: nowsza architektura robi więcej na parametr, więc mniejszy checkpoint może uzyskać lepszy wynik niż większy w większości wierszy.

• Parametry — 1,92 mld dla d1-2B w porównaniu z 3,12 mld dla Liquid AI d1-3B.

• Pobierz — 3,84 GB vs 6,25 GB w formacie BF16 safetensors, oba w jednym pliku.

• Kontekst — 128 tys. tokenów w porównaniu z 32 768.

• Słownictwo — 128 000 tokenów w porównaniu ze słownictwem LFM2.5.

• Dane wejściowe — tekst lub JSON, obrazy lub wideo, a do tego nazwane pytania, dla d1-2B; tekst lub JSON plus obrazy dla 3B. Wideo to najwyraźniejsza różnica w możliwościach między nimi.

• Języki — po szesnaście w każdym, ten sam zestaw.

• Licencja — LFM Open License v1.0 dla obu, z komercyjnym wykorzystaniem uzależnionym od pozostania poniżej 10 000 000 USD rocznego przychodu. Nie ma żadnego powodu licencyjnego, by preferować którąkolwiek z nich.

• Wydanie — wagi d1-3B zostały udostępnione 5 października i ogłoszono je 7 października. Repozytorium d1-2B utworzono 24 października i nigdy nie miało własnego wpisu; jedyne zdanie producenta, które je wymienia, znajduje się w ogłoszeniu premiery LFM3 z 27 października.

Jeden szczegół w dokumentacji warto odczytywać jako sygnał, a nie fakt: strona dokumentacji modeli decyzyjnych Liquid AI wymienia teraz d1-2B, d1-omni-2B, d1-omni-600M, d1.1 i d1-ultra. Nie wymienia już d1-3B. Model 3B nie został wycofany — jego repozytorium, kompilacje GGUF i MLX są nadal dostępne — ale indeks samego dostawcy przeniósł pozycję modelu z otwartymi wagami na 2B.

Tablica wyników, czytana wiersz po wierszu

Wszystkie poniższe liczby pochodzą z tabeli benchmarków na karcie modelu d1-2B, która ocenia cztery otwarte modele d1 na tych samych pozycjach za pomocą tego samego oceniającego. Ma to znaczenie, ponieważ własna karta Liquid AI d1-3B podaje 48,57 w Decision Index 0.2.1, podczas gdy ta tabela podaje 49,0 w wersji 0.3; różnica wynika z edycji indeksu, a nie ze zmiany modelu, i karta mówi o tym w przypisie. Bezpośrednie porównanie obu kart — 48,57 z 51,1 — oznaczałoby odejmowanie wartości z dwóch różnych testów. Porównywanie w obrębie tej tabeli jest uzasadnione i właśnie to robi reszta tej sekcji.

• Publiczny zestaw Decision Index v0.3 — 51,1 vs 49,0.

• DecisionBench (Hanno Labs) v1 — 77,1 vs 73,1.

• Decision Bench (decisionbench.ai) v4 — 85,2 vs 83,6.

• JevBench v1.4.1 — 77,9 w porównaniu z 76,2.

• ImajevBench v2.0-lite — 75,5 wobec 64,0, największa różnica po stronie decyzyjnej.

• WorkflowEvals — 81,6 vs 74,4.

• Wewnętrzna tablica Liquid AI — 63,2 vs 58,8.

• Średnia wizji — 70,2 vs 65,4 w osiemnastu testach.

Każdy nazwany zestaw decyzyjny w tej tabeli trafia do modelu 2B — to właśnie ma na myśli post premierowy LFM3, nazywając d1-2B zamiennikiem d1-3B „o jedną trzecią mniej parametrów" i z wyższymi wynikami „we wszystkich czterech zestawach decyzyjnych". Twierdzenie jest dokładne tak, jak zostało sformułowane — i węższe niż „przewyższa 3B", dlatego istnieje następny akapit. A potem trzy wiersze, które idą w drugą stronę. Fast Decisions to 58,8 dla d1-2B wobec 59,3 dla 3B. Typed Decisions to 61,3 wobec 65,0. AI2D to 76,7 wobec 79,9. Żadna z tych różnic nie jest duża, a dwie z trzech mieszczą się w granicach jednego punktu, ale to właśnie te wiersze, w których dodatkowe 1,2B parametrów wciąż daje coś wymiernego: decyzje zorientowane na szybkość, ekstrakcję typowaną i odczytywanie diagramów. Jeśli zadania Twojego pipeline'u polegają na typowanej ekstrakcji z formularzy, model 3B nie jest przestarzałą opcją, na jaką wskazuje strona dokumentacji.

Opóźnienie: te dwie główne liczby nie są porównywalne

Liquid AI podaje 5,7 ms na decyzję dla d1-2B i 8 ms dla Liquid AI d1-3B, ale to nie są te same pomiary. Wartość dla modelu 2B pochodzi z H100 PCIe; wartość dla modelu 3B pochodzi z RTX 4090. Różnica 2,3 ms między dwoma różnymi GPU nie mówi nic o tym, który model jest szybszy na Twoim sprzęcie, a powtarzanie jej jako porównania byłoby dokładnie takim praniem liczb, którego ten blog ma unikać.

Istnieje jedna maszyna, którą podają obie karty. Na Apple M5 Pro d1-2B zajmuje 18,6 ms na pytanie, a 3B — 30 ms, czyli redukcję o 38% na identycznym krzemie. To rzetelne porównanie szybkości i wskazuje w tę samą stronę, co sugeruje różnica rozmiarów. W przypadku batchowania d1-2B obsługuje 1 132 decyzje na sekundę na H100 PCIe i 1 699 na sekundę na MI325X przy 64 stanach w jednym wywołaniu; karta 3B podaje 475 na sekundę na RTX 4090 i 1 106 na sekundę na MI325X. Wiersz MI325X jest tym, który mają wspólny obie karty, i tam 2B jest z przodu o około 54%.

Jedyny istniejący niezależny test przeprowadzono na 3B

W połowie października Efraín Garay przetestował osiem modeli decyzyjnych w zestawieniu z Decision Index 0.3 oraz trzema zadaniami na rzeczywistych danych i opublikował wyniki wraz z kodem. Dwa wnioski mają znaczenie dla tego porównania.

Pierwsze jest pokrzepiające dla tablicy wyników. Odtworzył publiczny zestaw testowy z jego zestawu, sprawdził, czy pobrane pliki zgadzały się z oficjalnymi, pobrał próbkę 6000 zapytań i przyznał Liquid AI d1-3B wynik 49,11 — w porównaniu z własnym wynikiem Liquid 49,04 na tych samych wierszach i 48,99 na pełnym zestawie. To najsilniejszy dostępny dowód, że liczby v0.3 w powyższej tabeli są obliczane poprawnie. To dowód dotyczący modelu 3B, a nie d1-2B, którego nie testował.

Drugi to ostrzeżenie o tym, co mierzy indeks. Na syntetycznym zbiorze danych dotyczącym oszustw kartowych obejmującym 10 000 płatności Liquid AI d1-3B uzyskał AUC na poziomie 0,314 — poniżej poziomu przypadku, klasyfikując anomalie jako mniej podejrzane niż normalne płatności, ponieważ serie następujących po sobie płatności osiągały medianę prawdopodobieństwa 0,41 wobec 0,56 dla normalnej płatności. Model zajął drugie miejsce w publicznym indeksie i ostatnie w tym zadaniu. Wniosek przekłada się bezpośrednio: 51,1 modelu d1-2B to wynik w ogólnym zestawie decyzyjnym i nikt nie wykazał, że przewiduje on skuteczność w Twojej konkretnej decyzji. Dostawca mówi o tym w swojej własnej karcie, w instrukcji kalibrowania progów na własnych danych.

Co faktycznie możesz uruchomić już dziś

To tutaj porównanie przestaje być bliskie. Liquid AI d1-3B ma repozytorium GGUF od 6 października, 8-bitową kompilację weight-activation od 7 października i cztery warianty MLX od 12 października. d1-2B otrzymał trzy kompilacje MLX i eksport ONNX 27 października, i nic więcej. Nie ma GGUF dla d1-2B, nie ma kwantyzacji poza 4-bitową i 8-bitową MLX, a zatem nie ma opublikowanej ścieżki llama.cpp dla głowicy decyzyjnej — mimo że model bazowy, LFM3-VL-2B, ma własny GGUF od 19 października.

W przypadku wdrożenia Transformers różnica znika: oba ładują się z trust_remote_code=True i udostępniają te same wywołania: system_one i system_one_batch. W przypadku wdrożenia edge tak nie jest. Jeśli Twój stack to llama.cpp na Jetsonie lub telefonie, 3B jest jedynym z tych dwóch, który możesz uruchomić bez pisania integracji środowiska uruchomieniowego, a jego opublikowane wyniki dla edge — 16 ms na Jetson AGX Thor, 26 ms na AGX Orin 64GB, 50 ms na Orin Nano — są tymi, na których możesz opierać planowanie.

Żaden z tych modeli nie jest obsługiwany przez OrcaRouter, więc wybór między nimi i tak oznacza decyzję o samodzielnym hostowaniu. Router zasługuje na swoje miejsce o warstwę dalej: modele decyzyjne rzadko działają samodzielnie, a krok generatywny, który realizuje etykietę routingu, zwykle pochodzi z hostowanego modelu. Jeden klucz kompatybilny z OpenAI dla ponad 200 modeli, DSL routingu, który pozwala złożyć te kroki w jedno wywołanie, oraz automatyczne przełączanie awaryjne sprawiają, że ta połowa potoku nie zamienia się w drugi projekt integracyjny, podczas gdy węzeł decyzyjny pozostaje na Twoim własnym sprzęcie.

Jeśli migrujesz, zmieniają się trzy rzeczy

Interfejs API jest na tyle podobny, że port wydaje się trywialny, ale taki nie jest. Po pierwsze, kontrakt wejściowy: d1-3B przyjmuje obrazy; d1-2B przyjmuje listę mediów, która może zawierać wideo, a jego karta modelu opisuje media jako kodowane jednorazowo dla wszystkich pytań w wywołaniu. Kod przekazujący pojedynczy obraz uruchomi się, ale nie wykorzysta tego, do czego model został zaprojektowany.

Po drugie, próg. Oba modele zwracają prawdopodobieństwa i oba wymagają progu decyzyjnego dopasowanego do Twoich danych. Próg dostrojony do kalibracji d1-3B nie przenosi się — tabele kalibracyjne są dostarczane w każdym repozytorium i dopasowywane osobno — więc migracja, która zachowuje stary próg odcięcia, da inny punkt pracy, a w ścieżce moderacji lub wykrywania oszustw także inny profil błędów.

Po trzecie, klif niezawodności. Okno 128K to główny nagłówek; karta mówi, że odpowiedzi stają się mniej niezawodne po około 64K tokenów stanu. W przypadku 3B limit wynosi 32,768, więc migracja do d1-2B zwykle będzie czystym zyskiem pojemności — ale potok, który zaczyna podawać stany o długości 100K tokenów, bo teraz może, testuje tę część zakresu, którą dostawca oznaczył jako słabszą.

Werdykt jest mniej symetryczny niż tablica wyników. W przypadku nowego projektu w Transformers, na tekście, obrazach lub wideo, ze stanami, które mogą trwać długo, d1-2B jest lepszym domyślnym wyborem i tańszym w uruchomieniu. Do wdrożenia edge pod llama.cpp, do ekstrakcji typowanej lub do wizji z dużą liczbą diagramów wciąż warto wybrać Liquid AI d1-3B — i jest to jedyny model z tej pary, za którym stoją jakiekolwiek zewnętrzne dowody. Jedyne, czego nie należy robić, to wybierać wyłącznie na podstawie linii 51,1 kontra 49,0. Dwa punkty w indeksie dostawcy, między dwoma modelami, których nikt nie uruchomił na Twoim zadaniu, to nie decyzja; to rozstrzygnięcie remisu.