pplx-decider-flash vs Laya: Dwa rodzaje modeli decyzyjnych, jedno błędne porównanie

Krążące liczby są schludne i bezużyteczne. Jeden indeks porównawczy przyznaje modelowi Laya 69,5 pkt, a modelowi pplx-decider-flash-v1.2 68 pkt — prawie remis. Inny przyznaje modelowi Flash 73,7 i plasuje go na pierwszym miejscu wśród 48. Trzeci daje modelowi Flash 451 z 504 punktów w porównaniu z 240 dla Laya multilingual. Trzy źródła, trzy werdykty, ponieważ każde mierzy inny model na innym zestawie zadań — a przynajmniej dwa z trzech mierzą wariant modelu Laya, nie mówiąc który. To jest porównanie, które naprawdę ma znaczenie, a pierwsze uczciwe zdanie brzmi: nikt jeszcze nie przeprowadził go porządnie.

Porównywać można kształt obu systemów: do czego zostały zbudowane, ile kosztuje ich działanie i czego każdy z nich wymaga od ciebie, zanim wytworzy użyteczne prawdopodobieństwo. Na tych osiach nie są bliskimi rywalami. To różne produkty, które przypadkiem mają tę samą nazwę stanowiska.

Po jednym akapicie każdy

pplx-decider-flash-v1.2 to multimodalny model decyzyjny klasy 4B od Perplexity, zbudowany na szkielecie Qwen3.5-4B z osobną 255-kierunkową głowicą odczytu. Podajesz mu stan — tekst, JSON lub obraz o rozdzielczości do 1,6 megapiksela — oraz pytania z typami, a on zwraca skalibrowane prawdopodobieństwa w jednym przejściu w przód. Jest zaprojektowany do pracy w trybie zero-shot: zapisana temperatura to 1,554, a karta podaje dokładność na poziomie 88,8% przy oczekiwanym błędzie kalibracji wynoszącym 0,021 na 1497-pytaniowym zbiorze rozwojowym. Jest dostępny na licencji Apache-2.0, zajmuje około 9 GiB w BF16 i kosztuje 0,01 USD za milion tokenów wejściowych w API Perplexity, a wyjście jest bezpłatne.

Laya to rodzina nieautoregresywnych enkoderów decyzyjnych od Convai Innovations, wydana 18 września 2026 r., również na licencji Apache-2.0. Angielski checkpoint to dostrojony model ModernBERT-large z 421 mln parametrów i kontekstem 512 tokenów; model wielojęzyczny to mmBERT-base z 322 mln parametrów i 1024 tokenami; trzeci checkpoint, laya-typed-decisions, to ten, który osiąga wyniki z nagłówków. Odpowiada na wszystkie pytania w rozmowie w jednym przebiegu w przód, używając tokenów maski dla każdej opcji, bez etapu generowania i bez danych wejściowych w postaci obrazu.

Dlaczego tabele porównawcze się nie zgadzają

Rozbieżność zaczyna się od benchmarku, który zbudował każdy z dostawców. Perplexity ocenia swoje modele za pomocą Decision Index 0.3, kompozytu obejmującego wiedzę, język, wyszukiwanie, narzędzia i sztukę. Convai ocenia Layę za pomocą publikowanego przez siebie benchmarku typowanych decyzji obejmującego 400 przypadków i 2000 decyzji. Żaden z modeli nie został publicznie uruchomiony na środowisku testowym drugiego.

Zewnętrzne indeksy wypełniają tę lukę kiepsko. Kompozyt Anchor Terminal plasuje Layę na czwartym miejscu z wynikiem 69,5, a Flash na szóstym z 68 — różnica 1,5 punktu, która mieści się głęboko w szumie kompozytu, którego nikt nie może zaudytować. Ollaya Bench podaje wynik ogólny 73,7 i pierwsze miejsce wśród 48 w przypadku Flash, przy 82,4% dokładności makro, ale nie publikuje żadnego harnessu. Zestaw zadań autorstwa Jev ocenia Flash na 451/504, a Laya multilingual na 240 — to pogrom, na zestawie napisanym przez opiekunów konkurencyjnego modelu. Strona PublicAI zdołała odnotować, że Flash pokonuje Layę 322M i Laya multilingual, a jednocześnie przegrywa 3–0 z nienazwaną „Laya”.

Ten ostatni wpis to cały problem w miniaturze. „Laya” nie jest jednym modelem. Porównanie Flash z enkoderem angielskim 421M, enkoderem wielojęzycznym 322M i dostrojonym specjalistą od benchmarków daje trzy różne odpowiedzi, a tylko jedna z nich jest tym, co faktycznie wdrożysz.

Tablica wyników, której możemy bronić

To są wymiary, w których oba systemy rzeczywiście się różnią, wraz z własnymi opublikowanymi danymi każdej ze stron i podanym źródłem.

• Parametry — pplx-decider-flash-v1.2 należy do klasy 4B (dokumentacja API podaje 4B, nagłówek karty podaje 5B w BF16) w porównaniu z Laya przy 421M w języku angielskim i 322M w wersji wielojęzycznej.

• Kontekst — 262,144 tokeny w Flash, wytrenowany do około 32 000 w porównaniu z 512 tokenami w Laya English i 1024 w trybie wielojęzycznym.

• Modalność — Flash akceptuje tekst, JSON i obrazy do 1,6 MP, podczas gdy Laya akceptuje tylko tekst.

• Użycie zero-shot — Flash jest dostarczany w postaci skalibrowanej, z zapisaną temperaturą i opublikowanymi metrykami błędów w porównaniu z bazowymi checkpointami Laya, które sama karta nazywa „szybką bazą do specjalizacji, a nie silnikiem decyzyjnym zero-shot”.

• Opóźnienie — Laya: 32,8 ms dla jednego pytania na T4, 72,3 ms dla dziesięciu, 103–332 pytań na sekundę w trybie wsadowym oraz 193–464 ms na CPU w porównaniu z Flash, bez opublikowanego przez Perplexity wskaźnika poziomu usług; jedyną publikowaną przez dostawcę wartością jest test z dokumentacji, w którym ~248 000 tokenów wejściowych zajęło 16 sekund.

• Cena — Flash za 0,01 USD za milion tokenów wejściowych, dane wyjściowe bezpłatne, w API Perplexity w porównaniu z Laya bez ceny hostowanej, ponieważ jest to wydanie wag, które uruchamiasz samodzielnie.

Opóźnienia i sprzęt: gdzie Laya nie dorównuje

Cała argumentacja Laya opiera się na tym, że decyzja nie wymaga modelu generatywnego, a liczby dotyczące opóźnień to potwierdzają. Jedno pytanie w 32,8 ms na T4 dla wielojęzycznego checkpointu, 39,5 ms dla angielskiego; dziesięć pytań w 72,3 ms; od 103 do 332 pytań na sekundę w trybie wsadowym. Na CPU, po wstępnym załadowaniu, działa w 193–464 ms. Enkoder 322M jest wystarczająco mały, by zmieścić się w ścieżce żądania, której nie stać na GPU.

Flash należy do innej klasy wdrożeń. Dziewięć gigabajtów wag BF16 mieści się na 16 GB karcie konsumenckiej, a jeden niezależny benchmark podaje około 10,4 GB VRAM i 90–127 ms na decyzję na RTX 5090. To przyzwoity wynik jak na model 4B i około trzykrotnie większe opóźnienie niż Laya na T4 na sprzęcie, który kosztuje wielokrotnie więcej. Jeśli Twoim ograniczeniem są milisekundy na tanim sprzęcie, spór kończy się, zanim do głosu dojdzie dokładność.

Kwestia dostrajania

To jest ta część, którą ukrywają tabele porównawcze, i jest ona decydująca.

Główny wynik dokładności Laya wynoszący 0,766 należy do laya-typed-decisions, punktu kontrolnego dostrojonego na własnym podziale treningowym tego benchmarku. Bazowy angielski punkt kontrolny uzyskuje 0,362 na tym samym benchmarku, wobec baseline’u klasy większościowej 0,461 i losowego zgadywania na poziomie 0,318. Innymi słowy, model, który pobierasz na zimno, jest gorszy niż zawsze odpowiadanie najczęstszą etykietą. Convai mówi to wprost na karcie modelu. Niezależne badanie reprodukcyjne na arXiv również podało, że jednej z głównych metryk — soft accuracy 0,509 wobec opublikowanego 0,471 — nie udało się odtworzyć, i przekonywało, że dane kalibracyjne są zanieczyszczone z założenia.

Twierdzenie modelu Flash ma odwrotny kształt: zgłoszone przez dostawcę 60,05 w Decision Index przy jednym pytaniu na żądanie, od modelu, którego masz używać w postaci dostarczonej. To twierdzenie jest niezweryfikowane — Perplexity zbudowało ten benchmark, a jego karta mówi, że prace treningowe obejmowały oficjalne zbiory treningowe kilku zadań Decision Index, odkażone względem zbiorów testowych. To praktyka, której można bronić, przedstawiona wprost, ale oznacza też, że model widział dane z danej dziedziny dla benchmarku, na którym jest oceniany, a odkażenie to własne twierdzenie Perplexity, a nie zbadany fakt. Ale ciężar jest inny. W przypadku modelu Laya musisz dostroić i ponownie skalibrować model, zanim opublikowane liczby będą cokolwiek znaczyć; karta zaleca dopasowanie temperatury, ponieważ surowe prawdopodobieństwa są zbyt pewne siebie, a ECE spada z 0,466 do 0,081 po ponownym dopasowaniu. W przypadku modelu Flash ufasz kalibracji dostawcy na danych, których nie widziałeś.

Żadna z nich nie jest darmowa. Jedna kosztuje czas inżynierów, druga — czas weryfikacji.

Język i liczebność

Laya multilingual obsługuje w zasadzie ponad 100 języków, a w praktyce 45 z 51, według własnego progu „użyteczności” z karty modelu wynoszącego trzykrotność wyniku losowego. Wynik XNLI poza językiem angielskim wynosi 0,731 wobec 0,521 dla checkpointu wytrenowanego wyłącznie na angielskim, a dokładność intencji MASSIVE w 13 innych językach wynosi 0,451. To skromne liczby, ale istnieją, a Flash nie ma żadnej opublikowanej ewaluacji wielojęzycznej. Jeśli Twój ruch nie jest anglojęzyczny, dostawca z ewaluacją wielojęzyczną jest bezpieczniejszym punktem wyjścia, nawet gdy jego wyniki są niskie.

Kardynalność działa w drugą stronę. Laya mocno traci na pytaniach wyboru o wysokiej kardynalności: 0,425 na 72 etykietach Banking77 wobec 0,870 u Jev, ponieważ 77 opcji przy ustawieniach domyślnych otrzymuje około trzech do czterech tokenów każda. Karta zaleca zwiększenie budżetu opcji lub podział od zgrubnego do szczegółowego. Flash obsługuje do 255 opcji i nie ma opublikowanego benchmarku dla wysokiej kardynalności, więc bezpieczna interpretacja jest taka, że Flash jest projektowany pod przypadek, który Laya dokumentuje jako słabość, i nie przedstawił na to dowodów.

Ile kosztuje tysiąc decyzji

Laya nie ma ceny za decyzję, ponieważ hostujesz ją samodzielnie. Na karcie T4 przy 103–332 pytaniach na sekundę milion decyzji to od 50 minut do trzech godzin czasu GPU. Przy standardowych stawkach chmurowych to od kilku centów do kilku dolarów, plus inżynieria związana z wdrożeniem i monitorowaniem.

Flash w API jest łatwy do obliczenia. Stan o długości 400 tokenów, jedno pytanie: 1 000 decyzji to 400 000 tokenów wejściowych, co przy $0.01 za milion daje $0.004. Milion decyzji to około $4. Samodzielne hostowanie wag usuwa koszt za token, ale przenosi cię z powrotem na GPU z około 9 GiB wag i nieprzyczynowym wzorcem uwagi, którego gotowe serwery przyczynowe nie odtwarzają.

Pułapką jest grupowanie. Flash rozlicza stan od nowa przy każdym pytaniu, więc trzy pytania na stan potrajają rachunek. Jeśli twoja bramka pyta o kilka rzeczy naraz, tani model wcale nie jest tani.

To jest również warstwa, w której pojawia się kwestia routingu. Model decyzyjny to brama przed generowaniem, a strona generowania odpowiada za większość wydatków. OrcaRouter udostępnia ponad 200 modeli za jednym kluczem bez narzutu na ceny katalogowe, dzięki czemu tańszy generator lub obniżka ceny od dostawcy wchodzi w życie tego samego dnia, a automatyczne przełączanie awaryjne sprawia, że błędnie skierowane żądanie nie kończy się całkowitym niepowodzeniem. Nie hostujemy pplx-decider-flash ani Laya. Jedynym modelem decyzyjnym, który udostępniamy, jest Jev firmy TypeSafe, w wersjach jev-1.13 i jev-1.14, co warto wiedzieć, jeśli chcesz korzystać z hostowanego decidora bez uruchamiania GPU.

Jak wybierać po kolei

• Ruch nieanglojęzyczny — zacznij od wielojęzykowego Laya, a następnie mierz. To jedyna strona z opublikowanymi danymi międzyjęzykowymi.

• Poniżej 100 ms na zwykłym sprzęcie — Laya. Na karcie T4 odpowiada w 33 ms; Flash wymaga nowoczesnego GPU i według doniesień zajmuje tam 90–127 ms.

• Obrazy w stanie — Flash, bez realnej konkurencji. Laya nie ma ścieżki wizji.

• Długie stany — Flash. Okno 512 tokenów wyklucza Layę w przypadku czegokolwiek przypominającego dokument.

• Brak oznaczonych danych i brak czasu na dostrajanie — Flash, przynajmniej jako punkt wyjścia. Bazowy checkpoint Laya wypada poniżej baseline'u większościowego.

• Ponad 20 opcji na pytanie — Flash lub Laya ze zwiększonym budżetem opcji i podziałem od zgrubnego do szczegółowego.

Uczciwe podsumowanie jest takie, że te modele konkurują o ten sam opis stanowiska i prawie nigdy o to samo wdrożenie. Laya to szybki, niewielki, dostrajalny enkoder do klasyfikacji o dużym wolumenie w językach, które możesz przetestować. Flash to skalibrowany, multimodalny sędzia ogólnego przeznaczenia z dużym kontekstem i stojącą za nim tablicą wyników dostawcy. Tabele porównawcze, które dzieli różnica 1,5 punktu, nie tyle są błędne, ile pozbawione znaczenia: niwelują przez uśrednienie dokładnie te właściwości, które decydują o wyborze.