pplx-decider-flash vs pplx-decider: 4B jest tańszy, dopóki nie zadasz trzech pytań

W cenniku pplx-decider-flash-v1.2 kosztuje połowę tego, co pplx-decider-v1.2 kosztuje: 0,01 USD za milion tokenów wejściowych w porównaniu z 0,02 USD. Zgodnie z zasadami rozliczeń ta zniżka utrzymuje się dokładnie przez jedno pytanie. Zadaj dwa pytania dotyczące tego samego stanu, a oba modele będą kosztować tyle samo. Zadaj trzy, a model 4B będzie droższy, ponieważ Flash rozlicza stan ponownie za każde pytanie, podczas gdy 27B rozlicza go raz. Tańszy model jest tańszy tylko wtedy, gdy zadaje się mu jedno małe pytanie na raz.

Ta inwersja jest użyteczną częścią tego porównania. Reszta to znajomy kompromis związany z rozmiarem: checkpoint 4B, który wygrywa pod względem opóźnienia i pamięci z modelem o 26 miliardach parametrów, który wygrywa pod względem dokładności, przy czym oba są oferowane na tej samej licencji Apache-2.0 i z tym samym domyślnym kontekstem 262 144 tokenów.

Dwa punkty kontrolne, jedno wydanie, różne zadania

Perplexity opublikowało oba modele 15 października 2026 r.: duży model o 07:40 UTC, a Flash o 16:57. Mają wspólną konstrukcję: backbone Qwen, głowicę odczytu z 255 wyjściami zamiast głowicy modelu językowego, nieprzyczynowe warstwy pełnej uwagi oraz zapisaną temperaturę kalibracji. Nie mają wspólnego backbone'u. pplx-decider-v1.2 jest zbudowany na Qwen3.8-27B i ma rozmiar około 52 GiB w BF16. pplx-decider-flash-v1.2 jest zbudowany na Qwen3.5-4B i ma rozmiar około 9 GiB.

Nazewnictwo jest luźniejsze niż liczby. Duży model jest sprzedawany jako 27B, ale jego własna karta modelu podaje 26B w BF16. Flash jest sprzedawany jako 4B w dokumentacji API, podczas gdy nagłówek jego karty modelu podaje 5B w BF16, a jego backbone to model 4B. Żadna z tych rozbieżności nie zmienia decyzji o wdrożeniu; obie warto znać, zanim podasz liczbę parametrów w planie pojemności.

Cennik, przed gwiazdką

• Cena wejściowa — pplx-decider-flash-v1.2 za 0,01 USD za milion tokenów w porównaniu z pplx-decider-v1.2 za 0,02 USD.

• Cena danych wyjściowych — bezpłatnie w obu przypadkach, bez opłaty za żądanie. Każde pytanie jest liczone jako jeden token wyjściowy wyłącznie na potrzeby rozliczeń.

• Limity szybkości — 4,000,000 tokenów na minutę i 240,000,000 na godzinę, z limitem 10 zapytań na sekundę współdzielonym przez oba modele na poziomie organizacji.

• Aliasy — pplx-decider-flash-latest i pplx-decider-latest oba przechodzą na najnowszą wersję, więc próg dostrojony do jednej wersji może po cichu trafić na inną.

Gwiazdka nie jest ukryta. Dokumentacja Perplexity wyraźnie stwierdza, że Flash jest stworzony do jednego pytania na żądanie, że wysłanie kilku pytań daje niezależne odpowiedzi bez wzajemnego oddziaływania i że stan jest rozliczany ponownie za każde z nich. Przytacza nawet przykład: trzy pytania na stanie o 10 000 tokenów kosztują około 30 000 tokenów wejściowych.

Gdzie drugie pytanie wymazuje rabat

Ogólna forma jest prosta. Dla stanu składającego się z s tokenów i q pytań, Flash kosztuje q × s × 0,01 USD za milion, a 27B kosztuje s × 0,02 USD za milion. Rachunek za Flash przewyższa koszt dużego modelu przy trzecim pytaniu.

• Jedno pytanie, stan 10 000 tokenów — Flash $0.0001 vs 27B $0.0002. Flash wygrywa o połowę.

• Dwa pytania, ten sam stan — Flash $0.0002 vs 27B $0.0002. Remis, nie zniżka.

• Trzy pytania — Flash $0.0003 vs 27B $0.0002. Model 4B jest o 50% droższy.

• Pięć pytań — Flash $0.0005 kontra 27B $0.0002. Model 4B jest dwa i pół razy droższy.

W wartościach bezwzględnych to ułamki centa, dlatego tę zasadę łatwo przeoczyć i dlatego kumuluje się przy dużej skali. Bramka, która wykonuje milion żądań z trzema pytaniami na stanach o 10 000 tokenów, kosztuje około 300 USD w przypadku Flash i 200 USD w przypadku modelu 27B. Model, który wygląda na 50% tańszy, jest o 50% droższy przy obciążeniu, w którym batchowanie normalnie byłoby optymalizacją.

Dokumentacja Perplexity mówi, że większy model „zwykle kosztuje mniej niż Flash” przy trzech lub więcej pytaniach. Dokładny punkt przecięcia to dwa. Jeśli Twoje pytania są naprawdę powiązane — aspekty jednej decyzji typu „zaznacz wszystkie pasujące” — wspólna ścieżka jest również tą dokładną. Jeśli są to niezależne oceny kandydatów, dokumentacja zaleca podzielenie ich na osobne żądania, co jeszcze bardziej zwiększa rachunek za Flash, pozostawiając rachunek za 27B bez zmian.

Luka w dokładności, kategoria po kategorii

Oba modele są oceniane według Decision Index 0.3, własnego kompozytu Perplexity. Wynik główny to 60,05 dla Flash z jednym pytaniem na zapytanie w porównaniu z 68,09 dla 27B z połączonymi zapytaniami. Podział na kategorie, porównujący przebiegi łączone z przebiegami łączonymi, pokazuje, skąd bierze się 9,2-punktowa różnica między przebiegami łączonymi.

• Wiedza — 42,0 vs 56,3. Różnica 14,3 punktu — i to ona powinna decydować o większości wdrożeń. Jeśli pytanie wymaga znajomości czegoś, a nie oceny czegoś, 4B nie jest zamiennikiem.

• Język — 63,3 vs 72,8.

• Wyszukiwanie — 64,8 vs 68,4. Najmniejsza różnica wynosi 3,6 punktu. Ocena, czy fragment uzasadnia twierdzenie, to zadanie, do którego stworzono Flasha, i liczby to odzwierciedlają.

• Narzędzia — 76,7 vs 84,4. Oba modele są tu najsilniejsze w ujęciu bezwzględnym, co pasuje do przypadku użycia routingu.

• Sztuka — 46,8 vs 56,2.

• Vision — 72,53 vs 77,43 w Vision Decision Index, różnica 4,9 punktu, mniejsza niż luka w tekście, sprawia, że Flash jest bardziej konkurencyjny w przypadku obrazów niż prozy.

Oczywiste zastrzeżenie dotyczy każdej z powyższych liczb: benchmark należy do dostawcy i żadna strona trzecia go nie odtworzyła. Karta modelu 27B mówi, że prace treningowe obejmowały oficjalne podzbiory treningowe kilku zadań Decision Index, odkażone względem zbiorów testowych; to zadeklarowana praktyka, a nie audytowana. Profil kategorii należy traktować jako hipotezę dotyczącą tego, w czym każdy model jest mocny — wiedza i sztuka w przypadku 27B, wyszukiwanie i narzędzia w przypadku obu — a nie jako zmierzony wynik.

Asymetria wspólnego wniosku

Grupowanie pytań pomaga dużemu modelowi, a szkodzi małemu — i same liczby Perplexity to potwierdzają.

• pplx-decider-v1.2 — 68,09 łącznie vs 67,75 pojedynczo na żądanie. Grupowanie dodaje 0,34 punktu.

• pplx-decider-flash-v1.2 — 58,88 łącznie vs 60,05 pojedynczo na żądanie. Grupowanie kosztuje 1,17 punktu.

Dokumentacja wyjaśnia mechanizm: model 4B traci dokładność, gdy odpowiada na kilka pytań naraz, dlatego zalecanym ustawieniem domyślnym jest jedno pytanie na żądanie. Liczby pokazują dodatkowo, że strata jest wystarczająco duża, by ujawnić się w ogólnym wyniku, a nie tylko w przypadkach brzegowych. Model jest reklamowany jako szybki w trybie pojedynczego przejścia, a osiąga lepsze wyniki bez niego. Jeśli mimo to grupujesz pytania, by gonić za przepustowością, płacisz za szybkość dwukrotnie — raz w tokenach, a raz w dokładności.

Kalibracja: bliżej, niż sugeruje różnica dokładności

Obie karty uczciwie publikują kalibrację, co jest na tyle rzadkie, że warto to odnotować.

• Zapisana temperatura — 1,554 w Flash vs 1,382 w 27B.

• Dokładność na zbiorze deweloperskim — 88,8% na 1 497 pytań dla Flash w porównaniu z 91,3% dla 27B.

• Oczekiwany błąd kalibracji po zastosowaniu temperatury — 0,021 dla Flash vs 0,014 dla 27B.

• Brier score — 0,163 wobec 0,134.

Flash jest mniej dokładny i gorzej skalibrowany, co jest oczekiwane przy jednej siódmej rozmiaru, ale luka w kalibracji wynosi 0,007 ECE — na tyle mało, że próg dostrojony na modelu 27B często się przeniesie. Karta modelu 27B również uczciwie przyznaje, że odłożone dane decyzyjne pozostają nieco nadmiernie pewne siebie, z ECE około 0,05, więc żaden z modeli nie zastępuje dopasowania progów na własnych danych. Dokumentacja Perplexity mówi dokładnie to: porównaj oba modele na danych oznaczonych etykietami przy docelowych progach i zachowaj Flash tylko wtedy, gdy spełnia on Twój cel dokładności.

Samodzielne hostowanie: 9 GiB w porównaniu z 52 GiB

Oba są objęte licencją Apache-2.0, więc cena wersji hostowanej jest udogodnieniem, a nie uzależnieniem. Różnica sprzętowa jest najwyraźniejszym rozdzieleniem między nimi.

• Wagi — około 9 GiB w BF16 dla Flash w porównaniu z około 52 GiB dla 27B, plus pamięć robocza w obu przypadkach.

• Sprzęt — Flash mieści się na 16 GB karcie konsumenckiej; model 27B wymaga poważnego akceleratora lub podziału na wiele GPU.

• Serwowanie — żaden z nich nie trafia bez zmian do gotowego serwera kauzalnego. Warstwy pełnej uwagi działają niekauzalnie, a prompty napisane dla v1.1 nie przenoszą się.

• Kontekst — domyślnie 262 144 tokeny w obu przypadkach, przy czym trening zweryfikowano tylko do około 32 000, a karty ostrzegają, że dłuższe dane wejściowe są słabiej przetestowane.

Samodzielne hostowanie Flash to jedyny wariant w tym porównaniu, w którym 4B wygrywa bezwarunkowo. Jedna karta 16 GB, liberalna licencja i brak opłat za token to naprawdę inny produkt niż checkpoint 52 GiB, który wymaga zespołu serwującego.

Reguła decyzyjna, którą możesz zastosować

• Jedno pytanie na stan, duży wolumen — Flash. Przewaga cenowa jest realna, a utrata dokładności koncentruje się w zadaniach wiedzowych, które możesz skierować gdzie indziej.

• Dwa lub więcej pytań na stan — 27B. Przy dwóch jest remis pod względem ceny, od trzech jest taniej i dokładniej w trybie łączonym; różnica rośnie z każdym dodanym pytaniem.

• Oceny w dużej mierze oparte na wiedzy lub rubrykach — wersja 27B. Lepszy prompt nie zniweluje 14,3-punktowego deficytu w wiedzy.

• Bramkowanie wyszukiwania i wybór narzędzi — w przypadku Flasha da się to obronić. Różnice wynoszą tam 3,6 i 7,7 punktu, a obciążenie pracą jest dokładnie tym, do czego model został stworzony.

• Wdrożenie na urządzeniu lub na pojedynczym GPU — Flash, bez realnej alternatywy w tej parze.

• Wizja — oba warianty, przy czym 27B prowadzi o 4,9 punktu; jeśli już używasz 27B do tekstu, przeniesienie wizji do Flasha niewiele daje.

Niezależnie od tego, po której stronie podziału się znajdziesz, decydent to tania część pipeline'u. Generacja, którą on warunkuje, to miejsce, w którym idą pieniądze, i to właśnie tę warstwę warto optymalizować. OrcaRouter udostępnia ponad 200 modeli pod jednym kluczem bez marży na cenniki dostawców, więc obniżka ceny u źródła obowiązuje tego samego dnia, a automatyczny failover pokrywa przypadek, w którym bramka kieruje żądanie do modelu o obniżonej wydajności. DSL routingu komponuje modele, które obsługujemy; żaden z checkpointów pplx-decider nie należy do nich, więc podział Flash kontra 27B musi istnieć w twoim własnym kodzie. Hostowanym decyderem w naszym katalogu jest Jev firmy TypeSafe, jako jev-1.13 i jev-1.14.

Żaden z dostawców nie opublikował testu.

Wszystko powyżej to decyzja podjęta na podstawie dokumentacji dostawcy. Test, który by to rozstrzygnął, jest nudny i konkretny: weź tysiąc rzeczywistych zapytań, oznacz je i uruchom oba modele przy zamierzonym progu z jednym pytaniem oraz z trzema. Zarejestruj dokładność, błąd kalibracji i łączną liczbę rozliczonych tokenów. Przewidywanie na podstawie opublikowanych liczb jest takie, że Flash wygrywa obciążenie z jednym pytaniem pod względem kosztu, a przegrywa z trzema pytaniami zarówno pod względem kosztu, jak i dokładności. Jeśli to się potwierdzi, wybór jest właściwością kształtu twoich zapytań, a nie twojego budżetu — a zespół, który to zmierzy, wybierze poprawnie, podczas gdy wszyscy czytający cennik wybiorą model, który jest o 50% tańszy na papierze i o 50% droższy w produkcji.