pplx-decider vs Kev: Dwa systemy, jeden model — już możesz go pobrać

Pożytecznym przypadkiem w tym starciu jest to, że możesz rozstrzygnąć je na własnym sprzęcie jeszcze dziś po południu. pplx-decider, 27B model decyzyjny Perplexity, pojawił się 2026-10-01 bez żadnej zapowiedzi, a 2026-10-05 ukazała się poprawka v1.1 — oba są w bibliotece Ollama. Kev, linia reprodukcyjna Jareda Palmera, jest w Ollama od czasu, gdy v2 pojawiła się 2026-09-30, i obejmuje modele od 0,5B do 27B. Mają ten sam kształt wywołania — stan plus lista nazwanych pytań, jedno przejście w przód, zwracane prawdopodobieństwo, żadnego generowanego tekstu — co oznacza, że ten sam harness może uruchomić oba. Różni się wszystko pod spodem: jak powstaje wynik, co udokumentowali autorzy i ile wymaga to GPU.

Zacznij od rzeczy, która w ogóle umożliwia bake-off. Żaden z modeli nie pisze tekstu. Przekazujesz dokument i zadajesz pytania po nazwie, a każde pytanie deklaruje swój typ odpowiedzi — wybór spośród od 2 do 255 oznaczonych opcji, odczyt tak/nie/nieznane albo ocenę w skali od 2 do 10 opisanych poziomów. Odpowiedź przychodzi jako prawdopodobieństwo, w kolejności, w jakiej zadano pytania. Zgłoszenie z sześćdziesięcioma pytaniami to jedno przejście przez model, a nie sześćdziesiąt wywołań.

Jak duża część każdego modelu faktycznie podejmuje decyzje

Karta modelu Kev'a wprost opisuje jego konstrukcję w sposób rzadko spotykany poza wewnętrznymi dokumentami, a te szczegóły warto przeczytać, zanim zaufasz jakiejkolwiek liczbie z niej. Punkt kontrolny 27B to pełnowagowe dostrajanie nadzorowane na Qwen/Qwen3.8-27B, a następnie średnia wag — 0,85 nowego modelu zmieszane z 0,15 v1 w fp32. Mniejsze rozmiary, od 0,8B do 9B, są dostarczane jako adaptery LoRA na bazach Qwen3.5, a nie jako pełne checkpointy.

Część, która decyduje o kształcie wyjścia, jest oddzielona od szkieletu językowego. Kev ma głowicę wskaźnikową — około 2,6 mln parametrów w fp32, osadzoną na szczycie szkieletu o 25,6 mld parametrów, co daje 26 mld — która zamienia stan ukryty w prawdopodobieństwo dla twoich nazwanych opcji. pplx-decider wykonuje tę samą pracę z udostępnioną głowicą odczytu [255, 5120]: 255 opcji na stanie ukrytym o szerokości 5120, w bf16.

Dwie architektury, jedna idea: model językowy czyta, mała głowica decyduje. Dlatego żadna z nich nie generuje prozy i dlatego też wynik benchmarku jednej nie przekłada się na drugą, nawet gdy oba są zestawiane z tym samym modelem referencyjnym.

Jedyne bezpośrednie starcie w oficjalnych zapisach i dlaczego nie można go odjąć

Oba projekty odnoszą się w raportach do Jev, co kusi, by je zestawić. Nie rób tego.

Karta samego Kewa zawiera wiersz Decision Index 0.2, który umieszcza Kev-27B v2 na 52,3 w porównaniu z 50,2 dla v1, Jev na 54,0, a AutoJev-27B na 50,0. To czyste porównanie w ramach tego samego zestawu i tej samej wersji, które wskazuje, że Kev v2 poprawił się o około dwa punkty i nadal ustępuje Jevowi.

Karty pplx-decider podają ogólny wynik ważony zestawem na poziomie 61,56 dla v1.1, wobec 56,4 dla v1 i 57,9 dla Jev. Według ich własnych liczb to wzrost o ponad pięć punktów w jednej rewizji i przewaga nad Jev o ponad trzy i pół punktu.

Tych dwóch akapitów nie można od siebie odjąć. Różne zestawy testów, różne mieszanki zadań, różne wagi — a żaden z projektów nie publikuje wag. To, co można powiedzieć, jest węższe i wciąż użyteczne: oba przesunęły się w tym samym kierunku w tym samym oknie, oba dokonały tego, zmieniając sposób trenowania odczytu, a nie wymieniając szkielet, a deklarowana przewaga pplx-decider nad Jev jest większa niż zmierzony deficyt Kev. To powód, by przetestować pplx-decider, a nie powód, by w niego wierzyć.

Tylko jedna z tych dwóch ma niezależną replikację dołączoną do którejkolwiek ze swoich liczb. Tagi Kev'a w Ollama publikują liczby zaliczeń JevBench dla poszczególnych tagów — 205 z 231 dla kev:27b-nvfp4, w tym 86 z 111 w trudnym podziale, aż do 146 z 231 dla kev:0.8b — z wyraźną uwagą, że wykluczają one 303 niedostępne zadania zapieczętowane lub oceniane przez sędziego i nie są oficjalnym wynikiem rankingu. To samodzielny przebieg, ale taki, który możesz powtórzyć. Dla pplx-decider nie istnieje nic porównywalnego.

Co dokumentuje Kev, a czego nie dokumentuje pplx-decider

• Temperatura — Kev jest dostarczany z T = 1,32 i 90-procentowym przedziałem [1,20, 1,45], stosowanym przy wczytywaniu, więc otrzymywane prawdopodobieństwa są już przeskalowane. Karty pplx-decider nie podają żadnej temperatury, co oznacza, że wszelką potrzebną kalibrację musisz dopasować samodzielnie.

• Zapis treningu — Kev v2 to 129 godzin GPU na 8× H200, jedna epoka na 145 840 rekordach i 337 130 pytaniach, etykiety wygenerowane przez GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b i MiMo-V2.6-Pro, bez wykorzystania żadnych wyników Jev, oraz kontrola zanieczyszczeń, która usunęła 6 388 rekordów w 102 partycjach ewaluacyjnych. pplx-decider dokumentuje pipeline zbudowany na Bespoke Nimble od Bespoke Labs, z podzbiorami benchmarków przypiętymi za pomocą identyfikatora rekordu i sumy kontrolnej, a zyski wersji v1.1 przypisuje usunięciu maski przyczynowej oraz dodaniu danych treningowych — ale nie publikuje liczby rekordów, godzin GPU ani listy etykietujących.

• Uczciwe raportowanie regresji — karta Kev’a wypisuje własne pomyłki: transfer-v4 stracił 0,8 punktu, CUAD spadł o 1,6, oczekiwany błąd kalibracji dla breadth-v1 na poziomie 0,015 wobec 0,053 dla CUAD, od dwóch do czterech razy gorszy niż v1, a także wskazuje optymizm selekcji we własnej ewaluacji. Tabela v1.1 pplx-decider pokazuje, że kategoria tools spada z 79,3 do 78,88, podczas gdy wszystkie inne kategorie rosną, a nic w karcie tego nie komentuje.

• Tryby awarii — karta Kev’a podaje zakres przesiewowego wykrywania zanieczyszczeń oraz warunki, w których powstały jej opublikowane wyniki liczbowe. Rodzina Decider, linia Mapiki, idzie dalej i wskazuje konkretne kształty danych wejściowych, które ją łamią; pplx-decider milczy w tej kwestii.

Nic z tego nie świadczy o tym, że pplx-decider jest gorszy. Dokumentacja to nie możliwości — laboratorium z postem premierowym w wersji roboczej ma inne bodźce niż osoba publikująca notatki na Hugging Face. Ale kiedy dwa modele deklarują ten sam rodzaj wyniku, a tylko jeden z nich podaje swoją temperaturę, ten, który ją podaje, jest tym, który możesz wdrożyć do produkcji w tym miesiącu.

Rozliczanie kontekstu — i to tutaj te dwa rozchodzą się najbardziej.

• Kev — 65 536 tokenów stanu, plus co najmniej 8 192 tokeny na pytanie, z treningiem do 32 768. W przypadku stanu 64k rezydentna zajętość pamięci osiąga w szczycie około 87,1 GB, czas modelu 9,4 sekundy, 733 ms przy trafieniu w pamięć podręczną oraz 21,1 żądań na sekundę przy pojedynczym kliencie wobec 36,4 przy 64.

• pplx-decider — 8,192 tokenów łącznie dla tekstu i obrazów, przy czym zbyt duże dane wejściowe są odrzucane, a nie obcinane. Kompilacja Ollama podaje okno kontekstu 256K, czego nic w repozytorium nie wyjaśnia i co nie zgadza się z własnym limitem karty.

Ta luka to najważniejsza pojedyncza różnica między nimi w przypadku rzeczywistych obciążeń. Kev jest zbudowany z myślą o długich stanach i wielu pytaniach względem nich. pplx-decider to gęsty model 27B o stosunkowo małym budżecie wejściowym, co popycha go w stronę krótkich dokumentów, obrazów i zapytań mieszczących się w kilku tysiącach tokenów.

• Język — na obu tylko angielski, na obu wskazany jako ograniczenie.

• Vision — pplx-decider przyjmuje tekst, JSON i obrazy, przy czym tokeny wizji kosztują w przybliżeniu szerokość × wysokość / 1024, a konfiguracja ewaluacyjna jest ograniczona do 512×512. Kev nie ma wizji w linii 27B.

• Minimalna konfiguracja serwowania — Kev-27B wymaga GPU klasy 80 GB: 51,3 GB wag bf16, około 65,5 GB w pamięci rezydentnej, 87,1 GB przy stanie 64k, a jego serwer nasłuchuje otwarcie, chyba że ustawiono KEV_API_KEY. Wagi bf16 pplx-decider mają około 49 GiB, więc dolna granica jest podobna; skwantyzowana kompilacja Ollama zajmuje 17 GB, co oznacza zupełnie inną maszynę.

• Szczeble — Kev obejmuje 0,5B, 0,6B, 0,8B, 4B, 8B, 9B i 27B, przy czym małe rozmiary są adapterami LoRA. pplx-decider jest jednym rozmiarem, dwukrotnie poprawionym.

Przeprowadzanie bake-offu bez obstawiania go

Oba modele są dostępne jako lokalne wagi, co jest dokładnie tą sytuacją, w której warstwa routingu się opłaca. OrcaRouter nie obsługuje pplx-decider ani nie obsługuje Kev — żaden z nich nie znajduje się w katalogu i nic tutaj nie powinno być odczytywane jako twierdzenie, że je hostujemy. To, co faktycznie oferujemy w tej klasie, to typesafe/jev-1.13, udostępniany przez ten sam kształt wywołania POST /v1/systemone w cenie $0,042 za milion tokenów wejściowych, i jest to naturalne ramię kontrolne: ten sam interfejs, te same typy pytań, żadnego własnego GPU.

To sprawia, że trójstronny bake-off jest tani w przygotowaniu. Umieść lokalny pplx-decider i lokalny Kev za tym samym harnessem przeciwko routowanemu typesafe/jev-1.13, oceń wszystkie trzy na własnych dokumentach i pozwól, aby rozbieżności między nimi pokazały, gdzie tak naprawdę leżą Twoje progi. Automatyczny failover ma w tym układzie większe znaczenie niż zwykle, ponieważ lokalny 27B na jednej karcie jest najmniej niezawodnym elementem w łańcuchu; kierowanie fallbacku przez jedno API dla ponad 200 modeli — cena katalogowa dostawcy przekazywana z 0% marży — sprawia, że eksperyment nie zamienia się w awarię. A gdy model taki jak pplx-decider w końcu trafi do hostowanego endpointu, ten sam klucz, który uruchamia ramię kontrolne, uruchamia go, bez drugiej umowy i bez zmian w kodzie.

Co zmieniłoby odpowiedź

Cztery rzeczy, i wszystkie z nich można sprawdzić, a nie są kwestią gustu.

Jeśli pplx-decider trafi do dostawcy usług inferencji, jego niezweryfikowana tabela benchmarków staje się kwestią ceny kontra opóźnienia, a luka w dokumentacji przestaje mieć znaczenie — płaciłbyś za hostowany odczyt, a nie za utrzymywanie własnego. Jeśli niezależna strona odtworzy wyniki JevBench któregokolwiek z modeli na opublikowanym środowisku testowym, całe porównanie zawęzi się do jednego zestawu, a nie dwóch niekompatybilnych.

Jeśli udokumentowana słabość Kev w zakresie ECE na CUAD okaże się naprawialna przez ponowne dopasowanie (refit), a nie ponowne trenowanie (retrain), argument kalibracyjny przeciwko niemu w dużej mierze znika, ponieważ Kev już dostarcza wraz z modelem wartość temperatury, a jego tryby awarii są znanymi wielkościami. A jeśli potrzebujesz modelu decyzyjnego na jednej karcie, a nie na dwóch, skwantyzowana kompilacja pplx-decider o rozmiarze 17 GB jest tu jedyną opcją — nie dlatego, że jest lepsza, ale dlatego, że mieści się tam, gdzie model 27B w bf16 się nie mieści.

Dopóki jedno z tych nie nastąpi, praktyczna ocena jest nieefektowna. Kev to ten, którego liczby możesz odtworzyć już dziś, a którego kalibracja ma godną zaufania dokumentację; pplx-decider to ten z lepszym deklarowanym pułapem i słabszym śladem dokumentacyjnym. Wybierz pierwszego, jeśli wdrażasz w tym miesiącu. Wciągnij drugiego do tego samego stanowiska testowego, jeśli jesteś zespołem, który woli zmierzyć ciche wydanie, niż czekać na wpis o premierze.

Kierowanie fallbacku przez cenę katalogową dostawcy przekazywaną dalej z 0% narzutem zapobiega temu, by test porównawczy trzech rozwiązań zamienił się w awarię, gdy lokalny checkpoint jest najmniej niezawodnym elementem łańcucha.

Trójstronny test porównawczy to również rozsądny moment, by zapytać, co już zawiodło w tej klasie: udokumentowane incydenty AI i awarie agentów dotyczące modeli decyzyjnych są zebrane w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, wagę, ocenę pewności i flagę sporu.