pplx-decider vs Kev: Två system, en modell du redan kan hämta

Det användbara sammanträffandet i den här jämförelsen är att du kan avgöra den på din egen hårdvara i eftermiddag. pplx-decider, Perplexitys 27B-beslutsmodell, dök upp 2026-10-01 utan något tillkännagivande och en v1.1-revision 2026-10-05, och båda finns i Ollama-biblioteket. Kev, Jared Palmers reproduktionslinje, har funnits på Ollama sedan v2 landade 2026-09-30 och täcker 0.5B till 27B. De talar samma anropsform — ett tillstånd plus en lista med namngivna frågor, en framåtpassning, en sannolikhet tillbaka, ingen genererad text — vilket betyder att samma testrigg kan köra båda. Det som skiljer är allt under huven: hur utdata produceras, vad författarna dokumenterade och hur mycket GPU det kräver.

Börja med det som överhuvudtaget gör en bake-off möjlig. Ingen av modellerna skriver text. Du lämnar över ett dokument och ställer frågor genom att ange deras namn, där varje fråga deklarerar sin svarstyp – ett val bland 2 till 255 märkta alternativ, en avläsning av ja/nej/okänt, eller en poäng över 2 till 10 beskrivna nivåer. Svaret kommer som en sannolikhet, i den ordning du ställde frågorna. Ett ärende med sextio frågor är en enda genomkörning av modellen, inte sextio anrop.

Hur mycket av varje modell står egentligen för beslutsfattandet?

Kevs modellkort är uttryckligt om sin konstruktion på ett sätt som är sällsynt utanför interna redogörelser, och detaljerna är värda att läsa innan du litar på en siffra från det. 27B-checkpointen är en övervakad finjustering med fulla vikter på Qwen/Qwen3.8-27B, därefter ett viktat medelvärde – 0,85 av den nya modellen blandat med 0,15 av v1 i fp32. De mindre storlekarna, 0,8B till 9B, levereras som LoRA-adaptrar på Qwen3.5-baser snarare än fullständiga checkpoints.

Den del som bestämmer hur utdata formas är separat från språkryggraden. Kev har ett pointer-head – cirka 2,6M parametrar i fp32, ovanpå en 25,6B-ryggrad för att tillsammans bli 26B – vilket är det som omvandlar ett dolt tillstånd till en sannolikhet över dina namngivna alternativ. pplx-decider gör samma jobb med ett publicerat readout-huvud på [255, 5120]: 255 alternativ över ett 5 120 brett dolt tillstånd, i bf16.

Två arkitekturer, en idé: språkmodellen läser, ett litet huvud beslutar. Det är därför ingen av dem genererar prosa, och det är också därför ett benchmarkresultat från den ena inte överförs till den andra, även när båda mäts mot samma referensmodell.

Den enda direkta jämförelsen i registret, och varför du inte kan räkna bort den

Båda projekten rapporterar mot Jev, vilket gör det frestande att ställa dem sida vid sida. Gör inte det.

Kevs eget kort innehåller en rad för Decision Index 0.2 som placerar Kev-27B v2 på 52,3 mot 50,2 för v1, Jev på 54,0 och AutoJev-27B på 50,0. Det är en ren jämförelse inom samma svit och samma version, och den säger att Kev v2 förbättrades med omkring två punkter och fortfarande ligger efter Jev.

pplx-deciders kort rapporterar ett svitviktat totalresultat på 61,56 för v1.1, mot 56,4 för v1 och 57,9 för Jev. Enligt deras egna siffror är det en ökning med mer än fem poäng i en enda revidering och ett försprång gentemot Jev på mer än tre och en halv.

De två styckena kan inte subtraheras från varandra. Olika sviter, olika uppgiftsblandningar, olika viktning – och inget av projekten publicerar viktningen. Vad man kan säga är snävare och fortfarande användbart: båda rörde sig i samma riktning under samma tidsfönster, båda gjorde det genom att ändra hur readouten tränas i stället för att byta ut backbonen, och pplx-deciders påstådda marginal över Jev är större än Kevs uppmätta underskott. Det är ett skäl att testa pplx-decider, inte ett skäl att tro på den.

Endast en av de två har en oberoende replikering kopplad till något av sina resultat. Kevs Ollama-taggar publicerar antalet godkända JevBench-uppgifter per tagg — 205 av 231 för kev:27b-nvfp4, inklusive 86 av 111 på den svåra delningen, ned till 146 av 231 för kev:0.8b — med en uttrycklig notering om att dessa utesluter 303 otillgängliga förseglade eller domarbedömda uppgifter och inte är en officiell leaderboard-poäng. Det är en egenkörning, men det är en egenkörning som går att upprepa. Det finns inget jämförbart för pplx-decider.

Vad Kev dokumenterar som pplx-decider inte gör

Temperatur — Kev levereras med T = 1.32, ett 90 %-intervall på [1.20, 1.45], tillämpat vid inläsning, så sannolikheterna du får ut är redan skalade. pplx-deciders kort publicerar ingen temperatur alls, vilket innebär att vilken kalibrering du än behöver är din att anpassa.

• Träningsprotokoll — Kev v2 är 129 GPU-timmar på 8× H200, en epoch över 145 840 poster och 337 130 frågor, etiketter producerade av GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b och MiMo-V2.6-Pro utan att någon Jev-utdata användes, samt en kontamineringskontroll som tog bort 6 388 poster över 102 utvärderingspartitioner. pplx-decider dokumenterar en pipeline byggd på Bespoke Labs Bespoke Nimble med benchmark-deluppsättningar fästa via post-ID och kontrollsumma, och tillskriver v1.1:s vinster att den kausala masken togs bort plus ytterligare träningsdata — men publicerar inget postantal, inga GPU-timmar och ingen lista över etiketterare.

• Ärlig regressionsrapportering — Kevs kort redovisar sina egna missar: transfer-v4 tappade 0,8 poäng, CUAD ned 1,6, förväntat kalibreringsfel på breadth-v1 på 0,015 mot 0,053 på CUAD, två till fyra gånger sämre än v1, och det pekar ut selektionsoptimismen i sin egen utvärdering. Tabellen för pplx-decider v1.1 visar att verktyg glider från 79,3 till 78,88 medan alla andra kategorier stiger, och inget i kortet kommenterar det.

• Felmoder — Kevs kort listar omfattningen av kontaminationsscreening och villkoren under vilka dess publicerade siffror togs fram. Decider-familjen, Mapikas linje, går längre och namnger specifika indataformer som bryter den; pplx-decider är tyst om frågan.

Inget av detta säger att pplx-decider är sämre. Dokumentation är inte förmåga – ett labb med ett lanseringsinlägg i utkast har andra incitament än en enskild person som publicerar anteckningar till Hugging Face. Men när två modeller hävdar samma typ av resultat och bara en av dem talar om sin temperatur, är det den som gör det som du kan sätta i produktion den här månaden.

Kontextredovisning, vilket är där de två skiljer sig mest

• Kev — 65 536 tokens tillstånd, plus minst 8 192 tokens per fråga, med träning upp till 32 768. Vid ett 64k-tillstånd når det residenta minnesavtrycket cirka 87,1 GB vid topp, modelltid 9,4 sekunder, 733 ms vid en cacheträff och 21,1 förfrågningar per sekund för en enskild klient mot 36,4 vid sextiofyra.

• pplx-decider — 8 192 tokens för text och bilder sammanlagt, där för stora indata avvisas i stället för att trunkeras. Ollama-bygget anger ett kontextfönster på 256K, vilket inget i repot förklarar och som inte går ihop med kortets egen gräns.

Det gapet är den enskilt mest avgörande skillnaden mellan de två för verkliga arbetsbelastningar. Kev är byggt för långa tillstånd och många frågor mot dem. pplx-decider är en dense 27B-modell med en jämförelsevis liten indatabudget, vilket driver den mot korta dokument, bilder och förfrågningar som ryms inom några tusen tokens.

• Språk — endast engelska på båda, vilket anges som en begränsning på båda.

• Vision — pplx-decider tar text, JSON och bilder, där visionstokens kostar ungefär bredd × höjd / 1024 och en utvärderingskonfiguration begränsas till 512×512. Kev har ingen vision i 27B-serien.

• Minimikrav för servering — Kev-27B behöver en GPU i 80 GB-klassen: 51,3 GB bf16-vikter, cirka 65,5 GB resident, 87,1 GB vid ett 64k-tillstånd, och dess server binder öppet om inte KEV_API_KEY är satt. bf16-vikterna för pplx-decider är runt 49 GiB, så minimikravet är liknande; det kvantiserade Ollama-bygget landar på 17 GB, vilket är en helt annan maskin.

• Steg — Kev omfattar 0,5B, 0,6B, 0,8B, 4B, 8B, 9B och 27B, med de små storlekarna som LoRA-adaptrar. pplx-decider är en storlek, reviderad två gånger.

Att genomföra bake-offen utan att satsa på den

Båda modellerna är åtkomliga som lokala vikter, vilket är precis den situation där ett routningslager förtjänar sin plats. OrcaRouter betjänar inte pplx-decider och betjänar inte Kev – ingen av dem finns i katalogen, och inget här bör läsas som ett påstående att vi hostar dem. Vad vi däremot erbjuder i den här klassen är typesafe/jev-1.13, exponerad via samma anropsform POST /v1/systemone till $0.042 per miljon indatatoken, och den är den naturliga kontrollarmen: samma gränssnitt, samma frågetyper, ingen egen GPU.

Det gör en trevägs-bake-off billig att sätta upp. Sätt en lokal pplx-decider och en lokal Kev bakom samma testrigg mot en routad typesafe/jev-1.13, poängsätt alla tre på dina egna dokument, och låt oenigheten mellan dem säga var dina tröskelvärden faktiskt ligger. Automatisk failover är viktigare än vanligt i det upplägget, eftersom en lokal 27B på ett enda kort är den minst tillförlitliga komponenten i kedjan; att routa reservvägen genom ett API för 200+ modeller – leverantörens listpris som förs vidare med 0 % påslag – hindrar experimentet från att förvandlas till ett driftstopp. Och när en modell som pplx-decider så småningom når en hostad slutpunkt, körs den med samma nyckel som kör kontrollarmen, utan ett andra avtal och utan kodändring.

Vad skulle ändra svaret

Fyra saker, och alla är kontrollerbara snarare än en smaksak.

Om pplx-decider når en inferensleverantör blir dess overifierade benchmarktabell en fråga om pris kontra latens, och dokumentationsluckan slutar spela roll – du skulle betala för en hostad avläsning, inte underhålla en. Om en oberoende part reproducerar endera modellens JevBench-siffror på en publicerad testrigg, begränsas hela jämförelsen till en enda svit i stället för två inkompatibla.

Om Kevs dokumenterade ECE-svaghet på CUAD visar sig gå att åtgärda med en refit i stället för en omträning, försvinner till stor del kalibreringsargumentet mot den, eftersom Kev redan levereras med sin temperatur och dess felmoder är kända storheter. Och om du behöver en beslutsmodell på ett kort i stället för två, är pplx-deciderns 17 GB kvantiserade build det enda alternativet här – inte för att den är bättre, utan för att den får plats där en 27B i bf16 inte gör det.

Fram tills ett av dessa inträffar är den praktiska bedömningen oglamorös. Kev är den vars siffror du kan reproducera idag och vars kalibrering du kan lita på är dokumenterad; pplx-decider är den med den bättre påstådda övre gränsen och det svagare pappersspåret. Välj den första om du skeppar den här månaden. Dra in den andra i samma testramverk om du är ett team som hellre mäter en tystlåten lansering än väntar på ett lanseringsinlägg.

Att dirigera fallbacken genom leverantörens listpris som förs vidare med 0 % påslag hindrar en trevägs-bake-off från att förvandlas till ett avbrott när den lokala kontrollpunkten är den minst tillförlitliga komponenten i kedjan.

En trevägsjämförelse är också ett rimligt tillfälle att fråga vad som redan har misslyckats inom den här klassen: de dokumenterade AI-incidenterna och agentfel som rör beslutsmodeller samlas i the OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsbetyg och omstridd-markering.