Jev vs Kev: En $95-finjustering som slår Jev i supportärenden

Jared Palmer släppte Kev den 20 september 2026, fem dagar efter att TypeSafe AI lanserade Jev, och det viktiga står inte i benchmark-tabellen. Det står i README: hela projektet kostade cirka 95 dollar i H100-tid på Modal, plus tre cent i Jev API-anrop som användes för att generera utvärderingen. Kev är Apache-2.0, självhostbar och finns i tre storlekar byggda på de öppna basvikterna från Qwe​n3.5 – ungefär 0,8, 4B och 9B – med en rank-16 LoRA-adapter och ett pekarhuvud fäst på en fryst bas snarare än en beslutsmodell byggd från grunden. Det speglar Jevs typade besluts-API: Choice, Score och Noul, tillräckligt nära för att vara kompatibelt med TypeSafe AIs egen Python-SDK. Jev lanserades i sin tur den 15 september 2026 som TypeSafe AIs slutna, hostade System One-modell, returnerar typade svar med kalibrerad konfidens och ingen text alls, och har aldrig publicerat sin arkitektur, sitt parameterantal, sin träningsberäkningskraft eller sina vikter. Jämförelsen är därför egentligen inte en modelljämförelse. Det är ett test av hur mycket av Jevs värde som överlever att reproduceras under en eftermiddag för priset av en bärbar dator. Ingen av modellerna är ny – Jev 1.13 (typesafe/jev-1.13) är utgåvan från 15 september och Kev följde fem dagar senare – men en sak med den här jämförelsen förändrades nyligen: den 24 september 2026 lade OrcaRouter till Jev 1.13 i sin katalog, så den beslutande halvan av paret svarar nu på samma nyckel som den generativa halvan i stället för bara via leverantörens egen endpoint.

Vad benchmarkarna faktiskt säger

Rubriken är att Kev kommer nära, och i en snäv uppgift vinner den. På Kevs låsta testset med nya källor fick Kev-9B 0,837 mot Jevs 0,857. På routning av supportärenden över 900 ärenden – scienthoon-setet – fick Kev-9B 0,952 mot Jevs 0,897, vilket är det enda publicerade resultatet där den öppna reproduktionen slår modellen som den reproducerar. Kev ligger också något före i vissa logikigenkänningsuppgifter. På SemiF-beslutsset, ett strukturerat set med 144 frågor, tar Jev hem det med 0,965 mot Kev-9B:s 0,917.

Där Kev förlorar, förlorar den stort. Träffsäkerhet utanför domänen: Kev-8B på 79,6 % mot Jevs 85,7 %. MMLU: 70 % mot 90 %. MMLU-Pro: 0,515 mot 0,840. Datumaritmetik på dagsnivå: 60 % mot 93 %. Mönstret är konsekvent – Kev är konkurrenskraftig vid snäv routning och klassificering där etikettuppsättningen är liten och domänen är fast, och den faller samman på allt som kräver världskunskap eller aritmetik i flera steg, eftersom en rank-16-adapter på en fryst liten basmodell inte är där världskunskapen finns.

Alla dessa siffror kommer från Kevs eget testramverk eller från tredjepartsspårningsverktyg, och Palmers README säger uttryckligen att det inte är en kontrollerad jämförelse – Jevs träningsdata är inte offentliggjord, så det finns inget sätt att bygga en sådan. README:n anger också att inga Jev-utdata användes för träning. Båda friskrivningarna är av det slag som gör siffrorna mer trovärdiga, inte mindre: den som publicerar jämförelsen är den som berättar vad den inte kan bevisa.

Vad du får för $95 som du inte kan få från Jev till något pris

Det är i kostnadsjämförelsen som de två produkterna inte längre är jämförbara alls. Jev kostar $0.042 per miljon indatatokens med gratis utdata – den taxa som står på TypeSafes egen prislista, och den som vårt modellkort för typesafe/jev-1.13 anger – vilket är billigt på ett sätt som är genuint svårt att slå per anrop. Det är ett hostat API, och TypeSafes egen hemsida beskriver det fortfarande som i early access; det är leverantörens egna ordalydelse, och väntelistan som tidigare låg bakom den är borta – TypeSafe tog bort den den 21 september 2026, och vad dess modelldokumentation nu i stället publicerar är själva serveringsgränsen: 100 000 tokens per sekund och 40 förfrågningar per sekund per konto, justeras dynamiskt och kan ändras utan varsel. Kev är vikter du laddar ner. Marginalkostnaden för den tio miljonte klassificeringen är din egen el.

Fyra saker följer av det, och ingen av dem handlar om benchmarkpoäng.

• Inga data lämnar din infrastruktur. Jev är en hostad slutpunkt; varje tillstånd du skickar till den – supportärendet, loggposten, journalen – går till TypeSafe. Kev körs på din egen GPU, vilket för reglerade arbetsbelastningar inte är en preferens utan den avgörande faktorn.

• Inga tredjepartsgränser, ingen begränsad åtkomst, ingen risk för utfasning. TypeSafe:s egen dokumentation förbehåller sig rätten att när som helst justera dessa publicerade gränser, vilket är en verklig skillnad mot en kontrollpunkt på din egen disk. En lokal kontrollpunkt har ingen sådan klausul.

• Du kan finjustera den. Kev är en bas att specialisera, och LoRA-receptet som producerade den är offentligt. Om din routing-taxonomi har 40 klasser som ingen generell modell hanterar bra kan du träna på dina egna etiketter — vilket är precis vad Palmer gjorde, till en kostnad mätt i tiotals dollar snarare än i ett ML-team.

• Kontexttaket är ditt att ändra. Jevs dokumenterade förfrågningsbudget är 64K tokens, varav 32 000 är tillståndet plus den enskilt längsta frågan snarare än en separat tilldelning, och Choice-fält har en gräns på 255 alternativ. Kev ärver Qwe​n3.5:s fönster, som är mycket större, och alternativgränsen är en implementationsdetalj i din egen serving-stack snarare än en leverantörsgräns.

Vad Jev fortfarande har som Kev inte har

Kalibreringspåståendet är det som inte överförs helt rent, och det är kärnan i TypeSafe:s pitch. Jev tränas med en metod som TypeSafe kallar RLCD – Reinforcement Learning for Calibrated Decisions – som optimerar för att konfidensvärdet ska vara ärligt snarare än för att svaret ska vara det föredragna. Varje Jev-svar levereras med en sannolikhetsfördelning över alternativen, så din kod kan sätta trösklar: agera automatiskt i det övre bandet, flagga i mitten, eskalera i det nedre.

Kev producerar samma typade form och samma sannolikhetsutdata, eftersom API:et är avsiktligt kompatibelt. Huruvida dessa sannolikheter är kalibrerade är en annan fråga, och det ärliga svaret är att ingen har publicerat ett reliabilitetsdiagram för någon av modellerna. En separat kalibreringsrevision rapporterade att Jev uppnådde 44,7 % träffsäkerhet med ett förväntat kalibreringsfel på 0,325 på en prioritetsuppgift med dold policy, vilket tyder på att kalibreringen för Jev varierar kraftigt mellan uppgifter snarare än att vara en universell egenskap – och TypeSafe självt uppmanar användare att testa konfidenströsklar mot sina egna märkta exempel i stället för att lita på det publicerade beteendet.

Det andra som Jev har är att den inte tränades på Qwe​n3.5. En 9B-modell med en rank-16-adapter har ett kunskapstak, och MMLU-Pro-gapet på 0,515 mot 0,840 är det taket synliggjort. Om ditt routningsbeslut ibland kräver att man vet vad en sak är, utför Jevs större, icke avslöjade arkitektur ett arbete som Kevs adapter inte kan.

Latens och distributionsformen

Jevs dokumenterade end-to-end-latens är 70–500 ms jämfört med 3–329 sekunder för anrop till frontier-LLM:er i TypeSafes egen jämförelse, och att lägga till frågor i ett anrop flyttar den knappt eftersom varje fråga utvärderas parallellt mot en gemensam läsning av tillståndet. Det finns en uppmätt motsvarighet till det leverantörspåståendet, och den är vår snarare än TypeSafes: under de sju dagar som vårt modellkort för typesafe/jev-1.13 har servat modellen, från och med den 24 september 2026, tog medianbegäran 151 ms och 95:e percentilen 247 ms. Det är en driftmätning för en enda rutt, inte ett benchmark. Kev-9B på en H100 kommer att ligga i samma storleksordning för en enda framåtpassning, men jämförelsen är inte äpplen mot äpplen i någon riktning: en egenhostad 9B på en delad GPU under belastning har inte samma latens som en hostad slutpunkt, och en hostad slutpunkt är inte samma sak som en burk i ditt eget rack. Det som kan sägas utan förbehåll är att båda är tillräckligt snabba för användning per tur i en agentloop, och att Kevs latens är en funktion av hårdvara som du kontrollerar snarare än en servicenivå som du blir lovad.

Den ärliga tolkningen av reproduktionen

Att Kev överhuvudtaget existerar ger en indikation om Jev, och det förtjänar att nämnas. En sluten modell vars beteende kan approximeras på fem dagar för 95 dollar, av en person, på offentliga basvikter, säger dig något om hur mycket av dess försprång som är arkitektur och hur mycket som är träningsdata och modellservering. Det följer inte att Jev är lätt att bygga – API-ytan är lätt att kopiera, men kalibreringen är det inte. Men det betyder att vallgraven inte är gränssnittet, och den som utvärderar Jev för en produktionsväg bör räkna med möjligheten att en finjustering av en öppen bas tar dem större delen av vägen för en bråkdel av åtagandet.

Vilket också är argumentet för att inte ännu satsa en produktionsväg på någon av dem. Om du utvärderar Jev är den förnuftiga hållningen att prova det utan att binda sig till det – och sedan den 24 september 2026 är det något du kan göra på vår nyckel: OrcaRouter tillhandahåller Jev 1.13 som typesafe/jev-1.13, anropat via samma POST /v1/systemone-slutpunkt och samma icke-strömmande förfrågningsformat som den använder överallt, mot en kontext på 65 536 token till $0.042 per miljon indatatoken med utdata debiterad till noll. Beslutslagret och genereringslagret ligger nu på ett och samma konto: 200+ modeller bakom en OpenAI-kompatibel nyckel till leverantörens listpris, vidarebefordrat med 0 % påslag, med automatisk redundansväxling. En tvåmodellsarkitektur där ett billigt beslutslager sorterar trafik och en generativ modell hanterar resten kan testas på vår sida utan ett andra leverantörsavtal, och om beslutsdelen visar sig vara dåligt kalibrerad på dina data är det redundansväxlingsvägen som förhindrar att det blir en incident.

Domen

Om din beslutsuppgift är smal, fast domän, högvolym och integritetskänslig är Kev det mer försvarbara valet i dag, och det är inte ens nära — du äger vikterna, du kontrollerar datavägen, du kan finjustera på dina egna etiketter, och för dirigering av supportärenden slår 9B-checkpointen redan Jev enligt Jevs egna publicerade siffror. Om din beslutsuppgift kräver världskunskap, flerstegsaritmetik eller ett konfidensvärde som du tänker automatisera mot, utför Jevs större icke-offentliggjorda modell och dess RLCD-träning verkligt arbete, och Kevs adapter är inte ett substitut för någon av dem.

Det enda som ingen av jämförelserna avgör är kalibreringen, för ingen har publicerat ett reliabilitetsdiagram för någon av modellerna. Testa det på dina egna etiketterade fall innan du automatiserar mot någon av dem – konfidensvärdet är den del av båda produkterna som måste förtjänas per driftsättning, och hastigheten är den del som redan är kommodifierad.