Jev kontra Kev: Fine-tuning za 95 dolarów, który bije Jev w zgłoszeniach do wsparcia

Jared Palmer udostępnił Kev 20 września 2026 roku, pięć dni po tym, jak TypeSafe AI wypuściło Jev, a ważna liczba nie znajduje się w tabeli benchmarków. Znajduje się w README: całość kosztowała około 95 dolarów w czasie H100 na Modal, plus trzy centy za wywołania API Jev użyte do wygenerowania danych ewaluacyjnych. Kev jest na licencji Apache-2.0, można go hostować samodzielnie i występuje w trzech rozmiarach zbudowanych na otwartych wagach bazowych Qwe​n3.5 — około 0,8B, 4B i 9B — z adapterem LoRA o randze 16 i głowicą wskaźnikową przykręconymi do zamrożonej bazy, a nie modelem decyzyjnym budowanym od zera. Odzwierciedla dokładnie typowany interfejs decyzyjny Jev: Choice, Score i Noul — wystarczająco blisko, by być kompatybilnym z własnym SDK Pythona TypeSafe. Jev ze swojej strony został wypuszczony 15 września 2026 roku jako zamknięty, hostowany model System One firmy TypeSafe AI, zwraca typowane odpowiedzi ze skalibrowaną pewnością i zupełnie bez tekstu, i nigdy nie opublikował swojej architektury, liczby parametrów, mocy obliczeniowej użytej do treningu ani wag. Porównanie to zatem nie jest tak naprawdę porównaniem modeli. To test tego, ile wartości Jev przetrwa odtworzenie w jedno popołudnie za cenę używanego laptopa. Żaden z modeli nie jest nowy — Jev 1.13 (typesafe/jev-1.13) to wydanie z 15 września, a Kev pojawił się pięć dni później — ale jedna rzecz w tym porównaniu zmieniła się niedawno: 24 września 2026 roku OrcaRouter dodał Jev 1.13 do swojego katalogu, więc decyzyjna połowa pary odpowiada teraz na tym samym kluczu co połowa generatywna, zamiast wyłącznie przez własny endpoint dostawcy.

Co tak naprawdę mówią benchmarki

Najważniejsze jest to, że Kev jest blisko, a w jednym wąskim zadaniu wygrywa. Na zablokowanym zestawie testowym Kev obejmującym nowe źródła Kev-9B uzyskał 0,837 wobec 0,857 Jev. W routingu zgłoszeń pomocy technicznej na 900 zgłoszeniach — zestaw scienthoon — Kev-9B uzyskał 0,952 wobec 0,897 Jev, co jest jedynym opublikowanym wynikiem, w którym otwarta reprodukcja przewyższa model, który odtwarza. Kev wysuwa się też nieznacznie na prowadzenie w niektórych zadaniach rozpoznawania logiki. W zestawach decyzyjnych SemiF, ustrukturyzowanym zestawie 144 pytań, Jev wygrywa 0,965 do 0,917 Kev-9B.

Tam, gdzie Kev przegrywa, przegrywa dotkliwie. Dokładność poza domeną: Kev-8B na poziomie 79,6% wobec 85,7% Jev. MMLU: 70% wobec 90%. MMLU-Pro: 0,515 wobec 0,840. Arytmetyka dat z dokładnością do dnia: 60% wobec 93%. Wzorzec jest spójny — Kev jest konkurencyjny w wąskim routingu i klasyfikacji, gdzie zbiór etykiet jest mały, a domena ustalona, ale rozsypuje się przy wszystkim, co wymaga wiedzy o świecie lub wieloetapowej arytmetyki, ponieważ adapter rangi 16 na zamrożonym małym modelu bazowym nie jest miejscem, w którym mieszka wiedza o świecie.

Każda z tych liczb pochodzi z własnego harnessu Kev'a albo od zewnętrznych trackerów, a README Palmera mówi wprost, że nie jest to kontrolowane porównanie — dane treningowe Jev'a nie są ujawnione, więc nie ma sposobu, by takie porównanie zbudować. README stwierdza też, że żadne wyjścia Jev'a nie zostały użyte do treningu. Oba zastrzeżenia są tego rodzaju, że czynią te liczby bardziej wiarygodnymi, a nie mniej: osoba publikująca porównanie sama mówi ci, czego nie może ono dowieść.

Co dostajesz za $95, czego nie możesz dostać od Jev za żadną cenę

Porównanie kosztów to miejsce, w którym te dwa produkty przestają być w ogóle porównywalne. Jev kosztuje 0,042 USD za milion tokenów wejściowych, a wyjściowe są darmowe — to stawka z cennika samego TypeSafe i ta, którą podaje nasza karta modelu dla typesafe/jev-1.13 — co jest taniością, którą naprawdę trudno pobić w przeliczeniu na wywołanie. To hostowane API, a strona główna TypeSafe wciąż opisuje je jako we wczesnym dostępie; to sformułowanie samego dostawcy, a lista oczekujących, która kiedyś się za tym kryła, zniknęła — TypeSafe usunął ją 21 września 2026 r., a to, co obecnie publikuje w swojej dokumentacji modelu, to sam limit obsługi: 100 000 tokenów na sekundę i 40 żądań na sekundę na konto, dostosowywany dynamicznie i mogący się zmienić bez powiadomienia. Kev to wagi, które pobierasz. Koszt krańcowy dziesięciomilionowej klasyfikacji to twój własny prąd.

Wynikają z tego cztery rzeczy i żadna z nich nie dotyczy wyników benchmarków.

• Żadne dane nie opuszczają Twojej infrastruktury. Jev to hostowany endpoint; każdy stan, jaki do niego wyślesz — zgłoszenie do działu wsparcia, linia logu, rekord medyczny — trafia do TypeSafe. Kev działa na Twoim własnym GPU, co w przypadku obciążeń podlegających regulacjom nie jest preferencją, lecz czynnikiem rozstrzygającym.

• Żadnych limitów szybkości narzucanych przez strony trzecie, żadnego dostępu za bramką, żadnego ryzyka deprecjacji. Własna dokumentacja TypeSafe zastrzega sobie prawo do zmiany tych opublikowanych limitów w dowolnym momencie, co stanowi rzeczywistą różnicę względem punktu kontrolnego na własnym dysku. Lokalny punkt kontrolny nie ma takiej klauzuli.

• Możesz go dostroić. Kev to baza do specjalizacji, a przepis LoRA, który go wytworzył, jest publiczny. Jeśli twoja taksonomia routingu ma 40 klas, z którymi żaden model ogólnego przeznaczenia nie radzi sobie dobrze, możesz trenować na własnych etykietach — dokładnie to zrobił Palmer, za koszt rzędu dziesiątek dolarów, a nie całego zespołu ML.

• Pułap kontekstu możesz zmienić. Udokumentowany budżet żądań Jeva wynosi 64 tys. tokenów, z czego 32 000 to stan plus pojedyncze najdłuższe pytanie, a nie osobny przydział, a pola Choice mają limit 255 opcji. Kev dziedziczy okno Qwe​n3.5, które jest znacznie większe, a limit opcji jest szczegółem implementacji twojego własnego stosu serwowania, a nie ograniczeniem dostawcy.

Co Jev wciąż ma, czego Kev nie ma

Twierdzenie o kalibracji jest tym, które nie przenosi się czysto, i stanowi sedno oferty TypeSafe. Jev jest trenowany metodą, którą TypeSafe nazywa RLCD — Reinforcement Learning for Calibrated Decisions — która optymalizuje to, aby wartość pewności była uczciwa, a nie to, aby odpowiedź była preferowana. Każda odpowiedź Jev zawiera rozkład prawdopodobieństwa dla opcji, więc Twój kod może ustawiać progi: działaj automatycznie w górnym przedziale, oznaczaj w środkowym, eskaluj w dolnym.

Kev generuje ten sam typowany kształt i te same wartości prawdopodobieństwa, ponieważ API jest celowo kompatybilne. To, czy te prawdopodobieństwa są skalibrowane, to osobne pytanie, a uczciwa odpowiedź brzmi, że nikt nie opublikował diagramu niezawodności dla żadnego z tych modeli. Osobny audyt kalibracji odnotował, że Jev uzyskał 44,7% dokładności przy oczekiwanym błędzie kalibracji wynoszącym 0,325 w zadaniu ustalania priorytetów z ukrytą polityką, co sugeruje, że kalibracja w przypadku Jeva różni się znacznie w zależności od zadania, a nie jest właściwością uniwersalną — a sam TypeSafe radzi użytkownikom, aby testowali progi ufności na własnych oznaczonych przykładach, zamiast ufać opublikowanemu zachowaniu.

Inną rzeczą, którą ma Jev, jest fakt, że nie był trenowany na Qwe​n3.5. Model 9B z adapterem o randze 16 ma sufit wiedzy, a różnica w MMLU-Pro między 0,515 a 0,840 sprawia, że ten sufit staje się widoczny. Jeśli twoja decyzja o routingu czasami wymaga wiedzy, czym coś jest, większa, nieujawniona architektura Jev'a wykonuje pracę, której adapter Kev'a nie może wykonać.

Opóźnienie i kształt wdrożenia

Udokumentowane opóźnienie end-to-end Jev wynosi 70–500 ms w porównaniu do 3–329 sekund dla wywołań frontier LLM we własnym porównaniu TypeSafe, a dodawanie pytań do wywołania prawie nie wpływa na nie, ponieważ każde pytanie jest oceniane równolegle na podstawie jednego współdzielonego odczytu stanu. Istnieje jeden zmierzony odpowiednik tego twierdzenia dostawcy, i jest on nasz, a nie TypeSafe: w ciągu siedmiu dni, odkąd nasza karta modelu dla typesafe/jev-1.13 obsługuje model, od 24 września 2026 r., mediana żądania wyniosła 151 ms, a 95. percentyl wyniósł 247 ms. To jest rekord obsługi jednej trasy, a nie benchmark. Kev-9B na H100 będzie w tym samym rzędzie wielkości dla pojedynczego przejścia w przód, ale nie jest to porównanie jabłek do jabłek w żadnym kierunku: samodzielnie hostowany 9B na współdzielonym GPU pod obciążeniem to nie to samo opóźnienie co hostowany endpoint, a hostowany endpoint to nie to samo co serwer we własnym racku. Co można powiedzieć bez ogródek, to że oba są wystarczająco szybkie do użycia na turę w pętli agenta, a opóźnienie Kev jest funkcją sprzętu, który kontrolujesz, a nie poziomu usługi, który jest obiecywany.

Uczciwa ocena reprodukcji

Sam fakt, że Kev w ogóle istnieje, jest dowodem dotyczącym Jev i warto to nazwać. Zamknięty model, którego zachowanie można przybliżyć w pięć dni za 95 dolarów, przez jedną osobę, na publicznych wagach bazowych, mówi coś o tym, jak duża część jego przewagi wynika z architektury, a jak duża z danych treningowych i serwowania. Nie wynika z tego, że Jev jest łatwy do zbudowania — powierzchnię API łatwo skopiować, a kalibracji już nie. Ale to oznacza, że fosą nie jest interfejs, a każdy, kto ocenia Jev pod kątem ścieżki produkcyjnej, powinien uwzględnić możliwość, że dostrojenie otwartego modelu bazowego doprowadzi go niemal do celu za ułamek zobowiązania.

Co jest również argumentem za tym, by jeszcze nie opierać ścieżki produkcyjnej na żadnym z nich. Jeśli oceniasz Jev, rozsądnym podejściem jest wypróbować go bez wiązania się z nim — a od 24 września 2026 r. możesz to zrobić na naszym kluczu: OrcaRouter udostępnia Jev 1.13 jako typesafe/jev-1.13, wywoływany przez ten sam endpoint POST /v1/systemone i ten sam kształt żądania nieprzesyłanego strumieniowo, którego używa wszędzie, w kontekście 65,536 tokenów w cenie $0.042 za milion tokenów wejściowych, z rozliczeniem tokenów wyjściowych na poziomie zero. Warstwa decyzyjna i warstwa generatywna znajdują się teraz na jednym koncie: ponad 200 modeli za jednym kluczem kompatybilnym z OpenAI, w cenie katalogowej dostawcy przekazywanej dalej z 0% narzutu, z automatycznym przełączaniem awaryjnym. Architektura dwumodelowa, w której tania warstwa decyzyjna sortuje ruch, a model generatywny obsługuje resztę, jest testowalna po naszej stronie bez drugiej umowy z dostawcą, a jeśli komponent decyzyjny okaże się źle skalibrowany na twoich danych, ścieżka przełączania awaryjnego jest tym, co powstrzymuje to przed staniem się incydentem.

Werdykt

Jeśli Twoje zadanie decyzyjne jest wąskie, o ustalonej domenie, o dużym wolumenie i wrażliwe na prywatność, Kev jest dziś wyborem, którego łatwiej bronić, i nie jest to nawet blisko — posiadasz wagi, kontrolujesz ścieżkę danych, możesz dostroić model na własnych etykietach, a w routingu zgłoszeń do wsparcia checkpoint 9B już przewyższa Jev na jego własnych opublikowanych wynikach. Jeśli Twoje zadanie decyzyjne wymaga wiedzy o świecie, wieloetapowej arytmetyki lub wartości ufności, względem której zamierzasz automatyzować, większy nieujawniony model Jev i jego trening RLCD wykonują prawdziwą pracę, a adapter Kev nie zastępuje żadnego z nich.

Jedyna rzecz, której nie rozstrzyga żadne z tych porównań, to kalibracja, ponieważ nikt nie opublikował diagramu niezawodności dla żadnego z tych modeli. Przetestuj to na własnych oznaczonych przypadkach, zanim zautomatyzujesz cokolwiek w oparciu o którykolwiek z nich — wartość pewności to ta część obu produktów, którą trzeba wypracować przy każdym wdrożeniu, a szybkość to ta część, która jest już utowarowiona.