Jev vs. Kev: Ein 95-Dollar-Fine-Tuning, das Jev bei Support-Tickets schlägt

Jared Palmer veröffentlichte Kev am 20. September 2026, fünf Tage, nachdem TypeSafe AI Jev auf den Markt gebracht hatte, und die entscheidende Zahl steht nicht in der Benchmark-Tabelle. Sie steht in der README: Das Ganze kostete etwa 95 $ an H100-Zeit auf Modal, plus drei Cent für Jev-API-Aufrufe, mit denen Evaluierungsdaten generiert wurden. Kev ist Apache-2.0-lizenziert, selbst hostbar und in drei Größen erhältlich, die auf den offenen Qwe​n3.5-Basisgewichten aufbauen – ungefähr 0,8B, 4B und 9B –, mit einem Rank-16-LoRA-Adapter und einem Pointer-Head, der auf eine eingefrorene Basis aufgesetzt wurde, statt eines von Grund auf neu entwickelten Entscheidungsmodells. Es spiegelt Jevs API für typisierte Entscheidungen exakt wider: Choice, Score und Noul, nah genug, um mit TypeSafes eigenem Python-SDK kompatibel zu sein. Jev wiederum wurde am 15. September 2026 als TypeSafe AIs geschlossenes, gehostetes System-One-Modell eingeführt, liefert typisierte Antworten mit kalibrierter Konfidenz und überhaupt keinen Text und hat nie seine Architektur, Parameteranzahl, Trainings-Compute oder Gewichte veröffentlicht. Der Vergleich ist daher nicht wirklich ein Modellvergleich. Er ist ein Test dafür, wie viel von Jevs Wert überlebt, wenn man ihn an einem Nachmittag zum Preis eines gebrauchten Laptops reproduziert. Keines der beiden Modelle ist neu – Jev 1.13 (typesafe/jev-1.13) ist die Veröffentlichung vom 15. September, und Kev folgte fünf Tage später –, aber eine Sache an diesem Vergleich hat sich kürzlich geändert: Am 24. September 2026 nahm OrcaRouter Jev 1.13 in seinen Katalog auf, sodass die Entscheidungshälfte des Paars nun auf demselben Schlüssel antwortet wie die generative Hälfte, statt nur über den eigenen Endpunkt des Anbieters.

Was die Benchmarks tatsächlich aussagen

Die Schlagzeile ist, dass Kev nah herankommt und bei einer einzelnen, eng umrissenen Aufgabe gewinnt. Auf Kevs gesperrtem Testset für neue Quellen erzielte Kev-9B 0,837 gegenüber Jevs 0,857. Beim Routing von Support-Tickets über 900 Tickets – dem scienthoon-Set – erzielte Kev-9B 0,952 gegenüber Jevs 0,897; das ist das einzige veröffentlichte Ergebnis, bei dem die offene Reproduktion das Modell schlägt, das sie reproduziert. Kev liegt außerdem bei einigen Aufgaben zur Logikererkennung leicht vorn. Bei SemiF-Entscheidungssets, einem strukturierten Set aus 144 Fragen, gewinnt Jev mit 0,965 gegenüber Kev-9Bs 0,917.

Wo Kev verliert, verliert es deutlich. Out-of-Domain-Genauigkeit: Kev-8B bei 79,6 % gegenüber 85,7 % von Jev. MMLU: 70 % gegenüber 90 %. MMLU-Pro: 0,515 gegenüber 0,840. Datumsarithmetik mit Tagesgenauigkeit: 60 % gegenüber 93 %. Das Muster ist konsistent – Kev ist wettbewerbsfähig bei schmalem Routing und schmaler Klassifikation, wo die Labelmenge klein und die Domäne fest ist, und es bricht bei allem zusammen, was Weltwissen oder mehrstufige Arithmetik erfordert, weil ein Rang-16-Adapter auf einem eingefrorenen kleinen Basismodell nicht der Ort ist, an dem Weltwissen lebt.

Jede dieser Zahlen stammt aus Kevs eigenem Harness oder von Drittanbieter-Trackern, und Palmers README sagt unmissverständlich, dass es sich nicht um einen kontrollierten Vergleich handelt – Jevs Trainingsdaten sind nicht offengelegt, sodass sich kein solcher erstellen lässt. Das README stellt außerdem fest, dass keine Jev-Ausgaben für das Training verwendet wurden. Beide Disclaimer sind von der Art, die die Zahlen vertrauenswürdiger macht, nicht weniger: Die Person, die den Vergleich veröffentlicht, ist diejenige, die dir sagt, was er nicht beweisen kann.

Was Sie für $95 bekommen, was Sie von Jev um keinen Preis bekommen können

Der Kostenvergleich ist der Punkt, an dem die beiden Produkte aufhören, überhaupt vergleichbar zu sein. Jev kostet 0,042 $ pro Million Input-Token bei kostenlosem Output – der Tarif auf TypeSafes eigener Preisliste und der, den unsere Modellkarte für typesafe/jev-1.13 ausweist –, was auf eine Weise günstig ist, die sich pro Aufruf wirklich kaum unterbieten lässt. Es handelt sich um eine gehostete API, und TypeSafes eigene Homepage beschreibt es weiterhin als Early Access; das ist die Formulierung des Anbieters selbst, und die Warteliste, die früher dahinter stand, ist verschwunden – TypeSafe hat sie am 21. September 2026 entfernt, und was die Modelldokumentation von TypeSafe jetzt stattdessen veröffentlicht, ist das Serving-Limit selbst: 100.000 Token pro Sekunde und 40 Anfragen pro Sekunde pro Konto, dynamisch angepasst und ohne Vorankündigung änderbar. Kev besteht aus Gewichten, die Sie herunterladen. Die Grenzkosten der zehnmillionsten Klassifizierung sind Ihr eigener Strom.

Daraus folgen vier Dinge, und keines davon betrifft Benchmark-Ergebnisse.

Keine Daten verlassen Ihre Infrastruktur. Jev ist ein gehosteter Endpunkt; jeder Zustand, den Sie ihm senden – das Support-Ticket, die Logzeile, die Krankenakte – geht an TypeSafe. Kev läuft auf Ihrer eigenen GPU, was für regulierte Workloads nicht eine Präferenz, sondern der ausschlaggebende Faktor ist.

• Keine Rate Limits von Drittanbietern, kein zugangsbeschränkter Zugriff, kein Deprecation-Risiko. Die eigene Dokumentation von TypeSafe behält sich das Recht vor, diese veröffentlichten Limits jederzeit anzupassen, was ein echter Unterschied zu einem Checkpoint auf Ihrer eigenen Festplatte ist. Ein lokaler Checkpoint hat keine solche Klausel.

• Du kannst es feinabstimmen. Kev ist eine Basis zum Spezialisieren, und das LoRA-Rezept, das es hervorgebracht hat, ist öffentlich. Wenn deine Routing-Taxonomie 40 Klassen umfasst, die kein allgemeines Modell gut bewältigt, kannst du auf deinen eigenen Labels trainieren – genau das hat Palmer getan, zu Kosten, die in zig Dollar statt in einem ML-Team gemessen werden.

• Die Kontext-Obergrenze kannst du ändern. Jevs dokumentiertes Anfragebudget beträgt 64K Token, wovon 32.000 der Zustand plus die einzelne längste Frage sind statt eines separaten Kontingents, und Choice-Felder haben eine Obergrenze von 255 Optionen. Kev erbt das Fenster von Qwe​n3.5, das weitaus größer ist, und die Optionsobergrenze ist ein Implementierungsdetail deines eigenen Serving-Stacks statt einer Herstellergrenze.

Was Jev noch hat, das Kev nicht hat

Die Kalibrierungsaussage ist diejenige, die sich nicht sauber übertragen lässt, und sie ist das Herzstück von TypeSafes Pitch. Jev wird mit einer Methode trainiert, die TypeSafe RLCD nennt – Reinforcement Learning for Calibrated Decisions –, die darauf optimiert, dass der Konfidenzwert ehrlich ist, statt darauf, dass die Antwort bevorzugt wird. Jede Antwort von Jev wird mit einer Wahrscheinlichkeitsverteilung über die Optionen ausgeliefert, sodass dein Code Schwellenwerte festlegen kann: im oberen Bereich automatisch handeln, im mittleren kennzeichnen, im unteren eskalieren.

Kev erzeugt dieselbe typisierte Form und dieselben Wahrscheinlichkeitsausgaben, da die API bewusst kompatibel ist. Ob diese Wahrscheinlichkeiten kalibriert sind, ist eine andere Frage, und die ehrliche Antwort ist, dass niemand ein Zuverlässigkeitsdiagramm für eines der beiden Modelle veröffentlicht hat. Ein separates Kalibrierungsaudit berichtete, dass Jev bei einer Priorisierungsaufgabe mit verdeckter Richtlinie eine Genauigkeit von 44,7 % und einen erwarteten Kalibrierungsfehler von 0,325 erzielte, was darauf hindeutet, dass die Kalibrierung von Jev je nach Aufgabe stark variiert und keine universelle Eigenschaft ist – und TypeSafe selbst rät Nutzern, Konfidenzschwellen anhand ihrer eigenen gelabelten Beispiele zu testen, statt dem veröffentlichten Verhalten zu vertrauen.

Das andere, was Jev hat, ist, dass es nicht auf Qwe​n3.5 trainiert wurde. Ein 9B-Modell mit einem Rang-16-Adapter hat eine Wissensgrenze, und die MMLU-Pro-Lücke von 0,515 gegenüber 0,840 macht diese Grenze sichtbar. Wenn deine Routing-Entscheidung gelegentlich erfordert zu wissen, was eine Sache ist, leistet Jevs größere, nicht offengelegte Architektur Arbeit, die Kevs Adapter nicht leisten kann.

Latenz und die Deployment-Form

Jevs dokumentierte End-to-End-Latenz liegt bei 70–500 ms gegenüber 3–329 Sekunden für Frontier-LLM-Aufrufe in TypeSafes eigenem Vergleich, und das Hinzufügen von Fragen zu einem Aufruf ändert daran kaum etwas, weil jede Frage parallel gegen einen einzigen gemeinsamen Lesezugriff auf den Zustand ausgewertet wird. Es gibt ein gemessenes Gegenstück zu dieser Anbieterbehauptung, und es stammt von uns und nicht von TypeSafe: Über die sieben Tage, in denen unsere Modellkarte für typesafe/jev-1.13 das Modell bereitstellt, ab dem 24. September 2026, dauerte die mediane Anfrage 151 ms und das 95. Perzentil lag bei 247 ms. Das ist eine Serving-Aufzeichnung einer einzigen Route, kein Benchmark. Kev-9B auf einer H100 wird bei einem einzelnen Forward-Pass in derselben Größenordnung liegen, aber der Vergleich hinkt in beide Richtungen: Ein selbst gehostetes 9B-Modell auf einer geteilten GPU unter Last hat nicht dieselbe Latenz wie ein gehosteter Endpunkt, und ein gehosteter Endpunkt ist nicht dasselbe wie eine Box in Ihrem eigenen Rack. Was sich ohne Wenn und Aber sagen lässt, ist, dass beide schnell genug für die Nutzung pro Turn in einem Agentenloop sind und dass Kevs Latenz eine Funktion der Hardware ist, die Sie kontrollieren, und nicht eines Service-Levels, das Ihnen zugesagt wird.

Die ehrliche Einschätzung zur Reproduktion

Die bloße Tatsache, dass Kev überhaupt existiert, ist ein Hinweis auf Jev, und es lohnt sich, das zu benennen. Ein geschlossenes Modell, dessen Verhalten in fünf Tagen für 95 $ von einer Person auf öffentlichen Basisgewichten approximiert werden kann, sagt Ihnen etwas darüber, wie viel seines Vorteils Architektur ist und wie viel Trainingsdaten und Serving. Daraus folgt nicht, dass Jev einfach zu bauen ist – die API-Oberfläche lässt sich leicht kopieren, die Kalibrierung nicht. Aber es bedeutet, dass der Burggraben nicht die Schnittstelle ist, und alle, die Jev für einen Produktionsweg evaluieren, sollten die Möglichkeit einpreisen, dass ein Fine-Tuning eines offenen Basismodells sie den Großteil des Weges für einen Bruchteil des Aufwands bringt.

Was zugleich das Argument dafür ist, noch keinen Produktionspfad auf eines von beiden zu setzen. Wenn Sie Jev evaluieren, ist die vernünftige Haltung, es auszuprobieren, ohne sich darauf festzulegen – und seit dem 24. September 2026 ist das etwas, das Sie mit unserem Schlüssel tun können: OrcaRouter stellt Jev 1.13 als typesafe/jev-1.13 bereit, aufgerufen über denselben POST /v1/systemone-Endpunkt und dieselbe nicht-streamende Anfrageform, die es überall verwendet, mit einem Kontext von 65.536 Token zu 0,042 $ pro Million Eingabe-Token, wobei die Ausgabe mit null abgerechnet wird. Die Entscheidungsschicht und die generative Schicht liegen jetzt auf einem Konto: Über 200 Modelle hinter einem einzigen OpenAI-kompatiblen Schlüssel zum Listenpreis des Anbieters, durchgereicht mit 0 % Aufschlag, mit automatischem Failover. Eine Zwei-Modell-Architektur, bei der eine günstige Entscheidungsschicht den Verkehr sortiert und ein generatives Modell den Rest übernimmt, lässt sich auf unserer Seite ohne einen zweiten Anbietervertrag testen, und sollte sich die Entscheidungskomponente auf Ihren Daten als schlecht kalibriert erweisen, ist es der Failover-Pfad, der verhindert, dass daraus ein Incident wird.

Das Urteil

Wenn Ihre Entscheidungsaufgabe eng gefasst, auf eine feste Domäne beschränkt, hochvolumig und datenschutzsensibel ist, ist Kev heute die besser zu verteidigende Wahl, und es ist kein knappes Rennen — Ihnen gehören die Gewichte, Sie kontrollieren den Datenpfad, Sie können mit Ihren eigenen Labels feinabstimmen, und beim Support-Ticket-Routing schlägt der 9B-Checkpoint Jev bereits bei dessen eigenen veröffentlichten Zahlen. Wenn Ihre Entscheidungsaufgabe Weltwissen, mehrstufige Arithmetik oder einen Konfidenzwert erfordert, den Sie zur Automatisierung nutzen wollen, leisten Jevs größeres, nicht offengelegtes Modell und sein RLCD-Training echte Arbeit, und Kevs Adapter ist kein Ersatz für eines von beiden.

Das Einzige, was keiner der beiden Vergleiche klärt, ist die Kalibrierung, denn für keines der beiden Modelle wurde ein Reliabilitätsdiagramm veröffentlicht. Testen Sie das an Ihren eigenen gelabelten Fällen, bevor Sie mit einem der beiden automatisieren – der Konfidenzwert ist der Teil beider Produkte, der pro Bereitstellung erst verdient werden muss, und die Geschwindigkeit ist der Teil, der bereits zur Massenware geworden ist.