Eine Titelkarte mit der Aufschrift „Jev: Ein Modell, das sich weigert zu schreiben“ und dem Untertitel „Das Entscheidungsmodell von TypeSafe AI liefert typisierte Antworten statt Text“, drei beschriftete Karten für die Primitiven Choice, Score und Noul sowie ein Statistikblock, der 777 Bewertungen in unter 0,7 Sekunden bei 0,042 $ pro Million Eingabe-Tokens zeigt.
Guides & Insights

Jev weigert sich, auch nur ein einziges Wort zu schreiben: Was das Entscheidungsmodell von TypeSafe AI tut und was die Audits seitdem herausgefunden haben

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Jev 1.13 (typesafe/jev-1.13) ist das erste Modell von TypeSafe AI, dem ein Leser wahrscheinlich eher über eine Kostentabelle als über eine Chatbox begegnet, denn es gibt keine Chatbox. Am 15. September 2026 von Diogo Almeida vorgestellt – einem Mitautor des InstructGPT-Papiers, der Arbeit, die ChatGPT dazu brachte, sich wie ein Assistent zu verhalten –, erzeugt Jev überhaupt keinen Text. Es nimmt einen Zustand (eine E-Mail, eine Logzeile, ein Support-Ticket, ein JSON-Blob mit Spielkoordinaten) plus eine Liste typisierter Fragen und liefert typisierte Antworten: eine Auswahl aus einer von Ihnen vorgegebenen Menge, eine Bewertung nach einer Rubrik oder eine Ja/Nein-Wahrscheinlichkeit, jeweils mit einem eigenen Konfidenzwert. Keine Prosa, kein Code, keine Erklärung. TypeSafes Verkaufsargument ist, dass genau diese Beschränktheit das Produkt ist, weil sie Geschwindigkeit und Preis erkauft, die ein generatives Modell nicht erreichen kann – 20- bis 200-mal schneller und 40- bis 400-mal günstiger als „vergleichbare LLMs“ in den eigenen Launch-Materialien des Unternehmens, bei 0,042 $ pro Million Eingabe-Token, wobei Ausgaben mit null berechnet werden. Seit dem 21. September 2026 ist es allgemein verfügbar, als TypeSafe die Warteliste entfernte und begann, neuen Konten 5 $ Guthaben zuzuweisen – die eigene Umrechnung des Anbieters, etwa 120 Millionen Eingabe-Token zum Listenpreis wert. Das Modell ist älter als die Nachrichten in diesem Artikel. OrcaRouter nahm typesafe/jev-1.13 am 24. September 2026 in seinen Katalog auf und leitet es nun über denselben Schlüssel wie die generativen Modelle, neben denen es sitzen soll – das ist die Änderung, die heute wissenswert ist. Das Zweite, womit diese Seite nun umgehen muss, stammt nicht von TypeSafe: RSI-Jev, ein offenes Projekt eines Drittanbieters, das Entscheidungsmodelle im Jev-Stil vom Typ System One baut und dessen aktuelle Version das 4B RSI-Jev v6.0-VL vom 6. Oktober 2026 ist. Es kopiert Jevs Übertragungsformat absichtlich, und seine eigene Lizenzzeile stellt unmissverständlich klar, dass es nicht mit TypeSafe AI verbunden ist – es ist nicht TypeSafes Jev, nicht TypeSafes Gewichte und nicht dasselbe Modell unter einem kürzeren Namen. Der letzte Abschnitt dieses Artikels ist, wo er hingehört, denn er ist die schärfste verfügbare Antwort auf die Frage, wie viel von Jevs Position ein Burggraben ist.

Die nützlichste Zahl, die in den ersten 48 Stunden veröffentlicht wurde, ist keine davon. Sie stammt von Every, wo der Leiter der Evaluationen Jev über 27 veröffentlichte Every-Artikel plus 10 KI-stilisierte Gegenstücke laufen ließ, wobei allen 37 Dokumenten gleichzeitig 21 Fragen gestellt wurden: 777 Bewertungen in unter 0,7 Sekunden für rund einen Viertelcent. Ein zweiter Test, durchgeführt vom CEO von Every, stellte 12 synthetische Passagen – sechs saubere, sechs mit absichtlich eingebauten Fehlern – vier Schreibprüfungen gegenüber. Jev lag bei einem Median von 0,35 Sekunden pro Passage gegenüber 8,83 Sekunden für Claude Fable 5.1 bei hohem Aufwand: etwa 25-mal schneller bei ungefähr 1/580 der Kosten. Es erkannte sechs der sieben eingebauten Fehler. Claude Fable 5.1 erkannte alle sieben. Das Urteil von Every lautete „gut, aber nicht perfekt“, und das ist die ehrliche Ein-Satz-Bewertung von Jev aus dem ersten veröffentlichten unabhängigen Test – die Geschwindigkeits- und Kostenbehauptungen überstehen den Kontakt mit einer dritten Partei, die Genauigkeitsbehauptung liegt eine Stufe unter der Frontier, und die Stichprobe ist klein genug, dass niemand daraus eine Schlussfolgerung für den Produktivbetrieb hätte ziehen sollen – eine Lücke, die spätere Evaluierungen teilweise geschlossen haben, in beide Richtungen.

Ein Hinweis darauf, mit welcher Art von Belegen dieser Beitrag arbeitet, denn die Evidenzstufen haben sich für ein so neues Modell schnell verschoben. Jev ist real und aufrufbar: Es gibt einen dokumentierten Endpunkt, ein Python SDK, einen Modell-Alias und einen veröffentlichten Preis. Der Start wurde vom Anbieter angekündigt, nicht geleakt, und niemand rätselt darüber, ob es existiert. Aber jede Leistungsaussage, mit der TypeSafe vorangeht, stammt von TypeSafe selbst, die Architektur ist unveröffentlicht, die Gewichte sind nicht draußen, und das Benchmark-Dashboard hinter der 20-200x-Schlagzeile ist eine Sammlung interner Workflow-Evaluierungen statt einer öffentlichen Rangliste. Unabhängige Tests sind nicht mehr das fehlende Element, das sie am Starttag waren — inzwischen gibt es mindestens drei separate externe Evaluierungen, darunter einen vorregistrierten Durchlauf und eine Studie, die speziell darauf ausgelegt wurde, Jev mit Eingaben zu testen, die es nicht gesehen haben konnte —, und sie stimmen mit dem Anbieter bei der Geschwindigkeit überein, erzählen aber eine kompliziertere Geschichte in Bezug auf Genauigkeit und Kalibrierung. Dieser Artikel hält Anbieterzahlen, unabhängige Zahlen und offene Fragen sichtbar getrennt, statt sie zu einem Konsens zu mitteln, den es nicht gibt.

Was TypeSafe tatsächlich ausgeliefert hat

Jev ist das erste der System-One-Modelle, wie TypeSafe sie nennt – der Name ist von Daniel Kahnemans schneller, intuitiver Hälfte der Kognition entlehnt, im Gegensatz zum langsameren, deliberativen Modus, den Chatbots nachahmen. Der Kontrast, den TypeSafe zieht, besteht zum Standardmuster, einen Textgenerator dazu zu zwingen, strukturierte Ausgabe zu erzeugen, und diesen Text dann wieder in etwas zu parsen, dem Code vertrauen kann. Jev überspringt den Text vollständig. TypeSafes eigene Dokumentation formuliert den Sachverhalt unverblümt: „Große Sprachmodelle (LLMs) sind darauf ausgelegt, Text zu erzeugen, den Menschen lesen. Wenn Sie ein Modell benötigen, das ein Urteil fällt, das Ihr Code konsumiert, entsteht ein Missverhältnis.“

Die Ausgabeoberfläche besteht aus drei Primitiven, und es gibt nichts anderes. Jede Frage, die du stellst, muss eines davon sein:

• Auswahl — wähle eine Option aus einer von dir bereitgestellten Liste und gib die ausgewählte Option sowie eine Wahrscheinlichkeit für jeden Kandidaten und eine Konfidenz zurück. Optionen sind auf 255 pro Feld begrenzt; darüber hinaus dokumentiert TypeSafe ein zweistufiges Muster, bei dem Kandidaten unabhängig bewertet und dann ausgewählt werden.

• Score — platziere den Zustand auf einer geordneten Bewertungsskala und gib die Stufe, eine Wahrscheinlichkeit pro Stufe und eine Konfidenz zurück. Das Churn-Risiko auf einer Skala von 0-1 ist das Beispiel in den Docs.

• Noul — ein Kofferwort aus „no“ und „null“ — eine einzelne Ja/Nein-Behauptung, die die kalibrierte Wahrscheinlichkeit zurückgibt, dass sie wahr ist.

A capture of TypeSafe's own documentation introduction page, showing the sentence 'Jev is TypeSafe's flagship model and the first System One model', a table of the three primitives Choice, Score and Noul with what each returns, and the line that adding questions to a call barely changes the response time.

Die interessante Eigenschaft ist nicht irgendein einzelnes Primitiv, sondern wie sie sich zusammensetzen. Alle drei lassen sich in einem einzigen API-Aufruf mischen, und jede Frage wird parallel gegen einen einzigen gemeinsamen Lesezugriff auf denselben Zustand ausgewertet. Die Dokumentation von TypeSafe besagt, dass das Hinzufügen von Fragen „die Antwortzeit kaum verändert“, und unabhängige Tests bestätigen das in der Praxis – 21 Fragen über 37 Dokumente lagen innerhalb derselben 0,7 Sekunden. Das lässt den Preis pro Bewertung zusammenbrechen: Sie zahlen nicht für eine längere Generierung, sondern für einen einzigen Durchgang.

Der praktische Rahmen, wie dokumentiert und von frühen Nutzern berichtet: ein Anfragebudget von ungefähr 64.000 Tokens, von denen etwa 32.000 den Zustand plus die einzelne längste Frage abdecken — TypeSafes Dokumentation merkt an, dass sich die Genauigkeit ändert, wenn der Zustand wächst; zur Einführung kein Bild- oder Audioeingang; und ein Anfrage- und Antwortformat, das nicht der Chat-Completions-Konvention entspricht, sodass ein bestehender Client nicht einfach seine Basis-URL darauf zeigen lassen kann. Der Zugang war ab dem 21. September 2026 kein Hindernis mehr, als TypeSafe die Warteliste entfernte und Jev für alle mit einem Konto öffnete; neue Konten starten mit 5 US-Dollar Guthaben, das laut Anbieter zum Listenpreis etwa 120 Millionen Eingabe-Tokens wert ist. TypeSafes eigene Homepage beschreibt Jev noch immer als im Early Access, ein Label, das die Dokumentation nicht wiederholt: Die Dokumentation veröffentlicht dynamisch angepasste Limits von 100K Tokens pro Sekunde und 40 Anfragen pro Sekunde statt einer Zugangssperre. Der Browser-Playground ist weiterhin neben der API vorhanden, und jev-latest bleibt der Modell-Alias.

RLCD bedeutet kalibriert, nicht bevorzugt.

TypeSafe trainiert Jev mit einer Methode, die es RLCD nennt – Reinforcement Learning for Calibrated Decisions, laut der unternehmenseigenen Dokumentation. Das Akronym ist neu genug, dass frühe Berichterstattung es uneinheitlich ausgeschrieben hat, deshalb lohnt es sich, genau zu bestimmen, was es eigentlich bezeichnet, denn der Unterschied ist die gesamte Forschungsbehauptung.

RLHF optimiert auf menschlich bevorzugte Ausgabe. RLVR optimiert auf verifizierbare Korrektheit, die Art, bei der Testfälle bestanden werden. RLCD optimiert auf Kalibrierung: Ein Modell, das sagt, es sei zu 70 % sicher, sollte in etwa 70 % der Fälle recht haben. Das ist ein anderes Ziel als recht zu haben, und es ist der Grund, warum jede Jev-Antwort mit einer beigefügten Wahrscheinlichkeitsverteilung ausgeliefert wird statt nur mit einer Antwort. Der beabsichtigte Fehlermodus ist ein Modell, das weiß, wann es nicht weiß, sodass Ihr Code entscheiden kann, was dagegen zu tun ist.

Was Sie davon in der Praxis haben, ist eine Steuerungsoberfläche. Das dokumentierte Muster besteht aus drei Konfidenzbändern – oben automatisch handeln, in der Mitte markieren oder bestätigen, unten an einen Menschen weiterleiten –, wobei die Schwellenwerte in Ihrem Code und nicht im Modell liegen. Ob die Bänder ehrlich sind, ist eine empirische Frage zu Ihren Daten, und es ist eine, die TypeSafe Ihnen ausdrücklich aufträgt, selbst zu beantworten, mit dem Hinweis, dass Konfidenzschwellen anwendungsfallspezifisch sind und an Ihren eigenen gelabelten Beispielen getestet werden sollten. Diese Anweisung ist der wichtigste Satz in der Dokumentation, und was die Dokumentation nicht enthält, ist irgendeine externe Darstellung davon, ob die Methode hinter diesen Bändern tut, was ihr Name sagt. Seit dieser Woche gibt es eine partielle, und sie ist eine Rekonstruktion und keine Offenlegung: RSI-Jevs RL-Post-mortem baut eine kontrollierte Rekonstruktion mit sieben Armen der veröffentlichten Vermutungen zu RLCD – ein 13.800-Fragen-Ausschnitt, 1.500 Schritte pro Arm – und veröffentlicht, was jedem Arm widerfahren ist, einschließlich der gescheiterten. Jede RL-Belohnung darin verschlechterte die rohe Kalibrierung; ein kostengünstiger Post-hoc-Konfidenzkopf stellte alle wieder her außer dem Proper-Score-Arm; und keine Zielfunktion verbesserte die Ordnung der Konfidenz. Es schließt mit einer Auflistung von drei Zutaten, die RLCD enthalten muss, formuliert als Hypothese darüber, wie die Methode funktionieren könnte, und nicht als Behauptung über die Interna von TypeSafe, die niemand außerhalb des Unternehmens gesehen hat. Lesen Sie es als die erste Evidenz von Dritter Seite, die neben den unten sortierten Kalibrierungsbehauptungen steht, nicht als Blick in sie hinein; der Hintergrund der Methode selbst findet sich in unserem Erklärstück RLCD Explained.

Die Zahlen, sortiert danach, wer sie erzeugt hat.

Genau hier wird der Großteil der Berichterstattung über Jev schwammig, deshalb lohnt es sich, bei der Herkunft explizit zu sein. Hier steht, was vom Anbieter kommt, was von unabhängigen Testern stammt und was schlicht unbekannt ist.

• Vom Anbieter gemeldet, nicht reproduziert — die zentralen Geschwindigkeits- und Kostenbehauptungen. 70–500 ms End-to-End-Latenz gegenüber 3–329 Sekunden bei Frontier-LLM-Aufrufen; 20- bis 200-mal schneller und 40- bis 400-mal günstiger; ein einzelnes Best-Case-Workflow-Ergebnis, beworben mit 193,6-mal schneller und 444,6-mal günstiger. TypeSafe räumt ein, dass es sich um Best-Case- und nicht um allgemeingültige Zahlen handelt.

• Vom Anbieter angegeben und auf dem Preisblatt überprüfbar — 0,042 $ pro Million Eingabe-Token, das sind 42 $ pro Milliarde, bei kostenloser Ausgabe. Dass die Ausgabe kostenlos ist, hat mechanische und nicht werbliche Gründe: Es gibt keine autoregressive Dekodierung, die abgerechnet werden müsste, also fallen keine Ausgabe-Token an, die in Rechnung gestellt werden könnten. Zur Einordnung: Dieselben Launch-Materialien beziffern typische Frontier-Eingabepreise auf 0,20 $ bis 10 $ pro Million, wobei die Ausgabe oft etwa das Fünffache des Eingabepreises kostet.

• Vom Anbieter berichtet, aus einem internen Benchmark – TypeSafes eigenes Workflow-Dashboard, 711 Fälle über vier Aufgaben hinweg, wobei die Referenzantworten aus dem durchschnittlichen Urteil von GPT-6 Astra und Claude Fable 5.1 statt aus Ground Truth abgeleitet wurden. Auf diesem Dashboard kommt Jev aggregiert auf 67,8 % gegenüber 74,1 % für den besten Vergleichskandidaten. Aufgeschlüsselt: Sicherheitsvorfälle 61,7 % gegenüber 66,2 % für Opus 5; Agent-Trace-Observability 71,6 % gegenüber 76,6 %; Rechnungsverarbeitung 61,8 % gegenüber 79,1 %; Kundenservice 76,0 % gegenüber 78,3 %. Jev gewinnt in diesem Diagramm die Spalten Kosten und Latenz und verliert bei der Spalte Genauigkeit. Das Dashboard selbst weist auf eine mögliche Harness-Verzerrung hin, und TypeSafe hat erklärt, dass man öffentliche Leaderboards bewusst zugunsten einmaliger, an Produkt-Updates gekoppelter Evaluierungen übersprungen habe.

• Unabhängig gemessen, kleine Stichprobe — der erste externe Test, der oben beschriebene Every-Lauf: 777 Urteile in unter 0,7 Sekunden für etwa einen Viertelcent; 1.709 Urteile über 11 Experimente für insgesamt unter einem Cent; rund 25-mal schneller und zu 1/580 der Kosten von Claude Fable 5.1 bei einer Klassifizierungsaufgabe mit 12 Passagen, wobei eines von sieben eingebauten Defekten übersehen wurde, die das Vergleichsmodell erkannte. Everys eigene Schlussfolgerung war, dass es vor der Produktivsetzung eine viel gründlichere Genauigkeitsprüfung wünschen würde — eine Prüfung, die inzwischen teilweise vorliegt, unten.

• Unabhängig gemessen, vorab registriert und größer — ein externes Team veröffentlichte am 20. September 2026 eine vorab registrierte Evaluierung, die 21 Experimente und 50 Vorhersagen festlegte, bevor eine einzige Anfrage hinausging, über 5.721 Aufrufe. Auf einem Referenzsatz mit 400 Elementen erzielte Jev 95,9 % Zero-Shot, gegenüber 77,2 % für handgeschriebene Keyword-Regeln und 66,0 % für eine überwachte TF-IDF-Basislinie. Dieselbe Studie dokumentiert den Fehlermodus, der wichtiger ist als die Schlagzeile: Wenn die Kriterienbeschreibungen in der Frage falsch waren, brach die Genauigkeit auf 16,7 % zusammen, unter die 25-%-Zufallsgrenze für diese Aufgabe. Die Autoren offenbaren ihre eigene Voreingenommenheit in die entgegengesetzte Richtung — 18 ihrer 21 falsifizierten Vorhersagen lagen auf die gleiche Weise daneben, weil sie immer wieder ein Scheitern vorhersagten und immer wieder falsch lagen.

Unabhängig gemessen, Out-of-Distribution — eine separate Kalibrierungsstudie, veröffentlicht am 19. September 2026, erstellte 900 regelgenerierte Support-Tickets, deren Labels teilweise von einer internen Kontostufen-Richtlinie abhängen, die nirgendwo im Text erscheint, sodass kein Modell sie auswendig gelernt haben konnte, und ließ sie zusammen mit 3.721 öffentlichen Benchmark-Items laufen. Im synthetischen Studienarm betrug Jevs erwarteter Kalibrierungsfehler 0,107, gegenüber einer Rauschuntergrenze von 0,024, die die Autoren für ein perfekt kalibriertes Modell berechneten — etwa das 4,4-Fache dieser Untergrenze. Bei den öffentlichen Benchmarks maß dieselbe Studie 0,024 bis 0,032. Die Lücke zwischen diesen beiden Spannen ist der Befund.

• Unbekannt — die Architektur. Kein Paper zum Start, keine Parameteranzahl, keine Offenlegung des Trainings-Compute, keine Gewichte. TypeSafe hat gesagt, die Details würden „vorerst unter Verschluss gehalten“, ein Paper könnte möglicherweise später folgen. Die Replikationswelle Mitte September änderte daran nichts: Jene Projekte bauen das Verhalten mit ihren eigenen Architekturen nach, und keines von ihnen legt offen, wie TypeSafes Modell funktioniert. Die offenen Checkpoints, die ein Drittanbieterprojekt jetzt veröffentlicht, sind die des Projekts selbst, keine Veröffentlichung von TypeSafe, und sie ändern nichts an den obigen Sätzen — die vollständige Bilanz dessen, was der Anbieter veröffentlicht hat und was nicht, findet sich in „Ist Jev Open Source?“.

A single-column scoreboard titled 'Jev - the scoreboard' listing six dimensions: latency 70-500 ms claimed, price $0.042 per million input with output free, accuracy 67.8% on the vendor dashboard, independent test 6 of 7 defects caught, context about 32K tokens with no image input, and weights not released.

Das Muster über diese Stufen hinweg ist konsistent, und es ist nicht das Muster, das die 200x-Schlagzeile suggeriert. Jede unabhängige und anbieterseitige Zahl stimmt darin überein, dass Jev dramatisch günstiger und dramatisch schneller ist. Keine Zahl – auch nicht die von TypeSafe selbst – zeigt, dass es genauer ist als die Frontier-Modelle, gegen die es preislich antritt – auf dem eigenen Dashboard des Anbieters landet es etwa auf dem Niveau eines guten Mittelklasse-Modells. Was die neuere externe Arbeit hinzufügt, ist eine Kontur für die Genauigkeitsgeschichte statt einer neuen Schlagzeile. Bei Aufgabentypen, die es schon gesehen hat, kann es sehr stark aussehen: 95,9 % Zero-Shot auf dem eigenen 400-Punkte-Referenzset des vorregistrierten Teams, weit vor den Keyword- und TF-IDF-Baselines, gegen die es gemessen wurde. Bei Eingaben, die darauf ausgelegt sind, anders zu sein als alles, was es je gesehen hat, gerät seine Konfidenz ins Wanken. Der Vergleich, der standhält, ist immer noch nicht „so klug wie ein Frontier-Modell für ein Hundertstel des Preises“ – er lautet „nahe an der Urteilskraft eines Mittelklasse-Modells zu einem Bruchteil eines Cents pro Aufruf, schnell genug, um in jedem einzelnen Turn zu laufen.“

Was „Zero Hallucination" bedeutet – und was nicht

Zu den Markteinführungsmaterialien von TypeSafe gehört ein Diagramm, das für Jev eine Tool-Call-Fehlerrate von 0 % einer von null verschiedenen Rate für Vergleichsmodelle gegenüberstellt, und die Wendung „halluzinationsresistent“ wird zusammen mit dem Modell verbreitet. Beides stimmt, und beides ist enger gefasst, als es auf den ersten Blick wirkt.

Die Garantie ist strukturell. Jede mögliche Antwort wird aufgezählt, bevor das Modell läuft — Sie haben die Auswahlliste, das Bewertungsschema oder die Wahr/Falsch-Aussage geliefert —, sodass es keinen Raum gibt, einen Wert außerhalb des deklarierten Typs auszugeben. Ein fehlerhafter Tool-Aufruf ist nichts, was Jev erzeugen kann. Das ist eine echte technische Eigenschaft, und für jeden, der eine Woche damit verbracht hat, Retry-Logik rund um JSON-Parsing-Fehler zu schreiben, ist sie echtes Geld wert.

Es ist keine Behauptung über Korrektheit. Eine schema-valide Antwort kann trotzdem falsch sein: Jev kann eine Rechnungsbeschwerde zuversichtlich an die technische Warteschlange weiterleiten, und die Ausgabe wird perfekt wohlgeformt sein, während sie nutzlos ist. Almeida hat genau das selbst gesagt und eingeräumt, dass es möglich ist, selbstsicher falsch zu liegen. Die nützliche Art, beide Tatsachen zusammenzuhalten, ist die, dass Jev die Fehlerklasse eliminiert, die aus der Ausgabeformatierung stammt, und überhaupt nichts gegen die Klasse unternimmt, die aus dem Urteilsvermögen stammt. Was bedeutet, dass die Genauigkeitsfrage vollständig eine Kalibrierungsfrage ist, und Kalibrierung ist genau das, was man selbst messen muss.

Die ersten externen Evaluierungen fügen eine spezifische Warnung darüber hinzu, wie sich diese strukturelle Garantie im Produktivbetrieb verhält. Da Jev immer eine der Antworten zurückgibt, die Sie vorgegeben haben, gibt es keine Möglichkeit zu sagen „nichts davon“, es sei denn, Sie geben ihm eine. Ein vorab registrierter Durchlauf im September bat es, Material ohne gültige Kategorie zu klassifizieren, und stellte fest, dass 0 von 30 Nachrichten außerhalb des Geltungsbereichs markiert wurden; jede kam mit einer Konfidenz von 0,99 zurück. Ein Kuchente rezept oder eine Seite mit zufälligen Buchstaben kommt als Kategorie mit hoher Konfidenz zurück, weil eine Kategorie genau das ist, wonach die Anfrage verlangte. Die Lösung ist eher eine Design-Gewohnheit als eine Modelleinstellung: Nehmen Sie in jede Choice-Liste eine explizite Ausweichoption und in jede Noul-Behauptung einen falschen Zweig auf, und behandeln Sie das Fehlen eines solchen als Fehler in Ihrem eigenen Fragetext.

So testen Sie die Kalibrierungsbehauptung mit Ihren eigenen Daten

Kalibrierung ist eine der wenigen Modelleigenschaften, die man mit ein paar hundert Beispielen und ohne ML-Infrastruktur ordentlich überprüfen kann, und sie ist der einzige Test, der zählt, bevor Jev einen Produktionspfad berührt. Das Verfahren ist kurz.

Nimm ein paar hundert Fälle, für die du bereits Labels hast. Stelle Jev die entscheidende Frage – die Routing-Entscheidung, den Risikoscore, die Defektprüfung – und gruppiere die Antworten nach der Konfidenz, die es angegeben hat. Prüfe dann, ob der Bucket mit 0,9 Konfidenz in etwa 90 % der Fälle richtig liegt, der 0,7-Bucket in etwa 70 % und so weiter. Ein gut kalibriertes Modell zeichnet eine Diagonale. Ein Modell, das lediglich selbstsicher ist, bündelt alles oberhalb von 0,9 und liegt in 70 % der Fälle richtig – und genau diese Form bringt eine automatisierte Pipeline still und leise zum Erliegen.

Derselbe Test sagt Ihnen, welche Schwellenwerte Sie verwenden sollten. Wenn der 0,9-Bucket auf Ihren Daten wirklich 90 % genau ist, können Sie ihn automatisieren. Wenn Ihr mittleres Band Brei ist, leiten Sie es an einen Menschen weiter oder übergeben es einem generativen Modell und lassen den teuren Pfad die Mehrdeutigkeit bewältigen. Diese Aufteilung – günstiges Modell für die sichere Mehrheit, teures Modell für den unsicheren Rest – ist die eigentliche Architektur, für die Jev argumentiert, und sie ist der Grund, warum das Modell am besten als Komponente statt als Ersatz zu verstehen ist.

Die Out-of-Distribution-Studie ist die erste Antwort von außen auf diese Frage, und sie ist eine Warnung, keine Entwarnung. Im Test gegen 900 synthetische Support-Tickets, deren entscheidende Richtlinie im Text fehlt, stimmte Jevs Konfidenz nicht mehr mit seiner Genauigkeit überein: erwarteter Kalibrierungsfehler 0,107 gegenüber einem Grundrauschen von 0,024, etwa 4,4-mal so hoch wie der Wert, den ein perfekt kalibriertes Modell auf demselben Datensatz erzielen würde. Auf den drei öffentlichen Benchmarks lag er zwischen 0,024 und 0,032 – das Modell ist also gut kalibriert auf der Art von Daten, für die es entwickelt und an denen es gemessen wurde, und deutlich schlechter, sobald die Aufgabe unvertraut ist. Das Score-Primitiv war das schwächste der drei, mit 44,7 % Genauigkeit bei einer mittleren angegebenen Wahrscheinlichkeit von 0,74. Die Autoren der Studie selbst bitten die Leser, die Richtung dieses Ergebnisses und nicht die exakte Größenordnung zu berücksichtigen, da eine einzige synthetische Aufgabenfamilie mit n=900 kein allgemeingültiges Gesetz ist. Die Richtung ist der Teil, der für alle wichtig ist, die Schwellenwerte festlegen: Führen Sie den oben beschriebenen Bucketing-Test mit Ihren eigenen Labels durch, bevor Sie eine Entscheidung automatisieren, denn die Kalibrierung, die Sie auf öffentlichen Benchmarks sehen, ist nicht die Kalibrierung, die Sie in Ihrem Traffic erhalten werden.

Was es kostet, durchgerechnet

Die Preisgestaltung ist einfach genug, um sie nachzuvollziehen, was selten ist. Der Input kostet 0,042 $ pro Million Token – der Tarif, den TypeSafe veröffentlicht, und der Tarif, den der OrcaRouter-Katalog führt – und der Output ist kostenlos. Bei dem dokumentierten Budget von rund 64.000 Input-Token kostet ein einzelner Aufruf in Maximalgröße weniger als drei Zehntel eines Cents.

Zwei berichtete Zahlen vermitteln eine Vorstellung vom Ausmaß. Ein früher Nutzer führte etwa 5.000 Anfragen für rund 2 $ aus. Die Doom-Demonstration – Jev steuerte einen Bot anhand einer Textbeschreibung des Spielzustands statt roher Pixel – lief bei etwa 10 Aufrufen pro Sekunde auf ungefähr 7 $ pro Stunde. Und Everys 777 Urteile über 37 Dokumente kamen auf etwa einen Viertelcent – die Zahl, die den interessanten Anwendungsfall erkennbar macht: Bei diesem Preis ist die Prüfung jeder einzelnen Runde einer Agent-Schleife keine Kostenentscheidung mehr, sondern Standard.

Das ist das eigentliche Argument für Jev. Ein Verifikationsdurchlauf pro Turn – hat dieser Tool-Aufruf dem vorherigen widersprochen, ist diese Ausgabe mit der vom Nutzer angegebenen Absicht vereinbar, sollte dies eine Warnung auslösen – war mit einem Frontier-Modell schon immer technisch möglich und im großen Maßstab wirtschaftlich absurd. Bei 0,042 $ pro Million Tokens ohne Ausgabegebühr wird derselbe Durchlauf bei jedem Turn bezahlbar. Der Wert liegt hier nicht darin, dass Jev besser denkt als ein Frontier-Modell, denn das tut es nicht. Der Wert liegt darin, dass es billig und schnell genug denkt, um ständig zu Rate gezogen zu werden.

Das sollte man klar sagen, denn es ist die naheliegende nächste Frage: OrcaRouter hat typesafe/jev-1.13 am 24. September 2026 in seinen Katalog aufgenommen, und das Modell ist live auf der Jev-1.13-Modellkarte heute – eine API für über 200 Modelle zum Listenpreis des Anbieters, 1:1 durchgereicht mit 0 % Aufschlag, sodass eine Preissenkung des Anbieters am selben Tag bei uns ankommt, an dem sie erfolgt. Zwei Details dazu, wie es bereitgestellt wird, denn danach wird am häufigsten gefragt. Anfragen gehen an POST /v1/systemone, nicht gestreamt, bei einem Kontext von 65.536 Tokens; das ist nicht die Form der chat-completions, weshalb Jev einen eigenen Endpoint-Typ hat, statt in die Chat-Route eingegliedert zu werden. Und die Karte veröffentlicht unser eigenes Sieben-Tage-Serving-Fenster, gemessen am Traffic über unseren Playground seit dem 24. September, statt vom Anbieter übernommen: p50 151 ms, p95 247 ms, 349 Ausgabe-Tokens pro Sekunde und eine Fehlerquote von 0,49 % über 76,2 Mio. Tokens. Genau das macht das Zwei-Modell-Muster, für das Jev plädiert, zu einem einzigen Vertrag statt zu zweien. Jev trifft die typisierte Entscheidung, ein generatives Modell übernimmt den Teil, der Prosa, Code oder eine Erklärung braucht, beide Hälften werden über denselben Schlüssel zum Listenpreis des Anbieters abgerechnet, und automatisches Failover verhindert, dass eine Entscheidungskomponente, die sich als schlecht kalibriert erweist, zu einem Produktionsvorfall wird.

A capture of the OrcaRouter models catalogue showing the header '197 models - 15 providers - one API key, one bill', an OpenAI-compatible chat-completions request example, and model cards for DeepSeek V4.1 Flash, OpenAI GPT-6 Astra and Google Gemini 3.8 Flash with their per-million-token input and output prices.

Wo Jev nicht passt

Die Einschränkungen werden vom Anbieter ungewöhnlich klar dargelegt, was es einfach macht, diesen Abschnitt ehrlich zu verfassen. Jev kann keinen Freitext erzeugen. Jev kann keinen Code schreiben. Jev kann kein Gespräch führen. Jev hat keine Chat-Oberfläche, keine Bildeingabe und ein Anfragebudget von ungefähr 64.000 Tokens – davon etwa 32.000 für den Zustand plus die längste einzelne Frage –, eine Größenordnung unter den Long-Context-Modellen, mit denen Jev preislich verglichen wird. Auswahlfelder sind auf 255 Optionen begrenzt. Und die Eigenschaft „keine Halluzination“ betrifft, wie oben dargelegt, das Ausgabeformat und nicht die Wahrheit.

Das Netz passt nur für ein relativ schmales Spektrum. Gut: hochvolumige Klassifizierung und Routing, Guardrail- und Verifikationsdurchläufe, latenzkritische Entscheidungen, das parallele Bewerten großer Dokumentmengen, überall dort, wo die richtige Antwort tatsächlich eine Auswahl, eine Zahl auf einer Skala oder ein boolescher Wert ist. Schlecht: offene Generierung jeder Art, Long-Context-Reasoning, mehrstufige Dialoge oder jede Aufgabe, deren richtige Antwort ein Satz ist. Wenn sich Ihr Problem nicht auf eine typisierte Frage reduzieren lässt, ist Jev kein kostengünstigerer Weg, es zu lösen – es ist überhaupt kein Weg, es zu lösen.

Es gibt auch eine berechtigte Kritik an der Rahmung, die es wert ist, weitergetragen zu werden. Jev als Frontier-Modell zu bezeichnen, leiht sich Glaubwürdigkeit, die das Modell nicht verdient hat: Es kann weder programmieren noch chatten noch einen Satz schreiben, und die Vergleichsdiagramme stützen sich auf Frontier-Modelle als Basis, während die Genauigkeitsspalte eine andere Geschichte erzählt. Die besser vertretbare Behauptung – und diejenige, die die Beweise tatsächlich stützen – ist, dass TypeSafe die Grenze bei Geschwindigkeit und Kosten für strukturierte Entscheidungen weit hinausgeschoben hat. Das ist eine substanzielle Leistung. Es ist etwas anderes, als ein Modell zu entwickeln, das mit GPT-6 Astra oder Claude Fable 5.1 konkurriert.

Was würde dieses Bild verändern?

Vier Dinge würden dies klären, und die Woche seit der Öffnung des Modells hat drei davon vorangebracht.

• Ein veröffentlichtes Architekturpapier oder offene Gewichte. Nach wie vor die größte Lücke. Alles darüber, wie Jev seine Geschwindigkeit erreicht, bleibt eine Blackbox, und die Aussage, dass parallele Auswertung der Mechanismus sei – die Analogie, die Almeida zieht, ist die Ersetzung sequenzieller Berechnung, so wie Transformer rekurrente Netzwerke ersetzt haben – ist eine Behauptung und kein nachgewiesenes Ergebnis. Die unten stehende Open-Source-Welle reimplementiert das Verhalten; nichts davon legt offen, wie das Modell von TypeSafe funktioniert. Solange das Design nicht veröffentlicht ist, ist die Geschwindigkeit eine Tatsache und die Erklärung Marketing.

• Eine zweite unabhängige Evaluierung mit einer größeren Stichprobe. Diese hier hat teilweise gegriffen. Der vorregistrierte Durchlauf vom 20. September umfasst 5.721 Aufrufe und einen Referenzsatz mit 400 Einträgen, was eine weit größere Stichprobe ist als die 12 Passagen von Every und zudem eine viel besser konzipierte, und er ist der stärkste einzelne Beleg für Jev, den es gibt. Er ist außerdem von den Autoren selbst erstellt, eintägig, an einem einzigen Ort und gegen eine einzige Modellversion durchgeführt, und das Team veröffentlicht seine eigenen Einschränkungen zusammen mit seinen Ergebnissen. Was er klärt, ist, dass Jev wirklich gut in dem ist, wofür es konzipiert wurde; was er nicht klärt, ist, wie es sich bei den Aufgaben anderer schlägt.

• Ein Kalibrierungsaudit an realistischen, unordentlichen Eingaben. Dieser hier hat eingeschlagen, und er ist das unangenehmste Ergebnis in diesem Artikel. Die oben genannte Out-of-Distribution-Studie ist der erste Auditdurchlauf an Material, das so erstellt wurde, dass es dem Modell fremd ist, und sie fand eine Entkopplung von Konfidenz und Genauigkeit bei etwa dem 4,4-Fachen des Rauschpegels eines perfekt kalibrierten Modells – während dasselbe Modell auf drei öffentlichen Benchmarks gut kalibriert aussah. Eine synthetische Aufgabenfamilie mit 900 Elementen ist kein Urteil, und das sagen die Autoren auch. Es reicht, um die Frage von „Ist Jev kalibriert?“ zu „Kalibriert worauf?“ zu verschieben, was ohnehin die nützlichere Frage ist.

• Eine Replikation, die Jev nach Jevs eigenen Maßstäben übertrifft. Noch nicht, und die Welle endete nicht im September. Innerhalb von etwa 48 Stunden nach dem Start hatten mindestens sechs unabhängige offene Projekte Jev-artige Entscheidungsmodelle veröffentlicht — eines auf einem Encoder mit 421 Millionen Parametern basierend, eines ein LoRA auf einem 9B-Modell, eines klein genug, um in ein paar Dutzend Kilobyte zu passen — und bis zum 23. September war eines von ihnen an der Spitze einer Trending-Liste eines Modell-Hostings. Jeder Vergleich, den diese Projekte veröffentlichen, ist eine Selbstauskunft des Teams, das die Alternative entwickelt hat, und jeder nutzt seinen eigenen Evaluationsdatensatz. Die Ergebnisse zeigen in unterschiedliche Richtungen: Der Klon, der bei der Nachrichtenkategorisierung gewinnt, verliert deutlich bei einer 77-Wege-Intent-Aufgabe, und der eine unabhängige Direktvergleich, der auf byte-identischen Eingaben durchgeführt wurde, hat Jev in sechs von neun Suiten vorn. Jevs eigene Genauigkeit auf einem einzelnen Benchmark wurde nun mit vier verschiedenen Werten von vier verschiedenen Evaluationen veröffentlicht. Das Dauerhafte dieser Welle ist RSI-Jev, und es ist das konkrete, datierte Beispiel für dieses Argument: ein offenes Drittprojekt, das Jev-artige System-One-Entscheidungsmodelle baut, Code MIT, Gewichte Apache-2.0 auf Hugging Face, mit einer Lizenzzeile, die lautet: „Not affiliated with TypeSafe AI.“ Seine Veröffentlichung diese Woche ist das 4B RSI-Jev v6.0-VL, veröffentlicht am 2026-10-06 und die siebte in einer selbstverbessernden Schleife, die 471 Experimente durchgeführt und nur sehr wenige davon behalten hat: ein Qwen3.5-4B-Base-Turm mit einem trainierten Antwortkopf, ein Vorwärtsdurchlauf pro Entscheidung, nichts generiert. Es verwendet Tiefe anstelle von Tokens — Antwortköpfe in den Schichten 16, 20 und 32, sodass eine Anfrage bei demjenigen stoppt, das zuerst zuversichtlich ist, ein Median von 23, 27 und 40 ms auf einer H200 in bf16 — und es spricht genau TypeSafes Wire-Format: gleiche Anfrage, gleiche drei Fragetypen, gleiche Konfidenzstatistik, sodass alles, was gegen Jev geschrieben wurde, ohne Änderungen auch gegen es funktioniert. Auf dem eigenen öffentlichen Decision Index des Projekts meldet es 38,38 bis 46,24 in einer Veröffentlichung, mit 0,698 auf seinem Hold-out-Set und 0,440 auf MMLU-Pro — seine eigenen Zahlen auf seinem eigenen Board, und es gibt keinen unabhängigen Direktvergleich zwischen ihm und Jev 1.13. Es ist keine Gewichtsveröffentlichung von Jev, es macht TypeSafes Modell nicht offen, und TypeSafe hat es weder erstellt noch unterstützt; die früheren Veröffentlichungen dieser Linie waren 2B-Modelle auf Qwen3.5-2B-Base, und das RL-Ergebnis, das den Namen des Projekts begründete, stammt aus v3.0, datiert auf den 2026-09-28 und drei Veröffentlichungen zurück — die erste Veröffentlichung, in der eine RL-Stufe das überwachte Modell übertraf, von dem sie fortgesetzt wurde, eine listweise Reranking-Belohnung über 16 Kandidaten, die das Reranking-R@1 von 0,192 auf 0,308 gegenüber seinem eigenen Vorgänger hob, ein Plus von 60 %, bei Suite-Kosten von 0,0028. Unser Katalog führt keine ID für RSI-Jev: Was wir bereitstellen, ist typesafe/jev-1.13 auf dem systemone-Endpunkt, und dieses Projekt wird aus seinem eigenen Repository betrieben. Die vollständige Beschreibung für einen Erstleser findet sich in Was ist RSI-Jev?.

Was diese Welle zeigt, ist nicht, dass Jev geschlagen wurde – sondern dass ein offenes Modell gebaut werden kann, das diese Aufgabe grob an einem Wochenende erledigt, was eine andere und dauerhaftere Aussage darüber ist, wo der Burggraben liegt. Die Haltung, die daraus folgt, ist enger als noch vor einer Woche und spezifischer. Jev ist ein echtes, ausgeliefertes, ungewöhnlich günstiges Modell, das jetzt für jeden mit einem Konto zugänglich ist, mit einem echten strukturellen Vorteil bei der Zuverlässigkeit der Ausgabe, einem Genauigkeitsprofil etwa im Mittelfeld nach den eigenen Zahlen des Anbieters und einer Kalibrierungsbehauptung, die seit dem Start zweimal unabhängig getestet wurde: einmal an einem großen, vorteilhaften, selbst verfassten Benchmark und einmal an unbekannten Eingaben, bei denen die Konfidenzwerte nicht standhielten. Behandle das zweite Ergebnis als das aussagekräftigere. Wenn dein Workflow einen Schritt hat, der sich auf eine typisierte Frage reduzieren lässt, die oft genug gestellt wird, dass ein Frontier-Modell verschwenderisch wäre, ist dies eine der günstigsten Arten, sie zu stellen – und der Konfidenzwert, den es zurückgibt, ist weiterhin der Teil, den du an deinen eigenen Daten testen solltest, bevor du ihm vertraust, nicht die Geschwindigkeit. Es ist außerdem ohne ein zweites Konto testbar: typesafe/jev-1.13 ist auf OrcaRouter live, neben den generativen Modellen, die ein Jev-förmiger Workflow braucht.