Eine Titelkarte mit der Aufschrift „Jev: Ein Modell, das sich weigert zu schreiben“ und dem Untertitel „Das Entscheidungsmodell von TypeSafe AI liefert typisierte Antworten statt Text“, drei beschriftete Karten für die Primitiven Choice, Score und Noul sowie ein Statistikblock, der 777 Bewertungen in unter 0,7 Sekunden bei 0,042 $ pro Million Eingabe-Tokens zeigt.
Guides & Insights

Jev weigert sich, auch nur ein einziges Wort zu schreiben: Was das Entscheidungsmodell von TypeSafe AI leistet – und was noch niemand überprüft hat

Autor

Magnus Corvin

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Jev ist das erste Modell von TypeSafe AI, dem ein Leser wahrscheinlich eher über eine Kostentabelle als über ein Chatfenster begegnet, weil es kein Chatfenster gibt. Jev, am 15. September 2026 von Diogo Almeida vorgestellt — einem Mitautor des InstructGPT-Papiers, der Arbeit, die ChatGPT dazu brachte, sich wie ein Assistent zu verhalten —, generiert überhaupt keinen Text. Es nimmt einen Zustand (eine E-Mail, eine Logzeile, ein Support-Ticket, einen JSON-Blob mit Spielkoordinaten) sowie eine Liste typisierter Fragen entgegen und liefert typisierte Antworten: eine Auswahl aus einer von Ihnen vorgegebenen Menge, eine Punktzahl nach einem Bewertungsraster oder eine Ja/Nein-Wahrscheinlichkeit, die jeweils einen eigenen Konfidenzwert trägt. Keine Prosa, kein Code, keine Erklärung. Das Verkaufsargument von TypeSafe lautet, dass genau diese Enge das Produkt ist, weil sie Geschwindigkeit und Preis liefert, mit denen ein generatives Modell nicht mithalten kann — laut den eigenen Launch-Unterlagen des Unternehmens 20- bis 200-mal schneller und 40- bis 400-mal günstiger als „vergleichbare LLMs“, bei 0,042 US-Dollar pro Million Eingabe-Tokens, wobei die Ausgabe mit null abgerechnet wird.

Die nützlichste Zahl, die in den ersten 48 Stunden veröffentlicht wurde, ist keine davon. Sie stammt von Every, dessen Leiter der Evaluierungen Jev über 27 veröffentlichte Every-Artikel plus 10 im KI-Stil verfasste Gegenstücke laufen ließ und allen 37 Dokumenten auf einmal 21 Fragen stellte: 777 Beurteilungen in unter 0,7 Sekunden für ungefähr einen Viertelcent. Ein zweiter Test, durchgeführt vom CEO von Every, stellte 12 synthetische Passagen – sechs saubere, sechs mit absichtlich eingebauten Fehlern – vier Schreibprüfungen gegenüber. Jev kam auf einen Median von 0,35 Sekunden pro Passage, gegenüber 8,83 Sekunden für Claude Fable 5.1 bei hohem Aufwand: etwa 25-mal schneller bei rund 1/580 der Kosten. Jev erkannte sechs der sieben eingebauten Fehler. Claude Fable 5.1 erkannte alle sieben. Das Urteil von Every lautete „gut, aber nicht perfekt“, und das ist die ehrliche Ein-Satz-Lesart von Jev aus dem einzigen unabhängigen Test, den bislang jemand veröffentlicht hat – die Geschwindigkeits- und Kostenbehauptungen halten dem Kontakt mit einem Dritten stand, die Genauigkeitsbehauptung liegt eine Stufe unter der Frontier, und die Stichprobe ist klein genug, dass niemand daraus Schlussfolgerungen für den Produktionseinsatz ziehen sollte.

Ein Hinweis darauf, mit welcher Art von Belegen dieser Beitrag arbeitet, denn die Ebenen liegen für ein derart neues Modell ungewöhnlich weit auseinander. Jev ist real und aufrufbar: Es gibt einen dokumentierten Endpunkt, ein Python-SDK, einen Modell-Alias und einen veröffentlichten Preis. Der Launch wird vom Anbieter angekündigt, nicht geleakt, und niemand rätselt darüber, ob es ihn gibt. Doch jede Leistungsaussage, mit der TypeSafe vorangeht, stammt von TypeSafe selbst, die Architektur ist unveröffentlicht, die Gewichte sind nicht veröffentlicht, und das Benchmark-Dashboard hinter der 20-200x-Schlagzeile ist eine Reihe interner Workflow-Bewertungen statt eines öffentlichen Leaderboards. Eine externe Partei hat es getestet. Dieser Artikel hält Anbieterzahlen, unabhängige Zahlen und offene Fragen sichtbar getrennt, statt sie zu einem Konsens zu mitteln, den es nicht gibt.

Was TypeSafe tatsächlich ausgeliefert hat

Jev ist das erste der System-One-Modelle, wie TypeSafe sie nennt – der Name ist von Daniel Kahnemans schneller, intuitiver Hälfte der Kognition entlehnt, im Gegensatz zum langsameren, deliberativen Modus, den Chatbots nachahmen. Der Kontrast, den TypeSafe zieht, besteht zum Standardmuster, einen Textgenerator dazu zu zwingen, strukturierte Ausgabe zu erzeugen, und diesen Text dann wieder in etwas zu parsen, dem Code vertrauen kann. Jev überspringt den Text vollständig. TypeSafes eigene Dokumentation formuliert den Sachverhalt unverblümt: „Große Sprachmodelle (LLMs) sind darauf ausgelegt, Text zu erzeugen, den Menschen lesen. Wenn Sie ein Modell benötigen, das ein Urteil fällt, das Ihr Code konsumiert, entsteht ein Missverhältnis.“

Die Ausgabeoberfläche besteht aus drei Primitiven, und es gibt nichts anderes. Jede Frage, die du stellst, muss eines davon sein:

• Auswahl — wähle eine Option aus einer von dir bereitgestellten Liste und gib die ausgewählte Option sowie eine Wahrscheinlichkeit für jeden Kandidaten und eine Konfidenz zurück. Optionen sind auf 255 pro Feld begrenzt; darüber hinaus dokumentiert TypeSafe ein zweistufiges Muster, bei dem Kandidaten unabhängig bewertet und dann ausgewählt werden.

• Score — platziere den Zustand auf einer geordneten Bewertungsskala und gib die Stufe, eine Wahrscheinlichkeit pro Stufe und eine Konfidenz zurück. Das Churn-Risiko auf einer Skala von 0-1 ist das Beispiel in den Docs.

• Noul — ein Kofferwort aus „no“ und „null“ — eine einzelne Ja/Nein-Behauptung, die die kalibrierte Wahrscheinlichkeit zurückgibt, dass sie wahr ist.

A capture of TypeSafe's own documentation introduction page, showing the sentence 'Jev is TypeSafe's flagship model and the first System One model', a table of the three primitives Choice, Score and Noul with what each returns, and the line that adding questions to a call barely changes the response time.

Die interessante Eigenschaft ist nicht ein einzelner Grundbaustein, sondern wie sie sich zusammensetzen. Alle drei lassen sich in einem einzigen API-Aufruf kombinieren, und jede Frage wird parallel gegen einen einzigen gemeinsamen Lesezugriff auf denselben Zustand ausgewertet. Die Dokumentation von TypeSafe besagt, dass das Hinzufügen von Fragen „die Antwortzeit kaum verändert“, und der unabhängige Test bestätigt das in der Praxis – 21 Fragen über 37 Dokumente hinweg lagen innerhalb derselben 0,7 Sekunden. Das ist es, was den Preis pro Beurteilung einbrechen lässt: Man zahlt nicht für eine längere Generierung, sondern für einen einzigen Durchlauf.

Der praktische Rahmen, wie dokumentiert und von frühen Nutzern berichtet: ein Anfragebudget von etwa 32.000 Token, in der TypeSafe-Dokumentation beschrieben als ungefähr 150.000 englische Zeichen; zum Start keine Bild- oder Audioeingabe; und ein Anfrage- und Antwortformat, das nicht der OpenAI-Chat-Completions-Konvention entspricht, sodass für den Aufruf ein maßgeschneiderter Client statt eines Base-URL-Austauschs erforderlich ist. Der Zugang besteht aus einer Early-Access-Warteliste plus einem Browser-Playground, mit code>jev-latest/code> als Modell-Alias.

RLCD bedeutet kalibriert, nicht bevorzugt.

TypeSafe trainiert Jev mit einer Methode, die es RLCD nennt – Reinforcement Learning for Calibrated Decisions, laut der unternehmenseigenen Dokumentation. Das Akronym ist neu genug, dass frühe Berichterstattung es uneinheitlich ausgeschrieben hat, deshalb lohnt es sich, genau zu bestimmen, was es eigentlich bezeichnet, denn der Unterschied ist die gesamte Forschungsbehauptung.

RLHF optimiert auf menschlich bevorzugte Ausgabe. RLVR optimiert auf verifizierbare Korrektheit, die Art, bei der Testfälle bestanden werden. RLCD optimiert auf Kalibrierung: Ein Modell, das sagt, es sei zu 70 % sicher, sollte in etwa 70 % der Fälle recht haben. Das ist ein anderes Ziel als recht zu haben, und es ist der Grund, warum jede Jev-Antwort mit einer beigefügten Wahrscheinlichkeitsverteilung ausgeliefert wird statt nur mit einer Antwort. Der beabsichtigte Fehlermodus ist ein Modell, das weiß, wann es nicht weiß, sodass Ihr Code entscheiden kann, was dagegen zu tun ist.

Was Ihnen das in der Praxis einbringt, ist eine Steuerungsoberfläche. Das dokumentierte Muster besteht aus drei Konfidenzbändern – oben automatisch handeln, in der Mitte markieren oder bestätigen, unten an einen Menschen weiterleiten –, wobei die Schwellenwerte in Ihrem Code und nicht im Modell liegen. Ob die Bänder ehrlich sind, ist eine empirische Frage bezüglich Ihrer Daten, und es ist eine, von der TypeSafe ausdrücklich verlangt, dass Sie sie selbst beantworten, wobei angemerkt wird, dass Konfidenzschwellen anwendungsfallspezifisch sind und anhand Ihrer eigenen gelabelten Beispiele getestet werden sollten. Diese Anweisung ist der wichtigste Satz in der Dokumentation und der Grund, warum der nächste Abschnitt existiert.

Die Zahlen, sortiert danach, wer sie erzeugt hat.

Hier wird die meiste Berichterstattung über Jev schwammig, deshalb lohnt es sich, bei der Herkunft ausdrücklich zu sein. Hier steht, was vom Anbieter stammt, was von einem unabhängigen Tester kam und was schlicht unbekannt ist.

• Vom Anbieter gemeldet, nicht reproduziert — die zentralen Geschwindigkeits- und Kostenbehauptungen. 70–500 ms End-to-End-Latenz gegenüber 3–329 Sekunden bei Frontier-LLM-Aufrufen; 20- bis 200-mal schneller und 40- bis 400-mal günstiger; ein einzelnes Best-Case-Workflow-Ergebnis, beworben mit 193,6-mal schneller und 444,6-mal günstiger. TypeSafe räumt ein, dass es sich um Best-Case- und nicht um allgemeingültige Zahlen handelt.

• Vom Anbieter angegeben und auf dem Preisblatt überprüfbar — 0,042 $ pro Million Eingabe-Token, das sind 42 $ pro Milliarde, bei kostenloser Ausgabe. Dass die Ausgabe kostenlos ist, hat mechanische und nicht werbliche Gründe: Es gibt keine autoregressive Dekodierung, die abgerechnet werden müsste, also fallen keine Ausgabe-Token an, die in Rechnung gestellt werden könnten. Zur Einordnung: Dieselben Launch-Materialien beziffern typische Frontier-Eingabepreise auf 0,20 $ bis 10 $ pro Million, wobei die Ausgabe oft etwa das Fünffache des Eingabepreises kostet.

• Vom Anbieter berichtet, aus einem internen Benchmark – TypeSafes eigenes Workflow-Dashboard, 711 Fälle über vier Aufgaben hinweg, wobei die Referenzantworten aus dem durchschnittlichen Urteil von GPT-6 Astra und Claude Fable 5.1 statt aus Ground Truth abgeleitet wurden. Auf diesem Dashboard kommt Jev aggregiert auf 67,8 % gegenüber 74,1 % für den besten Vergleichskandidaten. Aufgeschlüsselt: Sicherheitsvorfälle 61,7 % gegenüber 66,2 % für Opus 5; Agent-Trace-Observability 71,6 % gegenüber 76,6 %; Rechnungsverarbeitung 61,8 % gegenüber 79,1 %; Kundenservice 76,0 % gegenüber 78,3 %. Jev gewinnt in diesem Diagramm die Spalten Kosten und Latenz und verliert bei der Spalte Genauigkeit. Das Dashboard selbst weist auf eine mögliche Harness-Verzerrung hin, und TypeSafe hat erklärt, dass man öffentliche Leaderboards bewusst zugunsten einmaliger, an Produkt-Updates gekoppelter Evaluierungen übersprungen habe.

• Unabhängig gemessen, kleine Stichprobe – die oben beschriebenen Every-Tests: 777 Urteile in unter 0,7 Sekunden für etwa einen Viertelcent; 1.709 Urteile über 11 Experimente hinweg für insgesamt weniger als einen Cent; rund 25-mal schneller und zu 1/580 der Kosten von Claude Fable 5.1 bei einer Klassifizierungsaufgabe mit 12 Passagen, wobei einer von sieben eingebauten Fehlern übersehen wurde, den das Vergleichsmodell erkannte. Every's eigene Schlussfolgerung war, dass es vor der Produktivsetzung eine viel gründlichere Genauigkeitsprüfung wünschen würde.

• Unbekannt — die Architektur. Kein Paper zum Start, keine Parameteranzahl, keine Offenlegung des Trainings-Compute, keine Gewichte. TypeSafe hat erklärt, dass die Details „vorerst unter Verschluss gehalten“ werden, wobei ein Paper möglicherweise später folgt.

A single-column scoreboard titled 'Jev - the scoreboard' listing six dimensions: latency 70-500 ms claimed, price $0.042 per million input with output free, accuracy 67.8% on the vendor dashboard, independent test 6 of 7 defects caught, context about 32K tokens with no image input, and weights not released.

Das Muster über diese Stufen hinweg ist konsistent, und es ist nicht das Muster, das die 200x-Schlagzeile nahelegt. Jede unabhängige Zahl und jede Anbieterzahl stimmt darin überein, dass Jev dramatisch günstiger und dramatisch schneller ist. Keine Zahl, egal wo, auch nicht die von TypeSafe selbst, zeigt, dass es genauer ist als die Frontier-Modelle, gegen die es preislich antritt. Auf dem Dashboard des Anbieters selbst landet es etwa auf dem Niveau eines guten Mid-Tier-Modells. Der Vergleich, der standhält, ist nicht „so klug wie ein Frontier-Modell für ein Hundertstel des Preises“ – sondern „nahe am Urteilsvermögen eines Mid-Tier-Modells zu einem Bruchteil eines Cents pro Aufruf, schnell genug, um in jedem einzelnen Turn zu laufen.“

Was „Zero Hallucination" bedeutet – und was nicht

Zu den Markteinführungsmaterialien von TypeSafe gehört ein Diagramm, das für Jev eine Tool-Call-Fehlerrate von 0 % einer von null verschiedenen Rate für Vergleichsmodelle gegenüberstellt, und die Wendung „halluzinationsresistent“ wird zusammen mit dem Modell verbreitet. Beides stimmt, und beides ist enger gefasst, als es auf den ersten Blick wirkt.

Die Garantie ist strukturell. Jede mögliche Antwort wird aufgezählt, bevor das Modell läuft — Sie haben die Auswahlliste, das Bewertungsschema oder die Wahr/Falsch-Aussage geliefert —, sodass es keinen Raum gibt, einen Wert außerhalb des deklarierten Typs auszugeben. Ein fehlerhafter Tool-Aufruf ist nichts, was Jev erzeugen kann. Das ist eine echte technische Eigenschaft, und für jeden, der eine Woche damit verbracht hat, Retry-Logik rund um JSON-Parsing-Fehler zu schreiben, ist sie echtes Geld wert.

Es ist keine Behauptung über Korrektheit. Eine schema-valide Antwort kann trotzdem falsch sein: Jev kann eine Rechnungsbeschwerde zuversichtlich an die technische Warteschlange weiterleiten, und die Ausgabe wird perfekt wohlgeformt sein, während sie nutzlos ist. Almeida hat genau das selbst gesagt und eingeräumt, dass es möglich ist, selbstsicher falsch zu liegen. Die nützliche Art, beide Tatsachen zusammenzuhalten, ist die, dass Jev die Fehlerklasse eliminiert, die aus der Ausgabeformatierung stammt, und überhaupt nichts gegen die Klasse unternimmt, die aus dem Urteilsvermögen stammt. Was bedeutet, dass die Genauigkeitsfrage vollständig eine Kalibrierungsfrage ist, und Kalibrierung ist genau das, was man selbst messen muss.

So testen Sie die Kalibrierungsbehauptung mit Ihren eigenen Daten

Kalibrierung ist eine der wenigen Modelleigenschaften, die man mit ein paar hundert Beispielen und ohne ML-Infrastruktur ordentlich überprüfen kann, und sie ist der einzige Test, der zählt, bevor Jev einen Produktionspfad berührt. Das Verfahren ist kurz.

Nimm ein paar hundert Fälle, für die du bereits Labels hast. Stelle Jev die entscheidende Frage – die Routing-Entscheidung, den Risikoscore, die Defektprüfung – und gruppiere die Antworten nach der Konfidenz, die es angegeben hat. Prüfe dann, ob der Bucket mit 0,9 Konfidenz in etwa 90 % der Fälle richtig liegt, der 0,7-Bucket in etwa 70 % und so weiter. Ein gut kalibriertes Modell zeichnet eine Diagonale. Ein Modell, das lediglich selbstsicher ist, bündelt alles oberhalb von 0,9 und liegt in 70 % der Fälle richtig – und genau diese Form bringt eine automatisierte Pipeline still und leise zum Erliegen.

Derselbe Test sagt Ihnen, welche Schwellenwerte Sie verwenden sollten. Wenn der 0,9-Bucket auf Ihren Daten wirklich 90 % genau ist, können Sie ihn automatisieren. Wenn Ihr mittleres Band Brei ist, leiten Sie es an einen Menschen weiter oder übergeben es einem generativen Modell und lassen den teuren Pfad die Mehrdeutigkeit bewältigen. Diese Aufteilung – günstiges Modell für die sichere Mehrheit, teures Modell für den unsicheren Rest – ist die eigentliche Architektur, für die Jev argumentiert, und sie ist der Grund, warum das Modell am besten als Komponente statt als Ersatz zu verstehen ist.

Was es kostet, durchgerechnet

Die Preisgestaltung ist einfach genug, um sie nachzuvollziehen, was selten ist. Input kostet $0,042 pro Million Tokens. Output ist kostenlos. Bei dem dokumentierten Anfragebudget von ungefähr 150.000 Zeichen kostet ein einzelner Aufruf in Maximalgröße deutlich weniger als einen Cent.

Zwei berichtete Zahlen vermitteln eine Vorstellung vom Ausmaß. Ein früher Nutzer führte etwa 5.000 Anfragen für rund 2 $ aus. Die Doom-Demonstration – Jev steuerte einen Bot anhand einer Textbeschreibung des Spielzustands statt roher Pixel – lief bei etwa 10 Aufrufen pro Sekunde auf ungefähr 7 $ pro Stunde. Und Everys 777 Urteile über 37 Dokumente kamen auf etwa einen Viertelcent – die Zahl, die den interessanten Anwendungsfall erkennbar macht: Bei diesem Preis ist die Prüfung jeder einzelnen Runde einer Agent-Schleife keine Kostenentscheidung mehr, sondern Standard.

Das ist das eigentliche Argument für Jev. Ein Verifikationsdurchlauf pro Turn – hat dieser Tool-Aufruf dem vorherigen widersprochen, ist diese Ausgabe mit der vom Nutzer angegebenen Absicht vereinbar, sollte dies eine Warnung auslösen – war mit einem Frontier-Modell schon immer technisch möglich und im großen Maßstab wirtschaftlich absurd. Bei 0,042 $ pro Million Tokens ohne Ausgabegebühr wird derselbe Durchlauf bei jedem Turn bezahlbar. Der Wert liegt hier nicht darin, dass Jev besser denkt als ein Frontier-Modell, denn das tut es nicht. Der Wert liegt darin, dass es billig und schnell genug denkt, um ständig zu Rate gezogen zu werden.

Das sollte man klar sagen, denn es ist die naheliegende nächste Frage: OrcaRouter bedient Jev nicht. TypeSafes Modell befindet sich im Early Access, ist nur über eine Warteliste zugänglich und spricht sein eigenes Anfrageformat, sodass jeder, der es testet, direkt über TypeSafe geht. Die andere Hälfte des Workflows ist der Bereich, in den eine Routing-Schicht tatsächlich passt. Das Muster, für das Jev konzipiert ist, sind zwei Modelle, nicht eines – Jev trifft die typisierte Entscheidung, und ein generatives Modell übernimmt den Teil, der Prosa, Code oder eine Erklärung benötigt. Diese generative Hälfte ist der Teil, den OrcaRouter abdeckt: 197 Modelle von 15 Anbietern hinter einem einzigen OpenAI-kompatiblen Schlüssel, zum Listenpreis des Anbieters, mit 0 % Aufschlag durchgereicht, sodass eine Preissenkung eines Anbieters am selben Tag bei uns ankommt, an dem sie in Kraft tritt. Beide Hälften eines Jev-förmigen Workflows sind ohne einen zweiten Vertrag testbar, und wenn die Entscheidungskomponente noch nicht erprobt ist, ist es der Failover-Pfad, der verhindert, dass ein schlechtes Kalibrierungsergebnis zu einem Produktionsvorfall wird.

A capture of the OrcaRouter models catalogue showing the header '197 models - 15 providers - one API key, one bill', an OpenAI-compatible chat-completions request example, and model cards for DeepSeek V4.1 Flash, OpenAI GPT-6 Astra and Google Gemini 3.8 Flash with their per-million-token input and output prices.

Wo Jev nicht passt

Die Einschränkungen werden vom Anbieter ungewöhnlich klar benannt, was es einfach macht, diesen Abschnitt ehrlich zu schreiben. Jev kann keinen Freitext generieren. Es kann keinen Code schreiben. Es kann kein Gespräch führen. Es hat keine Chat-Oberfläche, keinen Bild-Input und ein Kontextbudget von etwa 32.000 Tokens – eine Größenordnung unter den Long-Context-Modellen, mit denen es preislich verglichen wird. Auswahlfelder sind auf 255 Optionen begrenzt. Und die Eigenschaft „keine Halluzination“, wie oben beschrieben, bezieht sich auf das Ausgabeformat und nicht auf die Wahrheit.

Das Netz passt nur für ein relativ schmales Spektrum. Gut: hochvolumige Klassifizierung und Routing, Guardrail- und Verifikationsdurchläufe, latenzkritische Entscheidungen, das parallele Bewerten großer Dokumentmengen, überall dort, wo die richtige Antwort tatsächlich eine Auswahl, eine Zahl auf einer Skala oder ein boolescher Wert ist. Schlecht: offene Generierung jeder Art, Long-Context-Reasoning, mehrstufige Dialoge oder jede Aufgabe, deren richtige Antwort ein Satz ist. Wenn sich Ihr Problem nicht auf eine typisierte Frage reduzieren lässt, ist Jev kein kostengünstigerer Weg, es zu lösen – es ist überhaupt kein Weg, es zu lösen.

Es gibt auch eine berechtigte Kritik an der Rahmung, die es wert ist, weitergetragen zu werden. Jev als Frontier-Modell zu bezeichnen, leiht sich Glaubwürdigkeit, die das Modell nicht verdient hat: Es kann weder programmieren noch chatten noch einen Satz schreiben, und die Vergleichsdiagramme stützen sich auf Frontier-Modelle als Basis, während die Genauigkeitsspalte eine andere Geschichte erzählt. Die besser vertretbare Behauptung – und diejenige, die die Beweise tatsächlich stützen – ist, dass TypeSafe die Grenze bei Geschwindigkeit und Kosten für strukturierte Entscheidungen weit hinausgeschoben hat. Das ist eine substanzielle Leistung. Es ist etwas anderes, als ein Modell zu entwickeln, das mit GPT-6 Astra oder Claude Fable 5.1 konkurriert.

Was würde dieses Bild verändern?

Drei Dinge, grob danach geordnet, wie sehr sie ins Gewicht fallen würden.

• Ein veröffentlichtes Architekturpapier oder offene Gewichte. Alles darüber, wie Jev seine Geschwindigkeit erreicht, ist derzeit eine Blackbox, und die Behauptung, dass parallele Auswertung der Mechanismus sei – die Analogie, die Almeida zieht, ist die Ersetzung sequenzieller Berechnung, so wie Transformer rekurrente Netzwerke ersetzt haben –, ist eine Behauptung statt eines nachgewiesenen Ergebnisses. Solange das Design nicht veröffentlicht ist, ist die Geschwindigkeit eine Tatsache und die Erklärung Marketing.

• Eine zweite unabhängige Bewertung mit einer größeren Stichprobe. Every's Tests sind die stärksten verfügbaren Belege und decken 12 Passagen zur entscheidenden Genauigkeitsfrage ab. Ein weiterer unabhängiger Durchlauf an einigen hundert gelabelten Fällen würde klären, ob das Übersehen eines von sieben Defekten Rauschen war oder die tatsächliche Fehlerrate.

• Ein Kalibrierungsaudit bei realistischen, unordentlichen Eingaben. Alles, was bisher veröffentlicht wurde, nutzt saubere Testumgebungen. Die offene Frage bei einem Modell, dessen gesamtes Wertversprechen auf vertrauenswürdigen Konfidenzwerten beruht, ist, was diese Werte bei den wirklich mehrdeutigen Fällen tun – jenen, bei denen auch ein menschlicher Prüfer zögern würde. Das ist die Zahl, die entscheidet, ob Automation mit Jev sicher ist, und niemand hat sie veröffentlicht.

Bis dahin ist die vernünftige Haltung konkret statt allgemein. Jev ist ein echtes, ausgeliefertes, ungewöhnlich günstiges Modell mit einem echten strukturellen Vorteil bei der Zuverlässigkeit der Ausgabe, einem Genauigkeitsprofil, das im Mittelfeld liegt, und einer Kalibrierungsbehauptung, die plausibel ist, vom eigenen Anbieter ausdrücklich zum Selbsttest empfohlen und nur anhand einer kleinen Stichprobe unabhängig validiert wurde. Wenn Ihr Workflow einen Schritt enthält, der sich auf eine eingetippte Frage reduzieren lässt, die oft genug gestellt wird, dass ein Frontier-Modell Verschwendung wäre, ist dies eine der günstigsten Möglichkeiten, sie zu stellen – und der Konfidenzwert, den es zurückgibt, ist der Teil, den Sie testen sollten, bevor Sie vertrauen, nicht die Geschwindigkeit.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert