Gemini Decision 1 vs. Kev: Tausend Fragen in einem Aufruf oder ein Rezept, das Sie neu trainieren können

Jared Palmers Kev-Familie kostete etwa 95 $ an H100-Zeit auf Modal für das Training, plus rund drei Cent an API-Aufrufen für Evaluierungsdaten, und das gesamte Rezept steht im Repository. Gemini Decision 1 kostet, was ein Frontier-Labor für ein Modell ausgibt, das es nicht beschreiben wird, und was man für das Geld bekommt, ist ein Anfrageschema: ein Endpunkt, bis zu 1.000 typisierte Fragen gegen eine einzelne Eingabe mit 262.144 Token, kalibrierte Wahrscheinlichkeiten zurück, null Ausgabe-Token, 0,10 $ pro Million Eingabe-Token. Setzt man Kev daneben, geht es beim Vergleich nicht wirklich um zwei Modelle. Es geht um ein Batch-Scoring-Gerät und ein kleines Stück Maschinerie, das man auseinandernehmen kann.

Keines der beiden Projekte hat eine Zahl veröffentlicht, gegen die sich das andere bewerten ließe, und das ist das Erste, was man ehrlicherweise sagen muss. Google hat zu Gemini Decision 1 keine Benchmark-Tabelle veröffentlicht; jede Leistungszahl in diesem Beitrag stammt von Artificial Analysis, die das Modell auf dem Decision Index v2.1 bei 66 führt. Kev taucht in dieser Rangliste überhaupt nicht auf. Was Kev stattdessen veröffentlicht, sind ein Harness, ein gesperrter Testsatz und die eigenen Fehlerraten, und die lassen sich von nichts abziehen.

Das, was Gemini Decision 1 tut, was Kev nicht kann.

Beginnen wir mit der Fähigkeitslücke, denn sie ist es, die über Architekturen entscheidet und nicht über Scores. Gemini Decision 1 bewertet bis zu 1.000 unabhängige Fragen anhand einer gemeinsamen Eingabe in einem einzigen Forward-Pass. Die Fragen können sich gegenseitig nicht sehen, das Hinzufügen oder Entfernen einer Frage ändert nichts an den anderen, und die gemeinsame Eingabe wird nur einmal abgerechnet.

Der letzte Teilsatz ist das Produkt. Ein Support-Ticket, das gegen vierzig Richtlinienregeln geprüft wird, ist eine einzige Anfrage, ein einziges Lesen des Tickets, vierzig kalibrierte Antworten. Bei einem Per-Question-Modell – und das ist Kev, in dem Sinne, dass der Head jede Option gegen die Frage in einer Zeile bewertet – sind dieselben vierzig Prüfungen vierzig Durchläufe über den Zustand, ob man sie bündelt oder nicht. Kevs eigene Serving-Werte machen die Kosten konkret: 18,1 Millisekunden für sechs Fragen über einen kurzen Zustand auf einer H100, 12,9 Millisekunden gecacht, 14,3 GB resident. Sechs Fragen, nicht tausend.

Die Eingabeoberfläche unterscheidet sich auf dieselbe Weise:

• Modalität — Gemini Decision 1 liest Text, Bild, Video, Audio und PDF; Kev liest Text. Eine Anrufaufzeichnung oder ein gescanntes Formular ist für Kev ein Vorverarbeitungsproblem und für Gemini Decision 1 eine native Eingabe.

• Kontext — 262.144 Token für Gemini Decision 1 über Eingabe und Fragen hinweg; Kev bietet bis zu 65.536, mit mindestens 8.192 pro Frage, validiert aber nur bis zu 8.192, und so steht es auch auf seiner Karte.

• Enthaltung — Gemini Decision 1 liefert auf 0,01–0,99 begrenzte Wahrscheinlichkeiten mit einem Konfidenzfeld, sodass eine Antwort mit geringer Konfidenz ohne separate Option sichtbar ist. Kev liefert eine Softmax-Verteilung über die von dir angegebenen Optionen, was bedeutet, dass Enthaltung die von dir benannte Option plus ein von dir festgelegter Schwellenwert ist.

• Gewichte — keine für Gemini Decision 1; ein gehosteter Endpunkt auf der Gemini Developer API in v1beta, mit einem kostenlosen Kontingent von 200 Anfragen pro Minute und 10.000 pro Tag. Apache-2.0 für Kev, mit einem Rank-16-LoRA-Adapter auf einer eingefrorenen Qwen3.5-Basis und einem Pointer-Head, in den Größen 0,8B, 4B und 9B.

Das, was Kev tut und Gemini Decision 1 nicht kann

Mit Kev kannst du das Modell ändern. Nicht, indem du es anders promptest – sondern indem du das Entscheidungsverhalten auf deine eigenen Labels neu trainierst, für einen Betrag, den du auf eine Spesenabrechnung setzen kannst.

Die Konstruktion ist bewusst bescheiden: eine eingefrorene Qwen3.5-Basis, ein Rank-16-Adapter mit etwa 33,8 Millionen trainierbaren Parametern und ein kleiner Pointer-Head, der das Schluss-Token jeder Option gegen das letzte Token der Frage bewertet. Da die Basis eingefroren bleibt, sind die Grenzkosten für eine neue Entscheidungsdomäne adaptergroß, nicht foundation-model-groß. Man kann eine Basis im Speicher halten und Adapter pro Domäne austauschen – eine Deployment-Form, die kein gehosteter Endpoint abbildet.

Was Kev über sich selbst veröffentlicht, ist spezifisch genug, um darüber streiten zu können, was seltener ist, als es sein sollte:

• Transfer-v4, für Out-of-Domain gesperrt — Genauigkeit 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 zurückgehaltene Datensätze, 3.089 Fragen — Genauigkeit 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro mit zehn Optionen — 0,565.

• Datumsarithmetik — 0,65 bei Tagesgenauigkeit, vom Autor als schwächster Bereich bezeichnet, wobei ein Präprozessor-Flag als Teilkorrektur angeboten wird und keine erneute Messung beansprucht wird.

Das sind die eigenen Messungen des Autors mit seinem eigenen Testaufbau, und in der Karte steht, dass die Kalibrierung eine einzelne In-Distribution-Temperatur ist, sodass die Abdeckung außerhalb der Domäne abnimmt und die Optionsreihenfolge eine Antwort kippen kann. Das ist eine glaubwürdige Selbsteinschätzung, kein geprüftes Ergebnis. Es ist trotzdem ein Maßstab, den man heute Abend zu reproduzieren versuchen kann – mehr, als man von den meisten Anbieterzahlen in dieser Kategorie sagen kann.

Warum sich die beiden Zahlen auf dem Tisch nie treffen

Die Versuchung liegt nahe, Kevs Transfergenauigkeit von 0,838 neben die 66 von Gemini Decision 1 zu stellen und einen Sieger auszurufen. Widerstehen Sie ihr – aus drei Gründen.

Die Instrumente messen unterschiedliche Dinge. Der Decision Index bewertet Genauigkeit minus der Brier-Strafe für die mit der Antwort verbundene Konfidenz, aggregiert über sechs Bewertungen, von denen 45 % auf privaten Daten beruhen. Kevs transfer-v4-Wert ist die reine Genauigkeit auf einem gesperrten Satz, den der Autor zusammengestellt hat, wobei Brier und ECE daneben berichtet werden, statt in die Schlagzeile eingerechnet zu werden.

Die Aufgabenmischungen sind nicht dieselben. Die größte Komponente des Index, AA-Paperclip mit 30 %, besteht aus fünfzehn Alles-oder-nichts-Antworten pro Dokument – eine Form, der Kev's documents-v1-Test nahekommt, aber nicht repliziert.

Und die Nenner unterscheiden sich. Ein Indexwert ist eine gewichtete zusammengesetzte Kennzahl, bei der Enthaltung belohnt wird; eine Genauigkeitskennzahl ist der Anteil der Fragen, bei denen die Option mit der höchsten Wahrscheinlichkeit korrekt war. Ein Modell kann ein anderes bei der einen übertreffen und bei der anderen unterliegen, ohne dass eines von beiden falsch ist.

Die belastbare Aussage ist eng gefasst: {{1}}Gemini Decision 1 liegt mit 66 im Mittelfeld der gehosteten Entscheidungsmodelle{{/1}}, {{2}}Neunter von achtzehn, mit einem ersten Platz bei den Wissenskomponenten und einer Alles-oder-nichts-Bestehensquote von 33 % bei Dokumenten{{/2}}; Kev ist ein Adapter der 4B-Klasse, dessen Autor eine starke domäneninterne Kalibrierung und schwache Datumsarithmetik berichtet. Wer dir erzählt, einer sei besser, extrapoliert.

Was jede einzelne tatsächlich im Betrieb kostet

Die Wirtschaftlichkeit von Gemini Decision 1 ist leicht zu berechnen und bei hohem Volumen schwer attraktiv zu finden. Bei 0,10 US-Dollar pro Million Eingabe-Tokens misst Artificial Analysis 345 US-Dollar pro Million Aufgaben – das teuerste Modell in der oberen Hälfte des Rankings, ohne Context Caching, ohne Batch API und ohne Flex- oder Priority-Inferenz. Wiederholte gemeinsame Eingaben werden bei jeder Anfrage vollständig gezählt. Ein nächtlicher Durchlauf von einer Million Tickets liest das Richtlinendokument eine Million Mal erneut.

Kevs Wirtschaftlichkeit ist genau umgekehrt gelagert: nahezu kostenlos pro Aufruf, sobald die GPU bezahlt ist, während die eigentlichen Kosten in den Stunden stecken, die Sie mit dem Erstellen von Labels, dem Trainieren von Adaptern und deren Validierung verbringen. Palmers Zahl von ca. 95 US-Dollar deckt den Trainingslauf ab, nicht das Labeling. Wenn sich Ihre Routing-Regeln von denen eines generischen Judges unterscheiden – und das tun sie –, dann kauft Ihnen dieser Labeling-Aufwand genau das, was kein gehostetes Entscheidungsmodell verkauft: einen Scorer, der Ihre Policy kodiert, statt sie nur anzunähern.

Es gibt einen dritten Kostenfaktor, der mehr Projekte entscheidet als die Preise beider Optionen: die Iterationsgeschwindigkeit. Die Limits von Gemini Decision 1 sind dokumentiert und fest, daher ist eine Verhaltensänderung ein Umschreiben des Prompts und ein erneuter Durchlauf Ihres Evaluationssets. Bei Kev's handelt es sich um ein Adapter-Retraining, das beim Rechenaufwand günstig und im Prozess nicht günstig ist. Für ein Team mit einer Domäne und hohem Volumen zahlt sich das Retraining aus. Für ein Team mit zwölf Domänen und ohne ML-Ingenieur gewinnt der gehostete Endpoint bei den Engineering-Stunden, selbst bei $345 pro Million Aufgaben.

Wenn die Pipeline rund um die Entscheidung der Ort ist, an dem Sie tatsächlich Zeit verbringen

OrcaRouter bietet keines der beiden Modelle an. Kev sind Apache-2.0-Gewichte, die Sie selbst betreiben, und Gemini Decision 1 ist ein reiner Wahrscheinlichkeits-Endpunkt auf Googles eigener API – beides sind keine Chat-Completions-Ziele, und wir tun auch nicht so, als wären sie es. Das Entscheidungsmodell in unserem Katalog ist typesafe/jev-1.14 von TypeSafe mit 66,23 auf demselben Leaderboard, für Teams, die einen Scoring-Aufruf mit demselben Schlüssel wie alles andere wünschen.

Die Hälfte der Pipeline, für die wir gemacht sind, ist die vor der Entscheidung liegende: die Kandidatenantwort zu erzeugen, die Bewertungsrubrik zu schreiben, das Ticket zusammenzufassen, bevor es bewertet wird. Dieser Schritt ist der, bei dem Sie am häufigsten Modelle wechseln und bei dem ein zweiter Anbietervertrag am meisten kostet, und er ist derjenige, der über einen einzigen Endpunkt mit mehr als 200 Modellen darauf läuft, Anbieter-Listenpreis bei 0 % Aufschlag durchgereicht, und automatisches Failover, wenn ein Anbieter beeinträchtigt ist. Wenn Sie Kev gegen einen gehosteten Scorer abwägen, lassen Sie die Entwurfshälfte über uns laufen und halten Sie die Scoring-Entscheidung umkehrbar – so wird die Wahl, die Sie heute zu einem 95-$-Adapter treffen, später keine Migration.

Die Entscheidung zwischen den beiden Entscheidungen

Wählen Sie Gemini Decision 1, wenn die Entscheidung aus einer Eingabe und vielen Regeln besteht, wenn es sich bei der Eingabe um Audio, Video oder ein PDF handelt, wenn tausend Prüfungen in einem einzigen abgerechneten Durchlauf Ihr Kostenmodell ändern und wenn es Ihnen genügt, einer Kalibrierung zu vertrauen, die Sie nicht selbst gefittet haben. Akzeptieren Sie, dass Sie eine Blackbox zu Input-Preisen eines Frontier-Labors ohne Batch-Rabatt kaufen.

Wähle Kev, wenn die Entscheidung aus einer Eingabe und ein paar typisierten Fragen besteht, wenn der Text kurz genug ist, um ihn innerhalb von 8.192 Tokens zu validieren, wenn deine Policy spezifisch genug ist, dass ein generischer Bewerter sie nur schlecht approximiert, und wenn es wichtiger ist, das Artefakt zu besitzen, als den Endpunkt zu besitzen. Akzeptiere, dass du jetzt für die Kalibrierung, die Datumsarithmetik und die Optionsreihenfolge-Empfindlichkeit verantwortlich bist, vor denen die Karte warnt.

Das Einzige, was dieser Vergleich nicht tun sollte, ist, eine Rangliste zu erstellen. Es gibt kein gemeinsames Instrument, keinen gemeinsamen Aufgabenkatalog und keine Reproduktion der einen oder der anderen Zahl durch einen Dritten. Was Sie diese Woche tun können, ist, 200 Ihrer eigenen gelabelten Elemente durch beide laufen zu lassen und Bestehensquoten und Konfidenzkurven zu vergleichen – eine Morgensarbeit, die Ihnen mehr sagen wird als die nächste Überarbeitung des Leaderboards.