Gemini Decision 1 vs Kev: duizend vragen in één aanroep, of een recept dat je kunt hertrainen

Jared Palmers Kev-familie kostte ongeveer $95 aan H100-tijd op Modal om te trainen, plus ongeveer drie cent aan API-aanroepen voor evaluatiegegevens, en het volledige recept staat in de repository. Gemini Decision 1 kost wat een frontierlab uitgeeft aan een model dat het niet wil beschrijven, en wat je voor dat geld krijgt, is een requestschema: één endpoint, tot 1.000 getypeerde vragen tegen één enkele input van 262.144 tokens, gekalibreerde waarschijnlijkheden terug, nul outputtokens, $0,10 per miljoen inputtokens. Zet Kev ernaast en de vergelijking gaat niet echt tussen twee modellen. Het gaat tussen een batchscoringsapparaat en een klein stukje machinerie dat je uit elkaar kunt halen.

Geen van beide projecten heeft een cijfer gepubliceerd waartegen het andere kan worden afgezet, en dat is het eerste eerlijke dat er te zeggen valt. Google leverde geen benchmarktabel mee met Gemini Decision 1; elk prestatiecijfer in dit stuk komt van Artificial Analysis, dat het model op 66 zet in Decision Index v2.1. Kev staat helemaal niet op die ranglijst. Wat Kev in plaats daarvan publiceert, is een testharnas, een afgesloten testset en zijn eigen foutpercentages, en die kunnen nergens van worden afgetrokken.

Datgene wat Gemini Decision 1 doet en Kev niet kan

Begin met de capaciteitskloof, want die bepaalt architecturen in plaats van scores. Gemini Decision 1 evalueert tot 1.000 onafhankelijke vragen tegen één gedeelde invoer in één enkele voorwaartse pass. De vragen kunnen elkaar niet zien, het toevoegen of verwijderen van één vraag verandert de andere niet, en de gedeelde invoer wordt slechts één keer gefactureerd.

Die laatste clausule is het product. Een supportticket dat tegen veertig beleidsregels wordt gecontroleerd, is één verzoek, één keer het ticket lezen, veertig gekalibreerde antwoorden. Op een model per vraag — wat Kev is, in die zin dat de head elke optie tegen de vraag scoort in één rij — zijn dezelfde veertig controles veertig doorgangen over de state, of je ze nu batcht of niet. Kevs eigen servingcijfers maken de kosten concreet: 18,1 milliseconden voor zes vragen over een korte state op een H100, 12,9 milliseconden gecachet, 14,3 GB resident. Zes vragen, niet duizend.

Het invoeroppervlak verschilt op dezelfde manier:

• Modaliteit — Gemini Decision 1 leest tekst, afbeeldingen, video, audio en pdf; Kev leest tekst. Een gespreksopname of een gescand formulier is voor Kev een voorbewerkingsprobleem en voor Gemini Decision 1 een native invoer.

• Context — 262.144 tokens voor Gemini Decision 1 over input en vragen; Kev biedt tot 65.536, met minstens 8.192 per vraag, maar valideert slechts tot 8.192, en dat staat op de kaart.

• Onthouding — Gemini Decision 1 retourneert waarschijnlijkheden begrensd tot 0,01–0,99 met een betrouwbaarheidsveld, zodat een antwoord met lage betrouwbaarheid zichtbaar is zonder een aparte optie. Kev retourneert een softmax over de opties die je opgeeft, wat betekent dat onthouding de optie is die je zelf noemt plus een drempelwaarde die je instelt.

• Gewichten — geen voor Gemini Decision 1; een gehost endpoint op de Gemini Developer API op v1beta, met een gratis tier van 200 verzoeken per minuut en 10.000 per dag. Apache-2.0 voor Kev, met een rank-16 LoRA-adapter op een bevroren Qwen3.5-basis en een pointer-head, in de formaten 0,8B, 4B en 9B.

Het ding dat Kev doet en wat Gemini Decision 1 niet kan

Kev laat je het model wijzigen. Niet door er een andere prompt op los te laten, maar door het beslissingsgedrag opnieuw te trainen op je eigen labels, voor een bedrag dat je op een declaratie kunt zetten.

De constructie is bewust bescheiden: een bevroren Qwen3.5-basis, een rang-16-adapter met ongeveer 33,8 miljoen trainbare parameters, en een kleine pointer-head die de afsluitende token van elke optie scoort tegen de laatste token van de vraag. Omdat de basis bevroren blijft, zijn de marginale kosten van een nieuw beslissingsdomein adaptergroot, niet foundation-modelgroot. Je kunt één basis in het geheugen houden en adapters per domein verwisselen, een implementatievorm die geen enkele gehoste endpoint uitdrukt.

Wat Kev over zichzelf publiceert, is specifiek genoeg om over te discussiëren, wat zeldzamer is dan het zou moeten zijn:

• Transfer-v4, vergrendeld buiten het domein — nauwkeurigheid 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 achtergehouden datasets, 3.089 vragen — nauwkeurigheid 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro met tien opties — 0,565.

• Datumrekenen — 0,65 bij dagprecisie, door de auteur genoemd als het zwakste gebied, met een preprocessorvlag als gedeeltelijke oplossing en zonder dat een hermeting wordt geclaimd.

Dat zijn de eigen metingen van de auteur op de eigen testopstelling van de auteur, en de kaart zegt dat de kalibratie één temperatuur binnen de distributie is, dus de dekking verslechtert buiten het domein en de volgorde van opties kan een antwoord omdraaien. Dat is een geloofwaardige zelfbeoordeling, geen geauditeerd resultaat. Het is nog steeds een schaal die je vanavond kunt proberen te reproduceren, wat meer is dan je van de meeste leverancierscijfers in deze categorie kunt zeggen.

Waarom de twee getallen op tafel elkaar nooit ontmoeten

De verleiding is om Kevs transfernauwkeurigheid van 0,838 naast de 66 van Gemini Decision 1 te zetten en een winnaar uit te roepen. Weersta die verleiding, om drie redenen.

De instrumenten meten verschillende dingen. De Decision Index scoort nauwkeurigheid minus de Brier-penalty voor het vertrouwen dat aan het antwoord is gekoppeld, geaggregeerd over zes evaluaties, waarvan 45% op privégegevens is gebaseerd. Kev's transfer-v4-getal is gewone nauwkeurigheid op een afgesloten set die de auteur heeft samengesteld, waarbij Brier en ECE ernaast worden gerapporteerd in plaats van in het hoofdcijfer te worden verwerkt.

De taakmixen zijn niet hetzelfde. De grootste component van de index, AA-Paperclip met 30%, bestaat uit vijftien alles-of-niets-antwoorden per document — een vorm die Kevs documents-v1-test benadert maar niet repliceert.

En de noemers verschillen. Een indexscore is een gewogen samengestelde maatstaf waarbij onthouding wordt beloond; een nauwkeurigheidscijfer is het aandeel vragen waarbij de optie met de hoogste waarschijnlijkheid correct was. Een model kan op het ene een ander verslaan en op het andere verliezen zonder dat een van beide fout is.

Dus de verdedigbare bewering is beperkt: Gemini Decision 1 staat midden in de tabel onder gehoste beslissingsmodellen met 66, negende van achttien, met een eerste plaats op de kenniscomponenten en een slagingspercentage van 33% op documenten volgens het alles-of-nietsprincipe; Kev is een adapter in de 4B-klasse waarvan de auteur sterke kalibratie binnen het domein en zwak rekenen met datums rapporteert. Iedereen die je vertelt dat de een beter is, extrapoleert.

Wat het daadwerkelijk kost om elk ervan te laten draaien

De economie van Gemini Decision 1 is makkelijk te berekenen en moeilijk te verteren op volume. Bij $0,10 per miljoen invoertokens meet Artificial Analysis $345 per miljoen taken — het duurste model in de bovenste helft van de ranglijst, zonder contextcaching, zonder Batch API en zonder Flex- of Priority-inference. Herhaalde gedeelde invoer wordt bij elk verzoek volledig meegeteld. Een nachtelijke sweep van een miljoen tickets leest het beleidsdocument een miljoen keer opnieuw.

De kostenstructuur van Kev is de tegenovergestelde vorm: bijna gratis per aanroep zodra de GPU is betaald, waarbij de werkelijke kosten zitten in de uren die je besteedt aan het opbouwen van labels, het trainen van adapters en het valideren daarvan. Palmers bedrag van ~$95 dekt de trainingsrun, niet het labelen. Als je routeringsregels afwijken van die van een generieke judge — en dat doen ze — dan levert die labellingkost je precies wat geen enkel gehost beslissingsmodel verkoopt: een scorer die je beleid codeert in plaats van het te benaderen.

Er is een derde kostenpost die meer projecten bepaalt dan beide prijzen: iteratiesnelheid. De limieten van Gemini Decision 1 zijn gedocumenteerd en vast, dus een gedragswijziging is een prompt herschrijven en je evaluatieset opnieuw draaien. Kev's is een adapter-retraining, die goedkoop is qua compute en niet goedkoop qua proces. Voor een team met één domein en hoog volume loont de retraining. Voor een team met twaalf domeinen en geen ML-engineer wint het gehoste endpoint op engineeringuren, zelfs bij $345 per miljoen taken.

Als de pijplijn rond de beslissing is waar je daadwerkelijk tijd aan besteedt

OrcaRouter bevat geen van beide modellen. Kev is Apache-2.0-gewichten die je zelf draait, en Gemini Decision 1 is een endpoint dat alleen waarschijnlijkheden levert op Google's eigen API — geen van beide is een chat-completions-doelwit, en we doen niet alsof dat wel zo is. Het beslissingsmodel in onze catalogus is TypeSafe's typesafe/jev-1.14, met 66,23 op dezelfde leaderboard, voor teams die een scoring-aanroep willen op dezelfde key als al het andere.

De helft van de pipeline waarvoor we zijn gebouwd, is het deel vóór de beslissing: het genereren van het kandidaatantwoord, het schrijven van de rubric, het samenvatten van de ticket voordat die wordt beoordeeld. Die stap is waar je het vaakst van model wisselt en waar een tweede leverancierscontract het duurst is, en het is degene die via één endpoint met meer dan 200 modellen erop draait, leverancierslijstprijs doorgegeven tegen 0% markup, en automatische failover wanneer een leverancier degradeert. Als je Kev afweegt tegen een gehoste scorer, laat dan de opstelhelft via ons lopen en houd de scoringsbeslissing omkeerbaar — zo is de keuze die je vandaag maakt over een adapter van $95 later geen migratie.

De beslissing tussen de twee beslissingen.

Kies Gemini Decision 1 wanneer de beslissing één input en vele regels is, wanneer de input audio, video of een pdf is, wanneer duizend controles in één gefactureerde doorgang je kostenmodel veranderen, en wanneer je er vrede mee hebt een kalibratie te vertrouwen die je niet zelf hebt gefit. Accepteer dat je een black box koopt tegen inputprijzen van een frontier-lab, zonder batchkorting.

Kies Kev wanneer de beslissing één input en een paar getypte vragen is, wanneer de tekst kort genoeg is om binnen 8.192 tokens te valideren, wanneer je beleid specifiek genoeg is dat een generieke beoordelaar het slecht benadert, en wanneer het bezitten van het artefact belangrijker is dan het bezitten van de endpoint. Accepteer dat je nu verantwoordelijk bent voor de kalibratie, het datumrekenen en de gevoeligheid voor de volgorde van opties waarvoor de kaart je waarschuwt.

Het enige wat deze vergelijking niet zou moeten doen, is een ranglijst opleveren. Er is geen gemeenschappelijk instrument, geen gedeelde taakset en geen reproductie van een van beide cijfers door een derde partij. Wat je deze week kunt doen, is 200 van je eigen gelabelde items door beide systemen halen en slagingspercentages en betrouwbaarheidscurves vergelijken — een ochtend werk dat je meer zal vertellen dan de volgende herziening van de ranglijst.