Gemini Beslut 1 vs Kev: Tusen frågor i ett enda anrop, eller ett recept du kan träna om

Jared Palmers Kev-familj kostade ungefär $95 i H100-tid på Modal att träna, plus ungefär tre cent i API-anrop för utvärderingsdata, och hela receptet finns i repot. Gemini Decision 1 kostar vad ett frontierlabb spenderar på en modell som det inte vill beskriva, och vad du får för pengarna är ett förfrågningsschema: en slutpunkt, upp till 1 000 typade frågor mot en enda indata på 262 144 token, kalibrerade sannolikheter tillbaka, noll utdatatoken, $0,10 per miljon indatatoken. Sätt Kev bredvid den och jämförelsen är egentligen inte mellan två modeller. Den är mellan en apparat för batchpoängsättning och en liten maskin som du kan plocka isär.

Inget av projekten har publicerat en siffra som det andra kan mätas mot, vilket är det första ärliga man bör säga. Google levererade ingen benchmarktabell med Gemini Decision 1; varje prestandasiffra i den här artikeln kommer från Artificial Analysis, som har modellen på 66 i Decision Index v2.1. Kev förekommer inte alls på den listan. Det Kev i stället publicerar är en harness, en låst testuppsättning och sina egna felfrekvenser, och de kan inte subtraheras från något.

Det som Gemini Decision 1 gör som Kev inte kan

Börja med kapacitetsgapet, eftersom det är det som avgör arkitekturer snarare än poäng. Gemini Decision 1 utvärderar upp till 1 000 oberoende frågor mot en gemensam indata i en enda framåtpassning. Frågorna kan inte se varandra, att lägga till eller ta bort en påverkar inte de andra, och den gemensamma indatan faktureras en gång.

Den sista klausulen är produkten. Ett supportärende som kontrolleras mot fyrtio policyregler är en förfrågan, en läsning av ärendet, fyrtio kalibrerade svar. I en modell per fråga – vilket Kev är, i den meningen att headen poängsätter varje alternativ mot frågan i en rad – är samma fyrtio kontroller fyrtio passeringar över tillståndet, oavsett om du batchar dem eller inte. Kevs egna serving-siffror konkretiserar kostnaden: 18,1 millisekunder för sex frågor över ett kort tillstånd på en H100, 12,9 millisekunder cachat, 14,3 GB resident. Sex frågor, inte tusen.

Inmatningsytan skiljer sig på samma sätt:

• Modalitet — Gemini Decision 1 läser text, bild, video, ljud och PDF; Kev läser text. En samtalsinspelning eller ett inskannat formulär är ett förbearbetningsproblem för Kev och en nativ indata för Gemini Decision 1.

• Kontext — 262 144 token för Gemini Decision 1 över indata och frågor; Kev hanterar upp till 65 536 med minst 8 192 per fråga men validerar endast upp till 8 192, och det står så på dess kort.

• Avståelse — Gemini Decision 1 returnerar sannolikheter begränsade till 0,01–0,99 med ett konfidensfält, så ett svar med låg konfidens syns utan ett separat alternativ. Kev returnerar en softmax över de alternativ du anger, vilket innebär att avståelse är vilket alternativ du än anger plus ett tröskelvärde du ställer in.

• Vikter — inga för Gemini Decision 1; en hostad slutpunkt på Gemini Developer API i v1beta, med en gratisnivå på 200 förfrågningar per minut och 10 000 per dag. Apache-2.0 för Kev, med en rank-16 LoRA-adapter på en fryst Qwen3.5-bas och ett pointer-huvud, i storlekarna 0,8B, 4B och 9B.

Det som Kev gör som Gemini Decision 1 inte kan

Kev låter dig ändra modellen. Inte genom att prompta den annorlunda – utan genom att träna om beslutsbeteendet utifrån dina egna etiketter, för ett belopp som du kan ta upp i en utgiftsrapport.

Konstruktionen är medvetet anspråkslös: en fryst Qwen3.5-bas, en rank-16-adapter med cirka 33,8 miljoner tränbara parametrar och ett litet pointer-huvud som poängsätter varje alternativs avslutande token mot frågans sista token. Eftersom basen förblir fryst är marginalkostnaden för en ny beslutsdomän av adapterstorlek, inte av grundmodellsstorlek. Du kan hålla en bas i minnet och byta adaptrar per domän, vilket är en driftsättningsform som ingen hostad endpoint uttrycker.

Det Kev publicerar om sig själv är tillräckligt specifikt för att gå att argumentera emot, vilket är ovanligare än det borde vara:

• Transfer-v4, låst utanför domänen — noggrannhet 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 fristående dataset, 3 089 frågor – noggrannhet 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro med tio alternativ — 0,565.

• Datumaritmetik — 0,65 vid dagprecision, som av författaren anges som det svagaste området, med en preprocessorflagga erbjuden som en delvis lösning och utan anspråk på ny mätning.

Det är författarens egna mätningar på författarens egen harness, och kortet säger att kalibreringen är en enda in-distributionstemperatur, så täckningen försämras utanför domänen och ordningen på alternativen kan vända ett svar. Det är en trovärdig självbedömning, inte ett granskat resultat. Det är fortfarande en skala du kan försöka reproducera ikväll, vilket är mer än man kan säga om de flesta leverantörssiffror i den här kategorin.

Varför de två siffrorna på bordet aldrig möts

Frestelsen är att ställa Kevs transfernoggrannhet på 0,838 bredvid Gemini Decision 1:s 66 och utropa en vinnare. Motstå den, av tre skäl.

Instrumenten mäter olika saker. Decision Index poängsätter noggrannhet minus Brier-straffet för den konfidens som är kopplad till svaret, aggregerat över sex utvärderingar, varav 45 % bygger på privata data. Kevs transfer-v4-siffra är ren noggrannhet på en låst uppsättning som författaren har sammanställt, med Brier och ECE rapporterade vid sidan om snarare än inbakade i huvudresultatet.

Uppgiftsblandningarna är inte desamma. Indexets största komponent, AA-Paperclip med 30 %, är femton allt-eller-inget-svar per dokument – en form som Kevs documents-v1-test närmar sig men inte replikerar.

Och nämnarna skiljer sig. Ett indexvärde är ett viktat sammansatt mått där det att avstå belönas; ett korrekthetstal är andelen frågor där alternativet med högst sannolikhet var korrekt. En modell kan slå en annan på det ena och förlora på det andra utan att någon av dem har fel.

Det försvarbara påståendet är alltså snävt: Gemini Decision 1 ligger i mitten av tabellen bland hostade beslutsmodeller på 66, nia av arton, med en förstaplats i kunskapskomponenterna och en godkännandegrad på 33 % för dokument enligt allt-eller-inget-principen; Kev är en adapter i 4B-klassen vars författare rapporterar stark kalibrering inom domänen och svag datumräkning. Den som säger att den ena är bättre extrapolerar.

Vad var och en faktiskt kostar att driva

Ekonomin för Gemini Decision 1 är enkel att räkna ut men svår att tycka om vid hög volym. Till $0,10 per miljon indatatoken mäter Artificial Analysis $345 per miljon uppgifter – den dyraste modellen i den övre halvan av topplistan, utan kontextcachning, utan Batch API och utan Flex- eller Priority-inferens. Upprepad delad indata räknas i sin helhet vid varje förfrågan. En nattlig genomgång av en miljon ärenden läser om policydokumentet en miljon gånger.

Kevs ekonomi har motsatt form: nästan gratis per anrop när GPU:n väl är betald, medan den verkliga kostnaden ligger i de timmar du lägger på att bygga etiketter, träna adaptrar och validera dem. Palmers siffra på ~95 $ täcker träningskörningen, inte märkningen. Om dina routningsregler skiljer sig från en generisk bedömare – och det gör de – köper den märkningskostnaden det som ingen hostad beslutsmodell säljer: en scorer som kodar din policy i stället för att approximera den.

Det finns en tredje kostnad som avgör fler projekt än någon av prislapparna: iterationstakt. Gränserna för Gemini Decision 1 är dokumenterade och fasta, så en beteendeändring är en omskrivning av prompten och en ny körning av din utvärderingsuppsättning. Kev's är en adapteromträning, vilket är billigt i beräkningskraft och inte billigt i process. För ett team med en domän och hög volym lönar sig omträningen. För ett team med tolv domäner och ingen ML-ingenjör vinner den hostade slutpunkten på ingenjörstimmar, även vid $345 per miljon uppgifter.

Om pipelineen kring beslutet är där du faktiskt spenderar

OrcaRouter har ingen av modellerna. Kev är Apache-2.0-vikter som du kör själv, och Gemini Decision 1 är en slutpunkt på Googles eget API som bara ger sannolikheter – ingen av dem är ett mål för chat-completions, och vi låtsas inte något annat. Beslutsmodellen i vår katalog är TypeSafe:s typesafe/jev-1.14, med 66.23 på samma resultattavla, för team som vill ha ett poängsättningsanrop på samma nyckel som allt annat.

Den hälft av pipelinen som vi är byggda för är den som ligger uppströms beslutet: att generera kandidatsvaret, skriva bedömningsmallen, sammanfatta ärendet innan det poängsätts. Det anropet är där du byter modeller oftast och där ett andra leverantörsavtal kostar mest, och det är det som körs över en enda slutpunkt med fler än 200 modeller på sig, leverantörens listpris vidarebefordrat med 0 % påslag, och automatisk redundansväxling när en leverantör försämras. Om du väger Kev mot en värdbaserad poängsättare, kör utkasthalvan genom oss och håll poängsättningsbeslutet reversibelt — på så sätt är valet du gör i dag om en $95-adapter inte en migrering senare.

Beslutet mellan de två besluten

Välj Gemini Decision 1 när beslutet utgår från en enda indata och många regler, när indatan är ljud, video eller en PDF, när tusen kontroller i en enda fakturerad körning förändrar din kostnadsmodell, och när du är nöjd med att lita på en kalibrering som du inte själv har anpassat. Acceptera att du köper en svart låda till ett frontier-labs prissättning för indata, utan batchrabatt.

Välj Kev när beslutet är ett indata och några skrivna frågor, när texten är tillräckligt kort för att valideras inom 8,192 tokens, när din policy är tillräckligt specifik för att en generisk bedömare ska approximera den dåligt, och när det är viktigare att äga artefakten än att äga endpointen. Acceptera att du nu ansvarar för kalibreringen, datumräkningen och känsligheten för alternativordning som kortet varnar dig om.

Det den här jämförelsen inte bör göra är att producera en ligatabell. Det finns inget gemensamt instrument, ingen delad uppsättning uppgifter och ingen reproduktion av någon av siffrorna av en tredje part. Det du kan göra den här veckan är att köra 200 av dina egna märkta poster genom båda och jämföra godkännandegrader och konfidenskuvor — ett förmiddagsarbete som kommer att säga dig mer än nästa uppdatering av resultattavlan.