Gemini Decision 1 vs Kev: Mille domande in una sola chiamata, o una ricetta che puoi riaddestrare

La famiglia Kev di Jared Palmer è costata circa 95 dollari in tempo H100 su Modal per l'addestramento, più circa tre centesimi di chiamate API per i dati di valutazione, e l'intera ricetta è nel repository. Gemini Decision 1 costa quanto un laboratorio di frontiera spende per un modello che non descriverà, e ciò che ottieni per quei soldi è uno schema di richiesta: un endpoint, fino a 1.000 domande tipizzate su un singolo input da 262.144 token, probabilità calibrate in risposta, zero token di output, 0,10 dollari per milione di token di input. Metti Kev accanto ad esso e il confronto non è davvero tra due modelli. È tra un dispositivo per lo scoring in batch e un piccolo macchinario che puoi smontare.

Nessuno dei due progetti ha pubblicato un numero rispetto al quale l'altro potrebbe essere valutato, ed è la prima cosa onesta da dire. Google non ha rilasciato alcuna tabella di benchmark con Gemini Decision 1; ogni cifra di prestazione in questo articolo proviene da Artificial Analysis, che colloca il modello a 66 su Decision Index v2.1. Kev non compare affatto in quella classifica. Ciò che Kev pubblica invece è un harness, un set di test bloccato e i propri tassi di errore, e questi non possono essere sottratti da nulla.

Ciò che Gemini Decision 1 fa e che Kev non può fare

Inizia dal divario di capacità, perché è quello che decide le architetture plutôt che i punteggi. Gemini Decision 1 valuta fino a 1.000 domande indipendenti su un unico input condiviso in un singolo passaggio in avanti. Le domande non possono vedersi a vicenda, aggiungere o rimuoverne una non cambia le altre, e l'input condiviso viene addebitato una sola volta.

Quell'ultima clausola è il prodotto. Un ticket di supporto verificato rispetto a quaranta regole di policy è una richiesta, una lettura del ticket, quaranta risposte calibrate. Su un modello per-domanda — che è ciò che Kev è, nel senso che la testa valuta ogni opzione rispetto alla domanda in una riga — gli stessi quaranta controlli sono quaranta passaggi sullo stato, indipendentemente dal fatto che li si accorpi o meno. I dati di serving di Kev rendono concreto il costo: 18,1 millisecondi per sei domande su uno stato breve su una H100, 12,9 millisecondi con cache, 14,3 GB residenti. Sei domande, non mille.

La superficie di input differisce allo stesso modo:

• Modalità — Gemini Decision 1 legge testo, immagini, video, audio e PDF; Kev legge testo. Una registrazione di chiamata o un modulo scansionato rappresentano un problema di preelaborazione per Kev e un input nativo per Gemini Decision 1.

• Contesto — 262.144 token per Gemini Decision 1 tra input e domande; Kev ne fornisce fino a 65.536 con almeno 8.192 per domanda ma ne convalida solo fino a 8.192, e la sua scheda lo dice.

• Astensione — Gemini Decision 1 restituisce probabilità comprese tra 0,01 e 0,99 con un campo di confidenza, quindi una risposta a bassa confidenza è visibile senza un'opzione separata. Kev restituisce un softmax sulle opzioni fornite, il che significa che l'astensione è l'opzione che indichi più una soglia che imposti.

• Pesi — nessuno per Gemini Decision 1; un endpoint ospitato sulla Gemini Developer API in v1beta, con un livello gratuito di 200 richieste al minuto e 10.000 al giorno. Apache-2.0 per Kev, con un adattatore LoRA di rango 16 su una base Qwen3.5 congelata e una testa pointer, nelle dimensioni 0,8B, 4B e 9B.

La cosa che Kev fa e che Gemini Decision 1 non è in grado di fare

Kev ti consente di cambiare il modello. Non di impostare un prompt diverso — ma di riaddestrare il comportamento decisionale sulle tue etichette, per una cifra che puoi mettere in una nota spese.

La costruzione è deliberatamente modesta: una base Qwen3.5 congelata, un adapter di rango 16 con circa 33,8 milioni di parametri addestrabili e una piccola pointer head che valuta il token di chiusura di ciascuna opzione rispetto al token finale della domanda. Poiché la base resta congelata, il costo marginale di un nuovo dominio decisionale è delle dimensioni di un adapter, non di un modello di base. È possibile tenere una base in memoria e scambiare gli adapter per dominio, un assetto di deployment che nessun endpoint ospitato esprime.

Ciò che Kev pubblica su se stesso è abbastanza specifico da poter essere contestato, il che è più raro di quanto dovrebbe essere:

• Transfer-v4, bloccato fuori dominio — accuratezza 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 dataset di hold-out, 3.089 domande — accuratezza 0,690, ECE 0,029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro con dieci opzioni — 0.565.

• Aritmetica delle date — 0,65 con precisione al giorno, indicata dall'autore come l'area più debole, con un flag del preprocessore offerto come correzione parziale e nessuna rimisurazione dichiarata.

Quelle sono le misurazioni dell'autore sul suo stesso harness, e la scheda dichiara che la calibrazione è una singola temperatura in-distribution, quindi la copertura peggiora fuori dal dominio e l'ordine delle opzioni può ribaltare una risposta. È un'auto-valutazione credibile, non un risultato verificato da audit. Resta comunque una scala che puoi provare a riprodurre stasera, il che è più di quanto si possa dire per la maggior parte dei numeri dei fornitori in questa categoria.

Perché i due numeri sul tavolo non si incontrano mai

La tentazione è mettere l'accuratezza di trasferimento di 0,838 di Kev accanto al 66 di Gemini Decision 1 e annunciare un vincitore. Resisti, per tre motivi.

Gli strumenti misurano cose diverse. Il Decision Index calcola l'accuratezza meno la penalità di Brier per la confidenza associata alla risposta, aggregata su sei valutazioni, il 45% delle quali è basato su dati privati. Il numero transfer-v4 di Kev è l'accuratezza pura su un set bloccato assemblato dall'autore, con Brier ed ECE riportati a fianco anziché inglobati nel risultato principale.

Le combinazioni di task non sono le stesse. La componente più grande dell'indice, AA-Paperclip al 30%, è costituita da quindici risposte tutto-o-niente per documento — una struttura che il test documents-v1 di Kev approssima ma non replica.

E i denominatori sono diversi. Un punteggio indice è un composito ponderato in cui l'astensione è premiata; un valore di accuratezza è la quota di domande in cui l'opzione con la probabilità più alta era corretta. Un modello può superare un altro su uno e perdere sull'altro senza che nessuno dei due sia sbagliato.

Quindi l'affermazione difendibile è ristretta: {{1}}Gemini Decision 1{{/1}} è a metà classifica tra i modelli decisionali ospitati con 66, nono su diciotto, con un primo posto nelle componenti di conoscenza e un tasso di superamento documentale tutto-o-niente del 33%; {{2}}Kev{{/2}} è un adattatore di classe 4B il cui autore riporta una forte calibrazione in dominio e una debole aritmetica delle date. Chiunque ti dica che uno sia migliore sta estrapolando.

Quanto costa effettivamente far funzionare ciascuno

L'economia di Gemini Decision 1 è facile da calcolare e difficile da apprezzare a volume. A 0,10 $ per milione di token di input, Artificial Analysis misura 345 $ per milione di attività — il modello più costoso nella metà superiore della classifica, senza caching del contesto, senza Batch API e senza inferenza Flex o Priority. L'input condiviso ripetuto viene conteggiato per intero a ogni richiesta. Una scansione notturna di un milione di ticket rilegge il documento delle policy un milione di volte.

L'economia di Kev ha la forma opposta: quasi gratis per chiamata una volta pagata la GPU, con il costo reale che sta nelle ore che passi a costruire etichette, addestrare adapter e validarli. La cifra di ~95 $ di Palmer copre la sessione di addestramento, non l'etichettatura. Se le tue regole di routing differiscono da quelle di un giudice generico — e differiscono — quel costo di etichettatura ti compra la cosa che nessun modello decisionale ospitato vende: uno scorer che codifica la tua policy invece di approssimarla.

C'è un terzo costo che decide più progetti di quanto faccia il prezzo: la velocità di iterazione. I limiti di Gemini Decision 1 sono documentati e fissi, quindi una modifica del comportamento è una riscrittura del prompt e una nuova esecuzione del set di valutazione. Quello di Kev è un riaddestramento dell'adattatore, economico in termini di calcolo e non economico in termini di processo. Per un team con un solo dominio e volume elevato, il riaddestramento ripaga. Per un team con dodici domini e nessun ingegnere ML, l'endpoint ospitato vince sulle ore di ingegneria anche a $345 per milione di task.

Se la pipeline attorno alla decisione è dove effettivamente spendi

OrcaRouter non offre nessuno dei due modelli. Kev è un modello con pesi Apache-2.0 che esegui autonomamente, e Gemini Decision 1 è un endpoint che restituisce solo probabilità sull'API di Google: nessuno dei due è un target per chat-completions, e non fingiamo il contrario. Il modello decisionale nel nostro catalogo è typesafe/jev-1.14 di TypeSafe, a 66,23 sulla stessa classifica, per i team che vogliono una chiamata di scoring sulla stessa chiave di tutto il resto.

La metà della pipeline per cui siamo progettati è quella a monte della decisione: generare la risposta candidata, scrivere la rubrica, riassumere il ticket prima che venga valutato. È la chiamata in cui cambi modello più spesso e in cui un secondo contratto con un fornitore costa di più, ed è quella che gira su un unico endpoint con oltre 200 modelli, prezzo di listino del fornitore passato senza alcun ricarico, allo 0% di markup, e failover automatico quando un fornitore si degrada. Se stai soppesando Kev rispetto a un servizio di scoring ospitato, fai passare da noi la metà dedicata alla stesura e mantieni reversibile la decisione di scoring: così la scelta che fai oggi su un adattatore da 95 $ non diventa una migrazione domani.

La decisione tra le due decisioni

Scegli Gemini Decision 1 quando la decisione è un solo input e molte regole, quando l'input è audio o video o un PDF, quando mille controlli in un'unica passata fatturata cambiano il tuo modello di costi, e quando ti accontenti di fidarti di una calibrazione che non hai adattato. Accetta che stai acquistando una scatola nera al prezzo di input di un laboratorio di frontiera senza sconto per batch.

Scegli Kev quando la decisione consiste in un input e in poche domande digitate, quando il testo è abbastanza breve da poter essere validato entro 8,192 token, quando la tua policy è abbastanza specifica che un giudice generico la approssima male, e quando possedere l'artefatto conta più che possedere l'endpoint. Accetta di essere ora responsabile della calibrazione, dell'aritmetica delle date e della sensibilità all'ordine delle opzioni di cui la scheda ti avverte.

L'unica cosa che questo confronto non dovrebbe fare è produrre una tabella di classifica. Non esiste uno strumento comune, né un insieme di compiti condiviso, né la riproduzione di nessuno dei due numeri da parte di terzi. Quello che puoi fare questa settimana è sottoporre 200 elementi etichettati da te a entrambi e confrontare i tassi di superamento e le curve di confidenza — un lavoro di una mattina che ti dirà più di quanto farà la prossima revisione della classifica.