Gemini Decision 1 vs Drex Max v1.1: entrambi leggono 262K token, solo uno conteggia i documenti

Metti Gemini Decision 1 e Drex Max v1.1 fianco a fianco e le schede tecniche quasi si sovrappongono: entrambi modelli decisionali, entrambi con una finestra da 262.144 token, entrambi leggono immagini insieme al testo, entrambi restituiscono probabilità invece di prosa. Il divario si apre in un punto. Sul componente di decisione sui documenti dell'Artificial Analysis Decision Index v2.1 — il test ponderato al 30% che chiede a un modello di estrarre cinque decisioni e dieci fatti da un singolo documento denso e di essere corretto su tutti e quindici — Drex Max v1.1 supera il 63% dei documenti e Gemini Decision 1 il 33%. Quel singolo componente è la maggior parte del motivo per cui uno ottiene 73 e l'altro 66.

Il resto della differenza è aritmetica su cui puoi agire. Drex Max v1.1 costa $0,03 per milione di token di input e Gemini Decision 1 costa $0,10; su un milione di compiti sono $103 contro $345. E Gemini Decision 1 gestisce fino a 1.000 domande per richiesta su input condiviso, mentre Drex Max v1.1 prevede un singolo stato con una manciata di domande allegate. Quale di quei numeri determina la tua scelta dipende interamente dal fatto che le tue decisioni arrivino un documento alla volta o quaranta regole alla volta.

Due forme diverse della stessa idea

Entrambi i modelli rifiutano di generare testo e condividono una proprietà importante per la modellazione dei costi: l'input viene letto una volta e ogni domanda viene valutata rispetto a esso. Dove divergono è in ciò che consentono di inserire in quell'input.

• Tipi di risposta — Drex Max v1.1 offre scelta, noul e punteggio, la forma della richiesta definita da Jev di TypeSafe e adottata da Nace. Gemini Decision 1 offre le stesse tre, con da 2 a 255 opzioni su una scelta e da 2 a 255 livelli di rubrica, 2-10 consigliati.

• Domande per chiamata — fino a 1.000 per Gemini Decision 1, ciascuna valutata indipendentemente in un'unica passata, con chiavi fornite da te; una manciata per stato per Drex Max v1.1, dove l'unità di lavoro è un singolo elemento e le sue domande.

• Modalità — Gemini Decision 1 accetta testo, immagini, video, audio e PDF; Drex Max v1.1 accetta testo e fino a otto immagini per richiesta. Nessuno dei due accetta contenuti multimediali all'interno delle istruzioni della domanda; su Gemini Decision 1 si tratta di un limite documentato, e lì i contenuti multimediali vanno inseriti nell'input condiviso.

• Finestra — 262,144 token per Gemini Decision 1 tra input condiviso e tutte le domande insieme; Drex Max v1.1 documenta 131,072 token per domanda, con i token delle immagini conteggiati all'interno di tale valore, e un limite massimo di richiesta compattata di 262,144.

• Fatturazione — Gemini Decision 1 addebita 0,10 $ per milione di token di input e riaddebita esplicitamente per intero l'input condiviso ripetuto, senza caching e senza Batch API. Drex Max v1.1 addebita 0,03 $ per milione di token di input, una tariffa che Nace ha dimezzato quando vv1.1 ha sostituito v1 sul posto.

• Accesso — Gemini Decision 1 sulla Gemini Developer API in v1beta, con un piano gratuito e richieste giornaliere illimitate dal Tier 2. Drex Max v1.1 ospitato da Nace.AI su POST /v1/systemone, nessun checkpoint scaricabile.

Leggi quell'elenco come un'unica frase: Drex Max v1.1 è progettato per uno schermo o una pagina e alcune valutazioni al riguardo, mentre Gemini Decision 1 è progettato per un contesto ampio e un grande regolamento. Il limite di 1.000 domande non è un fronzolo da scheda tecnica. È la differenza tra un modello che chiami quaranta volte per richiesta e uno che chiami una volta sola.

Da dove deriva realmente il divario di 6,6 punti

Il Decision Index assegna un peso a sei valutazioni, ed entrambi i modelli sono stati eseguiti su tutte e sei. Allineare le loro componenti è più informativo del valore composito:

• AA-Paperclip, 30% — Drex Max v1.1 72.8, Gemini Decision 1 56.8. Quindici risposte per documento, tutto o niente. Questo è il divario di sedici punti che decide la classifica.

• EvalSafe-O*NET-AA, 15% — 88,3 contro 87,1. In pratica un pareggio.

• When2Call, 10% — 95,3 contro 80,5. Drex Max v1.1 è al secondo posto in questo campo; Gemini Decision 1 è quattordicesimo su diciotto.

• AA-Omniscience-Decision v1.1, 15% — 60,3 contro 66,3. Gemini Decision 1 si aggiudica questa sfida, e la sua accuratezza grezza del 44,8% è la più alta tra tutti i modelli decisionali della classifica.

• HLE-MultiChoice v1.1, 15% — 46,6 contro 48,7. Vicini, entrambi ai vertici, entrambi con un'accuratezza grezza a una cifra.

• AA-Symmetry v1.1, 15% — 79,8 contro 70,5. Drex Max v1.1 mantiene la propria risposta in caso di riordino e negazione il 53,3% delle volte; Gemini Decision 1, 38,3%.

Il pattern è coerente. Drex Max v1.1 vince le due componenti che verificano se una decisione è ripetibile e strutturalmente solida. Gemini Decision 1 vince le due che verificano se conosce le cose e se sa quando non le conosce. Entrambi sono prodotti difendibili; rispondono a domande diverse su a cosa serve un modello decisionale.

Un'avvertenza sul dato di Drex: i {{1}}103 $ per milione di attività{{/1}} riportati da Artificial Analysis riflettono un prezzo di lancio temporaneo, e la scheda segnala in nota che il prezzo standard raddoppierebbe il costo. A listino, {{2}}Drex Max v1.1{{/2}} si colloca intorno ai 206 $ per milione di attività — ancora ben sotto i 345 $ di Gemini Decision 1, ma non più un terzo di quella cifra. La latenza va nella direzione opposta: 283 millisecondi per attività per Drex Max v1.1 contro 211 per Gemini Decision 1, entrambi più lenti della mediana del settore, pari a 209.

Scegli in base alla forma della tua richiesta, non al punteggio

Scegli Drex Max v1.1 se la tua decisione riguarda un singolo artefatto con una risposta che deve reggere. Triage di sinistri assicurativi su un modulo scansionato, controllo di agenti basato su screenshot in cui la stessa decisione di clic viene richiesta di nuovo dopo un re-render, revisione contrattuale in cui un sì/no invertito è un errore reale. Il tasso di superamento del 63% sui documenti e il tasso di superamento del 53,3% sulla simmetria sono i numeri che si ripagano da soli in questi casi, e 0,03 $ per milione di token di input rende facile l'argomentazione sul volume.

Scegli Gemini Decision 1 se la tua decisione è un regolamento applicato a un singolo input, oppure se l'input non è costituito da testo e immagini. Quaranta controlli di policy su un ticket di supporto in un'unica chiamata sono un carico di lavoro per cui Gemini Decision 1 era documentato e Drex Max v1.1 no — e se l'input è una registrazione di una chiamata o un PDF, solo uno di questi due è in grado di leggerlo. La documentazione di Google elenca quattordici funzionalità non supportate accanto a quella che supporta, quindi la corrispondenza è facile da verificare prima di impegnarti: decisioni calibrate, tutto il resto disattivato.

Non scegliere nessuno dei due, però, se la decisione dipende dal costo su larga scala. Gemini Decision 1 non dispone di Batch API né di context caching, il che significa che una scansione notturna di un milione di ticket storici viene fatturata a tariffa piena con il documento delle policy riletto ogni volta. Il prezzo di lancio di Drex Max v1.1 è temporaneo. Nessuno dei due prodotti offre attualmente la struttura di sconti che rende economico un backfill, e questo conterà più di sei punti indice per chiunque faccia i conti su un anno di ticket.

Eseguire entrambi senza un secondo contratto

OrcaRouter non include nessuno dei due. Entrambi sono endpoint solo probabilistici, non target di chat-completions, e lo diciamo apertamente anziché lasciar intendere il contrario — la voce del catalogo relativa ai modelli decisionali è typesafe/jev-1.14 di TypeSafe, che si colloca a 66.23 sulla stessa classifica, tra i due modelli trattati in questo articolo.

Quello che un bake-off ti costa davvero è la parte che non compare mai in un benchmark: due SDK, due storie di gestione delle chiavi, due insiemi di limiti di frequenza da considerare. È questo il motivo per cui la metà generativa di una pipeline decisionale deve stare dietro un router anche quando la metà di scoring non può. La chiamata che abbozza la risposta candidata, scrive la rubrica o produce il riepilogo da valutare è esattamente la chiamata in cui vuoi cambiare fornitore in un pomeriggio — un unico endpoint, più di 200 modelli, prezzo di listino del fornitore applicato a markup 0%, e failover quando un fornitore si degrada. Indirizza la chiamata di scoring direttamente a Google o Nace e mantieni portabile la chiamata di scrittura. Il modello che non puoi instradare è la parte economica; quello che puoi instradare è quello che vorrai cambiare.

Se li testi entrambi sulle tue etichette — e dovresti farlo, perché nessuno dei due fornitori pubblica una curva di calibrazione sui tuoi dati — eseguili sugli stessi 200 documenti con lo stesso set di domande e confronta il tasso di superamento, non l'indice. Il divario di 30 punti della board su Paperclip è un forte prior. Non è una misurazione dei tuoi documenti.