Una scheda titolo generata intitolata "Un test, la maggior parte del vantaggio", con sottotitolo "Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1", con una griglia due per due di quattro schede etichetta che riportano "67,78 vs 65,98", "95,08 vs 80,50", "123 ms vs 211 ms" e "139,64 vs 344,90 dollari", una didascalia che recita "per milione di attività, rilevato il 19 novembre 2026", e due blocchi a barre grigie etichettati Microsoft e Gemini. Il logo OrcaRouter è sovrapposto nell'angolo in basso a destra.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: un vantaggio di due punti costruito quasi interamente su un unico test

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Metti {{1}}Microsoft-Decision-1.1{{/1}} e {{2}}Gemini Decision 1{{/2}} fianco a fianco sull'Artificial Analysis Decision Index v2.1 e il divario sembra un verdetto: 67,78 contro 65,98, con il modello di Microsoft anche quasi due volte più veloce, a 123 ms per attività contro 211 ms, e meno della metà costoso, a $139,64 per milione di attività contro $344,90. Scomponi il punteggio composito e il verdetto si riduce e diventa più strano. L'intero vantaggio di {{1}}Microsoft-Decision-1.1{{/1}} deriva da una componente che vale il 10% dell'indice e da una decisione a livello di processo su come viene fatturato un documento. Sulle due componenti di conoscenza, vince il modello di Google — su una delle due con più di sei punti di vantaggio, con un'accuratezza grezza quasi doppia.

Questa divisione è l'intero confronto, e decide più di quanto faccia una posizione in classifica. Gemini Decision 1 legge 262.144 token e accetta audio, video e PDF; Microsoft-Decision-1.1 legge 32.768 e accetta testo, JSON e immagini. Il modello di Google ammette di non sapere nel 49,6% dei casi al test Omniscience; quello di Microsoft nel 49,4%. Nel test di routing, quello di Microsoft è avanti di dodici punti e mezzo. Se la tua decisione è «di quale di questi cinque strumenti ha bisogno questa richiesta», la risposta non è neanche vicina. Se la tua decisione è «questa clausola in questo contratto di 90 pagine è vera», la risposta si capovolge, e si capovolge per una finestra di contesto anziché per un modello.

Entrambi sono marcatori, e sono marcatori nella stessa forma

Le due API sono convergute su una primitiva quasi identica, il che rende il confronto insolitamente pulito. Ciascuna riceve un input condiviso e un insieme di domande tipizzate, e restituisce una risposta tipizzata per ogni domanda con una probabilità associata. Nessuna delle due scrive una parola.

• Tipi di domanda — entrambi presentano gli stessi tre: una probabilità sì/no, una scelta da un insieme fisso con una probabilità per opzione, e una posizione su una scala ordinata. Microsoft chiama il primo noul, anche Google lo chiama noul, il che non è tanto una coincidenza quanto una categoria che si assesta sul vocabolario.

• Token di output — zero su entrambi, a ogni chiamata. La fatturazione riguarda solo l'input, quindi il prezzo del token che leggi è il prezzo completo.

• Valutazione parallela — entrambi valutano ogni domanda rispetto all'input condiviso in modo indipendente, così le domande non possono vedersi l'una con l'altra e aggiungerne una decima non cambia le prime nove.

• Dimensione della richiesta — Google documenta da 1 a 1.000 domande per chiamata, domande a scelta con da 2 a 255 opzioni, domande con punteggio con da 2 a 255 livelli. Microsoft documenta "una o più domande tipizzate" senza un limite massimo, e il suo post di lancio descrive richieste contenenti "centinaia di domande".

• Input di immagini — ora lo accettano entrambi. Microsoft lo ha aggiunto nella 1.1; Google ce l'ha fin dal lancio, insieme ad audio e video, che Microsoft esplicitamente non supporta.

• Endpoint — è qui che divergono fisicamente. Gemini Decision 1 è raggiungibile solo tramite l'API Decisions di Google sulla Gemini Developer API v1beta. Microsoft-Decision-1.1 viene distribuito come risorsa Foundry e risponde a /providers/microsoft/v1/systemone su quella risorsa.

Il composito, decomposto

Un vantaggio di 1,8 punti nell'indice che risiede in una singola componente ponderata al 10% non è un artefatto di arrotondamento, ma è un'affermazione molto più limitata di «modello migliore». Ecco la decomposizione completa di entrambe le voci, così come la pubblica Artificial Analysis, consultata il 19 novembre 2026:

• Indice complessivo — Microsoft-Decision-1.1 67,78 vs Gemini Decision 1 65,98

• Indice di accuratezza (l'indice ricostruito con la sola accuratezza, rimossa la confidenza) — 48,45 vs 45,53, quindi Microsoft è in testa anche per correttezza, solo con un margine inferiore

• When2Call, peso 10% — 95,08 vs 80,50. Un divario di 14,6 punti e l'origine del vantaggio

• AA-Paperclip, peso 30% — Decision Score 58,67 vs 56,83, e 36,8% vs 33,0% di documenti completamente corretti

• EvalSafe-O*NET-AA, 15% — 88,85 vs 87,05, con un'accuratezza grezza dell'83,4% vs 82,0%

• AA-Omniscience-Decision v1.1, 15% — 60,46 vs 66,28, con 33,2% vs 44,8% di accuratezza grezza e 49,4% vs 49,6% di non-allucinazione

• HLE-MultiChoice v1.1, 15% — 46,11 vs 48,71, con accuratezza grezza del 6,29% vs 13,16% e non-allucinazione del 38,4% vs 35,8%

• AA-Symmetry, 15% — 75,72 vs 70,47, sui tassi di superamento della riformulazione del 47,5% contro il 38,3%

Da quell’elenco emergono due cose. La prima è che il singolo divario più ampio riguarda la componente con il peso minore: When2Call contribuisce per 9,5 punti su una scala di 100 punti, quindi la differenza di 14,6 punti lì vale circa 1,5 punti di indice, che rappresentano la maggior parte del totale di 1,8 punti. La seconda è che il vantaggio di conoscenza di Gemini Decision 1 è davvero ampio: 44,8% contro 33,2% sull’accuratezza grezza di Omniscience non è rumore, ed è per questo che il modello di Google ha un indice di accuratezza più alto di quanto suggerisca il suo punteggio composito.

In altre parole, Microsoft non ha superato Google in tutte le misurazioni. Ha superato Google in modo decisivo nell'unico test che chiede se il modello sa quando chiamare uno strumento, e più o meno lo ha eguagliato ovunque altrove, perdendo i test di conoscenza e vincendo quello di coerenza.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Quanto costa davvero la differenza nella finestra di contesto

La finestra di 262.144 token è il numero che decide i carichi di lavoro reali, e si tratta di un divario di 8 volte: Gemini Decision 1 legge otto volte quanto legge Microsoft-Decision-1.1. La documentazione di Google impiega quel budget in un modo specifico — la finestra copre insieme l'input condiviso e tutte le domande, quindi un singolo contratto lungo più duecento domande di valutazione competono per gli stessi 262K.

Il tetto di 32K di Microsoft ha un effetto di secondo ordine che si manifesta nella colonna dei costi. AA-Paperclip addebita un documento una sola volta per tutte le sue domande e risolve 15 risposte per documento. Un modello che non riesce a contenere il documento in una singola chiamata deve essere applicato blocco per blocco, il che moltiplica le chiamate. Microsoft-Decision-1.1 risulta a $386 per milione di attività su Paperclip contro Gemini Decision 1 a $946 — ma la classifica sul costo totale per attività è già spiegata dal prezzo dei token, non dalla gestione dei documenti.

C'è un terzo meccanismo che vale la pena citare, perché è quello che gli acquirenti trascurano: l'input ripetuto viene conteggiato per intero su entrambi. L'API Decisions di Google non supporta esplicitamente il caching del contesto, né l'inferenza Batch, Flex o Priority, quindi una rubrica inviata con ogni richiesta viene pagata a ogni richiesta. Anche Microsoft-Decision-1.1 non ha alcuna soluzione di caching nella sua documentazione. Nessuno dei due fornitori offre uno sconto per aver posto le stesse 200 domande un milione di volte, che è esattamente il carico di lavoro per cui è costruita questa categoria.

Prezzi, con la trappola dello SKU

Microsoft indica tre tariffe di input — 0,042 $ per milione su Global Standard, 0,046 $ su US Data Zone, 0,05 $ su EU and APAC Data Zone — e nessuna tariffa di output. Google ne indica una: 0,10 $ per milione di token di input. Sul numero principale Microsoft è più economica del 58%. Sul costo misurato sull'intero indice Microsoft è più economica del 60% — 139,64 $ contro 345,41 $ per milione di task — perché consuma anche meno token per task sulla maggior parte dei componenti.

Ma la tariffa di 0,042 $ è quella globale, e un carico di lavoro residente nell'UE sullo SKU della zona dati paga 0,05 $, il che riduce il divario al 50%. Nessuno dei due valori include il costo delle chiamate attorno al modello decisionale, che per la maggior parte delle pipeline di produzione superano di gran lunga la chiamata di scoring stessa — il modello che redige le risposte candidate, il modello che scrive la rubrica, il modello che gestisce tutto ciò su cui lo scorer si è astenuto. È su quella spesa che il routing fa davvero risparmiare, ed è la parte che OrcaRouter copre: una sola chiave per oltre 200 modelli al prezzo di listino del provider con 0% di ricarico, così una variazione di prezzo del fornitore sulla metà generativa arriva lo stesso giorno, e fusion o il DSL di routing possono mettere un drafter economico dietro un giudice costoso senza una seconda integrazione.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Quale distribuiresti effettivamente

Tre forme di carico di lavoro, tre risposte diverse, e nessuna di esse è "l'indice più alto".

• Routing, gating e selezione degli strumenti — Microsoft-Decision-1.1. Un 95,08 su When2Call contro 80,50 è il divario maggiore di singolo componente nella tabella, e il routing è il carico di lavoro per cui Microsoft ha creato il modello. Anche la mediana di 123 ms conta qui: un router si trova nel percorso della richiesta, e la differenza tra 123 ms e 211 ms è la differenza tra un passaggio che nessuno nota e un passaggio che il budget di latenza deve assorbire.

• Estrazione di documenti e valutazione tramite rubric su input lunghi — Gemini Decision 1. Se una singola chiamata deve vedere un contratto di 90 pagine più le domande che lo riguardano, il tetto di 32K di Microsoft semplicemente non basta, e nessun livello di prestazioni di When2Call può salvare una chiamata che non ha mai avuto luogo. L'accuratezza del 44,8% di Omniscience e del 13,2% di HLE di Google rafforzano la stessa conclusione da un'altra direzione: sa di più e può leggere di più.

• Screening ad alto volume in cui domina la spesa — nessuno dei due, ed è la risposta onesta. Celeris-1.1 Decision ottiene 62,0 a 14 $ per milione di attività; Decider v1.3 ottiene 70,4 a 68 $. Entrambi battono Microsoft-Decision-1.1 sul costo per attività e uno lo batte sull'indice. Se la tua decisione è economica e ripetitiva, le opzioni degli hyperscaler sono quelle costose.

Un'avvertenza vale per tutti e tre: il divario di 1,8 punti e le righe di calibrazione provengono da un indice che ha rivisto la propria ponderazione l'8 novembre 2026, portando Omniscience e HLE dal 25% ciascuno al 15% e introducendo una componente documentale del 30%. Una riponderazione può spostare questa classifica più di quanto farà il rilascio di un modello. Considera il confronto attuale e datato, non permanente.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Dove i due modelli divergeranno in seguito

Microsoft-Decision-1.1 è un secondo tentativo su una nuova base — Gemma 4 26B A4B invece di Qwen3.5-9B — con un motore di inferenza personalizzato e una proposta di routing. Gemini Decision 1 è la prima entrata di Google, vincolata a un'unica superficie API e a un unico ID modello. Le traiettorie puntano in direzioni opposte: Microsoft sta iterando sul modello di base e sullo stack di serving, Google sta iterando sulle modalità di input e sul budget di contesto.

Quello che questo significa per una decisione presa questo mese è ben poco affascinante. Verifica se il tuo input più lungo rientra nei 32K prima ancora di leggere un solo numero di benchmark, perché quel vincolo esclude del tutto uno di questi due modelli. Se rientra, prova entrambi sui tuoi venti esempi etichettati e confronta le distribuzioni di confidenza anziché le risposte top-1 — uno scorer a cui non puoi applicare una soglia è uno scorer che non puoi rilasciare, e i due sono entro 0,2 punti l'uno dall'altro sulla non-allucinazione, che è la riga che determina se l'astensione si comporta sui tuoi dati allo stesso modo in cui si è comportata su un set di test pubblico.

Confrontati in questo articolo1

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno