Een gegenereerde titelkaart met als kop 'Eén test, het grootste deel van de voorsprong', als ondertitel 'Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1', met een raster van twee bij twee met vier labelkaarten met de tekst '67.78 vs 65.98', '95.08 vs 80.50', '123 ms vs 211 ms' en '139.64 vs 344.90 dollar', een bijschrift met de tekst 'per miljoen taken, gelezen op 19 november 2026', en twee grijze staafblokken met het label Microsoft en Gemini. Het OrcaRouter-logo is in de rechteronderhoek samengevoegd.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: een voorsprong van twee punten die bijna volledig op één test is gebouwd

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Zet Microsoft-Decision-1.1 en Gemini Decision 1 naast elkaar op de Artificial Analysis Decision Index v2.1 en de kloof ziet eruit als een oordeel: 67,78 tegen 65,98, waarbij Microsofts model ook bijna twee keer zo snel is met 123 ms per taak versus 211 ms, en minder dan half zo duur met $139,64 per miljoen taken versus $344,90. Haal de samengestelde score uit elkaar en het oordeel wordt kleiner en vreemder. Het volledige voordeel van Microsoft-Decision-1.1 komt van één component die 10% van de index waard is en één beslissing op procesniveau over hoe een document wordt gefactureerd. Op de twee kenniscomponenten wint Googles model — één ervan met meer dan zes punten, met bijna twee keer de ruwe nauwkeurigheid.

Die tweedeling vormt de hele vergelijking, en ze bepaalt meer dan een positie op een ranglijst doet. Gemini Decision 1 leest 262.144 tokens en accepteert audio, video en pdf; Microsoft-Decision-1.1 leest 32.768 en accepteert tekst, JSON en afbeeldingen. Het model van Google geeft op de Omniscience-test in 49,6% van de gevallen toe dat het het niet weet; dat van Microsoft in 49,4%. Op de routingtest staat dat van Microsoft twaalf en een half punt voor. Als je beslissing is "welke van deze vijf tools heeft dit verzoek nodig", dan is het antwoord allesbehalve nipt. Als je beslissing is "is deze clausule in dit contract van 90 pagina's waar", dan slaat het antwoord om, en het slaat om door een contextvenster in plaats van door een model.

Beiden zijn scorers, en ze zijn op dezelfde wijze scorers.

De twee API's kwamen uit op vrijwel dezelfde primitieve, waardoor de vergelijking ongewoon helder is. Elk neemt een gedeelde invoer en een reeks getypeerde vragen, en retourneert één getypeerd antwoord per vraag met een bijbehorende waarschijnlijkheid. Geen van beide schrijft een woord.

• Vraagtypen — beide bieden dezelfde drie: een ja/nee-kans, een keuze uit een vaste set met een kans per optie, en een positie op een geordende schaal. Microsoft noemt de eerste ja/nee, Google noemt het ook ja/nee, wat niet zozeer toeval is als wel een categorie die zich op woordenschat vastlegt.

• Uitvoertokens — nul voor beide, bij elke aanroep. Facturering is alleen op invoer, dus de tokenprijs die je leest is de volledige prijs.

Parallelle scoring — beide evalueren elke vraag onafhankelijk aan de hand van de gedeelde invoer, zodat vragen elkaar niet kunnen zien en het toevoegen van een tiende niets verandert aan de eerste negen.

• Verzoekgrootte — Google documenteert 1 tot 1.000 vragen per aanroep, keuzevragen met 2 tot 255 opties, scorevragen met 2 tot 255 niveaus. Microsoft documenteert "een of meer getypeerde vragen" zonder maximum, en in het lanceringsbericht wordt gesproken over verzoeken met "honderden vragen".

• Beeldinvoer — beide ondersteunen het nu. Microsoft heeft het in 1.1 toegevoegd; Google heeft het vanaf de lancering, samen met audio en video, die Microsoft expliciet niet ondersteunt.

• Endpoints — hier lopen ze fysiek uiteen. Gemini Decision 1 is alleen bereikbaar via Google's Decisions API op de Gemini Developer API v1beta. Microsoft-Decision-1.1 wordt geïmplementeerd als een Foundry-resource en antwoordt op /providers/microsoft/v1/systemone op die resource.

Het samengestelde, ontleed

Een voorsprong van 1,8 punt in de index die in één component met een gewicht van 10% zit, is geen afrondingsartefact, maar het is een veel beperktere bewering dan "beter model". Hier is de volledige decompositie van beide inzendingen, zoals Artificial Analysis die publiceert, gelezen op 19 november 2026:

• Totaalindex — Microsoft-Decision-1.1 67,78 vs Gemini Decision 1 65,98

• Nauwkeurigheidsindex (de index opnieuw opgebouwd met alleen nauwkeurigheid, vertrouwen verwijderd) — 48,45 vs 45,53, dus Microsoft leidt ook op correctheid, alleen met een kleinere marge

• When2Call, 10% weging — 95,08 tegenover 80,50. Een verschil van 14,6 punten en de oorzaak van de voorsprong.

• AA-Paperclip, 30% weging — 58,67 versus 56,83 Decision Score, en 36,8% versus 33,0% van de documenten volledig correct

• EvalSafe-O*NET-AA, 15% — 88,85 versus 87,05, met 83,4% versus 82,0% ruwe nauwkeurigheid

• AA-Omniscience-Decision v1.1, 15% — 60,46 versus 66,28, met 33,2% versus 44,8% ruwe nauwkeurigheid en 49,4% versus 49,6% niet-hallucinatie

• HLE-MultiChoice v1.1, 15% — 46,11 versus 48,71, met 6,29% versus 13,16% ruwe nauwkeurigheid en 38,4% versus 35,8% niet-hallucinatie

• AA-Symmetry, 15% — 75,72 vs 70,47, op slagingspercentages voor herformulering van 47,5% tegenover 38,3%

Uit die lijst komen twee dingen naar voren. Het eerste is dat de grootste afzonderlijke kloof bij de component met het kleinste gewicht ligt — When2Call draagt 9,5 punten bij aan een schaal van 100 punten, dus het verschil van 14,6 punten daar is ongeveer 1,5 indexpunten waard, wat het grootste deel van de 1,8 punten in totaal is. Het tweede is dat de kennisvoorsprong van Gemini Decision 1 werkelijk groot is: 44,8% tegenover 33,2% op de ruwe nauwkeurigheid van Omniscience is geen ruis, en dat is waarom het model van Google een hogere nauwkeurigheidsindex heeft dan zijn samengestelde score suggereert.

Met andere woorden, Microsoft overtrof Google niet op alle fronten. Het overtrof Google beslissend op de ene test die de vraag stelt of het model weet wanneer het een tool moet aanroepen, en evenaarde Google ongeveer overal elders: het verloor de kennistests en won de consistentietest.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Wat het verschil in contextvenster daadwerkelijk kost

Het venster van 262.144 tokens is het getal dat echte workloads bepaalt, en dat is een verschil van 8x: Gemini Decision 1 leest acht keer zoveel als Microsoft-Decision-1.1 leest. De documentatie van Google besteedt dat budget op een specifieke manier: het venster omvat de gedeelde invoer en alle vragen samen, dus één lang contract plus tweehonderd beoordelingsvragen strijden om dezelfde 262K.

Het 32K-plafond van Microsoft heeft een tweede-orde-effect dat zichtbaar wordt in de kostenkolom. AA-Paperclip rekent een document één keer af voor al zijn vragen en levert 15 antwoorden per document op. Een model dat het document niet in één aanroep kan vasthouden, moet stukje voor stukje worden toegepast, waardoor het aantal aanroepen toeneemt. Microsoft-Decision-1.1 komt uit op $386 per miljoen taken op Paperclip tegenover Gemini Decision 1 op $946 — maar de rangorde op totale kosten per taak wordt al verklaard door de tokenprijs, niet door documentafhandeling.

Er is een derde mechanisme dat het vermelden waard is, omdat het precies is wat kopers over het hoofd zien: herhaalde invoer wordt bij beide volledig meegeteld. De Decisions API van Google ondersteunt expliciet geen context caching, Batch, Flex of Priority inference, dus een rubric die bij elk verzoek wordt meegestuurd, wordt bij elk verzoek betaald. Ook Microsoft-Decision-1.1 heeft geen cachingverhaal in zijn documentatie. Geen van beide leveranciers biedt een korting voor het miljoen keer stellen van dezelfde 200 vragen, en dat is precies de workload waarvoor deze categorie is gebouwd.

Prijsstelling, met de SKU-valkuil

Microsoft hanteert drie invoertarieven — $0,042 per miljoen op Global Standard, $0,046 op US Data Zone, $0,05 op EU- en APAC Data Zone — en geen uitvoertarief. Google noemt er één: $0,10 per miljoen invoertokens. Op het meest in het oog springende cijfer is Microsoft 58% goedkoper. Op de gemeten kosten over de hele index is Microsoft 60% goedkoper — $139,64 tegen $345,41 per miljoen taken — omdat het bij de meeste componenten ook minder tokens per taak verbruikt.

Maar het tarief van $0,042 is het wereldwijde tarief, en een in de EU gevestigde workload op de data-zone-SKU betaalt $0,05, waardoor het verschil tot 50% wordt verkleind. Geen van beide getallen omvat de kosten van de calls rond het beslissingsmodel, die voor de meeste productiepijplijnen de scoring-call zelf in het niet doen vallen — het model dat de kandidaatantwoorden opstelt, het model dat de rubric schrijft, het model dat afhandelt waarop de scorer zich heeft onthouden. Die uitgaven zijn waar routing daadwerkelijk geld bespaart, en dat is het deel dat OrcaRouter dekt: één sleutel voor meer dan 200 modellen tegen de lijstprijs van de provider met 0% opslag, zodat een prijswijziging van een leverancier op de generatieve helft dezelfde dag wordt doorgevoerd, en fusion of de routing-DSL kan een goedkope opsteller achter een dure beoordelaar zetten zonder een tweede integratie.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Welke je daadwerkelijk zou deployen

Drie vormen van werklast, drie verschillende antwoorden, en geen ervan is "de hogere index".

• Routering, gating en toolselectie — Microsoft-Decision-1.1. Een 95,08 op When2Call tegenover 80,50 is de grootste kloof van één component op het bord, en routering is de workload waarvoor Microsoft het model heeft gebouwd. Ook de mediaan van 123 ms is hier van belang: een router bevindt zich in het aanvraagpad, en het verschil tussen 123 ms en 211 ms is het verschil tussen een stap die niemand opmerkt en een stap die het latencybudget moet absorberen.

• Documentextractie en rubricbeoordeling over lange inputs — {{1}}Gemini Decision 1{{/1}}. Als één enkele aanroep een contract van 90 pagina's plus de vragen daarover moet zien, schiet Microsofts 32K-plafond simpelweg tekort, en geen enkele When2Call-prestatie redt een aanroep die nooit heeft plaatsgevonden. Google's 44,8% Omniscience-nauwkeurigheid en 13,2% HLE-nauwkeurigheid versterken dezelfde conclusie vanuit een andere richting: het weet meer, en het kan meer lezen.

Screening met grote volumes waarbij de rekening domineert — geen van beide, en dat is het eerlijke antwoord. Celeris-1.1 Decision scoort 62,0 bij $14 per miljoen taken; Decider v1.3 scoort 70,4 bij $68. Beide verslaan Microsoft-Decision-1.1 op kosten per taak en één verslaat het op de index. Als je beslissing goedkoop en repetitief is, zijn de opties van de hyperscalers de dure.

Eén voorbehoud geldt voor alle drie: het verschil van 1,8 punt en de kalibratierijen komen uit een index die op 8 november 2026 zijn eigen weging heeft herzien, waarbij Omniscience en HLE van elk 25% naar 15% zijn verlaagd en een documentcomponent van 30% is geïntroduceerd. Een herweging kan deze rangschikking sterker beïnvloeden dan het uitbrengen van een model. Beschouw de vergelijking als actueel en datumgebonden, niet als permanent.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Waar de twee modellen nu uiteen zullen lopen

Microsoft-Decision-1.1 is een tweede poging op een nieuwe basis — Gemma 4 26B A4B in plaats van Qwen3.5-9B — met een aangepaste inference-engine en een routing-pitch. Gemini Decision 1 is Google's eerste inzending, gebonden aan één API-oppervlak en één model-ID. De trajectorieën wijzen in tegengestelde richtingen: Microsoft itereert op het basismodel en de serving-stack, Google itereert op de invoermodaliteiten en het contextbudget.

Wat dat betekent voor een beslissing die deze maand wordt genomen, is weinig glamoureus. Controleer of je langste invoer in 32K past voordat je ook maar één benchmarkcijfer leest, want die beperking sluit een van deze twee modellen meteen uit. Als het past, laat je eigen twintig gelabelde voorbeelden door beide modellen lopen en vergelijk de betrouwbaarheidsverdelingen in plaats van de top-1-antwoorden — een scorer waarvoor je geen drempel kunt instellen, is een scorer die je niet kunt uitrollen, en de twee liggen binnen 0,2 punten van elkaar op non-hallucinatie, de rij die bepaalt of onthouding zich op jouw data hetzelfde gedraagt als op een openbare testset.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt