Ett genererat titelkort med rubriken "One Test, Most of the Lead", underrubriken "Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1", med ett två gånger två-rutnät av fyra etikettkort som visar "67.78 vs 65.98", "95.08 vs 80.50", "123 ms vs 211 ms" och "139.64 vs 344.90 dollar", en bildtext som lyder "per miljon uppgifter, läst 19 november 2026", och två gråa stapelblock märkta Microsoft och Gemini. OrcaRouter-logotypen är inkomponerad i nedre högra hörnet.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: En tvåpoängsledning som nästan uteslutande bygger på ett enda test

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Om man ställer Microsoft-Decision-1.1 och Gemini Decision 1 sida vid sida på Artificial Analysis Decision Index v2.1 ser gapet ut som en dom: 67,78 mot 65,98, och Microsofts modell är dessutom nästan dubbelt så snabb med 123 ms per uppgift mot 211 ms, och mindre än hälften så dyr med 139,64 dollar per miljon uppgifter mot 344,90 dollar. Plockar man isär helhetsmåttet blir domen mindre och märkligare. Hela fördelen för Microsoft-Decision-1.1 kommer från en komponent som är värd 10 % av indexet och ett processbeslut om hur ett dokument debiteras. På de två kunskapskomponenterna vinner Googles modell – en av dem med mer än sex punkter, med nästan dubbelt så hög rå noggrannhet.

Den uppdelningen är hela jämförelsen, och den avgör mer än en placering på en resultattavla gör. Gemini Decision 1 läser 262 144 token och accepterar ljud, video och PDF; Microsoft-Decision-1.1 läser 32 768 och accepterar text, JSON och bilder. Googles modell erkänner när den inte vet vid 49,6 % på Omniscience-testet; Microsofts vid 49,4 %. På routingtestet ligger Microsofts tolv och en halv poäng före. Om ditt beslut är "vilket av dessa fem verktyg den här begäran behöver", är svaret inte ens nära. Om ditt beslut är "är den här klausulen i det här 90-sidiga kontraktet sann", vänder svaret, och det vänder på grund av ett kontextfönster snarare än en modell.

Båda är målskyttar, och de är målskyttar av samma slag

De två API:erna konvergerade mot nästan samma primitiv, vilket gör jämförelsen ovanligt ren. Var och en tar en gemensam indata, en uppsättning typade frågor och returnerar ett typat svar per fråga med en tillhörande sannolikhet. Ingen av dem skriver ett ord.

• Frågetyper — båda erbjuder samma tre: en ja/nej-sannolikhet, ett val från en fast uppsättning med en sannolikhet per alternativ, och en position på en ordnad skala. Microsoft kallar den första noul, Google kallar den också noul, vilket inte är så mycket en slump som att en kategori har enats om vokabulär.

• Utdata-token – noll på båda, vid varje anrop. Faktureringen gäller endast indata, så tokenpriset du läser är hela priset.

• Parallell poängsättning – båda utvärderar varje fråga mot den gemensamma indatan oberoende av varandra, så frågorna kan inte se varandra och att lägga till en tionde ändrar inte de första nio.

• Förfrågningsstorlek – Google dokumenterar 1 till 1 000 frågor per anrop, urvalsfrågor med 2 till 255 alternativ, poängfrågor med 2 till 255 nivåer. Microsoft dokumenterar "en eller flera typade frågor" utan något tak, och deras lanseringsinlägg beskriver förfrågningar som innehåller "hundratals frågor".

• Bildinmatning – båda accepterar det nu. Microsoft lade till det i 1.1; Google har det från lanseringen, tillsammans med ljud och video, vilket Microsoft uttryckligen inte tar emot.

• Slutpunkter – det är här de går isär fysiskt. Gemini Decision 1 är endast nåbart via Googles Decisions API på Gemini Developer API v1beta. Microsoft-Decision-1.1 distribueras som en Foundry-resurs och svarar på /providers/microsoft/v1/systemone på den resursen.

Kompositen, nedbruten

Ett försprång på 1,8 indexpoäng som ligger i en enda komponent med 10 % vikt är inte en avrundningsartefakt, men det är ett mycket snävare påstående än "bättre modell". Här är den fullständiga uppdelningen av båda posterna, såsom Artificial Analysis publicerar den, avläst 19 november 2026:

• Övergripande index — Microsoft-Decision-1.1 67,78 vs Gemini Decision 1 65,98

• Noggrannhetsindex (indexet återuppbyggt med enbart noggrannhet, utan konfidens) – 48,45 mot 45,53, så Microsoft leder även på korrekthet, men med mindre marginal

• When2Call, 10 % vikt — 95,08 vs 80,50. Ett gap på 14,6 punkter och källan till ledningen

• AA-Paperclip, 30 % vikt — 58,67 mot 56,83 i Decision Score, och 36,8 % mot 33,0 % av dokumenten helt korrekta

• EvalSafe-O*NET-AA, 15 % – 88,85 mot 87,05, med 83,4 % mot 82,0 % rå noggrannhet

• AA-Omniscience-Decision v1.1, 15 % – 60,46 mot 66,28, med 33,2 % mot 44,8 % i rå noggrannhet och 49,4 % mot 49,6 % i icke-hallucinering

• HLE-MultiChoice v1.1, 15 % – 46,11 mot 48,71, med 6,29 % mot 13,16 % rå noggrannhet och 38,4 % mot 35,8 % icke-hallucinering

• AA-Symmetry, 15 % – 75,72 mot 70,47, för godkännandegrader vid omformulering på 47,5 % mot 38,3 %

Två saker framgår av den listan. Den första är att den största enskilda skillnaden finns i komponenten med minsta vikt — When2Call bidrar med 9,5 poäng på en 100-poängsskala, så skillnaden på 14,6 poäng där är värd omkring 1,5 indexpoäng, vilket utgör större delen av totalen på 1,8 poäng. Den andra är att Gemini Decision 1:s kunskapsfördel verkligen är stor: 44,8 % mot 33,2 % i Omniscience råa träffsäkerhet är inte brus, och det är därför Googles modell har ett högre träffsäkerhetsindex än vad dess sammansatta värde antyder.

Med andra ord överträffade Microsoft inte Google på alla områden. Det överträffade Google avgjort på det test som handlar om huruvida modellen vet när den ska anropa ett verktyg, och matchade det ungefär på alla andra områden – förlorade kunskapstesterna och vann konsekvenstestet.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Vad skillnaden i kontextfönster faktiskt kostar

Fönstret på 262 144 token är siffran som avgör verkliga arbetsbelastningar, och det är en 8x skillnad: Gemini Decision 1 läser åtta gånger vad Microsoft-Decision-1.1 läser. Googles dokumentation använder den budgeten på ett specifikt sätt – fönstret omfattar den delade indatan och alla frågor tillsammans, så ett enda långt kontrakt plus tvåhundra bedömningsfrågor konkurrerar om samma 262K.

Microsofts 32K-tak har en andra ordningens effekt som syns i kostnadskolumnen. AA-Paperclip tar betalt för ett dokument en gång för alla dess frågor och löser 15 svar per dokument. En modell som inte kan hålla dokumentet i ett enda anrop måste tillämpas bit för bit, vilket multiplicerar anropen. Microsoft-Decision-1.1 landar på $386 per miljon uppgifter på Paperclip mot Gemini Decision 1 på $946 — men rangordningen efter total kostnad per uppgift förklaras redan av tokenpriset, inte av dokumenthanteringen.

Det finns en tredje mekanism som är värd att nämna, eftersom det är den som köpare missar: upprepad indata räknas till fullo hos båda. Googles Decisions API stöder uttryckligen inte kontextcachning, Batch, Flex eller Priority-inferens, så en bedömningsmatris som skickas med varje begäran betalas för vid varje begäran. Microsoft-Decision-1.1 nämner inte heller någon cachning i sin dokumentation. Ingen av leverantörerna erbjuder rabatt för att ställa samma 200 frågor en miljon gånger, vilket är exakt den arbetsbelastning som den här kategorin är byggd för.

Prissättning, med SKU-fällan

Microsoft uppger tre indatarater – 0,042 USD per miljon på Global Standard, 0,046 USD på US Data Zone, 0,05 USD på EU and APAC Data Zone – och ingen utdatarate. Google uppger en: 0,10 USD per miljon indatatoken. På huvudsiffran är Microsoft 58 % billigare. På den uppmätta kostnaden över hela indexet är Microsoft 60 % billigare – 139,64 USD mot 345,41 USD per miljon uppgifter – eftersom det också förbrukar färre token per uppgift på de flesta komponenter.

Men taxan på $0.042 är den globala, och en arbetsbelastning med EU-hemvist på datazon-SKU:n betalar $0.05, vilket minskar gapet till 50 %. Ingen av siffrorna inkluderar kostnaden för anropen runt beslutsmodellen, som för de flesta produktionspipelines är mycket större än själva poängsättningsanropet – modellen som tar fram kandidatsvaren, modellen som skriver bedömningskriterierna, modellen som hanterar det som poängsättaren avstod från. Det är på den utgiften som routning faktiskt sparar pengar, och det är den delen som OrcaRouter täcker: en enda nyckel för över 200 modeller till leverantörens listpris med 0 % påslag, så en leverantörsprisändring på den generativa halvan slår igenom samma dag, och fusion eller routnings-DSL:en kan sätta en billig utkastmodell bakom en dyr bedömare utan en andra integration.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Vilken skulle du faktiskt driftsätta?

Tre slags arbetsbelastning, tre olika svar, och inget av dem är "det högre indexet".

• Routing, gating och verktygsval — Microsoft-Decision-1.1. Ett resultat på 95,08 i When2Call jämfört med 80,50 är det största gapet för en enskild komponent på resultattavlan, och routing är den arbetsbelastning som Microsoft byggde modellen för. Medianen på 123 ms spelar också roll här: en router ligger i förfrågningsvägen, och skillnaden mellan 123 ms och 211 ms är skillnaden mellan ett steg som ingen lägger märke till och ett steg som latensbudgeten måste absorbera.

• Dokumentutvinning och bedömning mot bedömningsmatris över långa indata – Gemini-beslut 1. Om ett enda anrop måste se ett 90-sidigt avtal plus frågorna om det, misslyckas Microsofts 32K-tak helt enkelt, och ingen mängd When2Call-prestanda räddar ett anrop som aldrig ägde rum. Googles träffsäkerhet på 44,8 % för Omniscience och 13,2 % för HLE förstärker samma slutsats från en annan riktning: det vet mer och kan läsa mer.

• Högvolymsscreening där kostnaden dominerar – ingendera, och det är det ärliga svaret. Celeris-1.1 Decision får 62,0 vid $14 per miljon uppgifter; Decider v1.3 får 70,4 vid $68. Båda slår Microsoft-Decision-1.1 i kostnad per uppgift och en slår det på index. Om ditt beslut är billigt och repetitivt är hyperscaler-alternativen de dyra.

Ett förbehåll gäller för alla tre: gapet på 1,8 punkter och kalibreringsraderna kommer från ett index som reviderade sin egen viktning den 8 november 2026, sänkte Omniscience och HLE från 25 % vardera till 15 % och införde en dokumentkomponent på 30 %. En omviktning kan flytta denna rangordning längre än en modellsläpp kommer att göra. Behandla jämförelsen som aktuell och daterad, inte permanent.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Var de två modellerna kommer att skilja sig åt härnäst

Microsoft-Decision-1.1 är ett andra försök på en ny bas – Gemma 4 26B A4B i stället för Qwen3.5-9B – med en anpassad inferensmotor och en routing-pitch. Gemini Decision 1 är Googles första bidrag, bundet till en enda API-yta och ett enda modell-ID. Banorna pekar i motsatta riktningar: Microsoft itererar på basmodellen och serving-stacken, Google itererar på indatamodaliteterna och kontextbudgeten.

Vad det innebär för ett beslut som fattas den här månaden är oglamouröst. Kontrollera om din längsta indata får plats i 32K innan du läser en enda benchmark-siffra, eftersom den begränsningen eliminerar en av dessa två modeller direkt. Om den får plats, kör dina egna tjugo märkta exempel genom båda och jämför konfidensfördelningarna i stället för top-1-svaren — en scorer som du inte kan sätta ett tröskelvärde för är en scorer som du inte kan leverera, och de två ligger inom 0,2 poäng från varandra på icke-hallucination, vilket är raden som avgör om avståenden beter sig på samma sätt på dina data som det gjorde på ett offentligt testset.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen