Ett genererat titelkort med rubriken "Uppgraderingen där en siffra gick bakåt", underrubriken "Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1", med fyra etikettchips som lyder "67,78 vs 62,07", "123 ms vs 274 ms", "49,4 % vs 21,7 % abstention" och "6,29 % vs 8,64 % HLE", en bildtext som lyder "med sex veckors mellanrum, samma tokenpris", och två gråa stapelblock märkta Hastighet och Kunskap. OrcaRouter-logotypen är sammansatt i nedre högra hörnet.
Guides & Insights

Microsoft-Decision-1.1 vs Microsoft Decision 1: Uppgraderingen där ett nummer gick bakåt

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Varje publicerad siffra för Microsoft-Decision-1.1 är bättre än siffran för Microsoft-Decision-1 utom en, och undantaget är det intressanta. På Artificial Analysis Decision Index v2.1 får den nya modellen 67,78 mot 62,07, är 2,2 gånger snabbare med 123 ms per uppgift mot 274 ms, och avstår från att svara långt mer tillförlitligt — 49,4 % icke-hallucinering på AA-Omniscience-Decision mot 21,7 %. Men på de frågor som den gamla modellen hade rätt på får den nya färre: 6,29 % rå noggrannhet på HLE-MultiChoice v1.1 mot 8,64 %, och 47,5 % av AA-Symmetry-frågorna besvaras konsekvent mot 51,7 %. Microsoft-Decision-1.1 är inte en strikt bättre Microsoft-Decision-1. Den är annorlunda kalibrerad, och det är riktningen på den avvägningen som ett migreringsbeslut hänger på.

De två modellerna ligger sex veckor isär. Microsoft-Decision-1 nådde allmän tillgänglighet den 8 oktober 2026 som en enbart textbaserad scorer eftertränad från Qwen3.5-9B. Microsoft-Decision-1.1 kom den 17 november 2026 på Ignite, baserad på Gemma 4 26B A4B, en mixture-of-experts-bas som Microsoft beskriver som att ha tillräckligt många aktiva parametrar för omdöme samtidigt som den är tillräckligt liten för att kunna köras på A100-, H100/200- och GB200/300-hårdvara. Samma pris. Samma tak på 32K. Samma tre frågetyper. Annan ryggrad, annan latensklass och en mätbart annorlunda uppsättning styrkor.

Ändringen av basmodellen är releasen.

Version 1 var en tät modell med 9 miljarder parametrar. Version 1.1 är en mixture of experts med 26 miljarder parametrar och ungefär 4 miljarder aktiva per token, om man läser A4B-suffixet så som Google använder det i Gemma-serien. Det är inte en inkrementell omträning; det är en annan arkitektur, en annan familj och en annan uppsättning egenskaper vid servering. Microsofts lanseringsinlägg är tydligt med att bytet var ett beslut om kostnad och intelligens, och kopplar det till en anpassad inferensmotor byggd för poängsättning snarare än token-för-token-generering.

Vad swappen köpte, i den ordning en köpare skulle lägga märke till det:

• Latens – 274,25 ms ner till 123,25 ms per uppgift, mätt över hela indexet. På den snabbaste enskilda komponenten, When2Call, ligger den nya modellen i genomsnitt på 94 ms jämfört med den gamla modellens 230 ms.

• Kalibrering – Decision Score, som är träffsäkerhet med Brier-straffet tillämpat, ökade på var och en av de fem beslutsdelarna. Omniscience gick från 54,89 till 60,46, HLE från 39,42 till 46,11, Paperclip från 51,82 till 58,67, EvalSafe från 86,82 till 88,85, When2Call från 87,95 till 95,08.

• Vägranbeteende – icke-hallucination på Omniscience mer än fördubblades, från 21,74 % till 49,40 %. På HLE gick det från 15,05 % till 38,36 %. För en modell vars hela syfte är att trösklas är detta den mest konsekvensrika förändringen på listan.

• Modalitet – bilder har anslutit sig till text och JSON som accepterad indata. Ljud och video avvisas fortfarande, och modellen producerar fortfarande ingen förklaring, ingen motivering och inga utdatatoken.

• Kontext — oförändrat på 32 768 token. Inget här har flyttats, och det är värt att säga rakt ut, eftersom "1.1" inbjuder till antagandet att allt förbättrades.

Där 1.1 är sämre, och varför Microsofts egen framställning förutser det

Regressionerna är inte slumpmässiga. De klustrar sig kring de två komponenter som ber modellen att veta något snarare än att besluta något.

På HLE-MultiChoice v1.1 föll rå noggrannhet från 8,64 % till 6,29 % – en relativ minskning med 27 % i andelen svåra frågor som besvarades korrekt. Decision Score steg ändå, från 39,42 till 46,11, eftersom modellens konfidens för de svar den faktiskt gav blev mycket bättre matchad mot huruvida dessa svar var rätt. Översatt: den blev sämre på att gissa och mycket bättre på att veta att den gissade. Kompositmåttet belönar det andra och märker knappt det första.

På AA-Symmetry är bilden subtilare och mindre smickrande. Symmetri mäter huruvida samma fråga, omformulerad – alternativ omordnade, etiketter utbytta, ett ja/nej negerat – ger samma svar med samma sannolikhet. Version 1 klarade 51,7 % av omformuleringarna på all-pass-nivån; version 1.1 klarar 47,5 %. Dess symmetripoäng förbättrades ändå, från 70,42 till 75,72, eftersom den, när den väl avviker, nu avviker mindre. Färre perfekta körningar, mindre missar. Det är en försvarbar form för en poängsättare, men det är en regression i den enda egenskap som en beslutsmodell förväntas garantera: att formuleringen inte ändrar svaret.

Microsofts keynote sade det tysta högt – dessa modeller är ”uttryckligen ännu inte finjusterade för de svårare problemen, som grundläggande vetenskaplig forskning och agentiskt arbete med mycket lång horisont”, eftersom finjustering för dessa förmågor skulle höja priset för varje rutinuppgift. Beslut 1.1 är hur den policyn ser ut när den genomförs. Kunskapsbänken blev sämre med avsikt, eller åtminstone utan invändningar.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Det som inte ändrades: priskortet och 32K-väggen

Båda versionerna anger $0,042 per miljon indatatoken på Global Standard, $0,046 i US Data Zone och $0,05 för distributioner i EU- och APAC Data Zone, där utdata debiteras med noll eftersom det inte finns någon utdata. Microsofts formulering är "mer än dubbelt så snabb till samma kostnad", och tokenpriset stöder det exakt.

Den uppmätta kostnaden per uppgift säger något lite annat. Version {{1}}1{{/1}} landar på {{2}}$142.56{{/2}} per miljon uppgifter i indexet; version {{3}}1.1{{/3}} på {{4}}$139.64{{/4}}. En förbättring på {{5}}2%{{/5}}, inte en fördubbling. Anledningen är att kostnaden per uppgift är tokenpris gånger förbrukad indata, och den nya modellen förbrukar inte hälften av tokens – den svarar på halva tiden. Om din begränsning är en budget i väggklockstid eller ett dirigeringssteg i en förfrågningsväg är uppgraderingen stor och uppenbar. Om din begränsning är utgifter påverkar {{6}}1.1{{/6}} inte din faktura, och Microsoft har aldrig påstått att den skulle göra det.

Det andra oförändrade numret är taket. Båda modellerna läser 32 768 tokens, och Microsofts dokumentation för 1.1 upprepar formuleringen "indata på upp till 32K tokens" nästan ordagrant från v1-sidan. Det finns inget dokumenterat stöd för cachelagring för någon av dem, vilket innebär att en bedömningsmall med 200 frågor betalas i sin helhet vid varje anrop, i båda versionerna, på varje volymsnivå. Det är den enskilt största hävstången för den här kategorins ekonomi, och ingen av utgåvorna rör den.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Hur man migrerar utan ett trossteg

API-formen är tillräckligt stabil för att migreringen mestadels ska handla om konfiguration, men inte helt. Microsoft dokumenterar v1.1-anropet som ett state plus en karta över typade frågor – noul, choice, score – som skickas till /providers/microsoft/v1/systemone på en Foundry-resurs, där fältet model innehåller ditt distributionsnamn i stället för modellnamnet. Svaret returnerar den underliggande modellen, så en distribution som namngetts efter din arbetsbelastning kan fortfarande berätta vilken version som svarade.

Tre steg som är värda att göra i tur och ordning, i stället för att byta ut driftsättningsnamnet och titta på en instrumentpanel:

1. Registrera om konfidensfördelningen för din märkta datamängd, inte dess träffsäkerhet. Skiftet från 21,7 % till 49,4 % icke-hallucination innebär att 1.1 kommer att avböja en väsentligt större andel av frågorna vid samma tröskel. Om din pipeline behandlar ett uteblivet svar som ett hårt fel i stället för en dirigeringssignal, kommer den här uppgraderingen att se ut som en regression i produktion medan varje benchmark säger att den är en förbättring.

2. Stäm om tröskelvärdet. Ett gränsvärde som valts på version 1:s konfidensskala tillämpas nu på en fördelning som har förskjutits. Microsofts egen vägledning är att validera tröskelvärden mot märkta exempel innan en grind automatiseras, vilket är samma råd som alltid och nu avgörande.

3. Testa symmetriregressionen på dina egna formuleringar. Om dina promptar genereras från mallar med varierande ordning på alternativen – och det gäller de flesta routing-promptar – är det andelen med alla rätt på 47,5 % som du bör oroa dig för, inte det sammansatta måttet. Duplicera tjugo av dina frågor med alternativen i annan ordning och mät hur ofta argmax ändras.

Det som gör det tredje steget billigt är att avståendet har någonstans att ta vägen. En beslutsmodell som avböjer är bara användbar om det den avböjer till kan svara, och det är den delen av pipelinekedjan som OrcaRouter tillhandahåller: en enda nyckel över 200-plus modeller med automatisk redundansväxling, så att ett resultat med låg konfidens från ett val kan dirigeras till en generell modell i stället för att larma en människa, och routing-DSL:en kan sätta samman de två till en enda anropssekvens. Gemma 4 26B A4B – basmodellen inuti Decision 1.1 – finns i vår katalog till $0.06 per miljon indatatoken och $0.33 per miljon utdatatoken, till leverantörens listpris med 0 % påslag som förs vidare, vilket gör den billigaste möjliga rimlighetskontrollen av ett misstänkt beslut till ett faktiskt anrop till dess egen basmodell.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Om man överhuvudtaget ska flytta

Det finns argument för att stanna kvar på version 1, och de är smala men verkliga. Om din arbetsbelastning består av svåra kunskapsfrågor där ett felaktigt svar är värre än inget svar – HLE-profilen – besvarade version 1 fler av dem. Om dina prompter är mallade på sätt som ändrar ordningen på alternativen var version 1 mer stabil vid omformuleringar. Och om du redan har justerat en tröskel och validerat den mot etiketterade produktionsdata, ogiltigförklarar den nya konfidensfördelningen det arbetet.

För alla andra är saken enkel. Dubbelt så hög genomströmning till samma tokenpris, en andel godkända dokument som gick från 20,9 % till 36,8 %, bildinmatning som inte fanns tidigare och en modell som säger ”jag vet inte” dubbelt så ofta i precis de situationer där ett felaktigt åtagande är dyrt. Det är de egenskaperna man köper ett beslutslager för. Kunskapsbenchmarken den gav avkall på var inte det någon köpte den här modellen för att göra.

Migreringen, i korthet: gå över till 1.1 för latensen och avståendet, justera dina trösklar samma vecka, och spara version 1:s siffror i en låda för den dag någon frågar varför den nya modellen slutade svara på en fråga som den gamla brukade hantera.