Eine generierte Titelkarte mit der Überschrift „Das Upgrade, bei dem eine Zahl rückwärtsging“, dem Untertitel „Microsoft-Decision-1.1 vs. Microsoft Decision 1 — Decision Index v2.1“, mit vier Beschriftungs-Chips mit den Aufschriften „67,78 vs. 62,07“, „123 ms vs. 274 ms“, „49,4 % vs. 21,7 % Enthaltung“ und „6,29 % vs. 8,64 % HLE“, einer Bildunterschrift „sechs Wochen Abstand, gleicher Token-Preis“ sowie zwei grauen Balkenblöcken mit den Beschriftungen Geschwindigkeit und Wissen. Das OrcaRouter-Logo ist in der unteren rechten Ecke eingefügt.
Guides & Insights

Microsoft-Decision-1.1 vs. Microsoft Decision 1: Das Upgrade, bei dem eine Zahl rückwärtsging

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Jede veröffentlichte Kennzahl für Microsoft-Decision-1.1 ist besser als die Kennzahl für Microsoft-Decision-1 – bis auf eine, und gerade die Ausnahme ist der interessante Teil. Auf dem Artificial Analysis Decision Index v2.1 erzielt das neue Modell 67,78 gegenüber 62,07, ist mit 123 ms pro Aufgabe gegenüber 274 ms 2,2-mal schneller und enthält sich deutlich zuverlässiger – 49,4 % Nicht-Halluzination bei AA-Omniscience-Decision gegenüber 21,7 %. Doch bei den Fragen, die das alte Modell richtig beantwortete, erzielt das neue weniger: 6,29 % Rohgenauigkeit bei HLE-MultiChoice v1.1 gegenüber 8,64 %, und 47,5 % der AA-Symmetry-Fragen wurden konsistent beantwortet gegenüber 51,7 %. Microsoft-Decision-1.1 ist kein strikt besseres Microsoft-Decision-1. Es ist ein anders kalibriertes, und die Richtung dieses Trade-offs ist entscheidend für eine Migrationsentscheidung.

Die beiden Modelle liegen sechs Wochen auseinander. Microsoft-Decision-1 erreichte am 8. Oktober 2026 die allgemeine Verfügbarkeit als rein textbasierter Scorer, der aus Qwen3.5-9B nachtrainiert wurde. Microsoft-Decision-1.1 kam am 17. November 2026 auf der Ignite auf Gemma 4 26B A4B, einer Mixture-of-Experts-Basis, die laut Microsoft genügend aktive Parameter für Urteilsvermögen bietet und zugleich klein genug bleibt, um auf A100-, H100/200- und GB200/300-Hardware bereitgestellt werden zu können. Gleicher Preis. Gleiche 32K-Obergrenze. Dieselben drei Fragetypen. Anderes Backbone, andere Latenzklasse und ein messbar unterschiedliches Stärkenprofil.

Die Änderung des Basismodells ist das Release.

Version 1 war ein dichtes Modell mit 9 Milliarden Parametern. Version 1.1 ist ein Mixture-of-Experts-Modell mit 26 Milliarden Parametern und etwa 4 Milliarden aktiven Parametern pro Token, wenn man das A4B-Suffix so liest, wie Google es in der Gemma-Reihe verwendet. Das ist kein inkrementelles Neutraining; es ist eine andere Architektur, eine andere Familie und ein anderer Satz von Serving-Eigenschaften. In Microsofts Ankündigungsbeitrag heißt es ausdrücklich, dass der Wechsel eine Kosten- und Intelligenzentscheidung war, und er wird mit einer eigens entwickelten Inferenz-Engine kombiniert, die für Scoring statt für die tokenweise Generierung ausgelegt ist.

Was der Tausch brachte, in der Reihenfolge, in der es ein Käufer bemerken würde:

• Latenz — {{1}}274,25 ms bis 123,25 ms pro Aufgabe{{/1}}, gemessen über den gesamten Index. Bei der schnellsten Einzelkomponente, {{2}}When2Call{{/2}}, liegt das neue Modell im Durchschnitt bei 94 ms gegenüber 230 ms beim alten Modell.

• Kalibrierung — der Decision Score, also die Genauigkeit mit angewendeter Brier-Strafe, stieg bei jeder einzelnen der fünf Entscheidungskomponenten. Omniscience stieg von 54,89 auf 60,46, HLE von 39,42 auf 46,11, Paperclip von 51,82 auf 58,67, EvalSafe von 86,82 auf 88,85, When2Call von 87,95 auf 95,08.

• Ablehnungsverhalten – Nicht-Halluzinierung bei Omniscience mehr als verdoppelt, von 21,74 % auf 49,40 %. Bei HLE stieg sie von 15,05 % auf 38,36 %. Für ein Modell, dessen gesamter Zweck darin besteht, mit einem Schwellenwert versehen zu werden, ist dies die folgenreichste Änderung auf der Liste.

• Modalität — Bilder sind nun zusammen mit Text und JSON als akzeptierte Eingabe zugelassen. Audio und Video werden weiterhin abgelehnt, und das Modell liefert weiterhin keine Erklärung, keine Begründung und keine Ausgabe-Tokens.

• Kontext — unverändert bei 32.768 Tokens. Hier hat sich nichts bewegt, und das sollte man klar sagen, weil „1.1“ die Annahme nahelegt, dass sich alles verbessert hat.

Wo 1.1 schlechter ist und warum Microsofts eigene Darstellung genau das vorhersagt

Die Regressionen sind nicht zufällig. Sie häufen sich auf den beiden Komponenten, die vom Modell verlangen, etwas zu wissen statt etwas zu entscheiden.

Bei HLE-MultiChoice v1.1 fiel die Rohgenauigkeit von 8,64 % auf 6,29 % – ein relativer Rückgang von 27 % beim Anteil der schwierigen Fragen, die korrekt beantwortet wurden. Der Decision Score stieg dennoch von 39,42 auf 46,11, weil die Zuversicht des Modells bei den Antworten, die es tatsächlich gab, viel besser dazu passte, ob diese Antworten richtig waren. Übersetzt: Es wurde schlechter im Raten und deutlich besser darin zu wissen, dass es riet. Die Gesamtkennzahl belohnt das Zweite und nimmt das Erste kaum wahr.

Bei AA-Symmetry ist das Bild subtiler und weniger schmeichelhaft. Symmetrie misst, ob dieselbe Frage – mit umsortierten Optionen, vertauschten Bezeichnungen, einem negierten Ja/Nein – mit derselben Wahrscheinlichkeit dieselbe Antwort erzeugt. Version 1 bestand 51,7 % der Umformulierungen auf All-Pass-Niveau; Version 1.1 besteht 47,5 %. Ihr Symmetrie-Wert verbesserte sich dennoch von 70,42 auf 75,72, weil sie, wenn sie abdrifft, jetzt weniger weit abdrifft. Weniger perfekte Durchläufe, kleinere Abweichungen. Das ist eine vertretbare Ausprägung für einen Scorer, aber es ist ein Rückschritt bei der einen Eigenschaft, die ein Entscheidungsmodell garantieren soll: dass die Formulierung die Antwort nicht ändert.

Microsofts Keynote sprach aus, was sonst unausgesprochen bleibt – diese Modelle sind „ausdrücklich noch nicht auf die schwierigeren Probleme abgestimmt, etwa Grundlagenforschung und agentische Arbeit mit sehr langem Zeithorizont“, weil die Abstimmung auf diese Fähigkeiten den Preis jeder Routineaufgabe erhöhen würde. Entscheidung 1.1 zeigt, wie diese Politik aussieht, wenn sie umgesetzt wird. Der Knowledge Bench wurde absichtlich schlechter – oder zumindest ohne Widerspruch.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Was sich nicht geändert hat: die Preiskarte und die 32K-Mauer

Beide Versionen nennen $0,042 pro einer Million Eingabe-Token für Global Standard, $0,046 für US Data Zone und $0,05 für Bereitstellungen in EU- und APAC Data Zone, wobei für die Ausgabe nichts berechnet wird, da es keine Ausgabe gibt. Microsofts Formulierung lautet „mehr als doppelt so schnell bei gleichen Kosten“, und der Token-Preis bestätigt dies exakt.

Die gemessenen Kosten pro Aufgabe sagen etwas leicht anderes. Version 1 liegt im Index bei 142,56 $ pro Million Aufgaben; Version 1.1 bei 139,64 $. Eine Verbesserung um 2 %, nicht eine Verdopplung. Der Grund dafür ist, dass die Kosten pro Aufgabe dem Tokenpreis multipliziert mit dem verbrauchten Input entsprechen, und das neue Modell verbraucht nicht halb so viele Tokens – es antwortet in der halben Zeit. Wenn Ihre Einschränkung ein Wall-Clock-Budget oder ein Routing-Schritt innerhalb eines Anfragepfads ist, ist das Upgrade groß und offensichtlich. Wenn Ihre Einschränkung die Ausgaben sind, ändert 1.1 Ihre Rechnung nicht, und Microsoft hat nie behauptet, dass es das tun würde.

Die andere unveränderte Zahl ist die Obergrenze. Beide Modelle verarbeiten 32.768 Token, und Microsofts Dokumentation für 1.1 wiederholt die Formulierung „Eingaben von bis zu 32K Token“ nahezu wörtlich von der v1-Seite. Für keines der beiden ist Caching-Unterstützung dokumentiert, was bedeutet, dass eine Rubrik mit 200 Fragen bei jedem Aufruf, in beiden Versionen und in jeder Volumenstufe vollständig bezahlt wird. Das ist der größte einzelne Hebel für die Wirtschaftlichkeit dieser Kategorie, und keine der beiden Veröffentlichungen ändert etwas daran.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Wie man ohne Sprung ins Ungewisse migriert

Die API-Struktur ist stabil genug, dass die Migration größtenteils aus Konfiguration besteht, aber nicht vollständig. Microsoft dokumentiert den v1.1-Aufruf als einen Status plus eine Map typisierter Fragen — Null, Auswahl, Punktzahl — gesendet an /providers/microsoft/v1/systemone auf einer Foundry-Ressource, wobei das Modellfeld Ihren Bereitstellungsnamen statt des Modellnamens enthält. Die Antwort gibt das zugrunde liegende Modell zurück, sodass eine Bereitstellung, die nach Ihrer Workload benannt ist, Ihnen weiterhin sagen kann, welche Version geantwortet hat.

Drei Schritte, die es sich lohnt, in dieser Reihenfolge zu erledigen, statt den Deployment-Namen zu tauschen und ein Dashboard zu beobachten:

1. Erfassen Sie die Konfidenzverteilung Ihres gelabelten Datensatzes erneut – nicht seine Genauigkeit. Die Verschiebung der Nicht-Halluzinationsrate von 21,7 % auf 49,4 % bedeutet, dass 1.1 bei gleichem Schwellenwert einen deutlich größeren Anteil der Fragen ablehnen wird. Wenn Ihre Pipeline eine fehlende Antwort als harten Fehler statt als Routing-Signal behandelt, wird dieses Upgrade in der Produktion wie eine Regression wirken, während sämtliche Benchmarks eine Verbesserung melden.

2. Den Schwellenwert neu justieren. Ein Cutoff, der auf der Konfidenzskala von Version 1 gewählt wurde, wird auf eine Verteilung angewendet, die sich verschoben hat. Microsofts eigene Empfehlung lautet, Schwellenwerte anhand gelabelter Beispiele zu validieren, bevor ein Gate automatisiert wird – derselbe Ratschlag wie immer und jetzt tragend.

3. Teste die Symmetrie-Regression an deiner eigenen Formulierung. Wenn deine Prompts aus Vorlagen mit variabler Optionsreihenfolge generiert werden – und die meisten Routing-Prompts werden das –, ist die All-Pass-Rate von 47.5 % die Zahl, um die du dir Sorgen machen solltest, nicht der Gesamtwert. Dupliziere zwanzig deiner Fragen mit umsortierten Optionen und miss, wie oft sich das Argmax verschiebt.

Was diesen dritten Schritt günstig macht, ist, dass die Enthaltung ein Ziel hat. Ein Entscheidungsmodell, das eine Entscheidung ablehnt, ist nur dann nützlich, wenn die Instanz, an die es sie abgibt, antworten kann, und genau das ist der Teil der Pipeline, den OrcaRouter trägt: ein Schlüssel über mehr als 200 Modelle hinweg mit automatischem Failover, sodass ein Auswahl-Ergebnis mit geringer Konfidenz an ein allgemeines Modell weitergeleitet werden kann, statt einen Menschen zu benachrichtigen, und die Routing-DSL beide zu einer einzigen Aufrufsequenz zusammensetzen kann. Gemma 4 26B A4B — das Basismodell in Decision 1.1 — ist in unserem Katalog zu 0,06 $ pro Million Input-Tokens und 0,33 $ pro Million Output-Tokens enthalten, zum Listenpreis des Anbieters mit 0 % Aufschlag durchgereicht, was die billigstmögliche Plausibilitätsprüfung jeder verdächtigen Entscheidung zu einem tatsächlichen Aufruf ihres eigenen Backbones macht.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Ob überhaupt umgezogen werden soll

Es gibt ein Argument dafür, bei Version 1 zu bleiben, und es ist eng gefasst, aber real. Wenn Ihre Arbeitslast aus schwierigen Wissensfragen besteht, bei denen eine falsche Antwort schlimmer ist als keine Antwort – das HLE-Profil –, beantwortete Version 1 mehr davon. Wenn Ihre Prompts so als Vorlagen aufgebaut sind, dass Optionen neu angeordnet werden, war Version 1 bei Umformulierungen stabiler. Und wenn Sie bereits einen Schwellenwert abgestimmt und ihn gegen gelabelte Produktionsdaten validiert haben, entwertet die neue Konfidenzverteilung diese Arbeit.

Für alle anderen ist die Sache eindeutig. Der doppelte Durchsatz zum selben Tokenpreis, eine Dokument-Bestehensquote, die von 20,9 % auf 36,8 % gestiegen ist, eine Bildeingabe, die es zuvor nicht gab, und ein Modell, das genau in den Situationen, in denen eine falsche Zusage teuer ist, doppelt so oft „Ich weiß nicht“ sagt. Das sind die Eigenschaften, für die eine Entscheidungsschicht gekauft wird. Der Knowledge-Bench, auf den es verzichtet hat, war nicht das, wofür irgendjemand dieses Modell kaufte.

Die Migration in einer Zeile: wechselt zu 1.1 wegen der Latenz und der Enthaltung, justiert eure Schwellenwerte noch in derselben Woche nach, und behaltet die Zahlen von Version 1 in einer Schublade für den Tag, an dem jemand fragt, warum das neue Modell aufgehört hat, eine Frage zu beantworten, die das alte früher übernommen hat.