Wygenerowana karta tytułowa z nagłówkiem „Aktualizacja, w której jedna liczba cofnęła się”, podtytułem „Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1”, czterema etykietami z napisami „67,78 vs 62,07”, „123 ms vs 274 ms”, „49,4% vs 21,7% abstencji” i „6,29% vs 8,64% HLE”, podpisem „sześć tygodni odstępu, ta sama cena tokena” oraz dwoma szarymi blokami słupkowymi oznaczonymi „Szybkość” i „Wiedza”. Logo OrcaRouter jest wkomponowane w prawym dolnym rogu.
Guides & Insights

Microsoft-Decision-1.1 vs Microsoft Decision 1: aktualizacja, w której jedna liczba poszła wstecz

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Każdy opublikowany wskaźnik dla Microsoft-Decision-1.1 jest lepszy niż wskaźnik dla Microsoft-Decision-1 z wyjątkiem jednego, a ten wyjątek jest najciekawszym elementem. W Artificial Analysis Decision Index v2.1 nowy model uzyskuje 67,78 wobec 62,07, jest 2,2 razy szybszy — 123 ms na zadanie wobec 274 ms — i znacznie bardziej niezawodnie wstrzymuje się od odpowiedzi — 49,4% braku halucynacji w AA-Omniscience-Decision wobec 21,7%. Jednak na pytaniach, na które stary model odpowiadał poprawnie, nowy wypada gorzej: 6,29% surowej dokładności w HLE-MultiChoice v1.1 wobec 8,64% oraz 47,5% pytań AA-Symmetry, na które odpowiadano spójnie, wobec 51,7%. Microsoft-Decision-1.1 nie jest jednoznacznie lepszy od Microsoft-Decision-1. Jest modelem inaczej skalibrowanym, a kierunek tego kompromisu jest tym, od czego zależy decyzja o migracji.

Dwa modele dzieli sześć tygodni. Microsoft-Decision-1 osiągnął ogólną dostępność 8 października 2026 r. jako wyłącznie tekstowy model oceniający dotrenowany z Qwen3.5-9B. Microsoft-Decision-1.1 pojawił się 17 listopada 2026 r. na Ignite, oparty na Gemma 4 26B A4B — bazie typu mixture-of-experts, którą Microsoft opisuje jako mającą wystarczająco dużo aktywnych parametrów do oceny, a jednocześnie wystarczająco małą, by działać na sprzęcie A100, H100/200 i GB200/300. Ta sama cena. Ten sam limit 32K. Te same trzy typy pytań. Inny szkielet, inna klasa opóźnień i mierzalnie inny zestaw mocnych stron.

Zmiana modelu podstawowego to wydanie.

Wersja 1 była gęstym modelem z 9 miliardami parametrów. Wersja 1.1 to mieszanina ekspertów z 26 miliardami parametrów i około 4 miliardami aktywnych na token, jeśli odczytywać sufiks A4B tak, jak Google robi to w linii Gemma. To nie jest przyrostowy retrening; to inna architektura, inna rodzina i inny zestaw charakterystyk serwowania. W poście Microsoftu zapowiadającym premierę wyraźnie stwierdzono, że zmiana była decyzją kosztowo-inteligencyjną, i połączono ją z niestandardowym silnikiem wnioskowania zbudowanym do scorowania, a nie do generowania token po tokenie.

Co dała zamiana, w kolejności, w jakiej zauważyłby to kupujący:

• Opóźnienie — z 274,25 ms do 123,25 ms na zadanie, mierzone w całym indeksie. W przypadku najszybszego pojedynczego komponentu, When2Call, nowy model osiąga średnio 94 ms wobec 230 ms starego modelu.

• Kalibracja — Decision Score, czyli dokładność z nałożoną karą Briera, wzrósł w każdym z pięciu komponentów decyzyjnych. Omniscience wzrosło z 54,89 do 60,46, HLE z 39,42 do 46,11, Paperclip z 51,82 do 58,67, EvalSafe z 86,82 do 88,85, When2Call z 87,95 do 95,08.

• Zachowanie odmowne — brak halucynacji w Omniscience wzrósł ponad dwukrotnie, z 21,74% do 49,40%. W HLE wzrósł z 15,05% do 38,36%. Dla modelu, którego całym celem jest poddawanie progowaniu, jest to najistotniejsza zmiana na liście.

• Modalność — obrazy dołączyły do tekstu i JSON jako akceptowane dane wejściowe. Audio i wideo są nadal odrzucane, a model wciąż nie generuje żadnego wyjaśnienia, żadnego uzasadnienia ani żadnych tokenów wyjściowych.

• Kontekst — bez zmian, 32 768 tokenów. Nic się tu nie zmieniło i warto powiedzieć to wprost, ponieważ „1.1” skłania do założenia, że wszystko się poprawiło.

Gdzie wersja 1.1 wypada gorzej i dlaczego własna narracja Microsoftu na to wskazuje

Regresje nie są losowe. Koncentrują się na dwóch komponentach, które wymagają od modelu wiedzy, a nie podejmowania decyzji.

W HLE-MultiChoice v1.1 surowa dokładność spadła z 8,64% do 6,29% — względny spadek o 27% w udziale trudnych pytań, na które udzielono poprawnych odpowiedzi. Decision Score nadal wzrósł, z 39,42 do 46,11, ponieważ pewność modelu co do udzielanych odpowiedzi stała się znacznie lepiej dopasowana do tego, czy te odpowiedzi były poprawne. Innymi słowy: model stał się gorszy w zgadywaniu i znacznie lepszy w wiedzy, że zgaduje. Wskaźnik złożony nagradza to drugie, a ledwo zauważa pierwsze.

W AA-Symmetry obraz jest subtelniejszy i mniej pochlebny. Symetria mierzy, czy to samo pytanie po przeformułowaniu — opcje w innej kolejności, etykiety zamienione, tak/nie zanegowane — daje tę samą odpowiedź z tym samym prawdopodobieństwem. Wersja 1 zdała 51,7% przeformułowań na poziomie all-pass; wersja 1.1 zdaje 47,5%. Jej symetryczny wynik mimo to poprawił się z 70,42 do 75,72, ponieważ gdy już dryfuje, dryfuje teraz mniej. Mniej idealnych przebiegów, mniejsze odchylenia. To obronny kształt dla skorera, ale jest to regresja w tej jednej właściwości, którą model decyzyjny powinien gwarantować: że sformułowanie nie zmienia odpowiedzi.

Keynote Microsoftu powiedział na głos to, co zwykle się przemilcza — te modele „wyraźnie nie są jeszcze dostrojone do trudniejszych problemów, takich jak podstawowe badania naukowe i praca agentowa o bardzo długim horyzoncie”, ponieważ dostrojenie ich do tych zdolności podniosłoby cenę każdego rutynowego zadania. Decyzja 1.1 pokazuje, jak ta polityka wygląda w realizacji. Benchmark wiedzy pogorszył się celowo, a przynajmniej bez sprzeciwu.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Co się nie zmieniło: karta cenowa i bariera 32K

Obie wersje podają $0.042 za milion tokenów wejściowych w Global Standard, $0.046 w US Data Zone oraz $0.05 w wdrożeniach w EU i APAC Data Zone, przy czym dane wyjściowe są rozliczane jako zero, ponieważ nie ma danych wyjściowych. Sformułowanie Microsoftu brzmi: „ponad dwa razy szybciej przy tym samym koszcie”, a cena tokenów dokładnie to potwierdza.

Zmierzony koszt na zadanie mówi coś nieco innego. Wersja 1 osiąga $142.56 za milion zadań w indeksie; wersja 1.1 — $139.64. To poprawa o 2%, a nie podwojenie. Powód jest taki, że koszt na zadanie to cena tokena pomnożona przez zużyte dane wejściowe, a nowy model nie zużywa połowy tokenów — odpowiada w połowie czasu. Jeśli twoim ograniczeniem jest budżet czasu zegarowego lub krok routingu w ścieżce żądania, aktualizacja jest duża i oczywista. Jeśli twoim ograniczeniem są wydatki, wersja 1.1 nie zmienia rachunku, a Microsoft nigdy nie twierdził, że tak będzie.

Drugą niezmienioną liczbą jest górny limit. Oba modele obsługują 32 768 tokenów, a dokumentacja Microsoftu dla wersji 1.1 powtarza sformułowanie „dane wejściowe o długości do 32K tokenów” niemal dosłownie ze strony v1. Dla żadnego z nich nie udokumentowano obsługi buforowania, co oznacza, że rubryka z 200 pytaniami jest w pełni opłacana przy każdym wywołaniu, w obu wersjach, na każdym poziomie wolumenu. To największa pojedyncza dźwignia w ekonomice tej kategorii i żadne z wydań jej nie dotyka.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Jak przeprowadzić migrację bez skoku wiary

Kształt API jest wystarczająco stabilny, że migracja to w głównej mierze konfiguracja, ale nie do końca. Microsoft dokumentuje wywołanie v1.1 jako state plus mapę typowanych pytań — noul, choice, score — wysyłane do /providers/microsoft/v1/systemone w zasobie Foundry, przy czym pole model zawiera nazwę Twojego wdrożenia, a nie nazwę modelu. Odpowiedź zwraca z powrotem model bazowy, więc wdrożenie nazwane od Twojego obciążenia nadal może wskazać, która wersja odpowiedziała.

Trzy kroki, które warto wykonać po kolei, zamiast podmieniać nazwę wdrożenia i obserwować pulpit:

1. Zarejestruj ponownie rozkład pewności swojego oznaczonego zbioru, a nie jego dokładność. Przesunięcie z 21,7% na 49,4% braku halucynacji oznacza, że 1.1 odrzuci istotnie większy odsetek pytań przy tym samym progu. Jeśli twój potok traktuje brakującą odpowiedź jako twardy błąd, a nie jako sygnał routingu, ta aktualizacja będzie wyglądać jak regresja na produkcji, podczas gdy każdy benchmark mówi, że to ulepszenie.

2. Dostrój ponownie próg. Wartość odcięcia wybrana na skali pewności wersji 1 jest stosowana do rozkładu, który się przesunął. Własne wytyczne Microsoftu mówią, aby przed automatyzowaniem bramki zweryfikować progi na oznaczonych etykietami przykładach, co jest tą samą radą co zawsze i teraz ma kluczowe znaczenie.

3. Przetestuj regresję symetrii na własnym sformułowaniu. Jeśli Twoje prompty są generowane z szablonów ze zmienną kolejnością opcji — a większość promptów routingu tak działa — to właśnie 47,5-procentowy wskaźnik wszystkich zaliczonych, a nie wynik zbiorczy, jest liczbą, o którą należy się martwić. Zduplikuj dwadzieścia swoich pytań z przestawionymi opcjami i zmierz, jak często zmienia się argmax.

To, co sprawia, że ten trzeci krok jest tani, to fakt, że wstrzymanie się od decyzji ma dokąd trafić. Model decyzyjny, który odmawia, jest użyteczny tylko wtedy, gdy to, do czego odsyła, potrafi odpowiedzieć, a to jest ta część potoku, którą obsługuje OrcaRouter: jeden klucz do ponad 200 modeli z automatycznym przełączaniem awaryjnym, więc wynik wyboru o niskiej pewności można skierować do modelu ogólnego zamiast wzywać człowieka, a DSL routingu może połączyć oba w jedną sekwencję wywołań. Gemma 4 26B A4B — model bazowy w Decision 1.1 — znajduje się w naszym katalogu w cenie 0,06 USD za milion tokenów wejściowych i 0,33 USD za milion tokenów wyjściowych, po cenie katalogowej dostawcy z 0% marży przekazywanej dalej, co sprawia, że najtańszym możliwym testem kontrolnym każdej podejrzanej decyzji jest faktyczne wywołanie jej własnego modelu bazowego.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Czy w ogóle się przeprowadzać

Można argumentować za pozostaniem przy wersji 1 i jest to argument wąski, ale realny. Jeśli w Twoim zakresie zadań są trudne pytania wiedzowe, w których błędna odpowiedź jest gorsza niż brak odpowiedzi — profil HLE — wersja 1 odpowiadała na więcej z nich. Jeśli Twoje prompty są szablonowane w sposób, który zmienia kolejność opcji, wersja 1 była stabilniejsza przy przeformułowaniach. A jeśli już dostroiłeś próg i zweryfikowałeś go na oznaczonych danych produkcyjnych, nowy rozkład pewności unieważnia tę pracę.

Dla wszystkich pozostałych sprawa jest prosta. Dwukrotnie większa przepustowość przy tej samej cenie tokena, odsetek zaliczonych dokumentów, który wzrósł z 20,9% do 36,8%, wejście obrazowe, którego wcześniej nie było, oraz model, który mówi „nie wiem” dwa razy częściej dokładnie w tych sytuacjach, w których błędne zobowiązanie jest kosztowne. To cechy, dla których kupuje się warstwę decyzyjną. Benchmark wiedzy, z którego zrezygnował, nie był tym, po co ktokolwiek kupował ten model.

Migracja w jednym zdaniu: przejdź na wersję 1.1 ze względu na opóźnienie i wstrzymywanie się od odpowiedzi, dostrój progi w tym samym tygodniu i zachowaj wyniki wersji 1 w szufladzie na dzień, w którym ktoś zapyta, dlaczego nowy model przestał odpowiadać na pytanie, które stary kiedyś obsługiwał.