Wygenerowana karta tytułowa z nagłówkiem „Jeden test, większość przewagi” i podtytułem „Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1”, z siatką dwa na dwa złożoną z czterech kart etykiet o treści „67.78 vs 65.98”, „95.08 vs 80.50”, „123 ms vs 211 ms” i „139.64 vs 344.90 dolarów”, podpisem „na milion zadań, odczyt z 19 listopada 2026” oraz dwoma szarymi blokami słupkowymi oznaczonymi Microsoft i Gemini. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: dwupunktowa przewaga zbudowana niemal wyłącznie na jednym teście

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Zestawmy Microsoft-Decision-1.1 i Gemini Decision 1 obok siebie na Artificial Analysis Decision Index v2.1, a różnica wygląda jak werdykt: 67,78 wobec 65,98, przy czym model Microsoftu jest też prawie dwa razy szybszy — 123 ms na zadanie wobec 211 ms — i ponad dwukrotnie tańszy — $139,64 za milion zadań wobec $344,90. Rozłóżmy wynik złożony na części, a werdykt staje się mniejszy i dziwniejszy. Cała przewaga Microsoft-Decision-1.1 pochodzi z jednego komponentu wartego 10% indeksu i jednej decyzji procesowej dotyczącej sposobu rozliczania dokumentu. W przypadku dwóch komponentów wiedzy wygrywa model Google'a — w jednym z nich o ponad sześć punktów, przy prawie dwukrotnie wyższej surowej dokładności.

Ten podział to całe porównanie i decyduje o czymś więcej niż pozycja w rankingu. Gemini Decision 1 przyjmuje 262 144 tokeny i obsługuje audio, wideo oraz PDF; Microsoft-Decision-1.1 przyjmuje 32 768 tokenów i obsługuje tekst, JSON oraz obrazy. Model Google'a przyznaje się do niewiedzy w 49,6% przypadków w teście Omniscience; model Microsoftu — w 49,4%. W teście routingu model Microsoftu jest o dwanaście i pół punktu z przodu. Jeśli Twoja decyzja brzmi: „które z tych pięciu narzędzi jest potrzebne do tego żądania”, odpowiedź jest jednoznaczna. Jeśli Twoja decyzja brzmi: „czy ta klauzula w tej 90-stronicowej umowie jest prawdziwa”, odpowiedź się odwraca, i odwraca się z powodu okna kontekstu, a nie modelu.

Obaj są strzelcami, i to strzelcami tego samego pokroju.

Te dwa interfejsy API zbiegły się na niemal tym samym prymitywie, co sprawia, że porównanie jest wyjątkowo przejrzyste. Każdy przyjmuje wspólne dane wejściowe, zestaw typizowanych pytań i zwraca jedną typizowaną odpowiedź na pytanie z dołączonym prawdopodobieństwem. Żaden z nich nie pisze ani słowa.

• Typy pytań — oba udostępniają te same trzy: prawdopodobieństwo odpowiedzi tak/nie, wybór z ustalonego zestawu z prawdopodobieństwem dla każdej opcji oraz pozycję na uporządkowanej skali. Microsoft nazywa pierwszy z nich tak/nie, Google również nazywa go tak/nie, co nie jest przypadkiem, lecz raczej oznaką, że kategoria ustaliła już słownictwo.

• Tokeny wyjściowe — zero w obu przypadkach, przy każdym wywołaniu. Rozliczanie dotyczy tylko danych wejściowych, więc cena tokena, którą odczytujesz, to cała cena.

• Równoległe ocenianie — oba niezależnie oceniają każde pytanie w odniesieniu do wspólnych danych wejściowych, dzięki czemu pytania nie widzą się nawzajem, a dodanie dziesiątego nie zmienia pierwszych dziewięciu.

• Rozmiar żądania — Google dokumentuje od 1 do 1000 pytań na wywołanie, pytania wyboru z od 2 do 255 opcjami oraz pytania punktowane z od 2 do 255 poziomami. Microsoft dokumentuje „jedno lub więcej pytań określonego typu” bez górnego limitu, a jego wpis ogłaszający premierę opisuje żądania zawierające „setki pytań”.

• Wejście obrazu — oba przyjmują je teraz. Microsoft dodał je w wersji 1.1; Google ma je od startu, wraz z dźwiękiem i wideo, których Microsoft wyraźnie nie przyjmuje.

• Endpoints — to tutaj rozchodzą się fizycznie. Gemini Decision 1 jest osiągalny wyłącznie przez Google's Decisions API w ramach Gemini Developer API v1beta. Microsoft-Decision-1.1 wdraża się jako zasób Foundry i odpowiada pod /providers/microsoft/v1/systemonew ramach tego zasobu.

Kompozyt, rozłożony

Przewaga 1,8 punktu w indeksie, która mieści się w jednym komponencie o wadze 10%, nie jest artefaktem zaokrąglenia, ale jest znacznie węższym twierdzeniem niż „lepszy model”. Oto pełny rozkład obu wpisów, w formie publikowanej przez Artificial Analysis, odczyt z 19 listopada 2026 r.:

• Indeks ogólny — Microsoft-Decision-1.1 67,78 vs Gemini Decision 1 65,98

• Indeks dokładności (indeks odtworzony wyłącznie na podstawie dokładności, po usunięciu pewności) — 48,45 vs 45,53, więc Microsoft prowadzi także pod względem poprawności, tylko z mniejszą przewagą

• When2Call, 10% wagi — 95,08 vs 80,50. Różnica 14,6 punktu i źródło przewagi

• AA-Paperclip, waga 30% — 58,67 vs 56,83 punktów Decision Score oraz 36,8% vs 33,0% dokumentów w pełni poprawnych

• EvalSafe-O*NET-AA, 15% — 88,85 vs 87,05, przy 83,4% vs 82,0% dokładności surowej

AA-Omniscience-Decision v1.1, 15% — 60,46 vs 66,28, przy 33,2% vs 44,8% surowej dokładności i 49,4% vs 49,6% braku halucynacji

HLE-MultiChoice v1.1, 15% — 46,11 vs 48,71, przy 6,29% vs 13,16% dokładności surowej i 38,4% vs 35,8% braku halucynacji

• AA-Symmetry, 15% — 75,72 vs 70,47, pod względem wskaźników zaliczeń przeformułowań: 47,5% wobec 38,3%

Z tej listy wynikają dwie rzeczy. Po pierwsze, największa pojedyncza różnica dotyczy składnika o najmniejszej wadze — When2Call wnosi 9,5 punktu do skali 100-punktowej, więc różnica 14,6 punktu jest tam warta około 1,5 punktu indeksu, co stanowi większość z 1,8-punktowej sumy. Po drugie, przewaga wiedzy Gemini Decision 1 jest naprawdę duża: 44,8% wobec 33,2% w surowej dokładności Omniscience to nie szum, i dlatego model Google’a ma wyższy indeks dokładności, niż sugeruje jego wynik złożony.

Innymi słowy, Microsoft nie przewyższył Google pod każdym względem. Zdecydowanie przewyższył Google w jednym teście, który sprawdza, czy model wie, kiedy wywołać narzędzie, a w pozostałych obszarach w przybliżeniu mu dorównał, przegrywając testy wiedzy i wygrywając test spójności.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Ile faktycznie kosztuje różnica w oknie kontekstowym

Okno 262 144 tokenów to liczba, która rozstrzyga o rzeczywistych obciążeniach, i jest to różnica 8×: Gemini Decision 1 odczytuje osiem razy więcej niż Microsoft-Decision-1.1. Dokumentacja Google wykorzystuje ten budżet w określony sposób — okno obejmuje wspólne dane wejściowe i wszystkie pytania łącznie, więc jedna długa umowa plus dwieście pytań z kryteriami oceny konkuruje o te same 262K.

Limit 32K w Microsoft ma efekt drugiego rzędu, który ujawnia się w kolumnie kosztów. AA-Paperclip rozlicza dokument raz za wszystkie jego pytania i uzyskuje 15 odpowiedzi na dokument. Model, który nie może pomieścić dokumentu w jednym wywołaniu, musi być stosowany fragment po fragmencie, co zwielokrotnia liczbę wywołań. Microsoft-Decision-1.1 wypada na poziomie 386 USD za milion zadań w Paperclip wobec 946 USD dla Gemini Decision 1 — ale ranking pod względem całkowitego kosztu na zadanie wynika już z ceny tokenów, a nie z obsługi dokumentów.

Warto wymienić trzeci mechanizm, ponieważ to właśnie ten, który umyka kupującym: powtarzane dane wejściowe są w pełni liczone w obu przypadkach. API Decisions Google’a wyraźnie nie obsługuje buforowania kontekstu ani wnioskowania Batch, Flex lub Priority, więc rubryka wysyłana z każdym żądaniem jest opłacana przy każdym żądaniu. Microsoft-Decision-1.1 również nie ma w swojej dokumentacji żadnych informacji o buforowaniu. Żaden z dostawców nie oferuje zniżki za zadawanie tych samych 200 pytań milion razy, a właśnie do takiego obciążenia została stworzona ta kategoria.

Wycenianie, z pułapką SKU

Microsoft podaje trzy stawki wejściowe — 0,042 USD za milion w Global Standard, 0,046 USD w US Data Zone, 0,05 USD w EU i APAC Data Zone — oraz brak stawki wyjściowej. Google podaje jedną: 0,10 USD za milion tokenów wejściowych. Według liczby nagłówkowej Microsoft jest o 58% tańszy. Według zmierzonego kosztu w całym indeksie Microsoft jest o 60% tańszy — 139,64 USD wobec 345,41 USD za milion zadań — ponieważ zużywa też mniej tokenów na zadanie w przypadku większości komponentów.

Ale stawka $0.042 jest globalna, a obciążenie zlokalizowane w UE na SKU strefy danych płaci $0.05, co zawęża różnicę do 50%. Żadna z tych liczb nie obejmuje kosztu wywołań wokół modelu decyzyjnego, które w przypadku większości potoków produkcyjnych przyćmiewają samo wywołanie oceniające — modelu, który przygotowuje wstępne odpowiedzi kandydatów, modelu, który pisze kryteria oceny, modelu, który obsługuje wszystko, od czego oceniający się wstrzymał. To na tych wydatkach routing faktycznie oszczędza pieniądze, i to jest część, którą obejmuje OrcaRouter: jeden klucz do ponad 200 modeli po cenie katalogowej dostawcy z 0% narzutu, więc zmiana ceny dostawcy w części generatywnej obowiązuje tego samego dnia, a fusion lub DSL routingu może umieścić tani model tworzący wstępne wersje za drogim modelem oceniającym bez drugiej integracji.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Który z nich faktycznie byś wdrożył

Trzy rodzaje obciążenia, trzy różne odpowiedzi — i żadna z nich nie brzmi „wyższy indeks”.

• Routing, bramkowanie i wybór narzędzi — {{1}}Microsoft-Decision-1.1{{/1}}. Wynik 95,08 w When2Call wobec 80,50 to największa różnica w pojedynczym komponencie na całej tablicy, a routing to obciążenie, dla którego Microsoft zbudował ten model. Mediana 123 ms również ma tu znaczenie: router znajduje się na ścieżce żądania, a różnica między 123 ms a 211 ms to różnica między krokiem, którego nikt nie zauważa, a krokiem, który musi pochłonąć budżet opóźnienia.

• Ekstrakcja dokumentów i ocenianie według rubryk na długich danych wejściowych — Gemini Decision 1. Jeśli pojedyncze wywołanie musi zobaczyć 90-stronicową umowę wraz z pytaniami o nią, limit 32K firmy Microsoft po prostu zawodzi, a żadna wydajność When2Call nie uratuje wywołania, które nigdy nie miało miejsca. Dokładność Google na poziomie 44,8% w Omniscience i 13,2% w HLE wzmacnia ten sam wniosek z innego kierunku: wie więcej i potrafi przeczytać więcej.

• Masowy screening, w którym dominuje rachunek — żaden z nich, i to jest szczera odpowiedź. Celeris-1.1 Decision uzyskuje wynik 62,0 przy $14 za milion zadań; Decider v1.3 uzyskuje 70,4 przy $68. Oba biją Microsoft-Decision-1.1 pod względem kosztu na zadanie, a jeden bije go pod względem indeksu. Jeśli Twoja decyzja jest tania i powtarzalna, opcje hiperskalerów są tymi drogimi.

Jedno zastrzeżenie dotyczy wszystkich trzech: różnica 1,8 punktu i wiersze kalibracyjne pochodzą z indeksu, który 8 listopada 2026 r. zmienił własne wagi, obniżając Omniscience i HLE z 25% każdy do 15% i wprowadzając 30-procentowy komponent dokumentowy. Ponowne ważenie może przesunąć ten ranking bardziej niż zrobi to wydanie modelu. Porównanie należy traktować jako aktualne i datowane, a nie trwałe.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Gdzie te dwa modele wkrótce się rozejdą

Microsoft-Decision-1.1 to druga próba na nowej bazie — Gemma 4 26B A4B zamiast Qwen3.5-9B — z własnym silnikiem wnioskowania i propozycją routingu. Gemini Decision 1 to pierwsze wejście Google, powiązane z jedną powierzchnią API i jednym identyfikatorem modelu. Trajektorie wskazują w przeciwnych kierunkach: Microsoft iteruje nad modelem bazowym i stosem serwowania, Google iteruje nad modalnościami wejściowymi i budżetem kontekstu.

To, co to oznacza dla decyzji podejmowanej w tym miesiącu, jest mało efektowne. Sprawdź, czy twoje najdłuższe dane wejściowe mieszczą się w 32K, zanim przeczytasz choćby jedną liczbę z benchmarku, ponieważ to ograniczenie całkowicie eliminuje jeden z tych dwóch modeli. Jeśli się mieszczą, przepuść przez oba swoje własne dwadzieścia oznaczonych przykładów i porównaj rozkłady pewności, a nie odpowiedzi top-1 — scorer, dla którego nie możesz ustawić progu, to scorer, którego nie możesz wdrożyć, a oba modele dzieli nie więcej niż 0,2 punktu w kategorii braku halucynacji, czyli w wierszu, który decyduje o tym, czy wstrzymywanie się od odpowiedzi zachowuje się na twoich danych tak samo jak na publicznym zbiorze testowym.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie