'단 한 번의 테스트, 대부분의 우위'라는 제목이 달린 생성된 타이틀 카드가 있고, 부제는 'Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1'이며, '67.78 vs 65.98', '95.08 vs 80.50', '123 ms vs 211 ms', '139.64 vs 344.90달러'라고 적힌 네 개의 라벨 카드가 2x2 격자로 배치되어 있습니다. 캡션은 '백만 작업당, 2026년 11월 19일 기준'이고, Microsoft와 Gemini라고 표시된 두 개의 회색 막대 블록이 있습니다. OrcaRouter 로고는 오른쪽 아래 모서리에 합성되어 있습니다.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: 거의 전적으로 단 하나의 테스트로 구축된 2점 차 리드

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Microsoft-Decision-1.1과 Gemini Decision 1을 Artificial Analysis Decision Index v2.1에 나란히 놓고 보면, 그 격차는 마치 평결처럼 보인다. 67.78 대 65.98이며, Microsoft의 모델은 작업당 123ms 대 211ms로 거의 두 배 빠르고, 백만 작업당 $139.64 대 $344.90로 비용은 절반도 안 된다. 종합 점수를 분해해 보면 그 평결은 더 작아지고 더 이상해진다. Microsoft-Decision-1.1의 모든 우위는 지수의 10%를 차지하는 한 구성 요소와 문서 비용이 어떻게 청구되는지에 관한 하나의 프로세스 수준 결정에서 나온다. 두 지식 구성 요소에서는 Google의 모델이 이긴다 — 그중 하나는 6점 이상 차이로, 원시 정확도는 거의 두 배다.

그 구분이 비교의 전부이며, 이는 리더보드 순위보다 더 많은 것을 결정한다. Gemini Decision 1은 262,144개 토큰을 읽고 오디오, 비디오, PDF를 받아들이며, Microsoft-Decision-1.1은 32,768개를 읽고 텍스트, JSON, 이미지를 받아들인다. Google의 모델은 Omniscience 테스트에서 모르는 경우를 49.6%에서 인정하고, 마이크로소프트의 모델은 49.4%에서 인정한다. 라우팅 테스트에서는 마이크로소프트의 모델이 12.5포인트 앞선다. 당신의 결정이 "이 요청에는 이 다섯 도구 중 어느 것이 필요한가"라면 답은 접전이 아니다. 당신의 결정이 "이 90페이지 계약서의 이 조항이 사실인가"라면 답은 뒤집히고, 그 뒤집힘은 모델이 아니라 컨텍스트 창 때문에 일어난다.

둘 다 득점자이며, 같은 형태의 득점자입니다.

두 API는 거의 동일한 기본 요소로 수렴했으며, 이 덕분에 비교가 유난히 깔끔하다. 각각은 공유 입력과 타입이 지정된 질문 세트를 받아, 질문마다 확률이 붙은 타입 지정 답변 하나를 반환한다. 둘 다 단어를 한 개도 쓰지 않는다.

• 질문 유형 — 둘 다 동일한 세 가지를 제공합니다: 예/아니요 확률, 각 옵션별 확률이 있는 고정 집합에서의 선택, 순서가 있는 척도상의 위치. Microsoft는 첫 번째를 noul, Google도 그것을 noul, 이는 우연이라기보다 한 범주가 어휘를 정착시킨 것에 가깝습니다.

• 출력 토큰 — 두 경우 모두, 모든 호출에서 0입니다. 요금은 입력에만 부과되므로, 표시된 토큰 가격이 곧 전체 가격입니다.

• 병렬 채점 — 둘 모두 공유 입력에 대해 모든 질문을 독립적으로 평가하므로, 질문들은 서로를 볼 수 없고 열 번째 질문을 추가해도 처음 아홉 개는 바뀌지 않습니다.

• 요청 크기 — Google은 호출당 1~1,000개의 질문, 선택지가 2~255개인 선택형 질문, 레벨이 2~255개인 점수형 질문을 문서화합니다. Microsoft는 상한 없이 "하나 이상의 유형화된 질문"을 문서화하며, 출시 게시물에서는 "수백 개의 질문"을 담은 요청을 설명합니다.

• 이미지 입력 — 이제 둘 다 이를 지원합니다. Microsoft는 1.1에서 추가했고, Google은 출시 때부터 지원하며 오디오와 비디오도 함께 지원하지만, Microsoft는 이를 명시적으로 지원하지 않습니다.

• 엔드포인트 — 여기서 물리적으로 갈리는 지점입니다. Gemini Decision 1은 Gemini Developer API v1beta의 Google Decisions API를 통해서만 접근할 수 있습니다. Microsoft-Decision-1.1은 Foundry 리소스로 배포되며 응답 엔드포인트는 /providers/microsoft/v1/systemone해당 리소스에 있습니다.

합성된 것, 분해된 것

10% 가중치를 지닌 한 구성 요소에 존재하는 1.8포인트 지수 우위는 반올림 오류가 아니지만, "더 나은 모델"이라는 주장보다는 훨씬 좁은 주장입니다. 다음은 Artificial Analysis가 공개한 대로, 2026년 11월 19일에 확인한 두 항목의 전체 분해입니다:

• 종합 지수 — Microsoft-Decision-1.1 67.78 대 Gemini Decision 1 65.98

• 정확도 지수(정확도만으로 재구성하고 신뢰도는 제거한 지수) — 48.45 대 45.53, 따라서 Microsoft는 정확성에서도 앞서지만 그 차이는 더 작습니다

• When2Call, 가중치 10% — 95.08 대 80.50. 14.6점 차이이자 앞서는 원인

• AA-Paperclip, 30% 가중치 — Decision Score 58.67 대 56.83, 문서의 36.8% 대 33.0%가 완전히 정확함

• EvalSafe-O*NET-AA, 15% — 88.85 대 87.05, 원시 정확도 83.4% 대 82.0%

• AA-Omniscience-Decision v1.1, 15% — 60.46 vs 66.28, 원시 정확도 33.2% vs 44.8%, 비환각 49.4% vs 49.6%

• HLE-MultiChoice v1.1, 15% — 46.11 대 48.71, 원시 정확도 6.29% 대 13.16%, 비환각 38.4% 대 35.8%

• AA-Symmetry, 15% — 75.72 대 70.47, 재표현 통과율 47.5% 대 38.3%

그 목록에서 두 가지가 나옵니다. 첫째, 가장 큰 단일 격차는 가중치가 가장 낮은 구성 요소에 있습니다. When2Call은 100점 척도에서 9.5점을 기여하므로, 그곳의 14.6점 차이는 약 1.5 지수 점의 가치가 있으며, 이는 전체 1.8점의 대부분입니다. 둘째, Gemini Decision 1의 지식 우위는 정말로 큽니다. Omniscience 원시 정확도에서 44.8% 대 33.2%는 노이즈가 아니며, 이것이 Google의 모델이 종합 점수가 시사하는 것보다 더 높은 정확도 지수를 갖는 이유입니다.

다시 말해, Microsoft가 전반적으로 Google을 측정에서 앞선 것은 아니다. Microsoft는 모델이 언제 도구를 호출해야 하는지를 아는지 묻는 단 하나의 테스트에서 Google을 결정적으로 앞섰고, 그 밖의 모든 부분에서는 대략 동등했으며, 지식 테스트에서는 뒤졌고 일관성 테스트에서는 이겼다.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

컨텍스트 윈도우 차이가 실제로 초래하는 비용

262,144토큰 창은 실제 워크로드를 좌우하는 숫자이며, 이는 8배 차이입니다. Gemini Decision 1은 Microsoft-Decision-1.1이 읽는 양의 8배를 읽습니다. Google 문서는 그 예산을 특정한 방식으로 사용합니다. 즉, 이 창은 공유 입력과 모든 질문을 함께 포괄하므로, 하나의 긴 계약서와 200개의 루브릭 질문이 같은 262K를 두고 경쟁합니다.

Microsoft의 32K 한도에는 비용 항목에서 드러나는 2차 효과가 있습니다. AA-Paperclip은 문서 하나를 모든 질문에 대해 한 번만 과금하고 문서당 15개의 답변을 처리합니다. 문서를 한 번의 호출로 담을 수 없는 모델은 청크 단위로 적용해야 하므로 호출 수가 배로 늘어납니다. Microsoft-Decision-1.1은 Paperclip에서 백만 작업당 $386로, Gemini Decision 1은 $946로 나오지만, 작업당 총비용 순위는 이미 문서 처리 방식이 아니라 토큰 가격으로 설명됩니다.

이름 붙일 만한 세 번째 메커니즘이 있는데, 구매자들이 바로 이것을 놓친다. 반복 입력은 두 곳 모두에서 전액 과금된다. Google의 Decisions API는 컨텍스트 캐싱, Batch, Flex 또는 Priority 추론을 명시적으로 지원하지 않으므로, 모든 요청에 함께 보내는 루브릭은 요청할 때마다 비용을 지불하게 된다. Microsoft-Decision-1.1도 문서에 캐싱 관련 설명이 전혀 없다. 어느 공급업체도 동일한 200개의 질문을 100만 번 반복하는 데 할인을 제공하지 않으며, 그것이 바로 이 카테고리가 위해 만들어진 워크로드다.

가격 책정, SKU 함정과 함께

Microsoft는 세 가지 입력 요금을 제시합니다 — Global Standard에서 백만 개당 $0.042, US Data Zone에서 $0.046, EU 및 APAC Data Zone에서 $0.05 — 그리고 출력 요금은 제시하지 않습니다. Google은 한 가지를 제시합니다: 입력 토큰 백만 개당 $0.10입니다. 대표 수치상 Microsoft가 58% 더 저렴합니다. 전체 인덱스에 걸쳐 측정된 비용으로는 Microsoft가 60% 더 저렴합니다 — 백만 작업당 $139.64 대 $345.41 — 대부분의 구성 요소에서 작업당 더 적은 토큰을 소비하기 때문이기도 합니다.

하지만 $0.042 요금은 글로벌 요금이고, 데이터 존 SKU에서 실행되는 EU 거주자 워크로드는 $0.05를 지불하므로 격차가 50%로 좁아집니다. 두 수치 모두 의사결정 모델을 둘러싼 호출 비용을 포함하지 않으며, 대부분의 프로덕션 파이프라인에서 이 비용은 스코어링 호출 자체를 훨씬 능가합니다 — 후보 답변을 초안하는 모델, 루브릭을 작성하는 모델, 스코어러가 기권한 부분을 처리하는 모델이 여기에 해당합니다. 라우팅이 실제로 비용을 절감하는 지점은 바로 이 지출이며, OrcaRouter가 커버하는 부분도 바로 여기입니다: 200개 이상의 모델에 걸쳐 하나의 키를 제공업체 정가로 0% 마크업으로 제공하므로 생성형 절반의 벤더 가격 변경이 같은 날 반영되고, 퓨전 또는 라우팅 DSL을 사용하면 값비싼 심사자 뒤에 저렴한 초안 작성자를 배치할 수 있습니다. 별도의 통합은 필요 없습니다.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

실제로 배포하실 것은 어느 쪽인가요?

세 가지 형태의 워크로드, 세 가지 다른 답, 그리고 그중 어느 것도 "더 높은 인덱스"가 아니다.

• 라우팅, 게이팅 및 도구 선택 — Microsoft-Decision-1.1. When2Call에서 95.08 대 80.50은 전체 평가표에서 단일 구성 요소 중 가장 큰 격차이며, 라우팅은 Microsoft가 이 모델을 위해 구축한 워크로드입니다. 여기서 중앙값 123 ms도 중요합니다. 라우터는 요청 경로에 위치하는데, 123 ms와 211 ms의 차이는 아무도 알아채지 못하는 단계와 지연 예산이 감당해야 하는 단계의 차이이기 때문입니다.

• 긴 입력에 대한 문서 추출 및 루브릭 채점 — Gemini Decision 1. 단일 호출이 90페이지 계약서와 그에 대한 질문까지 모두 봐야 한다면, Microsoft의 32K 한도는 그대로 실패하며, When2Call 성능이 아무리 뛰어나도 일어나지 않은 호출을 구제할 수는 없습니다. Google의 44.8% Omniscience 정확도와 13.2% HLE 정확도는 다른 방향에서 같은 결론을 뒷받침합니다: 더 많이 알고, 더 많이 읽을 수 있다는 것입니다.

• 비용이 지배적인 대량 스크리닝에서는 — 둘 다 아닙니다. 이것이 솔직한 답입니다. Celeris-1.1 Decision은 백만 작업당 $14로 62.0점을 기록하고, Decider v1.3은 $68로 70.4점을 기록합니다. 둘 다 작업당 비용에서는 Microsoft-Decision-1.1을 앞서고, 하나는 지수에서 앞섭니다. 의사결정이 저렴하고 반복적이라면, 하이퍼스케일러 옵션이 비싼 쪽입니다.

세 가지 모두에 한 가지 주의 사항이 적용됩니다. 1.8포인트 격차와 보정 행은 2026년 11월 8일 자체 가중치를 개정하여 Omniscience와 HLE를 각각 25%에서 15%로 낮추고 30% 문서 구성 요소를 도입한 지수에서 나온 것입니다. 재가중은 모델 출시보다 이 순위를 더 크게 움직일 수 있습니다. 이 비교는 영구적인 것이 아니라 현재 시점 기준이자 날짜가 명시된 것으로 취급하십시오.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

두 모델이 다음에 갈라질 지점

Microsoft-Decision-1.1은 새로운 기반 모델에 대한 두 번째 시도입니다. Qwen3.5-9B 대신 Gemma 4 26B A4B를 사용하며, 맞춤형 추론 엔진과 라우팅 제안을 갖추고 있습니다. Gemini Decision 1은 Google의 첫 번째 출품작으로, 단일 API 표면과 단일 모델 ID에 묶여 있습니다. 두 궤적은 서로 반대 방향을 가리킵니다. Microsoft는 기본 모델과 서빙 스택을 반복 개선하고, Google은 입력 모달리티와 컨텍스트 예산을 반복 개선합니다.

이번 달에 내리는 결정에 이것이 의미하는 바는 화려하지 않습니다. 벤치마크 수치를 단 하나도 읽기 전에 가장 긴 입력이 32K에 들어가는지 확인하세요. 그 제약이 이 두 모델 중 하나를 곧바로 제거하기 때문입니다. 들어간다면, 직접 레이블링한 예시 스무 개를 두 모델 모두에 실행하고 top-1 답변보다는 신뢰도 분포를 비교하세요 — 임계값을 설정할 수 없는 스코어러는 출시할 수 없는 스코어러이며, 두 모델은 non-hallucination에서 서로 0.2점 이내에 있습니다. 이 항목이 공개 테스트 세트에서와 같은 방식으로 당신의 데이터에서도 abstention이 작동하는지를 좌우합니다.

이 글에서 비교한 모델1

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트