'숫자 하나가 뒤로 간 업그레이드'라는 제목과 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1'이라는 부제가 달린 생성된 타이틀 카드에는 '67.78 vs 62.07', '123 ms vs 274 ms', '49.4% vs 21.7% 기권', '6.29% vs 8.64% HLE'라고 적힌 네 개의 라벨 칩, '6주 차이, 동일한 토큰 가격'이라는 캡션, 그리고 Speed와 Knowledge라고 표시된 두 개의 회색 막대 블록이 있습니다. OrcaRouter 로고는 오른쪽 아래 모서리에 합성되어 있습니다.
Guides & Insights

Microsoft-Decision-1.1 vs Microsoft Decision 1: 숫자 하나가 뒤로 간 업그레이드

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Microsoft-Decision-1.1에 대해 공개된 모든 수치는 Microsoft-Decision-1의 수치보다 더 좋습니다. 단 하나만 예외인데, 바로 그 예외가 흥미로운 부분입니다. Artificial Analysis Decision Index v2.1에서 새 모델은 62.07 대비 67.78점을 기록하고, 작업당 274ms 대비 123ms로 2.2배 더 빠르며, 훨씬 더 안정적으로 답변을 보류합니다. AA-Omniscience-Decision에서 비환각률은 21.7% 대비 49.4%입니다. 그러나 이전 모델이 맞힌 질문에서는 새 모델이 더 적게 맞힙니다. HLE-MultiChoice v1.1의 원시 정확도는 8.64% 대비 6.29%이고, AA-Symmetry 질문 중 일관되게 답변한 비율은 51.7% 대비 47.5%입니다. Microsoft-Decision-1.1은 엄밀히 더 나은 Microsoft-Decision-1이 아닙니다. 다르게 보정된 모델이며, 바로 그 트레이드오프의 방향이 마이그레이션 결정의 관건입니다.

두 모델은 6주 간격으로 출시됐다. Microsoft-Decision-1은 2026년 10월 8일 Qwen3.5-9B에서 포스트트레이닝된 텍스트 전용 스코어러로 정식 출시(GA)에 도달했다. Microsoft-Decision-1.1은 2026년 11월 17일 Ignite에서 Gemma 4 26B A4B 기반으로 등장했는데, 이는 Microsoft가 판단에 충분한 활성 파라미터를 갖추면서도 A100, H100/200, GB200/300 하드웨어 전반에서 서빙할 수 있을 만큼 작게 유지된다고 설명하는 전문가 혼합(mixture-of-experts) 기반 모델이다. 가격은 같다. 32K 상한도 같다. 질문 유형 세 가지도 같다. 백본이 다르고, 지연 시간 등급이 다르며, 강점의 집합도 측정 가능할 정도로 다르다.

베이스 모델 변경이 곧 릴리스입니다.

Version 1은 90억 개 매개변수의 밀집 모델이었습니다. Version 1.1은 260억 개 매개변수의 전문가 혼합 모델로, Gemma 라인에서 Google이 사용하는 방식대로 A4B 접미사를 읽는다면 토큰당 약 40억 개가 활성화됩니다. 이는 점진적인 재학습이 아니라 다른 아키텍처, 다른 제품군, 그리고 다른 서빙 특성 집합입니다. Microsoft의 출시 게시물은 이 교체가 비용과 지능에 대한 결정이었다고 분명히 밝히며, 이를 토큰별 생성이 아니라 스코어링을 위해 구축된 맞춤형 추론 엔진과 함께 제시합니다.

스왑으로 얻은 것, 구매자가 알아차릴 순서대로:

• 레이턴시 — 전체 인덱스에서 측정했을 때 작업당 274.25ms에서 123.25ms로 감소했습니다. 가장 빠른 단일 구성 요소인 When2Call에서 새 모델은 평균 94ms로, 이전 모델의 230ms와 비교됩니다.

• 캘리브레이션 — 브라이어 페널티가 적용된 정확도인 결정 점수는 다섯 가지 결정 구성 요소 모두에서 상승했습니다. Omniscience는 54.89에서 60.46으로, HLE는 39.42에서 46.11로, Paperclip은 51.82에서 58.67로, EvalSafe는 86.82에서 88.85로, When2Call은 87.95에서 95.08로 상승했습니다.

• 거부 행동 — Omniscience에서 비환각은 두 배 이상 증가해 21.74%에서 49.40%가 되었습니다. HLE에서는 15.05%에서 38.36%로 올랐습니다. 존재 목적 전체가 임계값으로 판정되는 것인 모델에게 이는 목록에서 가장 중대한 변화입니다.

• 모달리티 — 이미지는 텍스트 및 JSON과 함께 허용된 입력으로 포함되었습니다. 오디오와 비디오는 여전히 거부되며, 모델은 여전히 설명도, 근거도, 출력 토큰도 생성하지 않습니다.

• 컨텍스트 — 32,768 토큰으로 그대로입니다. 여기서는 달라진 것이 없으며, 이 점은 분명히 짚고 넘어갈 만합니다. "1.1"이라는 이름 때문에 모든 것이 개선되었다고 짐작하기 쉽기 때문입니다.

1.1이 더 나쁜 지점, 그리고 Microsoft 자체의 프레이밍이 이를 예측하는 이유

회귀는 무작위가 아닙니다. 회귀는 모델이 무언가를 결정하기보다 알기를 요구하는 두 구성 요소에 몰려 있습니다.

HLE-MultiChoice v1.1에서 원시 정확도는 8.64%에서 6.29%로 떨어졌습니다 — 어려운 질문에 올바르게 답한 비율이 상대적으로 27% 감소한 것입니다. Decision Score는 여전히 39.42에서 46.11로 상승했는데, 이는 모델이 실제로 내놓은 답변에 대한 확신도가 그 답변이 맞았는지 여부와 훨씬 더 잘 일치하게 되었기 때문입니다. 다시 말해, 추측은 더 못하게 되었고, 자신이 추측하고 있다는 사실은 훨씬 더 잘 알게 되었습니다. 종합 점수는 후자를 보상하고 전자는 거의 알아채지 못합니다.

AA-Symmetry에서 상황은 더 미묘하고 덜 호의적이다. Symmetry는 같은 질문을 표현만 바꾸었을 때 — 선택지 순서를 바꾸거나, 레이블을 교체하거나, 예/아니오를 부정하거나 — 같은 확률로 같은 답을 내는지 측정한다. 버전 1은 올패스 기준에서 재표현의 51.7%를 통과했다; 버전 1.1은 47.5%를 통과한다. 그것의 Symmetry 점수는 그럼에도 불구하고 70.42에서 75.72로 개선되었다. 왜냐하면 실제로 어긋날 때 이제 그 폭이 더 작기 때문이다. 완벽한 실행은 더 적고, 빗나감은 더 작다. 그것은 채점자에게는 변호할 수 있는 형태이지만, 결정 모델이 보장해야 하는 단 하나의 속성, 즉 표현이 답을 바꾸지 않는다는 속성에서는 퇴행이다.

마이크로소프트의 기조연설은 숨기고 싶었던 부분을 대놓고 말했다 — 이 모델들은 "기초 과학 연구와 매우 장기적인 호라이즌의 에이전트 작업처럼 더 어려운 문제에는 아직 명시적으로 튜닝되지 않았다"고, 그런 역량에 맞춰 튜닝하면 모든 일상 작업의 가격이 올라가기 때문이다. 결정 1.1은 그 정책이 실행될 때 어떤 모습인지 보여준다. 지식 벤치는 의도적으로, 아니 적어도 이의 없이 더 나빠졌다.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

변하지 않은 것: 가격 카드, 그리고 32K 벽

두 버전 모두 Global Standard에서 입력 토큰 100만 개당 $0.042, US Data Zone에서 $0.046, EU 및 APAC Data Zone 배포에서 $0.05를 명시하며, 출력이 없기 때문에 출력 요금은 청구되지 않습니다. Microsoft의 표현은 "동일한 비용으로 두 배 이상 빠름"이며, 토큰 가격이 이를 정확히 뒷받침합니다.

측정된 작업당 비용은 조금 다른 이야기를 합니다. 버전 1은 해당 지수에서 백만 작업당 $142.56, 버전 1.1은 $139.64입니다. 2% 개선이지, 두 배가 아닙니다. 그 이유는 작업당 비용이 토큰 가격에 소비된 입력을 곱한 값인데, 새 모델은 토큰을 절반으로 소비하는 것이 아니라 절반의 시간에 답하기 때문입니다. 제약 조건이 실제 경과 시간 예산이나 요청 경로 내부의 라우팅 단계라면, 업그레이드는 크고 분명합니다. 제약 조건이 지출이라면, 1.1은 청구서를 바꾸지 않으며, Microsoft는 그렇게 될 것이라고 주장한 적이 없습니다.

변하지 않은 또 다른 숫자는 상한선입니다. 두 모델 모두 32,768개 토큰을 읽으며, Microsoft의 1.1 문서는 v1 페이지의 "최대 32K 토큰의 입력"이라는 표현을 거의 그대로 반복합니다. 두 버전 모두 문서화된 캐싱 지원이 없으며, 이는 200개 질문으로 구성된 루브릭이 두 버전 모두, 모든 볼륨 티어에서, 호출할 때마다 전액 비용이 청구된다는 뜻입니다. 이는 이 범주의 경제성을 좌우하는 가장 큰 단일 변수인데, 두 릴리스 모두 여기에 손대지 않았습니다.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

믿음의 도약 없이 마이그레이션하는 방법

API 형태는 마이그레이션이 대부분 구성 변경일 정도로 안정적이지만, 완전히 그런 것은 아닙니다. Microsoft는 v1.1 호출을 state와 타입이 지정된 질문 맵 — noul, choice, score — 를 /providers/microsoft/v1/systemone에 있는 Foundry 리소스로 전송하고, model 필드에는 모델 이름이 아니라 배포 이름을 담는 것으로 문서화합니다. 응답은 기본 모델을 그대로 반환하므로, 워크로드에 맞춰 이름을 지정한 배포라도 어떤 버전이 응답했는지 알 수 있습니다.

배포 이름을 바꾸고 대시보드를 지켜보는 대신, 순서대로 해볼 가치가 있는 세 단계:

1. 레이블링된 세트의 정확도가 아니라 신뢰도 분포를 다시 기록하세요. 비환각률이 21.7%에서 49.4%로 이동했다는 것은 1.1이 동일한 임계값에서 상당히 더 큰 비율의 질문을 거절한다는 뜻입니다. 파이프라인이 누락된 답변을 라우팅 신호가 아니라 심각한 실패로 취급한다면, 모든 벤치마크가 개선이라고 말하는 동안 이 업그레이드는 프로덕션에서 회귀처럼 보일 것입니다.

2. 임계값을 다시 조정하십시오. 버전 1의 신뢰도 척도에서 선택한 컷오프가 이동한 분포에 적용되고 있습니다. Microsoft 자체의 지침도 자동화 게이트를 적용하기 전에 레이블이 지정된 예시를 대상으로 임계값을 검증하라는 것이며, 이는 늘 하던 조언이지만 이제는 핵심을 떠받치는 요소입니다.

3. 자신의 표현으로 대칭성 회귀를 테스트하세요. 프롬프트가 옵션 순서가 달라지는 템플릿에서 생성된다면 — 대부분의 라우팅 프롬프트가 그렇습니다 — 걱정해야 할 숫자는 종합 점수가 아니라 47.5%의 전체 통과율입니다. 질문 중 20개의 옵션 순서를 바꿔 복제하고 argmax가 얼마나 자주 바뀌는지 측정하세요.

세 번째 단계가 저렴한 이유는 기권이 향할 곳이 있기 때문입니다. 판단을 내리지 않는 결정 모델은 그것이 기권한 대상을 답할 수 있을 때만 유용하며, 바로 그 부분을 OrcaRouter가 담당합니다. 200개 이상의 모델에 걸쳐 하나의 키로 자동 장애 조치를 제공하므로, 신뢰도가 낮은 선택 결과를 사람을 호출하는 대신 범용 모델로 라우팅할 수 있고, 라우팅 DSL로 두 가지를 하나의 호출 시퀀스로 구성할 수 있습니다. Decision 1.1 내부의 기본 모델인 Gemma 4 26B A4B는 입력 100만 토큰당 $0.06, 출력 100만 토큰당 $0.33에 저희 카탈로그에 올라와 있으며, 공급자 정가에 0% 마크업이 그대로 적용되어, 의심스러운 결정에 대해 가능한 가장 저렴한 검증은 실제로 그 자체의 백본을 호출하는 것입니다.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

이사를 갈지 말지 여부

버전 1에 머무를 만한 근거는 있으며, 그 범위는 좁지만 실재합니다. 워크로드가 틀린 답변이 답변하지 않는 것보다 나쁜 어려운 지식 질문 — HLE 프로필 — 이라면 버전 1이 그중 더 많은 질문에 답했습니다. 프롬프트가 선택지를 재정렬하는 방식으로 템플릿화되어 있다면 버전 1이 표현을 바꿔도 더 안정적이었습니다. 그리고 이미 임계값을 조정하고 레이블이 지정된 프로덕션 데이터로 검증했다면, 새로운 신뢰도 분포가 그 작업을 무효화합니다.

나머지 모두에게 이 사안은 명확하다. 같은 토큰 가격으로 두 배의 처리량, 문서 통과율이 20.9%에서 36.8%로 상승한 것, 이전에는 없던 이미지 입력, 그리고 잘못된 약속이 비용이 큰 바로 그 상황에서 "모르겠다"고 두 배 더 자주 말하는 모델. 이것들이야말로 의사결정 계층을 구매하는 이유가 되는 속성들이다. 이 모델이 포기한 지식 벤치는 애초에 누구도 이 모델을 사서 하려던 일이 아니었다.

마이그레이션을 한 줄로 요약하면: 지연 시간과 답변 유보를 위해 1.1로 옮기고, 같은 주에 임계값을 다시 조정하고, 새 모델이 예전 모델이라면 받아주던 질문에 답하지 않게 된 이유를 누군가 묻는 날을 대비해 버전 1의 수치를 서랍 속에 넣어 두세요.