'MAI Decision 1 vs Microsoft Decision 1'이라는 제목의 생성된 타이틀 카드로, 부제는 '동일한 제품 라인, 6포인트 차이'이며, 'vs' 원반을 중심으로 두 개의 둥근 패널로 나뉜다. 왼쪽 패널 'Microsoft-Decision-1.1'에는 'GA 17 November 2026'이라는 하위 문구와 '67.78 decision index', '123 ms per task', 'images and text', 'Gemma 4 base' 행이 표시된다. 오른쪽 패널 'Microsoft-Decision-1'에는 'GA 8 October 2026', '62.07 decision index', '274 ms per task', 'text only', 'Qwen3.5 base'가 표시된다. 하단에는 'Both list at /bin/bash.042 per million input tokens.'라고 적혀 있다. OrcaRouter 로고는 아트워크 아래의 흰색 띠에 합성되어 있다.
Guides & Insights

MAI Decision 1 vs Microsoft Decision 1: 동일한 제품 라인, 6점 차이

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

이 비교에는 함정이 숨어 있는데, 그 함정은 바로 전제입니다. MAI Decision 1과 Microsoft Decision 1은 경쟁하는 두 모델이 아닙니다. 이 둘은 한 버전 차이로 나뉜 같은 마이크로소프트 제품군입니다. Ignite 보도에서 MAI Decision 1이라고 부른 모델은 Microsoft-Decision-1.1이고, Microsoft-Decision-1은 그것이 대체하는 10월 릴리스입니다. 따라서 유용한 비교는 "어느 벤더가 이기느냐"가 아니라 "5주와 새로운 기본 모델이 무엇을 가져다줬으며, 구형 엔드포인트를 이미 프로덕션에서 운영 중인 사람에게 이 업그레이드가 마이그레이션할 가치가 있느냐"입니다. 짧게 답하자면, 지수 6포인트, 절반의 지연 시간, 이미지 입력, 그리고 꿈쩍도 하지 않은 가격표입니다.

네이밍, 한 번에 결정

이 비교의 왼쪽에 있는 레이블은 마이크로소프트가 아니라 기조연설 보도에서 비롯된 것입니다. 벤더 자체 표기는 Ignite 라인업 게시물에서는 "Decision 1.1"이고, Foundry 블로그와 모델 카드에서는 "Microsoft-Decision-1.1"입니다. MAI 접두사는 MAI Code 2 및 MAI Cyber 2 Flash와 함께 같은 타사 기사들을 통해 전파되어 굳어졌습니다. 따라서 이 페이지는 한 제품 라인의 버전 1.1을 버전 1과 비교하며, 흥미로운 질문은 어느 벤더가 이기는가가 아니라 5주와 다른 기본 모델이 무엇을 바꾸었는가입니다.

버전 1은 철회되지 않았습니다. 여전히 Foundry에 등록되어 있고 독립 평가 위원회에서도 계속 점수가 매겨지고 있습니다. 그래서 두 이름이 비교표에서 계속 나란히 등장하는 것입니다. 때로는 서로 다른 회사의 경쟁자처럼 보이기도 하지만, 실제로는 그렇지 않습니다.

6주, 두 모델, 하나의 가격

{{1}}버전 1{{/1}}은 {{2}}2026년 10월 8일{{/2}}에 GA(정식 출시)되었습니다. {{3}}A​libaba's Qw​en3.5-9B{{/3}}를 대상으로 한 텍스트 전용 사후 학습이었고, 고정된 옵션 세트에 대한 보정된 확률을 제공했으며, 32,768토큰 상한을 두었고, 가중치와 공개된 벤치마크 수치는 없었습니다. 버전 1.1은 11월 17일에 Gemma 4 26B-A4B 기반, 이미지 입력, 성능 전반에 대한 완전한 설명과 함께 출시되었지만, 가격표는 100만 토큰당 $0.042로 정확히 그대로였습니다.

• 기본 모델 — Qw​en3.5-9B, dense, 총 9B vs Gemma 4 26B-A4B, 약 4B가 활성인 mixture-of-experts; 둘 다 사내에서 post-trained

• 모달리티 — 텍스트만 대 텍스트, JSON 및 PNG/JPEG 이미지, 질문당 최대 8개

• 입력 상한 — 32,768 토큰 대 32,768 토큰, 변경 없음

• 질문 유형 — 예/아니오, 객관식, 평점, 분류, 동일한 세트에 대한 루브릭, 세 가지 타입화된 프리미티브(noul, choice, score)로 노출됨

• 가격 — $0.042/백만 토큰 Global Standard, $0.05 EU 및 APAC vs 동일

• 측정된 지연 시간 — 작업당 274.25ms 대 작업당 123.25ms, Artificial Analysis

• 측정 비용 — 100만 작업당 $142.56 대 100만 작업당 $139.64, Artificial Analysis

• Decision Index v2.1 — 62.07 vs 67.78

• 가중치 — 없음, Foundry에서만 호스팅됨 vs 없음, Foundry에서만 호스팅됨

변하지 않은 한 항목은 대부분의 팀이 예산을 배정하는 항목이고, 가장 크게 변한 항목은 아무도 광고하지 않는 항목입니다. 지연 시간은 절반으로 줄었지만 토큰당 가격은 그대로인데, 새로운 베이스 모델이 호출당 훨씬 적은 작업을 수행하는 희소 모델이기 때문입니다.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Microsoft Decision 1 — the scoreboard'. The Microsoft-Decision-1.1 column reads Decision Index 67.78, Latency 123 ms, Base model Gemma 4 26B-A4B, Images up to 8 per question, Brier score 0.160, Price $0.042 per M tokens; the Microsoft-Decision-1 column reads 62.07, 274 ms, Qwen3.5-9B, text only, 0.197 and $0.042 per M tokens. The footer reads 'Index, latency and Brier per Artificial Analysis v2.1, 18 November 2026; price per Microsoft Foundry.' The OrcaRouter logo is composited in the white strip below the artwork.

여섯 개의 점은 무엇으로 이루어져 있나요?

5.71의 종합 격차는 고르게 퍼져 있지 않으며, 이 불균형은 해당 업그레이드가 어떤 워크로드를 위해 만들어졌는지를 알려줍니다. 2026년 11월 18일 기준으로 Artificial Analysis의 여섯 가지 구성 평가에서 보드를 살펴보면:

• When2Call 도구 호출 — 1.1에서 95.1, 버전 1의 87.9 대비 7.1포인트 상승이며, 에이전트 가드레일에 중요한 상승분

EvalSafe-O*NET 직장 판단 — 86.8 대비 88.8

• AA-Symmetry, 문구 변경에 따른 결정 불변성 — 75.7 대 70.4

• AA-Paperclip 문서 결정 — 58.7 대 51.8, 가장 큰 절대 상승폭

• AA-Omniscience, 지식 및 환각 — 60.5 대 54.9

• HLE 객관식 추론 — 46.1 대 39.4

모든 하위 점수가 개선된 것은 드문 일이며, 이는 종합 점수를 신뢰할 수 있게 만든다. 한 평가에서는 오르고 두 평가에서는 내리는 복합 점수는 보통 가중치 인공물이다. 불변성 향상은 주목할 만한 조용한 변화다. 대칭성은 결정이 선택지의 순서가 바뀌거나 질문이 다시 표현되어도 유지되는지를 측정한다. 이는 바로 Microsoft 자체 문서가 경고하는 실패 모드이며, 스테이징에서 조정한 임계값이 프로덕션에서도 여전히 작동하는지를 결정하는 바로 그 속성이다. 그 점수에서 70에서 76으로 이동하는 것은 헤드라인 점수에서 62에서 68로 이동하는 것보다 더 큰 운영상 변화다.

보정은 같은 방향으로 개선되었다. 제시된 확률과 실제 값 사이의 제곱 차이를 측정하는 Brier 점수는 0.1965에서 0.1604로 떨어졌다 — 낮을수록 좋다. 선택된 옵션의 정확도는 40.6에서 48.5로 상승했다. 두 수치는 Microsoft의 것이 아니라 Artificial Analysis가 자체 과제에서 측정한 값이며, 이것이 이들에 비중을 둘 이유다. Microsoft가 1.1에 대해 내놓은 자체 발표 기준은 68점으로 “첫 모델보다 6점 상승”이며, 독립 평가 보드는 67.78점으로 그로부터 0.5점 이내에 들고 5.71점 상승을 보였다. 모처럼 공급업체와 검증자가 대체로 의견을 같이한다.

A screenshot of the Artificial Analysis Decision Index v2.1 leaderboard page, the independent board from which the 67.78 and 62.07 composites, the six constituent evaluation scores, the accuracy figures and the Brier scores in this comparison are taken.

구형 모델이 여전히 정답인 경우

Microsoft-Decision-1을 계속 유지할 정당한 이유가 세 가지 있으며, 그중 어느 것도 성능 때문이 아닙니다.

첫 번째는 동결된 평가입니다. 자체 라벨링 데이터로 버전 1에 대해 임계값을 보정했다면—그리고 그렇게 했어야 합니다—기본 모델 변경은 그 작업을 무효화합니다. 채점용으로 사후 학습된 dense 9B와 채점용으로 사후 학습된 26B MoE는 같은 지점에서 실패하지 않으며, 1.1 문서는 보정이 익숙한 작업 유형에서 가장 강력하고 문구에 따라 달라질 수 있다고 분명히 밝힙니다. 재튜닝은 실제 비용이며, 그 부담은 벤더가 아니라 팀에 떨어집니다.

두 번째는 언어 커버리지입니다. 버전 1은 200개가 훨씬 넘는 언어를 사용할 수 있는 Qwen 베이스에서 25개 언어 사후 학습 사례를 제공했습니다. 버전 1.1은 35개 이상으로 문서화된 Gemma 베이스에서 25개 이상 언어 사례를 제공합니다. 25개 이상은 25개가 아니며, 다국어 큐를 운영한다면 숫자가 올라갔다고 가정하기보다 테스트하는 것이 정직한 선택입니다.

셋째는 당신의 의존성의 형태입니다. 두 버전 모두 호스팅 전용, 단일 벤더, 하나의 가격표, 하나의 속도 제한 체제입니다. 업그레이드는 실패 도메인을 바꿀 뿐 줄여 주지는 않습니다. 이미 엔드포인트를 자체 폴백 뒤에 감싸 두었다면, 1에 머무는 것은 지연 시간과 정확도를 잃을 뿐 가용성은 잃지 않습니다. 그렇게 하지 않았다면, 업그레이드는 동일한 단일 장애점 뒤에서 더 빠른 모델을 얻는 것입니다.

커밋하기 전에 두 가지를 나란히 실행해 보기

마이그레이션 자체는 규모가 작은데, 이것이 반가운 부분입니다. 엔드포인트 형태는 그대로입니다 — 상태와 타입이 지정된 질문을 Foundry 리소스의 의사결정 라우트로 보내는 — 그리고 배포는 통합을 다시 작성하는 것이 아니라 모델 버전을 바꾸는 것입니다. 바뀌는 것은 응답 이후의 모든 것입니다: 확률, 임계값, 그리고 위의 하위 점수입니다.

그러니 둘 다 실행하세요. 동일한 레이블 지정 배치를 두 배포 모두에 보내고, 실제로 사용하는 임계값에서 선택된 옵션 정확도를 비교하며, 특히 꼬리 부분을 살펴보세요 — 버전 1은 0.55를 반환하고 버전 1.1은 0.88을 반환하는 사례가 바로 에스컬레이션 비율을 조용히 바꿀 수 있는 경우입니다. 대칭성 이득은 1.1이 옵션 재정렬 시 더 안정적이어야 함을 시사하므로, 그 숫자를 믿기보다 직접 작성한 프롬프트로 검증하세요.

판정자와 판정 대상이 하나의 키에 함께 있는 구성은 대부분의 팀이 결국 원하게 되는 설정이며, 어느 Decision 모델도 그런 구성을 제공할 수 없습니다. 둘 다 Foundry 전용 호스팅 엔드포인트이므로 그 앞에 있는 라우터는 여러분의 자체 코드입니다. 그동안 라우터가 할 수 있는 일은 제어 기능을 제공하는 것입니다. Gemma 4 26B A4B — 기본 버전 1.1이 포스트트레이닝된 기반 모델 — 은 OrcaRouter를 통해 백만 입력 토큰당 $0.25, 백만 출력 토큰당 $2.90의 비용으로 라우팅되며, Jev 1.14, 마이크로소프트가 자사 벤치마크의 비교 대상으로 삼는 Decision 모델은 백만 토큰당 입력 및 출력 모두 $0.042입니다. 둘 다 1.1의 보정된 답변을 재현하지는 못합니다. 둘 모두 자체 데이터에 적용한 일반 모델이 Decision 모델과 몇 포인트 이내로 들어오는지를 알려 주며, 이는 해당 모델이 꼭 필요한지 결정하는 질문입니다.

A screenshot of the OrcaRouter model page for obsidian/gemma-4-26B-A4B, showing the OrcaRouter navigation, the model name obsidian/gemma-4-26B-A4B with Vision, Tools, JSON and Reasoning tags, a 2026-07-02 date, a description noting a mixture-of-experts build of Gemma 4 with 26B total parameters, about 4B active per token and a 262K-token context window, and pricing of $0.25 per million input tokens and $2.90 per million output tokens.

버전 질문에 대한 답변

오늘 선택하면서 지켜야 할 기존 임계값이 없다면 1.1을 택하세요. 독립 측정에서 2.2배 더 빠르고, 작업당 비용이 약간 더 저렴하며, 보정이 더 잘 되어 있고, 도구 호출 게이팅을 더 잘하며, 둘 중 스크린샷을 읽는 유일한 모델입니다. 가격표는 동일하므로 한계 비용 측면에서 업그레이드는 무료입니다.

이미 버전 1을 프로덕션에서 운영 중이라면, 업그레이드는 할 가치가 있으며 보안 패치처럼 긴급한 것은 아닙니다. 재조정(re-tuning)에 필요한 리소스를 예산에 반영하고, 새 임계값이 실제 트래픽에서 안정적으로 유지될 때까지 기존 배포를 계속 살려 두며, 대칭성 개선은 놀라운 일이 없을 것이라는 약속이 아니라 놀라운 일이 줄어들 것으로 기대할 수 있는 이유로 취급하세요.

이 맞대결은 벤더 간의 선택이 아닙니다. 두 이름은 모두 마이크로소프트의 결정선을 가리키며, 5주와 하나의 베이스 모델만큼 떨어져 있고 가격은 100만 토큰당 0.042달러로 동일합니다. 흥미로운 질문은 애초에 어느 쪽이 이기는가가 아니라, 두 번째 것이 재보정 비용을 지불할 만큼 충분히 더 나은가입니다. 독립적인 리더보드에서는 그렇습니다.

이 글에서 비교한 모델1

이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트