Gemini Decision 1 vs Microsoft-Decision-1: 두 하이퍼스케일러 스코어러, 4점 차이

이제 두 최대 클라우드 공급업체가 모두 문장 대신 확률로 답하는 모델을 판매하고 있으며, 어느 쪽도 그 성능이 얼마나 좋은지는 말해 주지 않는다. Microsoft-Decision-1은 2026년 10월 8일 Microsoft Foundry에서 정식 출시(GA)되었다. Microsoft가 포스트트레이닝한 Qwen3.5-9B 베이스이며, 입력은 텍스트, 컨텍스트는 32,768토큰, 출력은 보정된 분포, 가중치는 미배포. Gemini Decision 1은 2026년 11월 11일 Gemini Developer API에 등장했다. 입력은 텍스트, 이미지, 동영상, 오디오, PDF이고, 컨텍스트는 262,144토큰, 요청당 최대 1,000개의 유형이 지정된 질문, 100만 입력 토큰당 $0.10이며, 가중치도 미배포. 둘 다 방법론 섹션을 제공하고 결과 표는 없어서, 이들을 비교할 수 있는 유일한 장소는 독립적인 측정 도구 하나뿐이다 — Artificial Analysis에서 두 모델은 4점 차이로 18개 중 9위와 10위에 올라 있다.

4점 차이는 흥미로운 격차가 아니다. 흥미로운 격차는 대부분의 의사결정 모델이 실제로 구매되는 평가에서, 그 둘이 불과 5점 차이이면서 둘 다 해당 분야의 하위권에 머물러 있고, 전체 순위에서 승리하는 모델은 완전히 다른 곳에서 그렇게 한다는 점이다.

각각이 당신 앞에 내놓는 것

요청 형태는 한쪽을 위해 작성된 클라이언트를 다른 쪽에 맞게 고치는 데 반나절이면 충분할 만큼 비슷하고, 선택이 보통 벤치마크를 읽기도 전에 이루어질 만큼 충분히 다르다.

• 입력 — Gemini Decision 1은 텍스트, 이미지, 비디오, 오디오 및 PDF를 처리하며, 요청당 인라인 최대 100MB, 외부 URL당 최대 15MB까지 지원합니다. Microsoft-Decision-1은 텍스트를 32,768개 토큰으로 직렬화하여 처리합니다. 스캔한 양식이나 통화 녹음은 한쪽에는 기본 입력이지만 다른 쪽에는 전처리 작업입니다.

• 컨텍스트 — Gemini Decision 1의 경우 262,144 토큰으로, 입력과 모든 질문에 걸쳐 공유됩니다. Microsoft-Decision-1의 경우 32,768이며, 입력과 옵션 세트가 이를 소비하고 생성이 없으므로 차감할 생성 예산이 없습니다.

• 질문 형태 — Gemini Decision 1은 세 가지를 공식화합니다. 0.01–0.99로 한정된 예/아니요, 2~255개의 명명된 옵션 중 선택, 그리고 2~255개의 순서화된 레벨에 대해 확률 가중 기대 레벨을 반환하는 점수입니다. Microsoft-Decision-1은 예/아니요, 객관식, 평점, 분류, 루브릭 채점을 다루며, 옵션 집합 안에 "cannot tell"과 같은 기권 옵션을 명시적으로 지원합니다.

• 요청 내 배치 처리 — Gemini Decision 1의 경우 최대 1,000개의 독립적인 질문이 가능하며, 각 질문은 서로 격리되고 모두 공유 입력에 대한 한 번의 청구 읽기로 처리됩니다. Microsoft-Decision-1의 공개 계약은 호출당 하나의 상태와 해당 질문 세트이므로, 범위는 문서화된 요청당 상한이 아니라 질문을 그룹화하는 데서 나옵니다.

• 가격 — Gemini Decision 1의 경우 입력 토큰 100만 개당 $0.10이며, 출력이 0토큰이므로 출력 요금은 없습니다. 위원회는 이 모델에 대해 100만 작업당 $345를 기록하고, Microsoft-Decision-1에 대해서는 추적 중인 입력 요율 기준으로 100만 작업당 $143을 기록합니다.

• 접근 — Gemini Developer API는 v1beta에서만 제공되며, 무료 등급은 분당 200건 및 일일 10,000건, Tier 2부터는 일일 요청 무제한이고, Google이 배포한 문서에는 Vertex AI 목록이 없습니다. Microsoft-Decision-1은 Direct from Azure 포트폴리오 산하의 Foundry 배포로서, 서버리스 및 통합 엔드포인트 옵션, 표준 SKU, Azure 인증 및 단일 청구 경로를 갖추고 있으며, 일괄 추론은 비활성화되고 가중치 다운로드 또는 파인튜닝 경로는 없습니다.

액세스 라인은 기술적 결정이 아니라 조달 결정이 내려지는 곳입니다. 조직이 Azure 약정을 통해 구매한다면 Microsoft-Decision-1은 이미 익숙한 방식으로 지불할 수 있는 청구서입니다. 조직이 Google Cloud를 통해 구매한다면 현재 Gemini Decision 1은 그렇지 않습니다. 문서화된 유일한 경로는 Gemini API 키이며, 이는 다른 예산 항목이고 일부 기업에는 다른 승인 절차입니다.

스코어보드, 구성 요소별로

Artificial Analysis의 Decision Index는 각 평가를 정확도에서 답변에 부여된 확신도에 대한 Brier 페널티를 뺀 값으로 점수화하며, 이는 여섯 가지 구성 요소에 걸쳐 가중됩니다. 두 모델이 이를 어떻게 나누는지는 다음과 같습니다:

• AA-Paperclip, 30% 가중치 — Gemini Decision 1은 56.8로 Microsoft-Decision-1의 51.8을 앞섰습니다. 둘 다 약합니다. 전부 아니면 전무 방식의 문서 통과율은 Gemini Decision 1이 33%, Microsoft-Decision-1이 20.9%인 반면, 선두 모델은 63%입니다. 어느 하이퍼스케일러 모델도 밀집 문서에서 15개의 사실을 안정적으로 추출하지 못합니다.

• EvalSafe-O*NET-AA, 15% — 87.1 대 86.8. 사실상 동일하며, 둘 다 빽빽하게 몰려 있는 집단의 최상위권에 가깝습니다.

• When2Call, 10% — 80.5 대 88.0. Microsoft-Decision-1이 이 항목에서 확실히 승리해 선두권에 가깝고, Gemini Decision 1은 18개 중 14위입니다.

• AA-Omniscience-Decision v1.1, 15% — 66.3 대 54.9. Gemini Decision 1이 이 분야에서 1위를 차지했으며, 그 이유는 49.6%의 비환각률 때문입니다. Microsoft-Decision-1은 여기서 21.7%의 비환각률을 보고하는데, 이는 해당 모델의 기권에 임계값을 적용하려는 사람이라면 누구나 우려해야 할 수치입니다.

• HLE-MultiChoice v1.1, 15% — 48.7 대 39.4. 1위 대 11위. 원시 정확도는 13.2% 대 8.6%, 비환각은 35.7% 대 15.1%입니다.

• AA-Symmetry v1.1, 15% — 70.5 대 70.4. 막상막하로, 둘 다 중위권이며, 질문군의 각각 38.3%와 51.7%에서 재정렬과 부정에도 동일한 답을 유지한다.

종합 점수는 65.98과 62.07로 9위와 10위입니다. 구성 요소를 들여다보면 각 제품의 윤곽이 분명해집니다. Microsoft-Decision-1은 도구 호출과 직장 판단에서 탄탄한 점수를 내지만 지식과 기권 행동은 약합니다. Gemini Decision 1은 정반대입니다. 이 평가표에서 지식과 기권 점수가 가장 높은 반면, 추출은 중위권이고 도구 선택 변별력은 떨어집니다.

그들이 공유하는 점이 바로 의심스러운 부분이다.

어느 공급업체도 벤치마크 표를 공개하지 않는다. Microsoft-Decision-1의 카드에는 방법론 — 공개 및 커뮤니티 의사결정 벤치마크, 보류된 내부 세트, 정확도 및 보정 오류, 선택지 순서 변경, 쌍체 통계 검정 — 이 설명되어 있으며, 모델이 "{{1}}선도적인 의사결정 모델과 동등한 성능을 발휘하고 동일한 방법론으로 평가된 다른 오픈 의사결정 모델보다 앞선다{{/1}}"라고 주장한다. 그 문장 아래에는 표가 없다. Gemini Decision 1의 릴리스 노트는 모델을 발표하고 API 문서를 링크하는데, {{2}}이 문서에는 지원 및 미지원 기능이 나열되어 있고 정확도 수치는 전혀 없다{{/2}}.

결정 모델의 인터페이스 전체가 코드가 분기하는 숫자이기 때문에 이것이 중요합니다. 몇 점 약한 채팅 모델은 더 나쁜 문장을 만들어내지만, 보정이 잘못된 스코어러는 티켓의 8%를 조용히 잘못된 큐로 라우팅하며 응답 어디에도 그 사실을 알려주지 않습니다. 두 프런티어 공급업체는 '확률이 말하는 그대로의 의미를 갖는다'는 핵심 주장을 산문으로 단언하고 제3자만 측정한 제품을 출시했습니다.

제3자는 칭찬할 만하게도 두 가지를 동일한 도구로 측정하며, 바로 그 덕분에 이 비교가 가능하다. 하지만 하나의 보드는 하나의 보드일 뿐이고, 그 가장 큰 구성 요소는 45%가 비공개 데이터이며, 의사결정 모델을 채점한 지는 불과 몇 주에 불과하다. 66과 62는 첫 외부 측정값으로 취급하고, 확정된 역량으로 보지 말라.

문턱 뒤에 어느 것을 둘까요?

결정이 도구 호출이나 직장 문서 판단이고, 입력이 32K 토큰 안에 넉넉히 들어가는 텍스트이며, 배포 게이트가 통합 청구와 Responsible AI 패키지가 첨부된 Azure 계약일 때 Microsoft-Decision-1을 선택하세요. When2Call에서의 88.0과 EvalSafe-O*NET에서의 86.8은 실질적인 강점이며, 명시적인 기권 옵션 덕분에 나중에 덧붙이는 대신 옵션 집합에 "판단 불가" 탈출구를 설계해 넣을 수 있습니다.

입력이 길거나, 멀티모달이거나, 여러 질문에 걸쳐 공유될 때, 지식 질문과 환각 제어가 핵심일 때, 그리고 컨텍스트에 비용을 지불할 준비가 되어 있을 때 Gemini Decision 1을 선택하세요. 두 지식 구성 요소 모두에서 1위를 차지한 점과 AA-Omniscience에서 49.6%의 비환각률을 기록한 점이 더 저렴한 Microsoft 모델 대신 이를 선택할 이유이며, 33%의 문서 통과율은 추출 작업에 이를 선택하지 말아야 할 이유입니다.

대량 추출에는 둘 다 선택하지 마세요. 두 하이퍼스케일러 스코어러는 모두 30% 가중치가 적용된 문서 구성 요소의 하위 절반에 속해 있으며, 그 부문에서 앞서는 모델들 — Nace.AI의 27B 멀티모달 모델과 직접 파인튜닝할 수 있는 Convai Innovations의 421M 인코더 — 은 작업당 비용이 더 낮고, 오픈 가중치인 경우 자체 문서로 학습시킬 수 있습니다.

파이프라인의 나머지 부분이 이것에 발목 잡힐 필요는 없습니다.

OrcaRouter는 두 모델 모두 제공하지 않습니다. 둘 다 확률 전용 엔드포인트입니다 — 하나는 Gemini Developer API, 하나는 Foundry에 있으며 — 둘 다 채팅 완료 대상이 아니므로 목록에 포함하지 않습니다. 카탈로그에 실제로 포함된 것은 TypeSafe의 typesafe/jev-1.14로, 이 동일한 인덱스에서 66.23인 의사결정 모델이며, 스코어링 호출을 다른 모든 것과 동일한 키로 수행하려는 경우 합리적인 세 번째 옵션입니다.

채점자를 둘러싼 호출은 라우터가 존재 가치를 입증하는 지점이며, 이 두 제품이 의도적으로 다루지 않는 절반입니다. 무언가가 채점자가 평가할 루브릭을 작성하거나, 60페이지 문서를 32K 토큰으로 요약하거나, 순위가 매겨질 후보 답변을 초안 작성해야 하며, 그 무언가는 가격과 품질이 몇 주마다 바뀌는 생성 모델입니다. 그 호출은 200개가 넘는 모델이 올라간 하나의 엔드포인트를 가로질러 실행되며, 공급자 정가를 0% 마크업으로 그대로 전달, 아울러 공급자 성능 저하 시 자동 페일오버 및 여러 모델이 하나의 답변을 구성하도록 하려는 경우 라우팅 DSL을 제공합니다. 작성하는 절반을 이식 가능하게 유지하면 채점 결정은 되돌릴 수 있는 상태로 남으며, 두 공급업체가 분기 주기로 개정하는 상황에서 이는 네 개의 인덱스 포인트보다 더 가치가 있습니다.

무엇을 볼까요?

순위를 바꿀 세 가지 신호가 있지만, 아직 어느 것도 도착하지 않았다. 보정 곡선이 포함된 Microsoft 벤치마크 표가 나오면 Azure 고객은 증거를 바탕으로 임계값을 설정할 수 있을 것이다. 현재 이 카드에는 방법론과 하나의 주장만 실려 있다. Gemini Decision 1의 Vertex AI 등재는 이를 API 키 구매에서 클라우드 계약 구매로 옮기고 조달 비교를 완전히 바꿀 것이다. 그리고 두 모델을 모두 평가하는 두 번째 독립 평가단이 있다면, 4점 차이가 신호인지 3주 된 리더보드의 잡음인지 알려줄 것이다.

그때까지는 방어 가능한 판단은 이렇다: Gemini Decision 1은 거절해야 할 때를 아는 것이 핵심 역량인 두 구성요소에서 더 나은 모델이고, Microsoft-Decision-1은 도구 선택에서 더 나으며 약간 더 저렴하고, 둘 다 대부분의 기업 의사결정 업무가 실제로 구성되는 문서 추출에서는 중위권이다. 어느 수치도 어떤 판단을 내리기 전에, 각 모델에 자체 라벨링된 항목 200개를 직접 돌려보라.