Gemini Decision 1: Google의 첫 의사결정 모델, 가장 중요하지 않은 곳에서 앞서다

66은 존중할 만한 점수이자 오해를 부르는 헤드라인입니다. Gemini Decision 1은 Google이 2026년 11월 11일 새로운 Decisions API를 통해 출시한 모델로, Artificial Analysis Decision Index v2.1에서 66점을 기록해 보드가 순위를 매기는 18개 결정 모델 중 9위에 올랐으며, 이는 해당 분야 중앙값인 64점을 약간 웃도는 수준입니다. 출시 당시 주장의 나머지 절반도 사실입니다. 이 모델은 해당 지수의 지식 및 추론 구성 요소에서 단연 1위입니다. 두 문장 모두 검증을 통과하며, 이들이 모순처럼 느껴지는 데는 이해할 만한 이유가 있습니다. 그 두 구성 요소는 각각 점수의 15%를 차지합니다. 30%를 차지하는 구성 요소는 Gemini Decision 1이 동종 모델들과 비교해 가장 약한 부분입니다.

그 구분은 리더보드 산술에 대한 사소한 트집이 아니다. 그것은 이 모델이 무엇을 하도록 만들어졌는지를 알려주며, 대부분의 사람이 "Google DeepMind의 의사 결정 모델"이라는 표현에서 짐작할 것과는 다르다.

구글이 실제로 내놓은 것

Gemini Decision 1은 작성하지 않습니다. JSON 모드가 있는 채팅 모델이 아니며 일반적인 generate-content 경로로 호출할 수 없습니다. 별도 엔드포인트인 POST /v1beta/decisions에서 실행되며, 공유 입력 한 블록과 타입이 지정된 질문 맵을 받아 질문당 하나의 보정된 답변을 출력 토큰 없이 반환합니다. 모든 질문은 단일 패스에서 동일한 입력에 대해 독립적으로 평가되며, 모델은 질문 키를 절대 보지 못하고 작성하신 지침 텍스트만 봅니다.

세 가지 질문 유형이 전체 범위를 다룹니다:

• 예/아니오 (noul) — 0.01에서 0.99 사이의 확률과 함께 신뢰도 점수를 반환합니다. 이 범위는 의도적으로 설정된 것이며, 0.99보다 높게 설정된 임계값은 절대 작동하지 않습니다.

• Choice — 2~255개의 이름 있는 옵션을 받아 최상위 옵션, 합이 1이 되는 각 옵션별 확률, 신뢰도를 반환합니다. 점수를 매기기 전에 API는 옵션 키를 UTF-8 바이트 순서로 알파벳순 정렬하므로 JSON 키 순서는 아무것도 바꾸지 않으며, 정확히 동점일 때는 알파벳순으로 첫 번째 키 쪽으로 결정됩니다. 그래서 Google 자체 지침에서도 포괄 옵션의 이름을 none_of_the_above가 아니라 other로 지정하라고 합니다. none_of_the_above는 대부분의 실제 카테고리 뒤가 아니라 앞에 정렬되기 때문입니다.

• Score — 2~255개의 정렬된 루브릭 수준(2~10개 권장)을 사용하며, 확률 가중 기대 수준을 반환합니다. 기댓값이 배열 인덱스의 평균을 내기 때문에 1/10/100/1000 척도는 이를 왜곡시키며, Google도 문서에서 그렇게 밝히고 있습니다.

나머지 사양은 출시일 모델 페이지로서는 이례적으로 구체적입니다:

• 입력 — 텍스트, 이미지, 비디오, 오디오, PDF를 한 번의 요청으로 처리하며, 262,144토큰 컨텍스트가 공유 입력과 모든 질문을 함께 포괄합니다.

• 규모 — 요청당 최대 1,000개의 질문을 처리할 수 있으며, 바로 이 숫자가 이 시스템을 단순 분류기와 구분 짓는 지점입니다. 지원 티켓 하나를 한 번의 호출로 40개의 정책 규칙과 대조해 검토할 수 있고, 공유된 입력에 대해서는 요금이 한 번만 부과됩니다.

• 미디어 — 요청당 인라인 base64 최대 100MB, PDF는 50MB, 외부 HTTPS URL당 15MB입니다. YouTube 링크와 gs:// URI는 지원되지 않으며, Files API 참조, 서명된 URL 또는 바이트를 전달합니다.

• 청구 — 입력 토큰 100만 개당 $0.10, 출력은 해당 없음. 컨텍스트 캐싱, Batch API, Flex 또는 Priority 추론 없음. 요청 전반의 반복 입력은 매번 전액 청구됩니다.

• 요청 한도 — 무료 티어는 분당 200회 및 일일 10,000회, Tier 1은 분당 1,500회 및 일일 50,000회, Tier 2부터는 일일 요청 수에 제한이 없습니다.

그 목록의 두 가지 세부 사항은 겉보기보다 더 중요합니다. 무료 티어는 무료이지만 Google 제품 개선에 사용되는 것으로 표시되어 있어 민감한 용도에는 적합하지 않습니다. 또한 이 모델은 API 버전 v1beta의 Gemini Developer API에서만 사용할 수 있으며, Google이 배포한 문서에는 Vertex AI 목록이 없습니다.

66이라는 숫자 뒤에 숨은 산수

Decision Index는 정확도 표가 아닙니다. 이는 여섯 가지 평가의 가중 평균이며, 각 평가는 정확도에서 모델이 자신의 답에 부여한 확률의 Brier 점수를 뺀 값으로 채점됩니다. 잘못 답했지만 낮은 확신으로 그렇게 밝힌 모델은 잘못 답하면서도 확신하는 모델보다 페널티를 덜 받습니다. 그 설계는 기권에 보상을 주며, 이 보드의 어떤 숫자를 읽을 때 명심해야 할 단 하나의 가장 중요한 사항입니다.

다음은 Gemini Decision 1이 각 구성 요소에서 어디에 위치하는지와, 열여덟 개 모델 중 순위입니다:

• AA-Paperclip, 30% 가중치 — 56.8, 순위 9. 이것은 문서 판단 테스트입니다: 1,500개의 비공개 이력서, 영수증, 청구서, 서류가 각각 다섯 가지 결정과 열 가지 사실을 담고 있으며, 열다섯 개 답변이 모두 맞아야만 하나의 문서로 채점됩니다. Gemini Decision 1은 문서의 33%를 단번에 통과합니다. Drex Max v1.1은 63%를 통과합니다.

• EvalSafe-O*NET-AA, 15% — 87.1, 8위. 업무 문서 판단. 이는 강력한 결과이며, 전체 분야가 가장 촘촘하게 몰려 있는 구성 요소입니다.

• When2Call, 10% — 80.5, 14위. NVIDIA의 도구 호출 평가이며, 6개 중 가장 약한 순위입니다. Drex Max v1.1은 여기서 95.3점을 기록합니다.

• AA-Omniscience-Decision v1.1, 15% — 66.3, 1위. 지식과 환각, '모르겠다' 옵션이 열 가지 방식으로 표현되는 항목.

• HLE-MultiChoice v1.1, 15% — 48.7, 1위. Humanity's Last Exam, 객관식, 거절 옵션 포함.

• AA-Symmetry v1.1, 15% — 70.5, 순위 9. 동일한 질문의 순서를 바꾸고, 레이블을 바꾸고, 부정했을 때도 답변이 유지되는지 여부. Gemini Decision 1은 질문군의 38.3%에서 답변을 유지하며, Mammoth 27B는 동일한 평가 도구에서 88.2를 유지한다.

그것들에 가중치를 적용하면 65.98이 나온다. 첫 번째와 네 번째 행이 서로 반대 방향으로 대부분의 역할을 하며, 그 이유는 구조적이다. Paperclip은 두 지식 테스트 중 어느 것보다 두 배의 가치가 있고, 바로 이 평가는 모델이 한 문서에서 열다섯 개의 사실을 동시에 정확하게 읽어내야 하는 평가다.

두 가지 ‘최초’는 사실이며, 들리는 것보다 범위가 좁다

AA-Omniscience-Decision에서 1위를 차지한 것은 실질적인 성과입니다. Gemini Decision 1은 66.3점으로, d1-ultra의 64.4점과 GLiDE v1.2의 60.9점을 앞섭니다. 또한 이 테스트에서 18개 결정 모델 중 원시 정확도 44.8%로 가장 높습니다. HLE-MultiChoice에서도 48.7로 다시 1위이며, 47.4의 Mammoth 27B와 d1-ultra보다 앞섭니다. 이것이 "지식과 추론에서 선도적"이라는 말이 의미하는 바이며, 그 주장은 유효합니다.

주장에서 빠진 것은 절대적인 수준이다. Gemini Decision 1은 Humanity's Last Exam 질문의 13.2%를 맞힌다. 그래도 이 구성 요소에서 여전히 1위인 이유는 추측하지 않고 답을 거절하기 때문이다. 같은 테스트에서 비환각률은 35.7%이며, 점수 산식은 확률이 낮은 답이 결국 틀렸을 때 비용을 치르게 한다. 보정(calibration)에서 분야 최고인 것은 지식에서 분야 최고인 것과 같지 않으며, 13% 정확도가 용량 계획에 반영해야 할 숫자다.

Google은 이 모델에 대해 자체 벤치마크 표를 공개하지 않았다 — 릴리스 노트는 모델과 API를 발표하고, 문서는 요청 형태와 한도를 설명한다. 위의 모든 성능 수치는 Artificial Analysis가 평가자들 자체의 하네스에서 측정한 것이며, 이에 반박할 벤더 수치는 존재하지 않는다. 이는 대부분의 출시보다 깔끔하고 분명히 말할 가치가 있다. 왜냐하면 대안, 즉 벤더 표와 외부 검증 부재가 이 범주에서 흔한 경우이기 때문이다.

가격이 사는 것과 사지 못하는 것

인덱스에서 백만 작업당 $345인 Gemini Decision 1은 리더보드 상위 절반에서 가장 비싼 모델입니다. Drex Max v1.1은 동일한 백만 작업을 $103에, Jev 1.14는 $156에, Microsoft-Decision-1은 $143에 실행합니다. 입력 요율이 이를 설명합니다. 백만 토큰당 $0.10으로 Drex Max v1.1의 $0.03보다 높으며, 의사 결정 작업은 긴 문서를 읽기만 할 뿐 비용을 상쇄할 토큰을 전혀 생성하지 않습니다. Artificial Analysis는 비용 부문에서 18개 중 15위로 평가하며 "특히 비싸다"고 지적합니다.

지연 시간은 무난한 편이다. 작업당 211밀리초로, 해당 분야 중앙값인 209밀리초보다 아주 약간 느리고, 92밀리초인 Jev 1.14보다도 느리다. 고객 메시지를 받은 뒤의 라우팅 결정에는 문제가 없다. 문서에서 사용 사례로 분명히 명시한 실시간 영상의 프레임별 루프에서는, 이것이 이 모델에 반대되는 논거가 아니라 더 작은 모델을 선택할 근거가 된다.

역량 격차는 벤치마크가 보여줄 수 있는 것이 아니라 가격 페이지에서 사용할 수 없다고 나열한 것입니다. Batch API가 없으면 백만 건의 과거 티켓을 반값으로 야간 일괄 처리할 수 없고, context caching이 없으면 동일한 40,000토큰 정책 문서가 요청마다 다시 과금됩니다. 의사 결정 파이프라인이 대량으로 큰 공유 컨텍스트를 반복해서 다시 읽는다면, 이 두 가지 누락은 대표 요금이 시사하는 것보다 더 많은 비용을 초래하며, 둘 다 Google이 공개한 로드맵에 없습니다.

이미 모델을 라우팅하고 있다면 이것이 어디에 적합한지

OrcaRouter는 gemini-decision-1을 제공하지 않습니다. 확률 전용 엔드포인트는 chat-completions 대상이 아니므로, 우리 형태의 라우터가 하나의 키 뒤에 둘 수 있는 것이 아니며, 그렇지 않다고 말하는 것은 읽기에는 좋지만 첫 요청에서 실패하는 종류의 가용성 주장이 될 뿐입니다. 우리가 제공하는 것은 TypeSafe의 typesafe/jev-1.14로, 동일한 18개 모델 보드에서 66.23을 기록한 의사결정 모델이므로, 선택하는 의사결정 모델이 그것이라면 파이프라인의 채점 절반이 작성 절반과 같은 키에 있을 수 있습니다.

글쓰기 쪽 절반이 바로 우리가 실제로 담당하는 영역입니다. 의사 결정 파이프라인은 거의 항상 두 번의 호출로 이루어집니다. 하나는 후보 답변이나 평가 기준의 초안을 작성하는 호출이고, 다른 하나는 그것을 점수화하는 호출입니다. 초안 작성 호출은 모델 선택을 두고 경쟁이 벌어지고 두 번째 벤더 계약이 부담이 되는 지점이며, 바로 그 호출이 하나의 엔드포인트에서 실행되는데, 그 엔드포인트에는 200개가 넘는 모델이 0% 마크업으로 그대로 전달되는 제공사 정가로 올라와 있으므로, 벤더 가격이 변경되면 당일 우리 쪽에도 그대로 반영됩니다. 초안 작성 호출을 우리를 통해 라우팅하고 점수화 호출을 Google 자체 엔드포인트로 지정하는 것은 아키텍처가 아니라 두 줄짜리 변경입니다.

무엇이 이 읽기를 바꿀까요?

세 가지입니다, 가능성이 높은 순서대로. AA-Paperclip의 33% 전부 아니면 전무 통과율을 끌어올리는 개정은 이 모델이 할 수 있는 그 어떤 것보다 종합 점수를 더 크게 움직일 것입니다. 왜냐하면 그 한 구성 요소가 점수의 30%를 차지하고 선두에 16점 뒤처져 있기 때문입니다. Vertex AI 등재는 조달 논의를 완전히 바꿀 것입니다 — 오늘날 이를 호출하는 유일한 방법은 Gemini API 키이며, Google Cloud 계약을 통해 구매하는 기업들은 이를 주목할 것입니다. 그리고 66을 재현하는 두 번째 독립 평가 위원회는 단일 회사의 숫자를 합의된 숫자로 바꿀 것입니다.

그중 하나가 나오기 전까지, Gemini Decision 1에 대한 정확한 설명은 좁지만 유용하다. 즉, 멀티모달 262,000토큰 1,000문항 스코어러로서, 언제 입을 다물어야 하는지 아는 것이 시험되는 기술인 두 상황에서는 리더보드에서 가장 잘 보정된 결정 모델이고, 빽빽한 문서를 읽고 한 번에 열다섯 개의 답을 맞히는 것이 과제인 상황에서는 중간권에 속하는 모델이다. 당신의 결정이 첫 번째 유형이라면 66은 이를 과소평가한 것이다. 두 번째 유형이라면 지식 벤치마크에서 아무리 선두를 달려도 통과율을 구해내지 못한다.