Gemini Decision 1 vs Kev: 한 번의 호출로 천 개의 질문, 아니면 재훈련할 수 있는 레시피

Jared Palmer의 Kev 제품군은 Modal에서 H100 시간으로 학습하는 데 약 $95가 들었고, 평가 데이터를 위한 API 호출 비용으로 대략 3센트가 더 들었으며, 전체 레시피는 저장소에 들어 있습니다. Gemini Decision 1의 비용은 프런티어 연구소가 설명하지 않을 모델에 지출하는 만큼이며, 그 돈을 내고 얻는 것은 요청 스키마입니다: 하나의 엔드포인트, 단일 262,144토큰 입력에 대해 최대 1,000개의 타입 지정 질문, 보정된 확률 반환, 출력 토큰 0개, 입력 토큰 100만 개당 $0.10입니다. Kev를 그 옆에 두면, 비교는 사실 두 모델 사이의 비교가 아닙니다. 그것은 배치 스코어링 기기와 분해해 볼 수 있는 작은 기계 장치 사이의 비교입니다.

어느 프로젝트도 상대를 평가할 기준이 되는 수치를 공개하지 않았다. 이것이 가장 먼저 솔직하게 말할 수 있는 사실이다. Google은 Gemini Decision 1과 함께 벤치마크 표를 내놓지 않았으며, 이 글의 모든 성능 수치는 Artificial Analysis에서 나온 것으로, 해당 기관은 이 모델을 Decision Index v2.1에서 66으로 평가한다. Kev는 그 보드에 전혀 등장하지 않는다. 대신 Kev가 공개하는 것은 하네스, 잠긴 테스트 세트, 그리고 자체 오류율이며, 그것들은 무엇에서도 빼낼 수 없다.

Gemini Decision 1이 하지만 Kev는 할 수 없는 것

역량 격차부터 시작하세요. 점수가 아니라 아키텍처를 결정하는 것은 바로 이 격차이기 때문입니다. Gemini Decision 1은 단일 순전파에서 하나의 공유 입력에 대해 최대 1,000개의 독립적인 질문을 평가합니다. 질문들은 서로를 볼 수 없고, 하나를 추가하거나 제거해도 다른 질문은 바뀌지 않으며, 공유 입력에는 한 번만 비용이 청구됩니다.

그 마지막 조항이 곧 제품입니다. 지원 티켓을 마흔 개의 정책 규칙에 비추어 검사하는 일은 하나의 요청, 티켓을 한 번 읽는 것, 마흔 개의 보정된 답으로 끝납니다. 질문별 모델에서는 — Kev가 바로 그런 모델인데, 헤드가 각 옵션을 한 행에서 질문과 대조해 점수를 매긴다는 점에서 그렇습니다 — 동일한 마흔 번의 검사가 상태를 마흔 번 순회하는 일이 되며, 이를 배치로 처리하든 아니든 마찬가지입니다. Kev 자체의 서빙 수치를 보면 비용이 구체적으로 드러납니다. H100에서 짧은 상태에 대해 여섯 개 질문을 처리하는 데 18.1밀리초, 캐시된 경우 12.9밀리초, 상주 메모리 14.3GB입니다. 천 개가 아닌 여섯 개 질문입니다.

입력 표면도 같은 방식으로 다릅니다:

• 모달리티 — Gemini Decision 1은 텍스트, 이미지, 영상, 오디오, PDF를 읽고, Kev는 텍스트를 읽습니다. 통화 녹음이나 스캔한 양식은 Kev에게는 전처리 문제이지만 Gemini Decision 1에게는 기본 입력입니다.

• 컨텍스트 — Gemini Decision 1의 입력 및 질문 전반에서 262,144 토큰; Kev는 질문당 최소 8,192개로 최대 65,536개까지 제공하지만 최대 8,192개까지만 검증하며, 카드에도 그렇게 표시되어 있습니다.

• 기권 — Gemini Decision 1은 확률을 0.01–0.99 범위로 제한하고 신뢰도 필드를 함께 반환하므로, 별도의 옵션 없이도 신뢰도가 낮은 답변을 확인할 수 있습니다. Kev는 사용자가 제공한 옵션들에 대한 소프트맥스를 반환하는데, 이는 기권이 사용자가 지정한 옵션에 사용자가 설정한 임계값을 더한 것임을 의미합니다.

• 가중치 — Gemini Decision 1에는 없음; v1beta의 Gemini Developer API에 호스팅된 엔드포인트로, 무료 티어는 분당 200회, 일일 10,000회 요청을 제공합니다. Kev의 경우 Apache-2.0이며, 동결된 Qwen3.5 베이스에 랭크-16 LoRA 어댑터와 포인터 헤드를 적용한 0.8B, 4B, 9B 크기로 제공됩니다.

Kev는 할 수 있지만 Gemini Decision 1은 할 수 없는 것

Kev를 사용하면 모델을 바꿀 수 있습니다. 프롬프트를 다르게 입력하는 방식이 아니라, 자체 라벨로 의사결정 행동을 재학습시키는 것입니다. 경비 보고서에 올릴 수 있을 만큼의 비용으로요.

이 구성은 의도적으로 검소하다. 고정된 Qwen3.5 베이스, 약 3,380만 개의 학습 가능한 파라미터를 가진 rank-16 어댑터, 그리고 각 선택지의 종료 토큰을 질문의 최종 토큰과 대조해 점수를 매기는 작은 포인터 헤드로 이루어진다. 베이스가 고정된 채 유지되므로 새로운 의사결정 도메인의 한계 비용은 파운데이션 모델 규모가 아니라 어댑터 규모다. 하나의 베이스를 메모리에 올려 두고 도메인별로 어댑터를 교체할 수 있는데, 이는 어떤 호스팅 엔드포인트도 표현하지 못하는 배포 형태다.

Kev가 자신에 대해 공개하는 내용은 반박할 수 있을 만큼 구체적이며, 이는 마땅히 더 흔해야 할 일인데도 드물다:

• Transfer-v4, 도메인 외 고정 — 정확도 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14개 홀드아웃 데이터셋, 3,089개 질문 — 정확도 0.690, ECE 0.029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. 10개 선택지가 있는 MMLU-Pro — 0.565.

• 날짜 산술 — 일 단위 정밀도에서 0.65로, 작성자가 가장 취약한 영역이라고 지목했으며, 부분적 수정책으로 전처리기 플래그를 제시했을 뿐 재측정은 주장하지 않음.

그것들은 저자가 자신의 하네스에서 직접 측정한 값이며, 카드에는 보정이 분포 내 단일 temperature라고 적혀 있으므로 도메인 밖에서는 커버리지가 떨어지고 선택지 순서가 답을 뒤집을 수 있습니다. 그것은 신뢰할 만한 자기 평가이지 감사를 거친 결과는 아닙니다. 그래도 오늘 밤 재현해 볼 수 있는 척도이며, 이 범주 대부분의 공급업체 수치에 대해서는 그렇게 말할 수 없습니다.

테이블 위의 두 숫자가 결코 만나지 않는 이유

Kev의 0.838 전이 정확도를 Gemini Decision 1의 66 옆에 놓고 승자를 발표하고 싶은 유혹이 든다. 그러나 세 가지 이유로 그 유혹을 물리쳐야 한다.

두 지표는 서로 다른 것을 측정한다. Decision Index는 답변에 붙은 확신도에 대한 Brier 페널티를 정확도에서 차감한 점수를 여섯 개 평가에 걸쳐 집계한 것으로, 그중 45%는 비공개 데이터로 구성된다. Kev의 transfer-v4 수치는 작성자가 구성한 고정 세트에서의 순수 정확도이며, Brier와 ECE는 대표 수치에 합산되지 않고 옆에 별도로 보고된다.

작업 구성은 동일하지 않습니다. 지수의 가장 큰 구성 요소인 30% 비중의 AA-Paperclip은 문서당 15개의 전부 아니면 전무 방식 답변으로, Kev의 documents-v1 테스트가 근사하지만 재현하지는 못하는 형태입니다.

그리고 분모가 다릅니다. 지수 점수는 답변 유보가 보상되는 가중 복합 점수이고, 정확도 수치는 최고 확률 옵션이 정답이었던 질문의 비율입니다. 한 모델이 한쪽에서는 다른 모델을 이기고 다른 쪽에서는 질 수 있으며, 어느 쪽도 틀린 것은 아닙니다.

그래서 방어 가능한 주장은 좁다: Gemini Decision 1은 호스팅된 의사결정 모델 중 66점으로 중위권, 18개 중 9위이며, 지식 구성 요소에서는 1위이고, 전부 아니면 전무 방식의 문서 통과율은 33%다. Kev는 4B급 어댑터로, 저자는 도메인 내 캘리브레이션이 강하고 날짜 산술이 약하다고 보고한다. 어느 쪽이 더 낫다고 말하는 사람은 외삽하고 있는 것이다.

각각 실제로 운영하는 데 드는 비용

Gemini Decision 1의 경제성은 계산하기 쉽지만 대량 운영에서는 좋아하기 어렵습니다. 입력 토큰 100만 개당 $0.10인데, Artificial Analysis는 100만 작업당 $345로 측정합니다. 이는 보드 상위 절반에서 가장 비싼 모델이며, 컨텍스트 캐싱도, Batch API도, Flex 또는 Priority 추론도 없습니다. 반복되는 공유 입력은 매 요청마다 전액 계산됩니다. 100만 건의 티켓을 대상으로 하는 야간 스윕은 정책 문서를 100만 번 다시 읽습니다.

Kev의 경제성은 그 반대 형태입니다. GPU 비용을 한 번 지불하고 나면 호출당 비용은 거의 무료에 가깝고, 실제 비용은 라벨을 만들고 어댑터를 훈련하고 검증하는 데 쏟는 시간에 있습니다. Palmer의 약 $95라는 수치는 훈련 실행 비용을 다루는 것이지 라벨링 비용을 다루는 것이 아닙니다. 당신의 라우팅 규칙이 범용 판정 모델의 규칙과 다르다면 — 실제로 다릅니다 — 그 라벨링 비용은 어떤 호스팅된 의사결정 모델도 팔지 않는 것을 사 주는 셈입니다. 바로 당신의 정책을 근사하는 것이 아니라 그대로 담아내는 스코어러입니다.

가격보다 더 많은 프로젝트의 향방을 결정하는 세 번째 비용이 있습니다: 바로 반복 속도입니다. Gemini Decision 1의 한도는 문서화되어 있고 고정되어 있으므로, 동작 변경은 프롬프트를 다시 쓰고 평가 세트를 다시 실행하는 일입니다. Kev's의 경우는 어댑터 재학습으로, 컴퓨팅 비용은 저렴하지만 프로세스 비용은 저렴하지 않습니다. 단일 도메인과 높은 볼륨을 가진 팀에게는 재학습이 이득입니다. 열두 개 도메인을 가진 팀이고 ML 엔지니어가 없다면, 백만 작업당 $345라도 호스팅 엔드포인트가 엔지니어링 시간에서 이깁니다.

의사결정을 둘러싼 파이프라인이 실제로 당신이 쓰는 곳이라면

OrcaRouter는 두 모델을 모두 제공하지 않습니다. Kev는 직접 실행하는 Apache-2.0 가중치이며, Gemini Decision 1은 Google 자체 API의 확률 전용 엔드포인트입니다 — 둘 다 chat-completions 대상이 아니며, 우리는 그렇게 가장하지 않습니다. 우리 카탈로그의 의사결정 모델은 TypeSafe의 typesafe/jev-1.14로, 동일 보드에서 66.23이며, 다른 모든 것과 동일한 키로 점수 호출을 원하는 팀을 위한 것입니다.

우리가 겨냥하는 파이프라인의 절반은 의사 결정보다 앞선 단계입니다. 후보 답변 생성, 루브릭 작성, 채점 전 티켓 요약이 여기에 해당합니다. 그 호출은 모델을 가장 자주 바꾸는 지점이고, 두 번째 공급업체 계약이 가장 큰 비용을 초래하는 지점이며, 200개가 넘는 모델을 갖춘 단일 엔드포인트에서 실행되는 단계이기도 하며, 공급자 정가를 0% 마크업으로 그대로 전달, 그리고 공급자 성능 저하 시 자동 장애 조치. Kev를 호스팅 채점기와 비교하고 있다면, 초안 작성 절반은 저희를 통해 실행하고 채점 결정은 되돌릴 수 있게 유지하세요 — 그래야 오늘 $95 어댑터에 대해 내리는 선택이 나중에 마이그레이션이 되지 않습니다.

두 결정 사이의 결정

결정이 하나의 입력과 다수의 규칙으로 이루어질 때, 입력이 오디오나 비디오 또는 PDF일 때, 단일 청구 패스에서 수천 건의 검사가 비용 모델을 바꿀 때, 그리고 직접 적합시키지 않은 캘리브레이션을 신뢰해도 괜찮을 때 Gemini Decision 1을 선택하세요. 배치 할인 없이 프런티어 랩 입력 가격으로 블랙박스를 사는 것임을 인정하세요.

결정이 하나의 입력과 몇 가지 정형화된 질문으로 이루어질 때, 텍스트가 8,192토큰 안에서 검증할 수 있을 만큼 짧을 때, 정책이 충분히 구체적이어서 범용 판정자가 이를 형편없이 근사할 때, 그리고 엔드포인트를 소유하는 것보다 아티팩트를 소유하는 것이 더 중요할 때 Kev를 선택하세요. 이제 카드가 경고하는 보정, 날짜 연산, 옵션 순서 민감도에 대한 책임이 자신에게 있음을 받아들이세요.

이 비교에서 해서는 안 되는 한 가지는 리그 순위표를 만드는 것입니다. 공통 평가 도구도, 공유된 작업 세트도 없으며, 제3자가 두 수치 중 어느 하나를 재현한 사례도 없습니다. 이번 주에 할 수 있는 일은 직접 라벨링한 항목 200개를 두 대상 모두에 투입해 통과율과 신뢰도 곡선을 비교하는 것입니다 — 다음 순위표 개정보다 더 많은 것을 알려 줄 아침 한 나절의 작업입니다.