Gemini Decisão 1 vs Kev: Mil Perguntas em Uma Única Chamada, ou uma Receita que Você Pode Retreinar

A família Kev de Jared Palmer custou cerca de US$ 95 em tempo de H100 no Modal para treinar, além de aproximadamente três centavos de chamadas de API para dados de avaliação, e toda a receita está no repositório. Gemini Decision 1 custou o que um laboratório de fronteira gasta em um modelo que não vai descrever, e o que você recebe pelo dinheiro é um esquema de solicitação: um endpoint, até 1.000 perguntas tipadas contra uma única entrada de 262.144 tokens, probabilidades calibradas de volta, zero tokens de saída, US$ 0,10 por milhão de tokens de entrada. Coloque o Kev ao lado disso e a comparação não é realmente entre dois modelos. É entre um equipamento de pontuação em lote e um pequeno maquinário que você pode desmontar.

Nenhum dos dois projetos publicou um número contra o qual o outro pudesse ser avaliado, o que é a primeira coisa honesta a se dizer. O Google não lançou nenhuma tabela de benchmark com o Gemini Decision 1; todos os números de desempenho neste texto vêm da Artificial Analysis, que coloca o modelo em 66 no Decision Index v2.1. A Kev não aparece nesse ranking de forma alguma. O que a Kev publica, em vez disso, é um harness, um conjunto de testes bloqueado e suas próprias taxas de erro, e esses não podem ser subtraídos de nada.

A coisa que o Gemini Decision 1 faz que o Kev não consegue.

Comece pela lacuna de capacidade, porque é ela que decide arquiteturas, e não pontuações. O Gemini Decision 1 avalia até 1.000 perguntas independentes em relação a uma única entrada compartilhada em uma única passagem direta. As perguntas não podem ver umas às outras, adicionar ou remover uma não altera as demais, e a entrada compartilhada é cobrada uma única vez.

Essa última cláusula é o produto. Um ticket de suporte verificado em relação a quarenta regras de política é uma solicitação, uma leitura do ticket, quarenta respostas calibradas. Em um modelo por pergunta — que é o que o Kev é, no sentido de que o head pontua cada opção em relação à pergunta em uma única linha —, as mesmas quarenta verificações são quarenta passagens pelo estado, quer você as agrupe em lote ou não. As próprias métricas de serving do Kev tornam o custo concreto: 18,1 milissegundos para seis perguntas sobre um estado curto em uma H100, 12,9 milissegundos em cache, 14,3 GB residentes. Seis perguntas, não mil.

A superfície de entrada difere da mesma forma:

• Modalidade — Gemini Decision 1 lê texto, imagem, vídeo, áudio e PDF; Kev lê texto. Uma gravação de chamada ou um formulário digitalizado é um problema de pré-processamento para Kev e uma entrada nativa para Gemini Decision 1.

• Contexto — 262.144 tokens para o Gemini Decision 1 somando entrada e perguntas; o Kev atende até 65.536 com pelo menos 8.192 por pergunta, mas valida apenas até 8.192, e seu cartão indica isso.

• Abstenção — Gemini Decision 1 retorna probabilidades limitadas a 0,01–0,99 com um campo de confiança, então uma resposta com baixa confiança fica visível sem uma opção separada. Kev retorna um softmax sobre as opções que você fornece, o que significa que a abstenção é qualquer opção que você nomear, mais um limite que você definir.

• Pesos — nenhum para o Gemini Decision 1; um endpoint hospedado na API Gemini Developer na v1beta, com um nível gratuito de 200 solicitações por minuto e 10.000 por dia. Apache-2.0 para Kev, com um adaptador LoRA de rank 16 em uma base Qwen3.5 congelada e uma cabeça de ponteiro, nos tamanhos 0,8B, 4B e 9B.

A coisa que o Kev faz que o Gemini Decision 1 não consegue.

O Kev permite que você mude o modelo. Não alterar o prompt — treinar novamente o comportamento de decisão com seus próprios rótulos, por um valor que você pode lançar em um relatório de despesas.

A construção é deliberadamente modesta: uma base Qwen3.5 congelada, um adaptador de rank 16 com cerca de 33,8 milhões de parâmetros treináveis e uma pequena cabeça de apontamento que pontua o token de encerramento de cada opção em relação ao token final da pergunta. Como a base permanece congelada, o custo marginal de um novo domínio de decisão tem o tamanho de um adaptador, não o de um modelo de fundação. É possível manter uma base na memória e trocar adaptadores por domínio, um formato de implantação que nenhum endpoint hospedado expressa.

O que a Kev publica sobre si mesma é específico o bastante para ser contestado, o que é mais raro do que deveria ser:

• Transfer-v4, bloqueado fora do domínio — acurácia 0,838, Brier 0,224, ECE 0,017.

• Breadth-v1, 14 conjuntos de dados reservados, 3.089 perguntas — acurácia 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro com dez opções — 0,565.

• Aritmética de datas — 0,65 na precisão de dias, apontada pelo autor como a área mais fraca, com uma flag de pré-processador oferecida como correção parcial e sem alegação de nova medição.

Essas são as medições do próprio autor no harness do próprio autor, e a ficha diz que a calibração é uma única temperatura dentro da distribuição, então a cobertura se degrada fora do domínio e a ordem das opções pode inverter uma resposta. Essa é uma autoavaliação crível, não um resultado auditado. Ainda assim, é uma escala que você pode tentar reproduzir hoje à noite, o que é mais do que se pode dizer da maioria dos números de fornecedores nesta categoria.

Por que os dois números na mesa nunca se encontram

A tentação é colocar a acurácia de transferência de 0,838 do Kev ao lado dos 66 do Gemini Decision 1 e anunciar um vencedor. Resista a isso, por três razões.

Os instrumentos medem coisas diferentes. O Decision Index pontua a acurácia menos a penalidade de Brier pela confiança associada à resposta, agregada em seis avaliações, 45% das quais são construídas sobre dados privados. O número transfer-v4 de Kev é acurácia simples em um conjunto bloqueado que o autor montou, com Brier e ECE relatados ao lado dele em vez de incorporados ao resultado principal.

As combinações de tarefas não são as mesmas. O maior componente do índice, AA-Paperclip com 30%, é quinze respostas de tudo ou nada por documento — um formato do qual o teste documents-v1 do Kev se aproxima, mas não replica.

E os denominadores diferem. Uma pontuação de índice é um composto ponderado em que a abstenção é recompensada; um valor de acurácia é a proporção de perguntas em que a opção de maior probabilidade estava correta. Um modelo pode superar outro em uma e perder na outra sem que nenhuma das duas esteja errada.

Portanto, a afirmação defensável é restrita: Gemini Decision 1 está no meio da tabela entre os modelos de decisão hospedados, com 66, nono de dezoito, com um primeiro lugar nos componentes de conhecimento e uma taxa de aprovação de documentos tudo-ou-nada de 33%; Kev é um adaptador da classe 4B cujo autor relata forte calibração no domínio e aritmética de datas fraca. Qualquer pessoa que lhe diga que um é melhor está extrapolando.

Quanto custa cada um para realmente rodar

A economia do Gemini Decision 1 é fácil de calcular e difícil de aceitar em escala. A US$ 0,10 por milhão de tokens de entrada, a Artificial Analysis mede US$ 345 por milhão de tarefas — o modelo mais caro da metade superior do ranking, sem cache de contexto, sem Batch API e sem inferência Flex ou Priority. A entrada compartilhada repetida é cobrada integralmente em cada requisição. Uma varredura noturna de um milhão de tickets relê o documento de políticas um milhão de vezes.

A economia de Kev tem a forma oposta: quase grátis por chamada depois que a GPU já foi paga, com o custo real nas horas gastas criando rótulos, treinando adaptadores e validando-os. O valor de ~US$ 95 de Palmer cobre a execução do treinamento, não a rotulagem. Se suas regras de roteamento diferem das de um juiz genérico — e diferem —, esse custo de rotulagem está comprando o que nenhum modelo de decisão hospedado vende: um pontuador que codifica sua política em vez de aproximá-la.

Há um terceiro custo que decide mais projetos do que qualquer um dos preços: a velocidade de iteração. Os limites do Gemini Decision 1 são documentados e fixos, então uma mudança de comportamento é uma reescrita de prompt e uma nova execução do seu conjunto de avaliação. O de Kev é um retreinamento de adaptador, que tem baixo custo computacional e alto custo processual. Para uma equipe com um único domínio e alto volume, o retreinamento compensa. Para uma equipe com doze domínios e sem engenheiro de ML, o endpoint hospedado vence em horas de engenharia, mesmo a US$ 345 por milhão de tarefas.

Se o pipeline em torno da decisão é onde você realmente investe

O OrcaRouter não oferece nenhum dos dois modelos. O Kev são pesos Apache-2.0 que você mesmo executa, e o Gemini Decision 1 é um endpoint apenas de probabilidades na própria API do Google — nenhum dos dois é um destino de chat-completions, e não fingimos o contrário. O modelo de decisão em nosso catálogo é o typesafe/jev-1.14 da TypeSafe, com 66,23 no mesmo ranking, para equipes que querem uma chamada de pontuação na mesma chave que todo o resto.

A metade do pipeline para a qual fomos construídos é a que fica a montante da decisão: gerar a resposta candidata, escrever a rubrica, resumir o ticket antes de ele ser pontuado. Essa chamada é onde você troca de modelo com mais frequência e onde um segundo contrato com fornecedor custa mais caro, e é a que roda em um único endpoint com mais de 200 modelos nele, preço de lista do provedor repassado com markup de 0%, e failover automático quando um provedor degrada. Se você está comparando o Kev com um pontuador hospedado, execute a metade de rascunho conosco e mantenha a decisão de pontuação reversível — assim, a escolha que você fizer hoje sobre um adaptador de US$ 95 não será uma migração depois.

A decisão entre as duas decisões

Escolha a Decisão 1 do Gemini quando a decisão for uma entrada e muitas regras, quando a entrada for áudio ou vídeo ou um PDF, quando mil verificações em uma única passagem cobrada mudarem seu modelo de custo e quando você estiver satisfeito em confiar em uma calibração que você não ajustou. Aceite que você está comprando uma caixa preta com o preço de entrada de um laboratório de fronteira, sem desconto por lote.

Escolha o Kev quando a decisão for uma entrada e algumas perguntas digitadas, quando o texto for curto o suficiente para ser validado dentro de 8.192 tokens, quando sua política for específica o bastante para que um avaliador genérico a aproxime mal, e quando possuir o artefato importar mais do que possuir o endpoint. Aceite que agora você é responsável pela calibração, pela aritmética de datas e pela sensibilidade à ordem das opções sobre a qual o cartão o alerta.

A única coisa que esta comparação não deve fazer é produzir uma tabela classificativa. Não há instrumento comum, nem conjunto de tarefas compartilhado, nem reprodução de qualquer dos números por terceiros. O que você pode fazer esta semana é passar 200 itens rotulados por você mesmo pelos dois e comparar taxas de aprovação e curvas de confiança — um trabalho de uma manhã que lhe dirá mais do que a próxima revisão do ranking dirá.