Gemini Decision 1 vs Drex Max v1.1: Ambos leem 262 mil tokens, apenas um conta documentos

Coloque Gemini Decision 1 e Drex Max v1.1 lado a lado e as fichas de especificações quase se sobrepõem: ambos são modelos de decisão, ambos têm janela de 262.144 tokens, ambos leem imagens junto com texto, ambos retornam probabilidades em vez de prosa. A diferença aparece em um ponto. No componente de decisão documental do Artificial Analysis Decision Index v2.1 — o teste com peso de 30% que pede a um modelo para extrair cinco decisões e dez fatos de um único documento denso e acertar todos os quinze — Drex Max v1.1 passa em 63% dos documentos e Gemini Decision 1 passa em 33%. Esse único componente é a maior parte da razão pela qual um pontua 73 e o outro 66.

O restante da diferença é aritmética sobre a qual você pode agir. O Drex Max v1.1 custa US$ 0,03 por milhão de tokens de entrada, e o Gemini Decision 1 custa US$ 0,10; em um milhão de tarefas, isso é US$ 103 contra US$ 345. E o Gemini Decision 1 aceita até 1.000 perguntas por solicitação sobre entrada compartilhada, enquanto o Drex Max v1.1 espera um estado com algumas perguntas anexadas. Qual desses números decide sua escolha depende inteiramente de suas decisões chegarem um documento por vez ou quarenta regras por vez.

Duas formas diferentes da mesma ideia

Ambos os modelos se recusam a gerar texto, e ambos compartilham uma propriedade que importa para a modelagem de custos: a entrada é lida uma vez e cada pergunta é pontuada em relação a ela. Onde eles divergem é no que permitem que você coloque nessa entrada.

• Tipos de resposta — O Drex Max v1.1 oferece choice, noul e score, o formato de requisição que Jev, da TypeSafe, definiu e Nace adotou. A Decisão 1 do Gemini oferece os mesmos três, com 2 a 255 opções em uma escolha e 2 a 255 níveis de rubrica, sendo de 2 a 10 o recomendado.

• Perguntas por chamada — até 1.000 para Gemini Decision 1, cada uma avaliada independentemente em uma única passagem, com chaves fornecidas por você; algumas por estado para Drex Max v1.1, onde a unidade de trabalho é um item e suas perguntas.

• Modalidade — Gemini Decision 1 aceita texto, imagem, vídeo, áudio e PDF; Drex Max v1.1 aceita texto e até oito imagens por requisição. Nenhum dos dois aceita mídia dentro das instruções da pergunta; no Gemini Decision 1, isso é um limite documentado, e ali a mídia pertence à entrada compartilhada.

• Janela — 262,144 tokens para Gemini Decision 1 entre entrada compartilhada e todas as perguntas juntas; Drex Max v1.1 documenta 131,072 tokens por pergunta, com tokens de imagem contados dentro desse total, e um teto de requisição empacotada de 262,144.

• Cobrança — Gemini Decision 1 cobra US$ 0,10 por milhão de tokens de entrada e recobra explicitamente, na íntegra, a entrada compartilhada repetida, sem cache e sem Batch API. Drex Max v1.1 cobra US$ 0,03 por milhão de tokens de entrada, uma taxa que Nace reduziu pela metade quando a vv1.1 substituiu a v1 em seu lugar.

• Acesso — Gemini Decision 1 na Gemini Developer API na v1beta, com um nível gratuito e solicitações diárias ilimitadas a partir do Tier 2. Drex Max v1.1 hospedado pela Nace.AI em POST /v1/systemone, sem checkpoint para download.

Leia essa lista como uma frase: o Drex Max v1.1 é feito para uma tela ou uma página e alguns julgamentos sobre ela, e o Gemini Decision 1 é feito para um contexto grande e um rulebook extenso. O limite de 1.000 perguntas não é firula de ficha técnica. É a diferença entre um modelo que você chama quarenta vezes por requisição e um que você chama uma vez.

De onde realmente vem a diferença de 6,6 pontos

O Decision Index pondera seis avaliações, e ambos os modelos foram executados em todas as seis. Comparar seus componentes é mais informativo do que o composto:

• AA-Paperclip, 30% — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Quinze respostas por documento, tudo ou nada. Esta é a diferença de dezesseis pontos que decide o ranking.

• EvalSafe-O*NET-AA, 15% — 88,3 contra 87,1. Um empate na prática.

• When2Call, 10% — 95,3 contra 80,5. Drex Max v1.1 é o segundo em campo aqui; Gemini Decision 1 é o décimo quarto de dezoito.

• AA-Omniscience-Decision v1.1, 15% — 60,3 contra 66,3. O Gemini Decision 1 fica com esta, e sua precisão bruta de 44,8% é a mais alta entre todos os modelos de decisão do quadro.

• HLE-MultiChoice v1.1, 15% — 46,6 contra 48,7. Próximos, ambos perto do topo, ambos com precisão bruta de um dígito.

• AA-Symmetry v1.1, 15% — 79,8 contra 70,5. Drex Max v1.1 mantém sua resposta sob reordenação e negação em 53,3% das vezes; Gemini Decision 1, 38,3%.

O padrão é consistente. Drex Max v1.1 vence os dois componentes que testam se uma decisão é repetível e estruturalmente sólida. Gemini Decision 1 vence os dois que testam se ele sabe coisas e sabe quando não sabe. Ambos são produtos defensáveis; eles estão respondendo a perguntas diferentes sobre para que serve um modelo de decisão.

Uma ressalva sobre o número do Drex: os US$ 103 por milhão de tarefas que a Artificial Analysis reporta refletem um preço temporário de lançamento, e o conselho observa em nota que o preço padrão dobraria o custo. No preço de tabela, o Drex Max v1.1 fica perto de US$ 206 por milhão de tarefas — ainda bem abaixo dos US$ 345 do Gemini Decision 1, mas não mais um terço disso. A latência vai na direção oposta: 283 milissegundos por tarefa para o Drex Max v1.1, contra 211 para o Gemini Decision 1, ambos mais lentos que a mediana de 209 do setor.

Escolha pelo formato da sua solicitação, não pela pontuação.

Escolha o Drex Max v1.1 se sua decisão envolver um artefato com uma resposta que precise se manter. Triagem de sinistros de seguro sobre um formulário digitalizado, controle de agente baseado em captura de tela em que a mesma decisão de clique é solicitada novamente após uma nova renderização, revisão de contratos em que um sim/não invertido é um erro real. A taxa de aprovação de documentos de 63% e a taxa de aprovação de simetria de 53,3% são os números que se pagam ali, e US$ 0,03 por milhão de tokens de entrada torna o argumento de volume fácil.

Escolha o Gemini Decision 1 se a sua decisão for um livro de regras aplicado a uma única entrada, ou se a entrada não for texto e imagens. Quarenta verificações de política em um ticket de suporte em uma única chamada é uma carga de trabalho para a qual o Gemini Decision 1 foi documentado e o Drex Max v1.1 não — e, se a entrada for uma gravação de chamada ou um PDF, apenas um desses dois consegue lê-la. A documentação do Google lista quatorze capacidades não suportadas ao lado da única que ele suporta, então é fácil verificar a adequação antes de você decidir: decisões calibradas, todo o resto desativado.

Não opte por nenhum dos dois; contudo, se a decisão depender do custo em escala, o Gemini Decision 1 não tem Batch API nem cache de contexto, o que significa que uma varredura noturna de um milhão de chamados históricos é cobrada à tarifa integral, com o documento de política relido a cada vez. O preço de lançamento do Drex Max v1.1 é temporário. Nenhum dos produtos oferece atualmente a estrutura de desconto que torna um backfill barato, e isso importará mais do que seis pontos de índice para qualquer pessoa que esteja fazendo as contas de um ano de chamados.

Executando ambos sem um segundo contrato

O OrcaRouter não inclui nenhum desses dois. Ambos são endpoints apenas de probabilidades, e não alvos de chat-completions, e dizemos isso em vez de insinuar o contrário — a listagem de modelos de decisão do catálogo é o typesafe/jev-1.14 da TypeSafe, que está em 66,23 no mesmo quadro, entre os dois modelos deste artigo.

O que um teste comparativo realmente custa a você é a parte que nunca aparece em um benchmark: dois SDKs, duas histórias de gerenciamento de chaves, dois conjuntos de limites de taxa para considerar. É por isso que a metade generativa de um pipeline de decisão deve ficar atrás de um roteador, mesmo quando a metade de pontuação não pode. A chamada que redige a resposta candidata, escreve a rubrica ou produz o resumo que está sendo avaliado é exatamente a chamada em que você quer trocar de fornecedor em uma tarde — um endpoint, mais de 200 modelos, preço de tabela do provedor repassado com 0% de markup, e failover quando um provedor degrada. Aponte a chamada de pontuação diretamente para o Google ou a Nace e mantenha a chamada de escrita portátil. O modelo que você não consegue rotear é a parte barata; o modelo que consegue é o que você vai querer mudar.

Se você realmente testar ambos nos seus próprios rótulos — e deveria, porque nenhum dos fornecedores publica uma curva de calibração com os seus dados — execute-os nos mesmos 200 documentos com o mesmo conjunto de perguntas e compare a taxa de aprovação, não o índice. A diferença de 30 pontos do ranking no Paperclip é um prior forte. Não é uma medição dos seus documentos.