Decisão 1 do Gemini vs. Laya: 262.144 tokens alugados contra 512 tokens próprios

Dois modelos de decisão, dois números que descrevem a mesma escolha de design a partir de extremos opostos. Gemini Decision 1 aceita uma entrada de 262.144 tokens e até 1.000 perguntas digitadas em uma única chamada, a US$ 0,10 por milhão de tokens de entrada, na própria API do Google. Laya aceita 512 tokens de texto em seu checkpoint em inglês, roda em uma T4 que você já paga e é Apache-2.0. Isso é um fator de 512 na janela e infinito no preço, em direções opostas, e nenhum benchmark salva a comparação porque os dois modelos não foram feitos para o mesmo trabalho.

A Convai Innovations publicou o Laya em 18 de setembro de 2026 como três checkpoints em um único repositório: um modelo inglês ModernBERT-large de 421M, um modelo multilíngue mmBERT-base de 322M e uma variante de decisões tipadas. O Google lançou o Gemini Decision 1 em 11 de novembro de 2026 e não publicou pesos, contagem de parâmetros nem modelo base. O único número com o qual ambos podem ser comparados é um placar que inclui apenas um deles — o Gemini Decision 1 está em 66 no Artificial Analysis Decision Index v2.1, nono lugar entre dezoito, e o Laya não está nesse placar.

O que uma janela de 512 tokens descarta antes do café da manhã

Comece pela restrição, porque ela elimina categorias inteiras de produtos mais rápido do que qualquer número de precisão.

• Entrada compartilhada — O Gemini Decision 1 lê até 262.144 tokens, abrangendo a entrada e todas as perguntas. O checkpoint em inglês do Laya lê 512 tokens, ponto final. O checkpoint multilíngue usa 1.024 por padrão e pode ser elevado a 8.192 com max_len=8192, ponto em que o próprio card da Convai relata 16 a 18 de 20 solicitações de documentos longos corretas com até aproximadamente 4.000 tokens de contexto e "além disso, os resultados variam".

• Modalidade — O Gemini Decision 1 aceita texto, imagem, vídeo, áudio e PDF na mesma solicitação. O Laya aceita texto. Um formulário de sinistro digitalizado, uma gravação de chamada ou uma foto de produto não é uma entrada até que algo a montante o tenha convertido em palavras, e essa conversão é um modelo separado, com um custo separado e os seus próprios erros.

• Perguntas por chamada — até 1.000 para Gemini Decision 1, isoladas umas das outras, em uma única passagem. O Laya responde às perguntas que você envia com um único estado, e sua própria documentação estabelece o teto prático em cerca de cinquenta opções por pergunta de escolha antes que o orçamento de tokens por opção do modelo fique apertado.

• Preço — US$ 0,10 por milhão de tokens de entrada para o Gemini Decision 1, medido em US$ 345 por milhão de tarefas pela Artificial Analysis, sem cache de contexto e sem Batch API. O Laya é um download: cerca de 808 MB para o checkpoint em inglês, sem cobrança por chamada, e uma T4 executando em cerca de 32,8 milissegundos por decisão.

• Licença e distribuição — pesos Apache-2.0, sem dependência hospedada e um ponto de entrada pip install laya. O Gemini Decision 1 está disponível apenas na Gemini Developer API na v1beta, com um nível gratuito de 200 solicitações por minuto e uma lista documentada de capacidades suportadas e não suportadas.

O placar tem um destes dois, e isso não é um empate.

O 66 do Gemini Decision 1 é um composto de seis avaliações ponderadas, 45% das quais se baseiam em dados privados, com pontuação calculada como acurácia menos a penalidade de Brier associada à resposta. Seus pontos fortes e fracos são incomumente nítidos para um modelo de lançamento: primeiro entre dezoito no AA-Omniscience-Decision, com 66,3, e primeiro no HLE-MultiChoice, com 48,7, mas nono no AA-Paperclip, com 56,8, e uma taxa de aprovação de documentos tudo ou nada de 33%, e décimo quarto no When2Call, com 80,5. Nono no geral, primeiro onde conhecimento e abstenção são testados, no meio da tabela onde extração e escolha de ferramentas são.

A Laya não tem um número comparável, e o projeto explica por quê no próprio card. Os checkpoints base obtêm 0.362 em zero-shot no benchmark de decisões tipadas — abaixo da linha de base de classe majoritária de 0.461 e próximo do aleatório. O valor de destaque de 0.766 exige fine-tuning na própria divisão de treinamento desse benchmark. A frase de resumo da Convai é a que deve ser levada para qualquer avaliação: a Laya é uma base rápida para especializar, não um motor de decisão zero-shot.

Isso não é uma fraqueza a ser pontuada contra o modelo de um laboratório de ponta; é uma descrição de produto diferente. O Gemini Decision 1 é vendido como algo que já é bom em decisões. O Laya é vendido como algo que se torna bom nas suas decisões depois que você o treina, momento em que seus números publicados — 0,766 contra 0,727 de um irmão em decisões tipadas, 0,950 contra 0,910 no AG News — são competitivos nas tarefas para as quais foi ajustado.

Os dois pipelines que as pessoas realmente constroem

Como as capacidades quase não se sobrepõem, a formulação honesta não é “qual deles”, mas “qual destes dois trabalhos você tem”.

A tarefa para a qual o Gemini Decision 1 se adequa. Uma entrada longa chega — um contrato de 60 páginas, uma hora de áudio de chamada, uma pasta de faturas digitalizadas — e muitos julgamentos precisam ser atribuídos a ela. Quarenta regras de política sobre um único ticket em uma única leitura cobrada; uma rubrica pontuada em cem respostas candidatas; uma decisão de roteamento que depende de evidências espalhadas por um documento que ninguém quer dividir em blocos. A própria documentação do Google cita exatamente estas: roteamento de solicitações, verificações de políticas em muitas regras de uma só vez, pontuação de candidatos segundo uma rubrica, seleção de ferramentas, classificação de baixa latência em mídia ao vivo. O limite de 1.000 perguntas e a entrada multimodal são o motivo pelo qual o produto existe, e são as duas coisas que a Laya não consegue fazer a preço algum.

O trabalho para o qual o Laya se encaixa. Um estado curto e uma decisão, em um volume em que o custo por chamada é a restrição e o conjunto de rótulos é seu. Triagem de tickets para sua própria taxonomia, classificação de intenção, um portão sim/não antes de um modelo caro ser executado. Um encoder de 421M em uma T4 a 32,8 milissegundos é praticamente gratuito por chamada e, como o espaço de respostas é montado por requisição em vez de embutido em uma cabeça de vocabulário, um schema que você inventar esta tarde não precisa de retreinamento para ser aceito — embora precise de dados de treinamento para ser preciso.

A combinação não é exótica: Laya como o primeiro estágio rápido que processa os 80% do tráfego para o qual foi treinado, e um grande scorer hospedado para os itens que precisam de evidências de uma entrada longa ou não textual. Esse padrão custa menos do que enviar tudo para o Google e falha de forma mais elegante do que executar um encoder de 421M em um contrato.

Onde a comparação de custos realmente chega

Em baixo volume, a economia da Laya é imbatível e irrelevante. Uma T4 custa algumas centenas de dólares por mês, quer você a use ou não; um milhão de tarefas do Gemini Decision 1 a US$ 345 é uma rubrica que alguém tem de aprovar. Abaixo de algumas centenas de milhares de decisões por mês, o endpoint hospedado geralmente vence só pelas horas de engenharia — não há execução de treinamento, conjunto de rótulos nem stack de serving.

Em alto volume, a aritmética se inverte, com uma ressalva que importa mais do que o ponto de virada: o custo marginal da Laya é quase zero somente se o modelo já tiver bom desempenho na sua tarefa. Se não tiver, os rótulos são a conta real. A ficha da Convai deixa explícito que é o ajuste fino que produz os números publicados, então a comparação honesta é US$ 345 por milhão de tarefas hospedadas contra uma GPU mais o custo de rotular exemplos suficientes para alcançar uma calibração em que você confie. Nenhum desses é uma tarifa por token, e uma comparação que finge o contrário está comparando um preço de aluguel a um projeto de construção.

Depois há o perfil de latência, que é onde os dois produtos deixam de ser substitutos por completo. O Gemini Decision 1 mede 211 milissegundos por tarefa no índice — adequado para um salto de roteamento atrás de uma mensagem de cliente, no limite para um loop quadro a quadro. Os 32,8 milissegundos do Laya em uma T4 são o número que torna possíveis decisões por quadro e por tecla, e é a única vantagem que nenhuma quantidade de infraestrutura do Google elimina, porque vem do fato de ter 421M parâmetros em vez de ser um modelo multimodal em escala de fronteira.

Roteando a parte que não é nenhuma das duas

A OrcaRouter não oferece nenhum dos dois modelos. O Laya é um conjunto de pesos Apache-2.0 que você mesmo executa, e o Gemini Decision 1 é um endpoint apenas de probabilidades na própria API do Google — um modelo de decisão não é um destino de chat-completions, e não listamos o que não podemos servir. O modelo de decisão no catálogo é o typesafe/jev-1.14 da TypeSafe, com 66,23 no mesmo índice, caso uma chamada de pontuação em uma única chave seja importante para você.

A chamada que de fato deve ficar atrás de um roteador é aquela da qual ambos esses modelos dependem e que nenhum dos dois executa: a etapa de conversão. A janela de 512 tokens da Laya significa que um modelo upstream precisa transformar o documento, a gravação ou a captura de tela em um estado curto antes que a Laya possa avaliá-lo, e o custo por tarefa do Gemini Decision 1 é dominado pela quantidade de contexto que você entrega a ele. Escolher e trocar esse modelo upstream é a decisão recorrente neste pipeline, e é para isso que fomos construídos: mais de 200 modelos atrás de uma única chave compatível com OpenAI, preço de tabela do provedor repassado com 0,0% de margem para que um corte de preço do fornecedor entre em vigor no mesmo dia, e failover automático quando um provedor se degrada. Escreva uma vez para o roteador, e tanto o codificador que você possui quanto o avaliador que você aluga permanecem substituíveis.

O que fazer esta semana

Se sua entrada tiver mais de uma página, contiver algo que não seja texto ou precisar que mais do que algumas perguntas sejam respondidas sobre ela, a Laya não é uma candidata e a decisão fica entre o Gemini Decision 1 e seus pares hospedados no que diz respeito a preço e taxa de aprovação. A documentação do Google lista em um parágrafo o que o modelo suporta; leia-a antes de projetar algo com base nela, porque a lista de recursos não suportados — sem cache, sem processamento em lote, sem Flex ou Priority, sem mídia dentro das instruções da pergunta — é maior que a dos suportados.

Se a sua entrada é uma frase ou um blob JSON curto e o seu conjunto de rótulos é o seu próprio, o modelo hospedado é a forma cara de fazer isso. Baixe o Laya, rotule 500 exemplos, faça o fine-tuning e verifique a calibração antes de confiar nos níveis de confiança — esse é o fluxo de trabalho para o qual os autores o projetaram, e o cartão do modelo deles é excepcionalmente claro sobre a diferença entre o checkpoint base e o ajustado.

O que você não deve fazer é comparar o 66 com um número do card da Laya. Eles foram produzidos em instrumentos diferentes: um deles é uma pontuação zero-shot abaixo da linha de base majoritária, e o outro é um composto ponderado de seis avaliações com dados privados. A única comparação que vale a pena fazer é com os seus próprios itens rotulados, e apenas um desses dois modelos pode ser executado dessa forma.