Jev vs Laya: 33 Milissegundos em uma T4, e um Baseline Aleatório

O cartão de modelo da Laya contém a frase que decide esta comparação, e foi escrita pelas pessoas que fizeram a Laya. "A Laya é uma base rápida para especializar, não um motor de decisão zero-shot." A Convai Innovations lançou a Laya em 18 de setembro de 2026, três dias depois de a TypeSafe AI lançar o Jev 1.13 (typesafe/jev-1.13), sob Apache 2.0, com pesos no Hugging Face e um ponto de entrada pip install laya. Ela responde a perguntas tipadas em uma única passagem direta, sem decodificação token a token, que é a mesma aposta arquitetural que o Jev faz. A alegação principal é uma latência p50 de 32,8 milissegundos por decisão em uma Tesla T4, apresentada como cerca de 7,8 vezes mais rápida que a p50 publicada do Jev, de 236–276 ms, por meio de sua API hospedada. A alegação é real e também está medindo duas coisas diferentes — uma GPU local contra uma chamada de rede — e o panorama de precisão por baixo dela é a parte que deve determinar se você deve baixá-lo. Em zero-shot, a Laya obtém 0,362 no benchmark de decisões tipadas da TypeSafe. O palpite aleatório obtém 0,318. A linha de base da classe majoritária obtém 0,461. A Laya, pronta para uso, está mais próxima do aleatório do que da linha de base trivial. O que há de novo não é nenhum dos modelos, mas onde um deles pode ser chamado: em 24 de setembro de 2026, a OrcaRouter adicionou typesafe/jev-1.13 ao seu catálogo — o modelo em si é da TypeSafe, de 15 de setembro — que é a única coisa nesta comparação que mudou recentemente.

O que Laya realmente é

O Laya é distribuído como dois checkpoints por trás de um roteador integrado que encaminha cada entrada para o checkpoint correto. O checkpoint de inglês é o ModernBERT-large, com 421 M de parâmetros e um contexto de 512 tokens. A variante multilíngue é o mmBERT-base, com 322 M de parâmetros e uma janela de 1.024 tokens em mais de 100 idiomas. Ambos são não autorregressivos: uma única passagem forward retorna a resposta, de modo que não há loop de decodificação, nem JSON para analisar, nem espaço no qual emitir texto fora do tipo declarado. Essa última propriedade é a mesma garantia estrutural que o Jev oferece, alcançada a partir de uma direção diferente, e é genuinamente valiosa para qualquer pessoa que já tenha escrito lógica de retentativa em torno de um modelo que ocasionalmente se esquece de fechar uma chave.

Jev é a contraparte fechada, e a distinção que importa entre os dois é quem executa o modelo, não qual deles obtém pontuação maior. O primeiro modelo System One da TypeSafe AI, lançado em 15 de setembro de 2026, é hospedado — não há pesos para baixar — e é roteável por meio de nós como typesafe/jev-1.13 via POST /v1/systemone, sem streaming, com um contexto de 65.536 tokens. Laya é o outro arranjo: pesos abertos Apache 2.0 que você mesmo executa, no hardware que você já possui, sem nenhum endpoint no caminho. Jev aceita três primitivas tipadas — Choice a partir de uma lista que você fornece, Score em uma rubrica ordenada, e Noul, uma afirmação de sim/não com uma probabilidade calibrada. Todas as perguntas são avaliadas em paralelo contra uma leitura compartilhada do estado. O preço é US$ 0,042 por milhão de tokens de entrada, com a saída cobrada a zero, porque não há tokens de saída para medir. Sua arquitetura, contagem de parâmetros e computação de treinamento não são divulgadas, e a TypeSafe disse que os detalhes estão sendo mantidos a sete chaves, com um artigo possivelmente mais tarde.

A alegação de latência, medida corretamente

O p50 de 32,8 ms da Laya em uma T4 é um número real e um bom número. A comparação de 7,8x com os 236–276 ms da Jev é onde é preciso ter cuidado, e o próprio card da Laya é incomumente honesto sobre o porquê: os números da Jev são valores publicados por terceiros que a Convai nunca mediu por conta própria, e a comparação coloca uma passagem forward local em GPU contra uma chamada de API hospedada que inclui ida e volta pela rede e enfileiramento. Tire a rede da equação e a comparação arquitetural fica entre dois modelos de passagem única, um com 421 milhões de parâmetros e outro com um tamanho não divulgado que a TypeSafe nunca publicou.

Há também um número de processamento em lote que vale a pena conhecer: com um lote de dez, a Laya reporta 7,2 ms por pergunta. Essa é a forma do produto. A Laya foi criada para ser executada localmente em volume, e portes comunitários no dispositivo, como laya-mlx, estendem isso ao Apple Silicon. Alegações virais de "50x mais rápido que Jev" não são sustentadas pelos próprios benchmarks publicados do projeto, e o enquadramento honesto é uma grande lacuna entre local e nuvem, em parte arquitetural e em parte apenas a diferença entre sua GPU e a API de outra pessoa.

O que os números de precisão dizem, em ordem

É aqui que a comparação deixa de ser lisonjeira, e vale a pena expô-la em sequência porque a ordem importa.

• Zero-shot no benchmark de decisões tipadas da TypeSafe — Laya 0,362, aleatório 0,318, classe majoritária 0,461, Jev 0,727. Laya está acima do acaso e abaixo da linha de base trivial.

• Com ajuste fino na própria divisão de treino do benchmark — Laya 0,766 contra 0,727 do Jev. Laya vence, e a vitória vem de um checkpoint que viu os dados de treinamento do benchmark, o que faz disso uma afirmação sobre fine-tuning, não sobre o modelo base.

• Classificação de intenção do Banking77, em que o conjunto de opções é grande — Laya 0,425 contra 0,870 do Jev. A Laya degrada-se acentuadamente além de cerca de 20 opções, e os campos Choice do Jev estão documentados para suportar até 255 antes que o padrão de pontuação em dois estágios seja necessário.

• Calibração — A Laya vem com um erro de calibração esperado médio de 0,466, melhorando para 0,081 apenas após reajuste de temperatura por tipo de pergunta. O Jev é treinado com um método que a TypeSafe chama de RLCD, Reinforcement Learning for Calibrated Decisions, e entrega cada resposta com uma distribuição de probabilidade — embora a TypeSafe também oriente os usuários a validar os limites em seus próprios dados rotulados, e uma auditoria independente tenha constatado que a calibração do Jev varia acentuadamente conforme a tarefa.

O padrão é inequívoco. Laya é uma base forte para ajuste fino e um motor de decisão zero-shot fraco, e ela mesma diz isso. Jev é um motor de decisão zero-shot forte cuja calibração ainda precisa ser verificada a cada implantação. Esses são produtos diferentes com estruturas de preço diferentes, e escolher entre eles é, em grande parte, uma questão de saber se você tem dados rotulados e um ciclo de treinamento.

A aritmética de custos não tem a mesma forma que a de Jev.

O Jev custa US$ 0,042 por milhão de tokens de entrada, com saída gratuita, o que dá US$ 42 por bilhão, e uma chamada de tamanho máximo no orçamento documentado de 64K tokens por requisição custa bem menos de um centavo. O número geralmente citado como cerca de 32.000 tokens é o teto do estado mais a pergunta mais longa individual, não o teto da requisição — a TypeSafe documenta 64K tokens por requisição, considerando o estado e todas as perguntas combinados, e nossa própria ficha de modelo de typesafe/jev-1.13 lista um contexto de 65.536 tokens. O teste independente da Every executou 777 julgamentos em 37 documentos por aproximadamente um quarto de centavo.

O custo por chamada da Laya é zero na margem e não zero no agregado, e o agregado não é pequeno. Um modelo de 421M de parâmetros numa T4 é barato de executar e ainda assim consome uma GPU, e é na etapa de ajuste fino que torna a Laya competitiva que está o gasto real — a rotulagem de dados, a execução de treinamento, o arcabouço de avaliação e o reajuste da temperatura por tipo de pergunta, que leva o erro de calibração de 0,466 para 0,081. Para uma taxonomia fixa que nunca muda, esse é um custo único que se paga em volume. Para uma taxonomia que muda, é um custo recorrente, e a linha de base zero-shot de Jev, de 0,727, torna-se um negócio muito melhor.

Existe um terceiro custo fácil de passar despercebido: o checkpoint em inglês da Laya tem uma janela de contexto de 512 tokens. Isso não é um modelo de decisão com um orçamento de contexto pequeno — é um modelo de decisão dimensionado para um parágrafo. O orçamento de requisição de 64K tokens do Jev é mais de cem vezes maior, e mesmo assim está uma ordem de magnitude abaixo dos modelos generativos com os quais ambos são comparados em preço. Se o seu estado é uma thread de suporte em vez de uma mensagem de suporte, a janela de nenhum dos modelos é a restrição contra a qual você deveria estar otimizando.

A questão da implantação é a verdadeira diferença

O argumento mais forte da Laya não é a latência. É que os pesos do Apache 2.0 no Hugging Face significam que a decisão nunca sai da sua infraestrutura e que o endpoint nunca tem limite de taxa. Para uma decisão de roteamento feita com base em um prontuário médico, um documento jurídico ou o histórico da conta de um cliente, isso não é uma preferência — é o fator decisivo, e nenhum endpoint hospedado, a qualquer preço, vence esse argumento. A própria página inicial da TypeSafe ainda descreve o Jev como estando em acesso antecipado, e a documentação do fornecedor observa que seus limites de taxa são ajustados dinamicamente e podem mudar sem aviso.

O contra-argumento é aquilo de que você abre mão. A arquitetura maior e não divulgada do Jev está fazendo o trabalho que os 421M de parâmetros da Laya não conseguem: a diferença de zero-shot de 0,727 contra 0,362 e a diferença no Banking77 de 0,870 contra 0,425 são ambas medidas de quanto conhecimento reside dentro do modelo antes de você treiná-lo. A resposta da Laya é que você mesmo fornece esse conhecimento por meio de ajuste fino, e, em um domínio fixo e restrito, essa resposta funciona — o resultado de 0,766 com ajuste fino é a prova.

Onde a camada de decisão se situa em uma pilha real

Nenhum dos dois modelos gera texto, portanto nenhum deles é o todo de qualquer fluxo de trabalho. O padrão para o qual ambos foram concebidos é o de dois modelos: uma camada de decisão que faz a chamada tipada, e um modelo generativo que cuida da parte que exige prosa, código ou uma explicação. Essa divisão costumava significar um segundo contrato com fornecedor, porque a metade de decisão não era algo que você pudesse chamar com a mesma chave da metade generativa. Agora é. O Jev é roteável por meio de nós como typesafe/jev-1.13 via POST /v1/systemone — sem streaming, um contexto de 65.536 tokens, US$ 0,042 por milhão de tokens de entrada, com a saída cobrada a zero. Nosso próprio registro de serviço de sete dias para essa rota aponta um p50 de 151 milissegundos, o que é o nosso próprio tráfego em nosso próprio hardware, e não um benchmark. É uma medição de rede, e diferente da passagem direta local de 32,8 ms mencionada acima. O Laya permanece o outro arranjo: pesos abertos que você mesmo executa, que nós não hospedamos nem precisamos hospedar. A metade generativa desse padrão é exatamente o que cobrimos: mais de 200 modelos por trás de uma única chave compatível com OpenAI a preço de tabela do fornecedor repassado com 0% de markup, de modo que uma mudança de preço do fornecedor entra em vigor do nosso lado no mesmo dia. A arquitetura de dois modelos é testável sem um segundo contrato com fornecedor — tanto para a metade de decisão quanto para a metade generativa — e, com failover automático, o caminho generativo não se torna um ponto único de falha enquanto você decide se a camada de decisão barata está calibrada o suficiente para automatizar com base nela.

O veredito

Se você tem uma taxonomia fixa e restrita, exemplos rotulados e um requisito de privacidade ou latência que inviabiliza uma API hospedada, a Laya é a escolha mais defensável, e os números do ajuste fino a sustentam. Se você precisa que a decisão funcione sem configuração, se seus conjuntos de opções ultrapassam vinte categorias ou se o estado for mais longo que um parágrafo, o próprio model card da Laya diz que ela não é o produto para essa tarefa — e a pontuação zero-shot de 0,362 contra uma linha de base majoritária de 0,461 é o número a manter em vista quando alguém lhe citar o valor de latência de 7,8x.

O que os dois têm em comum é mais útil do que o que os separa. Ambos eliminam a classe de erro que vem da formatação da saída e não fazem nada quanto à classe que vem do julgamento. Ambos entregam probabilidades, e nenhum dos dois tem um diagrama de fiabilidade publicado em que se possa confiar sem verificar. Teste a calibração com os seus próprios casos rotulados antes de automatizar com qualquer um deles — a latência já está comoditizada e o valor de confiança é a parte que tem de ser conquistada em cada implementação.