pplx-decider-flash vs Laya: Dois tipos de modelo de decisão, uma comparação equivocada

Os números que circulam são arrumados e inúteis. Um índice comparativo pontua Laya com 69,5 e pplx-decider-flash-v1.2 com 68, um empate técnico. Outro dá ao Flash 73,7 e o classifica em primeiro entre 48. Um terceiro dá ao Flash 451 de 504 contra os 240 do Laya multilingual. Três fontes, três vereditos, porque cada uma está medindo um modelo diferente em um conjunto de tarefas diferente — e pelo menos duas das três estão medindo uma variante do Laya sem dizer qual. Esta é a comparação que realmente importa, e a primeira frase honesta é que ninguém a executou direito ainda.

O que pode ser comparado é a forma dos dois sistemas: para que foram construídos, quanto custa operá-los e o que cada um exige de você antes de produzir uma probabilidade utilizável. Nesses eixos, eles não são rivais próximos. São produtos diferentes que, por acaso, compartilham o mesmo título de cargo.

Um parágrafo cada.

pplx-decider-flash-v1.2 é um modelo de decisão multimodal da classe 4B da Perplexity, construído sobre um backbone Qwen3.5-4B com uma cabeça de leitura separada de 255 vias. Você fornece a ele um estado — texto, JSON ou uma imagem de até 1,6 megapixel — e perguntas tipadas, e ele retorna probabilidades calibradas em uma única passagem direta. Ele foi projetado para funcionar zero-shot: a temperatura salva é 1,554, e o card informa 88,8% de acurácia com erro de calibração esperado de 0,021 em um conjunto de desenvolvimento de 1.497 perguntas. É Apache-2.0, cerca de 9 GiB em BF16, e custa US$ 0,01 por milhão de tokens de entrada na API da Perplexity, com saída gratuita.

Laya é uma família de codificadores de decisão não autorregressivos da Convai Innovations, lançada em 18 de setembro de 2026 e também sob Apache-2.0. O checkpoint em inglês é um ModernBERT-large ajustado com 421M de parâmetros e contexto de 512 tokens; o modelo multilíngue é um mmBERT-base com 322M de parâmetros e 1.024 tokens; um terceiro checkpoint, laya-typed-decisions, é o que registra as pontuações de destaque. Ele responde a todas as perguntas de uma chamada em uma única passada direta, usando tokens de máscara por opção, sem etapa de geração e sem entrada de imagem.

Por que as tabelas de comparação divergem

A divergência começa com o benchmark que cada fornecedor criou. A Perplexity pontua seus modelos no Decision Index 0.3, um composto sobre conhecimento, linguagem, recuperação, ferramentas e artes. A Convai pontua o Laya em um benchmark de decisões tipadas com 400 casos e 2.000 decisões que ela também publica. Nenhum dos modelos foi executado no harness do outro em público.

Os índices de terceiros preenchem essa lacuna de forma ruim. O índice composto da Anchor Terminal coloca a Laya em quarto com 69,5 e a Flash em sexto com 68, uma diferença de 1,5 ponto que está bem dentro do ruído de um composto que ninguém consegue auditar. O Ollaya Bench relata 73,7 no geral e primeiro lugar entre 48 para a Flash, com 82,4% de precisão macro, mas não publica nenhum harness. Uma suíte de tarefas de autoria da Jev pontua a Flash em 451/504 e a Laya multilingual em 240 — um massacre, em uma suíte escrita pelos mantenedores de um modelo concorrente. A página da PublicAI consegue registrar a Flash vencendo a Laya 322M e a Laya multilingual, enquanto também perde por 3–0 para uma "Laya" sem nome.

Essa última entrada é o problema inteiro em miniatura. "Laya" não é um modelo. Comparar o Flash com um encoder inglês de 421M, um encoder multilíngue de 322M e um especialista em benchmarks com ajuste fino produz três respostas diferentes, e apenas uma delas é o que você realmente implantaria.

O placar que podemos defender

Estas são as dimensões em que os dois sistemas realmente divergem, com os números publicados por cada lado e a fonte indicada.

• Parâmetros — pplx-decider-flash-v1.2 é da classe 4B (a documentação da API diz 4B, o cabeçalho do card diz 5B em BF16) vs Laya com 421M em inglês e 322M multilíngue.

• Contexto — 262.144 tokens no Flash, treinado para cerca de 32.000 vs. 512 tokens no Laya English e 1.024 no multilíngue.

• Modalidade — O Flash aceita texto, JSON e imagens de até 1,6 MP, enquanto o Laya aceita apenas texto.

• Uso zero-shot — O Flash é entregue calibrado, com temperatura salva e métricas de erro publicadas em comparação com os checkpoints base do Laya, que o próprio cartão descreve como "uma base rápida para especializar, não um motor de decisão zero-shot".

• Latência — Laya a 32,8 ms para uma pergunta em uma T4, 72,3 ms para dez, 103–332 perguntas por segundo em lote, e 193–464 ms em CPU vs Flash, sem nenhum dado de nível de serviço publicado pela Perplexity; o único número que o fornecedor publica é um teste de documentação em que ~248.000 tokens de entrada levaram 16 segundos.

• Preço — Flash a US$ 0,01 por milhão de tokens de entrada, saída gratuita, na API da Perplexity, versus Laya sem preço hospedado porque é um lançamento de pesos que você mesmo executa.

Latência e hardware: onde a Laya não chega perto

A proposta central da Laya é que uma decisão não precisa de um modelo generativo, e os números de latência sustentam isso. Uma pergunta em 32,8 ms em uma T4 para o checkpoint multilíngue, 39,5 ms para inglês; dez perguntas em 72,3 ms; 103 a 332 perguntas por segundo quando processadas em lote. Na CPU, pré-carregado, ele roda em 193 a 464 ms. Um codificador de 322M é pequeno o suficiente para ficar dentro de um caminho de requisição que não pode arcar com uma GPU.

Flash é uma classe de implantação diferente. Nove gigabytes de pesos BF16 cabem em uma placa de consumidor de 16 GB, e um benchmark de terceiros relata cerca de 10,4 GB de VRAM e 90–127 ms por decisão em uma RTX 5090. Isso é respeitável para um modelo 4B e aproximadamente três vezes a latência do T4 da Laya em hardware que custa muitas vezes mais. Se sua restrição é milissegundos em hardware barato, o argumento termina antes mesmo de a precisão entrar em cena.

A questão do fine-tuning

Esta é a parte que as tabelas de comparação escondem, e é decisiva.

A precisão de destaque de 0,766 da Laya pertence ao laya-typed-decisions, um checkpoint ajustado finamente na própria divisão de treinamento do benchmark. O checkpoint base em inglês pontua 0,362 no mesmo benchmark, contra uma linha de base da classe majoritária de 0,461 e o palpite aleatório em 0,318. Em outras palavras, o modelo que você baixa sem nenhum ajuste é pior do que sempre responder com o rótulo mais comum. A Convai diz isso diretamente no card. Um estudo independente de reprodução no arXiv também relatou que uma métrica de destaque, a acurácia suave de 0,509 contra os 0,471 publicados, não foi reproduzida, e argumentou que os dados de calibração estão contaminados por construção.

A alegação do Flash tem o formato oposto: um valor de 60,05 no Decision Index relatado pelo fornecedor, com uma pergunta por requisição, de um modelo que você deve usar no estado em que é entregue. Essa alegação não é verificada — a Perplexity criou o benchmark, e sua ficha diz que o trabalho de treinamento incluiu as divisões oficiais de treinamento de várias tarefas do Decision Index, descontaminadas em relação aos conjuntos de teste. Essa é uma prática defensável declarada abertamente, mas também significa que o modelo viu dados do domínio do benchmark no qual é avaliado, e a descontaminação é uma alegação da própria Perplexity, não um fato auditado. Mas o ônus é diferente. Com o Laya, você precisa fazer ajuste fino e recalibrar antes que os números publicados signifiquem algo; a ficha recomenda ajuste de temperatura porque as probabilidades brutas são excessivamente confiantes, com o ECE caindo de 0,466 para 0,081 após o reajuste. Com o Flash, você está confiando na calibração de um fornecedor em dados que você não viu.

Nenhuma das duas é gratuita. Uma custa tempo de engenharia, a outra custa tempo de verificação.

Idioma e cardinalidade

O suporte multilíngue do Laya suporta mais de 100 idiomas em princípio e 45 de 51 na prática, pelo próprio limiar de "utilizável" do cartão, de três vezes o aleatório. Sua pontuação XNLI fora do inglês é 0,731, contra 0,521 do checkpoint apenas em inglês, e a precisão de intenção do MASSIVE em 13 outros idiomas é 0,451. São números modestos, mas existem, e o Flash não tem nenhuma avaliação multilíngue publicada. Se o seu tráfego não for em inglês, o fornecedor com a avaliação multilíngue é o ponto de partida mais seguro, mesmo quando suas pontuações são baixas.

A cardinalidade funciona ao contrário. A Laya se degrada muito em perguntas de escolha com alta cardinalidade: 0,425 nos 72 rótulos do Banking77 contra 0,870 do Jev, porque 77 opções nas configurações padrão recebem cerca de três a quatro tokens cada. O cartão recomenda aumentar o orçamento de opções ou dividir de grosso a fino. O Flash aceita até 255 opções e não tem benchmark publicado de alta cardinalidade, portanto, a leitura segura é que o Flash foi projetado para o caso que a Laya documenta como fraqueza e não mostrou seu trabalho.

Quanto custam mil decisões

A Laya não tem preço por decisão porque você a hospeda. Em uma T4 a 103–332 perguntas por segundo, um milhão de decisões fica entre 50 minutos e três horas de tempo de GPU. A preços de nuvem de commodity, isso custa de centavos a alguns dólares, além da engenharia para implantar e monitorar.

Flash na API é fácil de calcular. Um estado de 400 tokens, uma pergunta: 1.000 decisões são 400.000 tokens de entrada, que a US$ 0,01 por milhão dá $0,004. Um milhão de decisões custa cerca de US$ 4. Auto-hospedar os pesos elimina o custo por token, mas coloca você de volta em uma GPU com cerca de 9 GiB de pesos e um padrão de atenção não causal que servidores causais padrão não reproduzem.

A armadilha é o processamento em lote. O Flash cobra o estado novamente para cada pergunta, então três perguntas por estado triplicam a conta. Se o seu gate faz várias perguntas de uma vez, o modelo barato não é barato.

Esta é também a camada onde surge a questão do roteamento. Um modelo de decisão é um portão à frente da geração, e é no lado da geração que está a maior parte do gasto. O OrcaRouter coloca mais de 200 modelos atrás de uma única chave sem markup sobre os preços de tabela, de modo que um gerador mais barato ou um corte de preço de um fornecedor passa a valer no mesmo dia, e o failover automático impede que uma requisição mal roteada falhe por completo. Não hospedamos o pplx-decider-flash nem o Laya. O único modelo de decisão que servimos é o Jev da TypeSafe, como jev-1.13 e jev-1.14, o que vale a pena saber se você quiser um decisor hospedado sem precisar montar uma GPU.

Como escolher, em ordem

• Tráfego não inglês — comece com o Laya multilíngue, depois meça. É o único lado com números translinguísticos publicados.

• Menos de 100 ms em hardware comum — Laya. Em uma T4, responde em 33 ms; o Flash precisa de uma GPU moderna e, segundo relatos, leva de 90 a 127 ms nela.

• Imagens no estado — Flash, sem concorrência real. Laya não tem caminho de visão.

• Estados longos — Flash. Uma janela de 512 tokens inviabiliza a Laya para qualquer coisa que se assemelhe a um documento.

• Sem dados rotulados e sem tempo para ajuste fino — Flash, pelo menos como ponto de partida. O checkpoint base da Laya está abaixo do baseline da maioria.

• Mais de 20 opções por pergunta — Flash, ou Laya com um orçamento de opções aumentado e uma divisão do grosseiro ao fino.

O resumo honesto é que esses modelos competem pela mesma descrição de cargo e quase nunca pela mesma implantação. Laya é um codificador rápido, minúsculo e ajustável para classificação de alto volume em idiomas que você pode testar. Flash é um juiz multimodal calibrado, de propósito geral, com um contexto grande e um placar de fornecedor por trás dele. As tabelas de comparação que os colocam a 1,5 ponto de distância não são tanto erradas quanto sem sentido: elas eliminam por média exatamente as propriedades que decidem a escolha.