Clef-Flash vs Qwen3-8B: 38 milissegundos contra o 8B que todo mundo já executa

Há um trabalho específico e pouco glamouroso que muitas equipes entregam ao Qwen3-8B: leia este ticket, esta linha de log, este formulário e diga-me em qual das minhas quatro categorias ele se encaixa. É uma tarefa de classificação disfarçada de conversa, e o Qwen3-8B é bom o suficiente nisso para que ninguém tenha se dado ao trabalho de substituí-lo. Em 30 de setembro de 2026, a Cloudflare publicou os pesos do Cloudflare/clef-flash, um modelo de 9B criado para fazer esse único trabalho e nada mais, e a pergunta interessante não é se ele é mais inteligente que o Qwen3-8B. É se aquilo que você atualmente obtém de um generalista de 8B vale a pena pagar em tokens gerados.

O Clef-Flash responde a essa pergunta com estrutura, e não com um benchmark. Ele recebe um estado e um esquema de até 64 perguntas tipadas e retorna um logit para cada opção permitida em uma única passagem não autorregressiva — sem texto intermediário, sem análise sintática, sem nenhuma saída além de probabilidades. A Cloudflare mediu, para ele, uma latência mediana de requisição de 38,8 ms, contra cerca de 500 ms do Jev, o modelo de decisão da TypeSafe com o qual ele foi comparado em benchmark. O Qwen3-8B não está nessa tabela, porque o Qwen3-8B não joga esse jogo: ele escreve uma resposta, e você a lê.

O que torna esta dupla digna de uma comparação completa, em vez de uma página de linhas de especificações, é que os dois modelos não compartilham nenhum benchmark. Todos os números do Clef-Flash em circulação foram produzidos pela Cloudflare, num índice publicado por um concorrente, e ninguém fora da Cloudflare reproduziu nenhum deles. O Qwen3-8B tem três gerações de uso independente por trás de si e um histórico público com o qual se pode discordar. É essa assimetria, e não a diferença de latência, que deve decidir se você faz a troca.

Dois contratos de saída, não dois tamanhos

As contagens de parâmetros aqui são próximas o suficiente para serem uma distração — 9B para o Clef-Flash contra 8,2B para o Qwen3-8B, sendo 6,95B desse total não-embedding. A diferença que importa é o que cada modelo tem permissão para emitir.

Qwen3-8B é um modelo de linguagem causal. Dê a ele um ticket de suporte e ele produz tokens e, por padrão, primeiro gera um bloco de raciocínio, porque o modo de pensamento fica ativado a menos que você o desative. Ele pode classificar, explicar, escalar, redigir uma resposta ou avisar que sua taxonomia está sem um caso — tudo com os mesmos pesos, sem exigir esquema. A ficha dele anuncia 36 camadas, atenção de consulta agrupada com 32 cabeças de consulta para 8 cabeças KV, mais de 100 idiomas e um comprimento de contexto de 32.768 tokens nativamente, extensível para 131.072 por meio do YaRN. É o modelo que a maioria das equipes procura porque é o modelo que consegue fazer qualquer coisa.

Clef-Flash é um pós-treino, não um parceiro de conversa. A Cloudflare congelou o backbone Qwen3.5-9B — incluindo seu codificador de visão — e treinou uma cabeça de esquema conjunta por cima: 243,5 MB de pesos da cabeça contra quatro arquivos fragmentados do backbone que somam cerca de 18,8 GB. A cabeça lê os estados ocultos finais do backbone, encaminha evidências do estado para cada pergunta e pontua todas as opções de todas as perguntas em conjunto. As restrições são a funcionalidade. A Cloudflare restringe sua saída a apenas probabilidades, e é por isso que o modelo base aparece em sua linhagem, mas nunca em sua saída.

Observe de quem é a linhagem. O Clef-Flash descende do Qwen3.5-9B, a geração seguinte à linha Qwen3 à qual o Qwen3-8B pertence. Portanto, esta não é a história de fine-tune de sua própria base que um derivado de 9B costuma ter — trata-se de um ramo diferente da mesma árvore genealógica, retreinado para um contrato diferente.

O mesmo trabalho, executado de duas maneiras

Ambos os modelos conseguem encaminhar um tíquete de suporte. Eles falham de maneiras diferentes, e os modos de falha são o que custa uma migração.

Com o Qwen3-8B, o trabalho está no prompt e no parser. Você descreve suas categorias, pede uma delas de volta e, em seguida, lida com o caso em que o modelo retorna "isso parece cobrança, embora possa ser técnico" — uma resposta real para uma ambiguidade real que seu código downstream não consegue consumir. A orientação do próprio card é explícita de que o modo de pensamento deve ser desativado para trabalhos de eficiência e que a decodificação greedy degrada a saída, e que quando o pensamento está ativado você não deve carregar o bloco de raciocínio adiante no histórico de múltiplos turnos. Cada uma dessas instruções é uma decisão que um modelo de propósito geral impõe a você.

Com o Clef-Flash, o trabalho passa para o esquema. Você declara entre duas e 26 opções por pergunta em uma pergunta de escolha, ou entre dois e 26 níveis para uma pergunta de pontuação, e recebe de volta a opção escolhida, uma probabilidade para cada opção e um valor de confiança. Três detalhes nesse contrato valem mais do que o número de latência divulgado. Primeiro, confiança não é acerto — a documentação da Cloudflare diz claramente que ela mede o quão concentradas estão as probabilidades, não a chance de a resposta estar certa. Segundo, os empates são resolvidos na ordem das opções que você declarou, então, se duas opções realmente se sobrepõem, você tomou a decisão silenciosamente ao ordenar a lista. Terceiro, e este é o que mais machuca, não existe "nenhuma das anteriores", a menos que você tenha incluído uma. Um modelo de decisão pontua as opções que recebeu; um ticket sobre uma solicitação de privacidade, entregue a um esquema de cobrança, técnico e vendas, voltará como o menos ruim desses três, em vez de como uma recusa.

Esse último ponto corta nos dois sentidos, e é o cerne honesto desta comparação. O Qwen3-8B vai lhe dizer que sua taxonomia está quebrada. O Clef-Flash não vai, e, em um pipeline, isso é uma regressão de verdade — do tipo que você descobre um mês depois em uma fila com roteamento incorreto. A troca é latência real e determinismo real contra um modelo que consegue trazer à tona a pergunta que você não pensou em fazer.

O que os números dizem e o que não dizem

Os resultados publicados do Clef-Flash vêm da execução do Cloudflare da suíte Jev Decision Index 0.2.1, e a mesma execução serve de base para o post do blog do fornecedor. Vale a pena declarar com precisão os números fortes: BFCL case-exact 98,8, precisão do API-Bank 93,1, o simulador de eletrodomésticos em 97,7, macro-F1 do ContractNLI 84,3, qualidade selecionada do RouterBench 79,9. Nos quatro fluxos de trabalho empresariais ponta a ponta da própria suíte de avaliação da TypeSafe, o Clef-Flash alcança atendimento ao cliente com 77,0 contra 76,0 do Jev e 76,3 do Clef 27B maior, e perde no processamento de faturas com 57,1 contra 61,8 do Jev e 64,7 do Clef.

As células fracas são tão informativas quanto as fortes. O CLINC150 com tratamento de fora do escopo coloca o Clef-Flash em 66,8 de macro-F1, contra 97,4 do Clef de 27B e 89,3 do Jev — um abismo de trinta pontos exatamente no formato de benchmark que testa se um modelo sabe quando se abster. When2Call, 65,6 contra 81,0 do Jev. GPQA Diamond, 51,0 contra 78,3. O POP909-CL fica em 1,6, um número que o card não explica.

Agora, a parte que as tabelas não vão lhe dizer: O Qwen3-8B não tem linha em nenhuma delas.Nenhum dos modelos foi avaliado nos benchmarks do outro. Os próprios valores de MMLU (91,8) e GSM8K (67,3) do Clef-Flash foram produzidos por meio de seu harness de decisão tipada, que não é o harness no qual a Qwen reportou seus números, e comparar os dois seria um erro de categoria disfarçado de comparação. Portanto, a posição honesta é que não existe um placar compartilhado, e este artigo não vai inventar um. O que existe é uma lacuna de latência que o fornecedor mediu em sua própria infraestrutura, uma estrutura de custos estruturalmente diferente e um conjunto de células do Decision Index que ninguém fora da Cloudflare reproduziu.

O que custa uma decisão

A documentação do Workers AI da Cloudflare lista o Clef-Flash a $0.09 por milhão de tokens de entrada e não cobra nada pela saída, porque efetivamente não há saída — o exemplo prático na documentação retorna três tokens de saída para uma solicitação de três perguntas. Uma decisão de roteamento sobre um ticket de 1.500 tokens, portanto, custa cerca de $0.000135 em entrada e nada mensurável depois disso. Rode um milhão desses por dia e você estará em cerca de $135 por dia, e o número não muda quando o ticket fica mais complicado, apenas quando fica mais longo.

Um modelo autorregressivo não tem teto equivalente. Cada uma daquelas um milhão de decisões também cobra pelos tokens gerados, e se o modo de raciocínio estiver ativado — o que é o padrão para o Qwen3-8B — o modelo pode gastar centenas de tokens raciocinando sobre em qual de quatro categorias se encaixa um e-mail de redefinição de senha antes de responder. Desativar o raciocínio com enable_thinking=False ou uma tag /no_think é a linha de maior alavancagem em qualquer prompt de classificação construído sobre esse modelo, e é fácil esquecê-la. A comparação não é "modelo barato versus modelo caro"; é um preço fixo de apenas entrada contra um preço que escala com o quanto o modelo decide dizer.

Contexto, três números de três superfícies de fornecedores

O contexto utilizável do Clef-Flash depende de qual superfície da Cloudflare você consulta. A página do modelo Workers AI documenta uma janela de contexto de 65.536 tokens. O lançamento do config.json declara max_position_embeddings de 262.144 para a torre de texto. O próprio auxiliar de codificação do card usa, por padrão, max_length=16,384, com max_state_tokens disponível para limitar o estado separadamente. Uma listagem de runtime de terceiros que anuncia 256K está lendo o valor do config, não o limite de serviço — o que reconcilia essa discrepância em vez de deixá-la como um mistério, mas o número prático para quem chama o endpoint hospedado é 65.536.

Os números do Qwen3-8B são próprios e permaneceram estáveis por um ano e meio: 32.768 nativos, 131.072 com YaRN ativado, e um padrão de configuração de 40.960 que reserva 32.768 para saída e 8.192 para prompts. Então, se a janela bruta for seu fator decisivo, o pequeno modelo autorregressivo pode ser estendido para aproximadamente o dobro do que o modelo de decisão hospedado documenta — enquanto o modelo de decisão precisa de muito menos dela, porque você está enviando estado, não uma conversa.

Quem deve trocar, e quem não deve

• Swap — você tem uma taxonomia fixa, de três a 26 destinos, e uma fila de suporte, uma etapa de triagem ou um gate de agente em que 38,8 ms de mediana e 122,4 ms de p95 contra meio segundo de geração mudam o que o seu pipeline pode fazer.

• Troca — no momento, você está fazendo parsing de prosa de um 8B e lidando com a resposta uma em cada cinquenta que não se encaixou no seu formato. Uma distribuição sobre opções declaradas elimina essa classe de falha por completo.

• Não faça a troca — o conjunto de respostas não é conhecido com antecedência, ou você precisa que o modelo diga que não sabe. O Clef-Flash não tem caminho de abstenção a menos que você construa um nos critérios, e sua célula publicada mais fraca é precisamente o caso fora do escopo.

• Não substitua — a carga de trabalho é raciocínio, extração de documentos sem restrições, sumarização ou código. O Clef-Flash não consegue escrever uma frase, então tudo o que estiver a jusante e esperar uma frase continua com o Qwen3-8B.

• Ainda não faça a troca — você precisa que os números sejam verificados por alguém que não seja o fornecedor. Não existe avaliação independente do Clef-Flash, e a suíte que gerou suas pontuações é publicada pelo fornecedor do modelo que ele supera.

Onde executar cada um deles

Ambos são Apache-2.0, portanto ambos são seus para hospedar por conta própria, e as pegadas não estão nem perto uma da outra. O Qwen3-8B em bf16 ocupa cerca de 16 GB e as compilações quantizadas ficam bem menores — uma compilação Q4 tem 5,2 GB na biblioteca do Ollama, onde qwen3:8bregistra 38,7 milhões de downloads e uma janela de contexto de 40K. O Clef-Flash precisa do backbone completo de 18,8 GB mais sua head de 243,5 MB, e sua página na biblioteca do Ollama entrou no ar poucos dias após o lançamento, com uma tag quantizada de 11 GB e um número de compartilhamentos ainda na casa das centenas; a tabela do Ollama lê os 256K da configuração em vez dos 65.536 do endpoint. Essa proporção de downloads não é um veredicto sobre nenhum dos modelos — uma página está no ar há dezoito meses e a outra há cerca de um dia —, mas é um retrato justo de quanta história operacional existe por trás de cada um.

Se você quiser a versão hospedada, a Cloudflare executa o Clef-Flash no Workers AI pelo valor de US$ 0,09 por milhão mencionado acima, com os pesos também disponíveis para download no Hub. Ambos os modelos se comunicam com o /v1/systemone do Ollama para o Clef-Flash (Ollama 0.35.1 ou posterior) e com o caminho padrão de geração para o Qwen3 — portanto, uma troca é uma mudança no cliente, não na arquitetura.

Atualmente, nenhum dos dois modelos é uma das nossas rotas: o catálogo público do OrcaRouter retorna 404 tanto para o clef-flash quanto para o Qwen3-8B, e nada aqui deve ser interpretado como uma afirmação de disponibilidade da nossa parte. O que uma camada de roteamento muda é a metade de geração do pipeline. Se um modelo de decisão acabar controlando seu agente, o modelo que age com base na decisão ainda precisa estar acessível, e é aí que uma API para mais de 200 modelos por trás de uma única chave de API conquista seu lugar — o preço de tabela do provedor repassado com 0% de margem, para que um corte de preço do fornecedor chegue aqui no mesmo dia, e failover automático para que uma tarde ruim de um único provedor não derrube um caminho que você acabou de reconstruir. A linha Qwen também avançou: o Qwen3.8-27B é roteável aqui a US$ 0,40 de entrada e US$ 4,21 de saída por milhão de tokens com uma janela de 262.144 tokens, o que é um modelo diferente do Qwen3-8B e não um substituto para ele, mas é a mesma família uma geração acima.

O que mudaria essa leitura?

Três coisas, em ordem.

Uma execução independente das células fora do escopo. A diferença entre os 97,7 do Clef-Flash na simulação de aparelhos e os 66,8 no CLINC150+OOS não descreve um classificador uniformemente competente; descreve um modelo que é forte dentro das formas com que foi treinado e fraco quando a resposta correta é "nenhuma dessas". Se isso se confirmar sob a estrutura de avaliação de outra pessoa, é o fato operacional mais importante sobre o modelo, e não está na lista de destaques de ninguém.

Um valor de latência medido de fora da edge da Cloudflare. A mediana de 38,8 ms é impressionante, e foi medida pelo fornecedor, em infraestrutura controlada pelo fornecedor, para um modelo hospedado na edge. A ordenação contra Jev é provavelmente robusta; o número absoluto é o número do qual se deve desconfiar.

E um benchmark compartilhado. Até que alguém avalie o Clef-Flash e um pequeno LLM aberto na mesma tarefa de classificação com os mesmos rótulos, a escolha entre eles depende do contrato de saída, da estrutura de preços e de em qual evidência você está disposto a agir. Esses três bastam para decidir muitos pipelines hoje — mas não são uma comparação de acurácia, e este artigo não vai fingir que são.