Flint v1.0 vs Qwen3.8 27B: O Modelo Recursivo Contra o Qual Ele Próprio Se Avaliou

A Recursive publicou uma frase no material de lançamento do Recursive Flint v1.0 que a maior parte da cobertura ignorou: na própria média de seis testes da empresa, apenas o Qwen3.8 27B obteve pontuação superior à do Flint. É uma coisa incomum para um fornecedor imprimir no dia do lançamento. É também a frase mais útil do comunicado, porque indica qual comparação vale a pena conferir. O Qwen3.8 27B é um modelo denso de pesos abertos, lançado em 14 de agosto de 2026 sob a Apache 2.0, e é o único modelo do conjunto de comparação da Recursive que superou o Flint no agregado que o próprio fornecedor construiu. Portanto, a pergunta interessante não é se o Flint é bom. É onde, exatamente, o Qwen3.8 27B é melhor, e se a diferença resiste ao escrutínio dos harnesses de avaliação envolvidos.

Leia a declaração da classe antes de ler a pontuação

A principal alegação da Flint é cuidadosamente delimitada: ela lidera modelos mixture-of-experts com menos de 50 bilhões de parâmetros totais no SWE-bench Pro v2, no Terminal-Bench 2.1 e no SWE-bench Verified. O Qwen3.8 27B não é um modelo mixture-of-experts. Ele é denso — 27 bilhões de parâmetros, todos ativos para cada token, 28 bilhões contando o codificador de visão, 64 camadas com tamanho oculto de 5.120. Portanto, por construção, ele fica fora da classe de comparação da Flint, e a Recursive teve liberdade para deixá-lo totalmente de fora da alegação.

Vale a pena ser preciso sobre o que "denso" custa e o que oferece. Cada um dos 27 bilhões de parâmetros do Qwen participa de cada token, e é por isso que ele precisa de cerca de 55,6 GB em BF16 e de uma GPU de verdade, e por que sua pegada de ativação é aproximadamente onze vezes a do Flint. É também por isso que um modelo denso de 27B pode superar em precisão um modelo esparso com 2,5B ativos: ele faz mais aritmética por token e cobra por isso.

Terminal-Bench 2.1: a diferença de dezoito pontos

Esta é a comparação mais limpa disponível, porque ambos os laboratórios reportam a mesma versão do benchmark, e a diferença é grande o suficiente para que o ruído do harness dificilmente explique tudo isso.

• Flint — 54,9% no Terminal-Bench 2.1, executado no harness Terminus 2 com acesso à internet habilitado, mas com qualquer solução obtida por meio de busca na web sendo considerada uma falha.

• Qwen3.8 27B — 73,0% no Terminal-Bench 2.1, segundo o cartão de modelo da Alibaba.

Isso representa uma diferença de 18,1 pontos a favor do Qwen, no benchmark que mais se aproxima do trabalho agêntico em terminal — que é precisamente a tarefa para a qual ambos os modelos são vendidos. Duas ressalvas apontam em direções opostas e ambas precisam ser mencionadas.

O primeiro favorece Flint. A Recursive aplicou uma desvantagem que seus pares talvez não tenham aplicado: se o agente encontrasse a resposta na web, a Recursive a considerava errada. Um modelo autorizado a pesquisar e citar teria pontuação mais alta no mesmo harness. Quanto mais alta, não se sabe, e a Recursive não publica o valor sem essa desvantagem.

O segundo vai contra qualquer leitura clara. Uma terceira parte, a PrismML, atribuiu ao Qwen3.8 27B uma pontuação de 69,7 no Terminal-Bench 2.1, em vez dos 73,0 da Alibaba. Uma divergência de 3,3 pontos no mesmo modelo e benchmark é uma calibração útil: ela mostra que diferenças de alguns pontos nesta tabela são ruído, e que uma diferença de 18 pontos provavelmente não é.

Mesmo considerando o valor mais baixo do Qwen, 69,7 contra 54,9 deixa 14,8 pontos. A direção é inequívoca.

LiveCodeBench v6: uma segunda lacuna, em um benchmark mais limpo

A programação competitiva é o benchmark menos sensível ao harness entre os que ambos os laboratórios relatam, porque o modelo recebe um problema, produz código e um juiz o executa. Não há loop de agente para gerar divergências.

• Flint — 80,3% no LiveCodeBench v6.

• Qwen3.8 27B — 90,3% no LiveCodeBench v6.

Essa é uma diferença de 10 pontos, e é a que eu ponderaria com mais peso, precisamente porque é a mais difícil de contornar com explicações. Os 80,3 do Flint são um número respeitável para um modelo que ativa 2,5 bilhões de parâmetros. Os 90,3 do Qwen são um número forte para um modelo que ativa 27 bilhões. Nenhum dos dois é surpreendente. O ponto é que a vantagem de eficiência que a Flint está vendendo não vem de graça, e é neste benchmark que o preço fica visível.

O benchmark que parece uma vitória de Flint, mas não é

É aqui que a maioria das páginas de comparação falha, e vale a pena desacelerar por isso.

O Flint reporta 89,7% no SWE-bench Pro v2. O Qwen3.8 27B reporta 61,7% no SWE-bench Pro. Numa leitura rápida, isso parece uma vitória de 28 pontos do Flint. Não é comparação nenhuma. O "v2" é um benchmark diferente daquele que a Alibaba reporta, com um conjunto de tarefas diferente e um protocolo de avaliação diferente, e os dois números não podem ser subtraídos. Qualquer página que os coloque em colunas adjacentes e declare um vencedor está a dizer algo sobre o seu autor, não sobre os modelos.

A mesma armadilha está uma linha abaixo. Flint relata 74,2% no SWE-bench Verified. O Qwen3.8 27B não publica uma pontuação no SWE-bench Verified — o card da Alibaba relata SWE-bench Pro, QwenSWEBench em 79,0, DeepSWE 1.1 em 42,2, Terminal-Bench 2.1 em 73,0, LiveCodeBench v6 em 90,3 e NL2Repo-Bench em 42,3. Não há um número Verified para comparar. Números que circulam para o Qwen3.8 27B no Verified são herdados de um modelo anterior da família ou retirados de uma fonte secundária que conflita com o card do modelo em vários outros benchmarks ao mesmo tempo. Trate-os como não verificados.

Uma ressalva adicional quanto à Alibaba: suas execuções do SWE-bench Pro e do QwenSWEBench usaram um harness de agente externo em vez de um modelo puro, portanto, até mesmo comparações com o número do SWE-bench Pro de outro laboratório são frágeis. Isso não é exclusivo da Alibaba. É o estado dos benchmarks de codificação agêntica em geral, e é por isso que as linhas do Terminal-Bench e do LiveCodeBench têm mais peso aqui do que as linhas do SWE-bench.

Onde o Flint vence, e não é por pouco

A precisão não é o único eixo, e nos outros a ordem se inverte drasticamente.

• Memória — O Flint roda em cerca de 24 GB, com uma versão NVFP4 de 22,86 GB em disco. O Qwen3.8 27B precisa de cerca de 55,6 GB em BF16. Um cabe em um laptop de alto padrão ou em uma única placa de consumidor; o outro exige uma alocação real de GPU.

• Computação ativa por token — o Flint ativa cerca de 2,5 bilhões de parâmetros. O Qwen ativa todos os 27 bilhões. Essa proporção é a razão pela qual a diferença de velocidade existe e pela qual o Flint é mais barato de servir em volume.

• Velocidade — A Recursive afirma mais de 125 tokens por segundo em um MacBook Pro M4 Pro e mais de 150 em uma RTX Spark de 64 GB com contexto curto. Um modelo denso de 27B no mesmo laptop não está nessa faixa. O Qwen3.8 27B também é relatado como lento localmente e excepcionalmente faminto por tokens — a Artificial Analysis mediu cerca de 160 milhões de tokens de saída em seus testes de índice, o que é um multiplicador de custo em qualquer loop de agente.

• Contexto — ambos processam 262.144 tokens nativamente, e o Qwen chega a 1.000.000 com escalonamento YaRN. O anúncio do Flint cita até 512K. No papel, há um empate na janela nativa; na prática, a vazão do Flint em contexto longo é o ponto mais fraco, com testes independentes relatando uma queda para cerca de 9 tokens por segundo perto de 115.000 tokens.

• Multimodalidade — o Qwen3.8 27B aceita imagens e vídeo, além de texto, com um layout de atenção híbrida de 48 camadas de atenção linear Gated DeltaNet para 16 camadas de atenção completa em uma proporção de 3:1, o que torna uma janela de 262K viável de servir. O Flint é apenas texto.

O que você está realmente escolhendo

• Se o objetivo for a máxima precisão de codificação e você tiver o hardware, o Qwen3.8 27B é o modelo mais forte em todos os benchmarks em que os dois podem ser comparados de forma limpa. É também o que diz a média de seis testes da própria Recursive.

• Se o modelo precisar rodar em um laptop, permanecer offline, manter o código-fonte na máquina ou atender volume suficiente para que os parâmetros ativos dominem o custo, o Flint vence no eixo que decide a implantação. Um modelo com 2,5B de parâmetros ativos a 125 tokens por segundo é um produto diferente de um modelo denso de 27B que exige um nó de GPU.

• Se você quiser ambos, eles se combinam bem: o modelo local para o trabalho rotineiro e sensível, o modelo hospedado para as tarefas difíceis. Essa divisão é a que a maioria das equipes adota, e é aí que a camada de roteamento deixa de ser um detalhe.

O Qwen3.8 27B é o único modelo nesta comparação que a OrcaRouter serve diretamente — o identificador é qwen/qwen3.8-27b na nossa lista de modelos ativa, e aceita texto, imagens e vídeo com a janela completa de 262.144 posições. Como o preço de tabela do fornecedor é repassado sem qualquer margem acrescentada, uma alteração de preço do lado da Alibaba fica ativa do nosso lado no mesmo dia, e não na renovação seguinte. A OrcaRouter não serve o Flint; esse é um download. Portanto, o híbrido acima é genuinamente híbrido: um caminho para um modelo alojado de classe frontier e um ficheiro local para tudo o que não pode sair da máquina.

O experimento que ninguém executou

Todos os números neste artigo vieram de um laboratório que mediu seu próprio modelo, com uma exceção — a divergência de 3,3 pontos da PrismML em relação à Alibaba no Terminal-Bench, que é a única pista disponível sobre o quanto esses números variam quando outra pessoa segura o cronômetro.

O que resolveria isso é simples e não aconteceu: ambos os modelos, um único harness, um único conjunto de tarefas, uma única máquina, traces publicados. Até então, a posição defensável é a restrita. Nos benchmarks que ambos os laboratórios relatam com honestidade, o Qwen3.8 27B é o modelo de programação mais preciso. Nos eixos de implantação que decidem se um modelo pode sequer ser executado, o Flint é o mais eficiente. A Recursive disse isso primeiro, em seu próprio post de lançamento, e essa é a coisa mais confiável em todo o lançamento.