Um cartão de título para o DeepSeek V4.1 Flash 1017 mostrando o número de destaque de 46,3%, rotulado como FrontierMath Tier 4 v2 e empatado na 21.ª posição, com um rodapé a indicar que os números provêm do BenchLeader e do LLMLearner e que o fornecedor não publicou quaisquer pontuações de matemática.
Engineering & Research

DeepSeek V4.1 Flash 1017 dá um salto de 19 pontos no FrontierMath Tier 4 — e a DeepSeek nunca mencionou isso

Autor

Alistair Wren

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

O número de benchmark mais interessante associado ao DeepSeek V4.1 Flash 1017 é um que o fornecedor não publicou. Em 21 de outubro de 2026, cinco dias após o lançamento do checkpoint, o rastreador BenchLeader adicionou um resultado do FrontierMath Tier 4 para o modelo: 46,3% com esforço máximo de raciocínio. Isso está a um problema de distância de Qwen3.8-Max, que mediu 46,3% em 2 de agosto, e no mesmo nível de Claude Haiku 5.5, que mediu 46,3% em 7 de outubro. Também está cerca de dezenove pontos acima de onde todos os checkpoints anteriores da DeepSeek ficam na mesma tabela. O registro de alterações da própria DeepSeek para a atualização de 17 de outubro lista nove benchmarks. Nenhum deles é um benchmark de matemática. Ele é servido no OrcaRouter ao lado da versão de setembro em deepseek/deepseek-v4.1-flash, então você pode executar o mesmo conjunto de prompts nos dois checkpoints.

Essa diferença entre o que a DeepSeek alegou e o que uma terceira parte mediu é o ponto central aqui. O checkpoint 1017 foi anunciado como um lançamento de custo e velocidade — a frase no changelog é uma "melhoria de Pareto em desempenho-custo", com saídas mais curtas e conclusão mais rápida de tarefas. A tabela de benchmarks nesse mesmo changelog é toda de trabalho agêntico: HLE sem ferramentas, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Matemática não está na lista. Então, ou a matemática da DeepSeek melhorou como um efeito colateral não anunciado do trabalho agêntico, ou um site de acompanhamento tem uma linha que os outros não têm. Ambas as interpretações merecem ser levadas a sério, e elas levam a conselhos diferentes.

O que o Tier 4 v2 realmente exige, e por que a contagem de problemas importa mais do que a porcentagem

O FrontierMath Tier 4 v2 é o nível de pesquisa do benchmark da Epoch AI: um conjunto de expansão privado de 43 problemas de nível de pesquisa, lançado em 12 de junho de 2026, com modelos autorizados a executar Python em um sandbox sem estado contra uma lista fixa de bibliotecas. O denominador da pontuação parece ser 41 — as pontuações publicadas são divisíveis exatamente por ele, já que 19 acertos em 41 é 46,34% e 11 em 41 é 26,83%. De qualquer forma, o conjunto é pequeno o suficiente para que um problema valha aproximadamente 2,4 pontos percentuais, e esse é o detalhe que rege todo o resto nesta página. Duas pontuações que parecem muito distantes em um placar podem estar a oito questões de diferença.

Que é exatamente o que os números da DeepSeek são. Uma pontuação de 46,3% resulta em dezenove acertos em relação a esse denominador. A pontuação de 26,8% que os checkpoints anteriores carregam resulta em onze. Todo o “salto de dezenove pontos” é de oito problemas. É uma diferença real — oito problemas em quarenta e um não é ruído no sentido comum —, mas também é uma amostra pequena o suficiente para que uma única ferramenta alterada, um prompt de sistema alterado ou uma configuração de esforço diferente possa mover um modelo várias posições. Quando quatro modelos ficam empatados em 46,3%, eles não estão separados de forma significativa. Todos estão a um problema de distância uns dos outros.

A trajetória: três checkpoints planos, depois um degrau

O motivo de o 46,3 ser registrado como novidade, e não como um artefato de arredondamento, é o que veio antes dele. Nas últimas quatro entradas da DeepSeek no FrontierMath Tier 4 v2, a linha é plana e depois vertical:

• DeepSeek V4 Flash 0731 — 24,4%, o checkpoint de julho

• DeepSeek V4 Pro 0813 — 26,8%, o carro-chefe de agosto

• DeepSeek V4.1 Flash (0910) — 26,8%, a versão de setembro que substituiu os dois

• DeepSeek V4.1 Flash 1017 — 46,3%, o checkpoint de outubro, com esforço máximo

Os níveis mais fáceis também se moveram, mas modestamente: o BenchLeader registra 71,2% no FrontierMath Níveis 1–3 para a build 1017, contra 67,4% da de setembro. Esse é o formato que se esperaria de um ganho genuíno de capacidade — alguns pontos onde as perguntas são tratáveis, um avanço muito maior onde elas não são. É também o formato que se esperaria de uma mudança no harness que ajuda de forma desproporcional nos problemas mais difíceis, e é por isso que a próxima seção importa.

Em qual fórum você acredita depende de qual fórum você lê.

Verificamos cinco rastreadores. Dois deles agora registram 46,3% para a compilação 1017. Três não.

BenchLeader — 46,3% no Tier 4 e 71,2% nos Tiers 1–3, no esforço máximo, resultado adicionado em 21 de outubro de 2026

• DataLearner, agora atuando como LLMLearner — 46,34%, empatado em 21º, avaliado em uma configuração "Max (With Tools)", último resultado adicionado em 26 de outubro de 2026, e sinalizado no quadro como a melhor pontuação de pesos abertos

• benchlm.ai — 26,829%, classificado em 30º lugar, "resolução iterativa de problemas matemáticos com Python", página atualizada em 25 de outubro de 2026

• tensor.news — não há nenhuma linha 1017; a entrada DeepSeek V4.1 Flash indica 26,83%, medida em 9 de setembro de 2026

• trustthebench — 26%, em uma página datada de 26 de agosto de 2026, que antecede totalmente o checkpoint

A screenshot of the LLMLearner FrontierMath Tier 4 v2 leaderboard, published by Epoch AI, showing 70 models across 43 problems with the last result added 2026-10-26. The top ten are led by GPT-6.1 Sol at 100.0, GPT-6 Astra at 97.6 and Claude Opus 5.5 at 95.0, and the page flags DeepSeek-V4.1-Flash-1017 at 46.3 as the best open-weights score, tied at rank 21.

Os três divergentes compartilham um problema de proveniência. O valor 26,83 é, com duas casas decimais, a pontuação que a versão de setembro obteve. Um rastreador que transpõe um novo rótulo de modelo para uma medição antiga produz exatamente este padrão, e a página datada de agosto é evidência inequívoca de que pelo menos um deles está fazendo isso. Isso não torna o 46,3 autoritativo — torna o 26,8 desatualizado, e não contraditório.

O que resolveria isso seria uma segunda suíte de avaliação. Nem o 46,3 nem o 71,2 foram reproduzidos fora da camada de rastreamento, e a DeepSeek não publicou nenhuma avaliação matemática própria para este checkpoint. Trate o número como um sinal forte de terceiros, não como um fato estabelecido sobre o modelo. Se você precisa de um número defensável para um documento de aquisição, ainda não tem um.

Por que a DeepSeek lançaria um ganho em matemática e não o mencionaria

O registro de alterações explica a omissão melhor do que qualquer teoria da conspiração. A atualização 1017 é apresentada como um lançamento de codificação e agêntico, e os números do fornecedor estão inteiramente nesse registro: HLE sem ferramentas sobe de 36,8 para 42,6, Terminal-Bench 4.0 de 31,2 para 42,3, DeepSWE v1.1 de 74,2 para 77,0, ProgramBench de 20,3 para 29,1, Apex Bench de 64,6 para 72,1. Um modelo ajustado em longas trajetórias agênticas — em que a recompensa é concluir uma tarefa de várias etapas, e não emitir um token final correto — adquirirá fôlego matemático como subproduto. Matemática difícil e longas execuções de agentes recompensam o mesmo comportamento: continue verificando, não pare antes da hora.

A screenshot of DeepSeek's own 17 October 2026 release page for DeepSeek-V4.1-Flash-1017, headed 'Wish-Driven Programming Made Real'. Its benchmark table lists HLE at 42.6 and 44.0, Terminal-Bench 4.0 at 42.3, DeepSWE v1.1 at 77.0, ProgramBench at 29.1, NL2Repo-Bench at 68.2, Automation-Bench at 60.5, Agents' Last Exam at 35.4, Apex Bench v1.1 at 72.1, Chartography at 83.0, BabyVision at 92.5 and ZeroBench-main at 51.0. No mathematics benchmark appears anywhere in the table.

Testadores independentes encontraram o oposto do que essa teoria prevê, e é isso que torna a coisa toda interessante. Em uma amostra de matemática difícil, a inferência do avaliador mediu a saída de raciocínio de esforço mínimo caindo de 1.974 tokens para 790, com a saída mediana no AIME caindo de 1.681 para 1.124. Raciocínio mais curto no esforço mínimo não é o que se esperaria de um modelo que acabou de ganhar dezenove pontos em matemática de pesquisa. A reconciliação mais provável é dependente do esforço: o 46,3 foi registrado no esforço máximo, e o que mudou é quanto o modelo pensa quando você o deixa pensar, não quão eficientemente ele pensa quando você não o deixa.

Onde 46,3 realmente se situa

O melhor empatado entre os modelos chineses não é o mesmo que estar perto da fronteira, e o mesmo ranking deixa isso claro em poucas linhas. Os líderes do Tier 4 v2 são uma classe de modelo completamente diferente: GPT-6.1 Sol com 100%, GPT-6 Astra com 97,6%, Claude Opus 5.5 com 95%, Claude Fable 5 com 90,2%, GPT-6 Sol com 90%. O modelo mais próximo acima do grupo de 46,3 é o GPT-5.4 com 49%. O ranking do LLMLearner rotula 46,3 como a melhor pontuação de pesos abertos do ranking. Uma pontuação na casa dos 50 no tier mais difícil é um excelente resultado para um modelo de pesos abertos e um resultado ruim para um modelo de fronteira, e o DeepSeek V4.1 Flash 1017 está firmemente na primeira categoria.

• Pontuação do Tier 4 v2 — DeepSeek V4.1 Flash 1017 46,3% vs Qwen3.8-Max 46,3% vs Claude Haiku 5.5 46,3% (empatados, 21º)

• FrontierMath Níveis 1–3 — DeepSeek V4.1 Flash 1017 com 71,2% vs. sua própria versão de setembro com 67,4%

• Pesos — mistura de especialistas com 552 bilhões de parâmetros, licenciada sob MIT e disponível para download, com uma tabela separada de memória condicional; rastreadores estimam que a pegada total em disco fique próxima de 763 bilhões de parâmetros

• Preço — US$ 0,30 por milhão de entrada e US$ 1,20 por milhão de saída no horário de pico, US$ 0,15 e US$ 0,60 fora de pico, sem alteração desde setembro

• Contexto — 1M tokens, com entrada de imagem

• Alegações matemáticas de fornecedores — nenhuma; o FrontierMath não aparece em nenhuma das tabelas publicadas pela DeepSeek

A scoreboard for DeepSeek V4.1 Flash 1017 listing FrontierMath Tier 4 v2 at 46.3%, FrontierMath Tiers 1-3 at 71.2%, the previous DeepSeek checkpoint at 26.8%, MIT open weights, a price of $0.30 input and $1.20 output per million tokens, and no vendor-published math claim, with a footer naming BenchLeader and LLMLearner as the sources.

A leitura prática: se o seu trabalho é matemática no estilo de competição e sua alternativa era um modelo de pesos abertos, o 46,3 muda a conta, porque coloca um modelo de 552B licenciado sob MIT na mesma faixa de dois modelos proprietários que custam mais por token. Se sua alternativa era um modelo fechado de fronteira, nada aqui fecha a lacuna — a diferença de 95 para 46 no Tier 4 não é erro de arredondamento.

Testando a afirmação nos seus próprios problemas, sem apostar um caminho de produção nisso

Dado que o 46,3 se baseia em 41 problemas privados e uma camada de rastreamento, a atitude sensata é medi-lo em relação à sua própria carga de trabalho em vez de confiar em qualquer um dos dois números. O DeepSeek V4.1 Flash 1017 é disponibilizado no OrcaRouter como deepseek/deepseek-v4.1-flash-1017, ao lado da versão de setembro em deepseek/deepseek-v4.1-flash — o que significa que você pode executar o mesmo conjunto de prompts nos dois checkpoints com uma única chave de API e ver se a diferença de oito problemas aparece nas suas próprias avaliações. Não há um segundo contrato nem alteração de código; a string do modelo é a única diferença.

Duas coisas na camada de roteamento são relevantes para uma decisão tão indefinida. O preço é repassado pelo preço de tabela do provedor com 0% de markup, então a tarifa fora de pico da DeepSeek de $0.15 e $0.60 entra em vigor aqui no mesmo dia em que entra em vigor em qualquer lugar, e uma mudança de preço do fornecedor não espera que sincronizemos um catálogo. Mais útil enquanto um benchmark está em disputa: o failover automático e a DSL de roteamento permitem enviar a fatia de matemática difícil para o build 1017 com esforço máximo e recorrer a um modelo mais forte quando ele retorna uma resposta que você não consegue verificar — assim, um ganho não comprovado de dezenove pontos custa uma regra de roteamento em vez de uma migração.

O que mudaria esta história

Três coisas merecem atenção, e todas as três são verificáveis. A primeira é se benchlm.ai e tensor.news atualizam suas 1017 linhas para algo diferente de 26,8; se mais dois rastreadores convergirem para a medição de outubro, a leitura de linha desatualizada é confirmada e o número se torna comum. A segunda é se a DeepSeek adiciona uma linha de matemática à sua própria tabela de comparação em um changelog futuro — um fornecedor que acreditasse ter ganhado dezenove pontos no FrontierMath provavelmente diria isso, e o silêncio ali é uma evidência leve contra. A terceira é uma reprodução sem ferramentas. O 46,3 foi registrado com ferramentas permitidas, e uma execução sem estado diria se o ganho é raciocínio matemático ou melhor uso de um sandbox Python.

Até que um desses chegue, o resumo honesto é limitado. Um checkpoint de nove dias, uma licença MIT e um preço de entrada de US$ 0,30 chegaram à mesma faixa que o Qwen3.8-Max e o Claude Haiku 5.5 no nível público mais difícil de matemática — em dois trackers, com esforço máximo, de quarenta e um problemas, sem reivindicação do laboratório que o criou. Isso basta para justificar uma tarde com suas próprias avaliações. Não basta para justificar reescrever um slide de benchmark.

Comparados neste artigo2

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente