Una scheda titolo per DeepSeek V4.1 Flash 1017 che mostra la cifra in evidenza del 46,3%, etichettata FrontierMath Tier 4 v2 e posizione 21 ex aequo, con un piè di pagina che nota che le cifre provengono da BenchLeader e LLMLearner e che il fornitore non ha pubblicato punteggi di matematica.
Engineering & Research

DeepSeek V4.1 Flash 1017 balza di 19 punti su FrontierMath Tier 4 — e DeepSeek non ne ha mai fatto menzione

Autore

Alistair Wren

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Il numero di benchmark più interessante legato a DeepSeek V4.1 Flash 1017 è uno che il fornitore non ha pubblicato. Il 21 ottobre 2026, cinque giorni dopo il rilascio del checkpoint, il tracker BenchLeader ha aggiunto un risultato FrontierMath Tier 4 per il modello: 46,3% al massimo sforzo di ragionamento. È a un problema di distanza da Qwen3.8-Max, che ha misurato 46,3% il 2 agosto, e alla pari con Claude Haiku 5.5, che ha misurato 46,3% il 7 ottobre. È anche circa diciannove punti sopra il valore di ogni precedente checkpoint DeepSeek nella stessa classifica. Il changelog di DeepSeek per l'aggiornamento del 17 ottobre elenca nove benchmark. Nessuno di questi è un benchmark matematico. Viene servito su OrcaRouter insieme a la build di settembre con deepseek/deepseek-v4.1-flash, quindi puoi eseguire lo stesso set di prompt su entrambi i checkpoint.

Quel divario tra ciò che DeepSeek ha dichiarato e ciò che ha misurato una terza parte è la storia qui. Il checkpoint 1017 è stato annunciato come un rilascio all’insegna di costi e velocità — la frase nel changelog è un "miglioramento Pareto costo-prestazioni", con output più brevi e completamento dei task più rapido. La tabella dei benchmark in quello stesso changelog riguarda solo lavoro agentico: HLE senza strumenti, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. La matematica non è nell’elenco. Quindi, o la matematica di DeepSeek è migliorata come effetto collaterale non pubblicizzato del lavoro agentico, oppure un sito di monitoraggio ha una riga che gli altri non hanno. Entrambe le letture meritano di essere prese sul serio, e portano a consigli diversi.

Cosa chiede effettivamente Tier 4 v2, e perché il numero di problemi conta più della percentuale

FrontierMath Tier 4 v2 è il livello di ricerca del benchmark di Epoch AI: un set di espansione privato di 43 problemi a livello di ricerca, pubblicato il 12 giugno 2026, con i modelli autorizzati a eseguire Python in una sandbox senza stato rispetto a un elenco fisso di librerie. Il denominatore utilizzato per il punteggio sembra essere 41 — i punteggi pubblicati risultano divisibili esattamente per esso, dato che 19 corretti su 41 è 46,34% e 11 su 41 è 26,83%. In ogni caso, l'insieme è abbastanza piccolo che un singolo problema vale circa 2,4 punti percentuali, e questo è il dettaglio che determina tutto il resto di questa pagina. Due punteggi che su una classifica sembrano molto distanti possono essere separati da otto domande.

Ed è esattamente ciò che sono i numeri di DeepSeek. Un punteggio del 46,3% corrisponde a diciannove risposte corrette su quel denominatore. Il punteggio del 26,8% dei checkpoint precedenti corrisponde a undici. L'intero "salto di diciannove punti" è di otto problemi. È una differenza reale — otto problemi su quarantuno non sono rumore nel senso ordinario — ma è anche un campione abbastanza piccolo che basta un singolo strumento cambiato, un system prompt cambiato o un'impostazione dello sforzo diversa per spostare un modello di diverse posizioni. Quando quattro modelli sono appaiati al 46,3%, non sono separati in modo significativo. Sono tutti a distanza di un problema l'uno dall'altro.

La traiettoria: tre checkpoint piatti, poi un passo

Il motivo per cui il 46,3 viene registrato come una notizia anziché come un artefatto di arrotondamento è ciò che è venuto prima. Nelle ultime quattro voci di FrontierMath Tier 4 v2 di DeepSeek, la linea è piatta e poi verticale:

• DeepSeek V4 Flash 0731 — 24,4%, il checkpoint di luglio

• DeepSeek V4 Pro 0813 — 26,8%, l'ammiraglia di agosto

• DeepSeek V4.1 Flash (0910) — 26,8%, la versione di settembre che ha sostituito entrambe

• DeepSeek V4.1 Flash 1017 — 46,3%, il checkpoint di ottobre, al massimo sforzo

Anche i livelli più facili si sono spostati, ma in modo modesto: BenchLeader riporta il 71,2% su FrontierMath Tiers 1–3 per la build 1017 contro il 67,4% per quella di settembre. È la forma che ci si aspetterebbe da un guadagno di capacità autentico — qualche punto dove le domande sono trattabili, uno spostamento molto più ampio dove non lo sono. È anche la forma che ci si aspetterebbe da una modifica dell'harness che aiuta in modo sproporzionato sui problemi più difficili, ed è per questo che la sezione successiva è importante.

Quale forum ritieni credibile dipende da quale forum leggi.

Abbiamo controllato cinque tracker. Due di essi ora riportano il 46,3% per la build 1017. Tre no.

• BenchLeader — 46,3% sul Livello 4 e 71,2% sui Livelli 1–3, con il massimo impegno, risultato aggiunto il 21 ottobre 2026

• DataLearner, ora indicato come LLMLearner — 46,34%, al 21º posto a pari merito, valutato in una configurazione "Max (With Tools)", ultimo risultato aggiunto il 26 ottobre 2026, e segnalato nella classifica come il miglior punteggio open-weights

• benchlm.ai — 26,829%, classificato 30º, «Risoluzione iterativa di problemi matematici con Python», pagina aggiornata il 25 ottobre 2026

• tensor.news — nessuna riga 1017; la voce DeepSeek V4.1 Flash riporta 26,83%, misurato il 9 settembre 2026

• trustthebench — 26%, su una pagina datata 26 agosto 2026, che precede del tutto il checkpoint

A screenshot of the LLMLearner FrontierMath Tier 4 v2 leaderboard, published by Epoch AI, showing 70 models across 43 problems with the last result added 2026-10-26. The top ten are led by GPT-6.1 Sol at 100.0, GPT-6 Astra at 97.6 and Claude Opus 5.5 at 95.0, and the page flags DeepSeek-V4.1-Flash-1017 at 46.3 as the best open-weights score, tied at rank 21.

I tre dissenzienti condividono un problema di provenienza. Il valore 26,83 è, a due decimali, il punteggio ottenuto dalla build di settembre. Un tracker che attribuisce una nuova etichetta di modello a una vecchia misurazione produce esattamente questo schema, e la pagina datata agosto è una prova inequivocabile che almeno uno di loro lo sta facendo. Ciò non rende autorevole il 46,3 — rende il 26,8 obsoleto anziché contraddittorio.

Ciò che lo risolverebbe è un secondo harness. Né il 46,3 né il 71,2 sono stati riprodotti al di fuori del livello di tracciamento, e DeepSeek non ha pubblicato alcuna valutazione matematica propria per questo checkpoint. Considera il numero come un forte segnale di terze parti, non come un fatto accertato sul modello. Se ti serve una cifra difendibile per un documento di approvvigionamento, non ne hai ancora una.

Perché DeepSeek rilascerebbe un miglioramento matematico senza menzionarlo

La tabella del changelog spiega l'omissione meglio di qualsiasi teoria del complotto. L'aggiornamento 1017 è presentato come un rilascio dedicato al coding e all'agentica, e i numeri del fornitore rientrano interamente in quel registro: HLE senza strumenti passato da 36,8 a 42,6, Terminal-Bench 4.0 da 31,2 a 42,3, DeepSWE v1.1 da 74,2 a 77,0, ProgramBench da 20,3 a 29,1, Apex Bench da 64,6 a 72,1. Un modello messo a punto su lunghe traiettorie agentiche — dove la ricompensa consiste nel completare un compito in più passaggi anziché nell'emettere un token finale corretto — acquisirà la tenuta matematica come effetto collaterale. La matematica difficile e le lunghe esecuzioni degli agenti premiano lo stesso comportamento: continua a verificare, non fermarti presto.

A screenshot of DeepSeek's own 17 October 2026 release page for DeepSeek-V4.1-Flash-1017, headed 'Wish-Driven Programming Made Real'. Its benchmark table lists HLE at 42.6 and 44.0, Terminal-Bench 4.0 at 42.3, DeepSWE v1.1 at 77.0, ProgramBench at 29.1, NL2Repo-Bench at 68.2, Automation-Bench at 60.5, Agents' Last Exam at 35.4, Apex Bench v1.1 at 72.1, Chartography at 83.0, BabyVision at 92.5 and ZeroBench-main at 51.0. No mathematics benchmark appears anywhere in the table.

Tester indipendenti hanno trovato l'opposto di quanto prevede quella teoria, ed è proprio questo che rende tutta la faccenda interessante. Su un campione di matematica difficile, la sference del valutatore ha misurato l'output di ragionamento a sforzo minimo scendere da 1.974 token a 790, con l'output mediano su AIME in calo da 1.681 a 1.124. Un ragionamento più breve a sforzo minimo non è ciò che ci si aspetterebbe da un modello che ha appena guadagnato diciannove punti nella matematica di ricerca. La riconciliazione più probabile dipende dallo sforzo: il 46,3 è stato registrato a sforzo massimo, e ciò che è cambiato è quanto pensa il modello quando lo si lascia pensare, non quanto efficientemente pensa quando non glielo si lascia fare.

Dove si colloca effettivamente 46.3

Il miglior risultato a pari merito tra i modelli cinesi non equivale a essere vicini alla frontiera, e la stessa classifica lo rende evidente in un paio di righe. I leader di Tier 4 v2 sono una classe di modelli del tutto diversa: GPT-6.1 Sol al 100%, GPT-6 Astra al 97,6%, Claude Opus 5.5 al 95%, Claude Fable 5 al 90,2%, GPT-6 Sol al 90%. Il modello più vicino sopra il gruppo a 46,3 è GPT-5.4 al 49%. La classifica di LLMLearner etichetta 46,3 come il miglior punteggio open-weights della classifica. Un punteggio di circa cinquanta sul livello più difficile è un ottimo risultato per un modello open-weights e scarso per un modello di frontiera, e DeepSeek V4.1 Flash 1017 rientra decisamente nella prima categoria.

• Punteggio Tier 4 v2 — DeepSeek V4.1 Flash 1017 46,3% vs Qwen3.8-Max 46,3% vs Claude Haiku 5.5 46,3% (a pari merito, 21°)

• FrontierMath Livelli 1–3 — DeepSeek V4.1 Flash 1017 71,2% rispetto alla propria build di settembre al 67,4%

• Pesi — con licenza MIT, scaricabili, mixture-of-experts da 552B parametri con una tabella separata di memoria condizionale; i tracker collocano l'ingombro completo su disco vicino a 763B parametri

• Prezzo — 0,30 $ per milione di input e 1,20 $ per milione di output nelle ore di punta, 0,15 $ e 0,60 $ nelle ore non di punta, invariato rispetto a settembre

• Contesto — 1M token, con input di immagini

• Affermazioni matematiche del fornitore — nessuna; FrontierMath non compare in nessuna delle tabelle pubblicate da DeepSeek

A scoreboard for DeepSeek V4.1 Flash 1017 listing FrontierMath Tier 4 v2 at 46.3%, FrontierMath Tiers 1-3 at 71.2%, the previous DeepSeek checkpoint at 26.8%, MIT open weights, a price of $0.30 input and $1.20 output per million tokens, and no vendor-published math claim, with a footer naming BenchLeader and LLMLearner as the sources.

In termini pratici: se il tuo lavoro è matematica in stile competizione e la tua alternativa era un modello open-weights, 46.3 cambia i calcoli, perché colloca un modello da 552B con licenza MIT nella stessa fascia di due modelli proprietari che costano di più per token. Se la tua alternativa era un modello chiuso di frontiera, qui nulla colma il divario — la forbice da 95 a 46 sul Tier 4 non è un errore di arrotondamento.

Mettendo alla prova l'affermazione sui tuoi stessi problemi, senza scommetterci un percorso di produzione

Dato che il 46,3 si basa su 41 problemi privati e un unico livello di tracciamento, la mossa sensata è confrontarlo con il tuo carico di lavoro invece di fidarti dell'uno o dell'altro numero. DeepSeek V4.1 Flash 1017 è erogato su OrcaRouter come deepseek/deepseek-v4.1-flash-1017, accanto alla build di settembre sotto deepseek/deepseek-v4.1-flash — il che significa che puoi eseguire lo stesso set di prompt su entrambi i checkpoint con un'unica chiave API e verificare se il divario di otto problemi emerge nelle tue valutazioni. Non c'è un secondo contratto né alcuna modifica al codice; l'unica differenza è la stringa del modello.

Due cose del livello di routing sono rilevanti per una decisione così incerta. I prezzi vengono passati al prezzo di listino del fornitore con uno 0% di ricarico, quindi la tariffa off-peak di DeepSeek di $0.15 e $0.60 è attiva qui lo stesso giorno in cui è attiva ovunque, e una variazione di prezzo del fornitore non aspetta che sincronizziamo un catalogo. Più utile mentre un benchmark è contestato: il failover automatico e il DSL di routing ti consentono di inviare la porzione di matematica difficile alla build 1017 al massimo sforzo e di passare a un modello più forte quando restituisce una risposta che non riesci a verificare — così un guadagno di diciannove punti non dimostrato ti costa una regola di routing anziché una migrazione.

Cosa cambierebbe questa storia?

Ci sono tre cose da tenere d'occhio, e tutte e tre sono verificabili. La prima è se benchlm.ai e tensor.news aggiornano le loro 1017 righe a qualcosa di diverso da 26,8; se altri due tracker convergono sulla misurazione di ottobre, si conferma la lettura delle righe non aggiornate e il numero diventa ordinario. La seconda è se DeepSeek aggiunge una riga di matematica alla propria tabella comparativa in un futuro changelog — un fornitore che credesse di aver guadagnato diciannove punti su FrontierMath probabilmente lo direbbe, e il silenzio in merito è una lieve prova contraria. La terza è una riproduzione senza strumenti. Il 46,3 è stato registrato con gli strumenti consentiti, e un'esecuzione senza stato ti direbbe se il guadagno è ragionamento matematico o un migliore utilizzo di una sandbox Python.

Finché uno di questi non si concretizza, il riassunto onesto è limitato. Un checkpoint di nove giorni, una licenza MIT e un prezzo di input di $0,30 sono finiti nella stessa fascia di Qwen3.8-Max e Claude Haiku 5.5 sul livello più difficile di matematica pubblica — su due tracker, con il massimo impegno, su quarantuno problemi, non rivendicato dal laboratorio che l'ha creato. Questo basta a giustificare un pomeriggio di tue valutazioni. Non basta a giustificare la riscrittura di una slide di benchmark.

Confrontati in questo articolo2

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno