
DeepSeek V4.1 Flash 1017 klättrar 19 poäng på FrontierMath Tier 4 – och DeepSeek nämnde det aldrig
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 90 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 97 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaNYOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 88 tok/s
- OrcaNYOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 134 tok/s
- OrcaNYOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1M tokens · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 125 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 192 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 134 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1M tokens · 128 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligens
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligens
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1M tokens · 186 tok/s
Den mest intressanta benchmark-siffran som förknippas med DeepSeek V4.1 Flash 1017 är en som leverantören inte publicerade. Den 21 oktober 2026, fem dagar efter att checkpointen släppts, lade trackern BenchLeader till ett FrontierMath Tier 4-resultat för modellen: 46,3 % vid maximal resonemangsinsats. Det är ett enda problems marginal till Qwen3.8-Max, som uppmätte 46,3 % den 2 augusti, och i nivå med Claude Haiku 5.5, som uppmätte 46,3 % den 7 oktober. Det ligger också ungefär nitton punkter över där varje tidigare DeepSeek-checkpoint ligger på samma resultattavla. DeepSeeks egen ändringslogg för uppdateringen den 17 oktober listar nio benchmarks. Inte ett enda av dem är ett matematikbenchmark. Den serveras på OrcaRouter tillsammans med septemberversionen under deepseek/deepseek-v4.1-flash, så du kan köra samma promptuppsättning mot båda checkpoints.
Glappet mellan vad DeepSeek hävdade och vad en tredje part mätte är själva historien här. Checkpointen 1017 annonserades som en släpp för kostnad och hastighet – formuleringen i ändringsloggen är en "Paretoförbättring av prestanda och kostnad", med kortare utdata och snabbare slutförande av uppgifter. Benchmarktabellen i samma ändringslogg består helt av agentiskt arbete: HLE utan verktyg, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Matematik finns inte med på listan. Så antingen förbättrades DeepSeeks matematik som en oannonserad bieffekt av det agentiska arbetet, eller så har en bevakningssajt en rad som de andra inte har. Båda tolkningarna är värda att ta på allvar, och de leder till olika råd.
Vad Tier 4 v2 egentligen efterfrågar, och varför antalet problem spelar större roll än procentandelen
FrontierMath Tier 4 v2 är den forskningsinriktade nivån i Epoch AI:s benchmark: ett privat expansionsset med 43 problem på forskningsnivå, släppt den 12 juni 2026, där modeller tillåts köra Python i en tillståndslös sandlåda mot en fast bibliotekslista. Nämnaren för poängsättningen förefaller vara 41 – de publicerade poängen går jämnt upp med den, eftersom 19 rätt av 41 är 46,34 % och 11 av 41 är 26,83 %. Hur som helst är setet litet nog att ett problem är värt ungefär 2,4 procentenheter, och det är detaljen som styr allt annat på den här sidan. Två poäng som ser långt ifrån varandra ut på en topplista kan skilja sig med åtta frågor.
Vilket är precis vad DeepSeek-siffrorna visar. En poäng på 46,3 % blir nitton rätt mot den nämnaren. Poängen på 26,8 % som de tidigare kontrollpunkterna har blir elva. Hela "nittonpunktshoppet" är åtta problem. Det är en verklig skillnad – åtta problem av fyrtioett är inte brus i vanlig bemärkelse – men det är också ett tillräckligt litet urval för att ett enda ändrat verktyg, en ändrad systemprompt eller en annan inställning för ansträngning kan flytta en modell flera placeringar. När fyra modeller ligger lika på 46,3 % är de inte meningsfullt åtskilda. De ligger alla inom ett problem från varandra.
Banan: tre platta kontrollpunkter, sedan ett steg
Anledningen till att 46,3 registreras som en nyhet snarare än en avrundningsartefakt är det som kom före den. I DeepSeeks fyra senaste poster i FrontierMath Tier 4 v2 är linjen platt och sedan vertikal:
• DeepSeek V4 Flash 0731 — 24,4 %, julicheckpunkten
• DeepSeek V4 Pro 0813 — 26,8 %, augustiflagskeppet
• DeepSeek V4.1 Flash (0910) — 26,8 %, septemberversionen som ersatte båda
• DeepSeek V4.1 Flash 1017 — 46,3 %, oktobercheckpointen, vid maximal ansträngning
De enklare nivåerna rörde sig också, men blygsamt: BenchLeader anger 71,2 % på FrontierMath nivåerna 1–3 för 1017-bygget mot 67,4 % för septemberversionen. Det är den form man skulle förvänta sig av en genuin kapacitetsökning – några få procentenheter där frågorna är hanterbara, en mycket större förflyttning där de inte är det. Det är också den form man skulle förvänta sig av en förändring av utvärderingsramverket som hjälper oproportionerligt mycket på de svåraste problemen, vilket är anledningen till att nästa avsnitt spelar roll.
Vilket forum du tror på beror på vilket forum du läser
Vi har kontrollerat fem trackers. Två av dem visar nu 46,3 % för 1017-bygget. Tre gör det inte.
• BenchLeader — 46,3 % på nivå 4 och 71,2 % på nivåerna 1–3, vid maximal ansträngning, resultat tillagt 21 oktober 2026
• DataLearner, som nu går under namnet LLMLearner — 46,34 %, delad 21:a plats, utvärderad i en konfiguration kallad "Max (With Tools)", senaste resultatet tillagt 26 oktober 2026, och markerad på resultattavlan som den bästa poängen för öppna vikter
• benchlm.ai — 26,829 %, rankad 30:e, "Pythonbaserad iterativ matematisk problemlösning", sidan uppdaterad 25 oktober 2026
• tensor.news – ingen 1017-rad alls; posten för DeepSeek V4.1 Flash anger 26,83 %, uppmätt 9 september 2026
• trustthebench — 26 %, på en sida daterad 26 augusti 2026, vilket helt och hållet föregår kontrollpunkten

De tre avvikarna har ett gemensamt proveniensproblem. Siffran 26,83 är, med två decimaler, den poäng som septemberbygget fick. En tracker som för över en ny modellbeteckning till en gammal mätning ger exakt detta mönster, och den augustidaterade sidan är otvetydigt bevis för att minst en av dem gör det. Det gör inte 46,3 auktoritativt – det gör 26,8 inaktuellt snarare än motsägelsefullt.
Det som skulle avgöra saken är ett andra testramverk. Varken 46,3 eller 71,2 har återproducerats utanför tracking-lagret, och DeepSeek har inte publicerat någon egen matematikutvärdering för denna checkpoint. Behandla siffran som en stark tredjepartssignal, inte som ett etablerat faktum om modellen. Om du behöver en försvarbar siffra för ett upphandlingsdokument har du ingen ännu.
Varför DeepSeek skulle släppa en matematikförbättring utan att nämna det
Ändringsloggens tabell förklarar utelämnandet bättre än någon konspirationsteori skulle göra. Uppdateringen 1017 presenteras som en kodnings- och agentisk release, och leverantörens siffror ligger helt i det registret: HLE utan verktyg upp från 36,8 till 42,6, Terminal-Bench 4.0 från 31,2 till 42,3, DeepSWE v1.1 från 74,2 till 77,0, ProgramBench från 20,3 till 29,1, Apex Bench från 64,6 till 72,1. En modell som trimmats på långa agentiska trajektorier – där belöningen är att slutföra en flerstegsuppgift snarare än att avge en korrekt slutlig token – kommer att tillägna sig matematisk uthållighet som biprodukt. Svår matematik och långa agentkörningar belönar samma beteende: fortsätt kontrollera, sluta inte i förtid.

Oberoende testare fann motsatsen till vad den teorin förutspår, vilket är det som gör hela saken intressant. I ett stickprov med svår matematik mätte utvärderarens inferens att resonemangsutdata vid minimal ansträngning sjönk från 1 974 tokens till 790, medan AIME-medianutdata sjönk från 1 681 till 1 124. Kortare resonemang vid minimal ansträngning är inte vad man skulle förvänta sig av en modell som just har ökat med nitton poäng inom forskningsmatematik. Den troligaste förklaringen är ansträngningsberoende: 46,3 registrerades vid maximal ansträngning, och det som förändrades är hur mycket modellen tänker när man låter den tänka, inte hur effektivt den tänker när man inte låter den.
Var 46,3 faktiskt ligger
Delad bäst bland kinesiska modeller är inte detsamma som nära fronten, och samma resultattavla gör det tydligt inom ett par rader. Ledarna i Tier 4 v2 är en helt annan klass av modell: GPT-6.1 Sol på 100 %, GPT-6 Astra på 97,6 %, Claude Opus 5.5 på 95 %, Claude Fable 5 på 90,2 %, GPT-6 Sol på 90 %. Den närmaste modellen ovanför klustret på 46,3 är GPT-5.4 på 49 %. LLMLearners resultattavla märker 46,3 som den bästa poängen för öppna vikter på tavlan. En poäng i 50-klassen på den svåraste nivån är ett utmärkt resultat för en modell med öppna vikter och ett dåligt sådant för en frontmodell, och DeepSeek V4.1 Flash 1017 ligger definitivt i den första kategorin.
• Poäng i Tier 4 v2 — DeepSeek V4.1 Flash 1017 46,3 % mot Qwen3.8-Max 46,3 % mot Claude Haiku 5.5 46,3 % (delad 21:a plats)
• FrontierMath Tiers 1–3 — DeepSeek V4.1 Flash 1017 71,2 % mot dess egen septemberversion på 67,4 %
• Vikter — MIT-licensierade, nedladdningsbara, en mixture-of-experts med 552B parametrar och en separat villkorlig minnestabell; trackers uppskattar det fulla diskavtrycket till nära 763B parametrar
• Pris — $0.30 per miljon indata och $1.20 per miljon utdata vid högtrafik, $0.15 och $0.60 vid lågtrafik, oförändrat sedan september
• Kontext – 1 M tokens, med bildinmatning
• Leverantörens matematikpåståenden — inga; FrontierMath förekommer inte någonstans i DeepSeeks publicerade tabeller

Den praktiska tolkningen: om ditt arbete är matematik i tävlingsstil och ditt alternativ var en modell med öppna vikter förändrar 46,3 kalkylen, eftersom det placerar en 552B-modell med MIT-licens i samma band som två proprietära modeller som kostar mer per token. Om ditt alternativ var en sluten frontmodell stänger inget här gapet – spannet från 95 till 46 på Tier 4 är inte ett avrundningsfel.
Testa påståendet på dina egna problem, utan att satsa en produktionsväg på det.
Med tanke på att 46,3 vilar på 41 privata problem och ett spårningslager är det klokaste draget att mäta det mot din egen arbetsbelastning i stället för att lita på någon av siffrorna. DeepSeek V4.1 Flash 1017 tillhandahålls på OrcaRouter som deepseek/deepseek-v4.1-flash-1017, tillsammans med septemberversionen under deepseek/deepseek-v4.1-flash – vilket innebär att du kan köra samma promptuppsättning mot båda checkpointarna med en och samma API-nyckel och se om gapet på åtta problem dyker upp i dina egna utvärderingar. Det finns inget andra avtal och ingen kodändring; modellsträngen är den enda skillnaden.
Två saker i routningslagret är relevanta för ett beslut som är så osäkert. Prissättningen förs vidare till leverantörens listpris med 0 % påslag, så DeepSeeks lågpris på $0.15 och $0.60 gäller här samma dag som det gäller någon annanstans, och en prisändring från leverantören väntar inte på att vi synkar en katalog. Mer användbart medan ett benchmark är omtvistat: automatisk failover och routnings-DSL:en låter dig skicka den svåra matematikdelen till 1017-bygget med maximal ansträngning och falla tillbaka till en starkare modell när det returnerar ett svar som du inte kan verifiera — så en obevisad nittonpunktsvinst kostar dig en routningsregel i stället för en migrering.
Vad skulle förändra den här historien?
Tre saker är värda att hålla ögonen på, och alla tre går att kontrollera. Den första är huruvida benchlm.ai och tensor.news uppdaterar sina 1017 rader till något annat än 26,8; om ytterligare två trackerare konvergerar mot oktobermätningen bekräftas tolkningen om inaktuella rader och siffran blir ordinär. Den andra är huruvida DeepSeek lägger till en matematikrad i sin egen jämförelsetabell i en framtida ändringslogg – en leverantör som trodde att den hade vunnit nitton poäng på FrontierMath skulle förmodligen säga det, och tystnad där är ett svagt bevis emot. Den tredje är en reproduktion utan verktyg. 46,3 registrerades med verktyg tillåtna, och en tillståndslös körning skulle visa om ökningen beror på matematiskt resonemang eller på bättre användning av en Python-sandlåda.
Tills ett av dem landar är den ärliga sammanfattningen snäv. En nio dagar gammal checkpoint, en MIT-licens och ett indatapris på $0.30 har landat i samma spann som Qwen3.8-Max och Claude Haiku 5.5 på den svåraste offentliga matematiknivån – på två trackers, vid maximal ansträngning, av fyrtioett problem, utan att labbet som byggde den har gjort anspråk på den. Det räcker för att motivera en eftermiddag med dina egna utvärderingar. Det räcker inte för att motivera att skriva om en benchmark-slide.
Jämförda i den här artikeln2
Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen
