Een titelkaart voor DeepSeek V4.1 Flash 1017 met het kopcijfer 46,3%, gelabeld als FrontierMath Tier 4 v2 en gedeelde rang 21, met een voettekst die vermeldt dat de cijfers afkomstig zijn van BenchLeader en LLMLearner en dat de leverancier geen wiskundescores heeft gepubliceerd.
Engineering & Research

DeepSeek V4.1 Flash 1017 stijgt 19 punten op FrontierMath Tier 4 — en DeepSeek heeft het nooit genoemd

Auteur

Alistair Wren

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Het meest interessante benchmarkcijfer dat aan DeepSeek V4.1 Flash 1017hangt, is er een dat de leverancier niet heeft gepubliceerd. Op 21 oktober 2026, vijf dagen nadat de checkpoint werd uitgebracht, voegde tracker BenchLeader een FrontierMath Tier 4-resultaat voor het model toe: 46,3% bij maximale redeneerinspanning. Dat is één opgave verschil met Qwen3.8-Max, dat op 2 augustus 46,3% mat, en gelijk aan Claude Haiku 5.5, dat op 7 oktober 46,3% mat. Het ligt ook ongeveer negentien punten boven waar elke eerdere DeepSeek-checkpoint op hetzelfde leaderboard staat. DeepSeeks eigen changelog voor de update van 17 oktober noemt negen benchmarks. Geen enkele daarvan is een wiskundebenchmark. Het wordt op OrcaRouter aangeboden naast de build van september onder deepseek/deepseek-v4.1-flash, dus je kunt dezelfde promptset tegen beide checkpoints draaien.

Dat gat tussen wat DeepSeek beweerde en wat een derde partij heeft gemeten, is het verhaal hier. De 1017-checkpoint werd aangekondigd als een release voor kosten en snelheid — de formulering in de changelog is een "performance-cost Pareto improvement", met kortere outputs en snellere taakvoltooiing. De benchmarktabel in diezelfde changelog bestaat volledig uit agentisch werk: HLE zonder tools, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Wiskunde staat niet op de lijst. Dus ofwel is DeepSeek's wiskunde verbeterd als een niet-aangekondigd neveneffect van het agentische werk, ofwel heeft één tracking-site een rij die de andere niet hebben. Beide interpretaties zijn het serieus nemen waard, en ze leiden tot verschillend advies.

Wat Tier 4 v2 eigenlijk vraagt, en waarom het aantal problemen belangrijker is dan het percentage

FrontierMath Tier 4 v2 is de tier op onderzoeksniveau van de benchmark van Epoch AI: een besloten uitbreidingsset van 43 problemen op onderzoeksniveau, uitgebracht op 12 juni 2026, waarbij modellen Python mogen uitvoeren in een staatloze sandbox tegen een vaste lijst met bibliotheken. De noemer waarop wordt gescoord, lijkt 41 te zijn — de gepubliceerde scores zijn er netjes door deelbaar, want 19 correct van de 41 is 46,34% en 11 van de 41 is 26,83%. Hoe dan ook, de set is klein genoeg dat één probleem ongeveer 2,4 procentpunt waard is, en dat is het detail dat al het overige op deze pagina bepaalt. Twee scores die op een leaderboard ver uit elkaar lijken te liggen, kunnen acht vragen van elkaar verwijderd zijn.

Dat is precies wat de DeepSeek-cijfers zijn. Een score van 46,3% komt neer op negentien correcte antwoorden tegenover die noemer. De score van 26,8% die de eerdere checkpoints hebben, komt neer op elf. De hele "sprong van negentien punten" is acht problemen. Het is een echt verschil — acht problemen van de eenenveertig is in de gewone zin geen ruis — maar het is ook een steekproef die klein genoeg is dat één veranderd hulpmiddel, een gewijzigde systeemprompt of een andere effort-instelling een model meerdere plaatsen kan laten opschuiven. Wanneer vier modellen samen op 46,3% staan, zijn ze niet betekenisvol van elkaar gescheiden. Ze liggen allemaal binnen één probleem van elkaar.

Het traject: drie vlakke controlepunten, dan een stap

De reden dat 46,3 als nieuws geldt en niet als een afrondingsartefact, is wat eraan voorafging. Bij de laatste vier FrontierMath Tier 4 v2-vermeldingen van DeepSeek is de lijn vlak en dan verticaal:

• DeepSeek V4 Flash 0731 — 24,4%, de juli-checkpoint

• DeepSeek V4 Pro 0813 — 26,8%, het vlaggenschip van augustus

• DeepSeek V4.1 Flash (0910) — 26,8%, de septemberrelease die beide verving

• DeepSeek V4.1 Flash 1017 — 46,3%, de checkpoint van oktober, bij maximale inspanning

De makkelijkere niveaus bewogen ook mee, maar bescheiden: BenchLeader vermeldt 71,2% op FrontierMath Tiers 1–3 voor de 1017-build tegenover 67,4% voor de septemberversie. Dat is het patroon dat je zou verwachten bij een echte capaciteitswinst — een paar punten waar de vragen beheersbaar zijn, een veel grotere verschuiving waar ze dat niet zijn. Het is ook het patroon dat je zou verwachten bij een harnesswijziging die onevenredig veel helpt bij de moeilijkste problemen, en daarom is de volgende sectie van belang.

Welk forum je gelooft, hangt ervan af welk forum je leest.

We hebben vijf trackers gecontroleerd. Twee ervan tonen nu 46,3% voor de 1017-build. Drie niet.

• BenchLeader — 46,3% op Tier 4 en 71,2% op Tiers 1–3, bij maximale inspanning, resultaat toegevoegd op 21 oktober 2026

• DataLearner, nu opererend als LLMLearner — 46,34%, gedeelde 21e plaats, geëvalueerd in een "Max (With Tools)"-configuratie, laatste resultaat toegevoegd op 26 oktober 2026, en op het bord gemarkeerd als de beste open-weights-score

• benchlm.ai — 26,829%, 30e plaats, "Iteratief wiskundig probleemoplossen met Python", pagina bijgewerkt op 25 oktober 2026

• tensor.news — helemaal geen 1017-rij; de vermelding voor DeepSeek V4.1 Flash geeft 26,83% aan, gemeten op 9 september 2026

• trustthebench — 26%, op een pagina gedateerd 26 augustus 2026, die het checkpoint volledig voorafgaat

A screenshot of the LLMLearner FrontierMath Tier 4 v2 leaderboard, published by Epoch AI, showing 70 models across 43 problems with the last result added 2026-10-26. The top ten are led by GPT-6.1 Sol at 100.0, GPT-6 Astra at 97.6 and Claude Opus 5.5 at 95.0, and the page flags DeepSeek-V4.1-Flash-1017 at 46.3 as the best open-weights score, tied at rank 21.

De drie dissidenten delen een herkomstprobleem. Het cijfer 26,83 is, tot op twee decimalen, de score die de septemberbuild opleverde. Een tracker die een nieuw modellabel op een oude meting overzet, produceert precies dit patroon, en de pagina met augustusdatum is onmiskenbaar bewijs dat ten minste één van hen dat doet. Dat maakt 46,3 niet gezaghebbend — het maakt 26,8 verouderd in plaats van tegenstrijdig.

Wat het zou beslechten, is een tweede testharnas. Noch de 46,3 noch de 71,2 is buiten de trackinglaag gereproduceerd, en DeepSeek heeft voor deze checkpoint geen eigen wiskundige evaluatie gepubliceerd. Beschouw het getal als een sterk signaal van een derde partij, niet als een vaststaand feit over het model. Als je een verdedigbaar cijfer nodig hebt voor een inkoopdocument, heb je dat nog niet.

Waarom DeepSeek een wiskundige verbetering zou uitbrengen zonder die te vermelden

De tabel in de changelog verklaart de weglating beter dan welke complottheorie dan ook. De 1017-update wordt gepresenteerd als een coding- en agentic-release, en de cijfers van de leverancier vallen volledig in dat register: HLE zonder tools van 36,8 naar 42,6, Terminal-Bench 4.0 van 31,2 naar 42,3, DeepSWE v1.1 van 74,2 naar 77,0, ProgramBench van 20,3 naar 29,1, Apex Bench van 64,6 naar 72,1. Een model dat is afgestemd op lange agentische trajecten — waarbij de beloning het voltooien van een taak in meerdere stappen is in plaats van het genereren van een correct laatste token — zal wiskundig uithoudingsvermogen als bijproduct ontwikkelen. Moeilijke wiskunde en lange agent-runs belonen hetzelfde gedrag: blijf controleren, stop niet voortijdig.

A screenshot of DeepSeek's own 17 October 2026 release page for DeepSeek-V4.1-Flash-1017, headed 'Wish-Driven Programming Made Real'. Its benchmark table lists HLE at 42.6 and 44.0, Terminal-Bench 4.0 at 42.3, DeepSWE v1.1 at 77.0, ProgramBench at 29.1, NL2Repo-Bench at 68.2, Automation-Bench at 60.5, Agents' Last Exam at 35.4, Apex Bench v1.1 at 72.1, Chartography at 83.0, BabyVision at 92.5 and ZeroBench-main at 51.0. No mathematics benchmark appears anywhere in the table.

Onafhankelijke testers vonden het tegenovergestelde van wat die theorie voorspelt, en dat is juist wat het geheel interessant maakt. Op een steekproef met moeilijke wiskunde mat de evaluator-sference dat de reasoning-output bij minimale inspanning daalde van 1.974 tokens naar 790, met een mediane AIME-output die daalde van 1.681 naar 1.124. Kortere reasoning bij minimale inspanning is niet wat je zou verwachten van een model dat net negentien punten heeft gewonnen op onderzoekswiskunde. De waarschijnlijkste verzoening is inspanningsafhankelijk: de 46,3 werd geregistreerd bij maximale inspanning, en wat veranderd is, is hoeveel denkwerk het model verricht wanneer je het laat denken, niet hoe efficiënt het denkt wanneer je dat niet doet.

Waar 46.3 eigenlijk staat

Gedeeld beste zijn onder Chinese modellen is niet hetzelfde als dicht bij de frontier staan, en hetzelfde leaderboard maakt dat binnen een paar regels duidelijk. De koplopers van Tier 4 v2 vormen een heel andere klasse modellen: GPT-6.1 Sol met 100%, GPT-6 Astra met 97,6%, Claude Opus 5.5 met 95%, Claude Fable 5 met 90,2%, GPT-6 Sol met 90%. Het dichtstbijzijnde model boven de cluster rond 46,3 is GPT-5.4 met 49%. Het leaderboard van LLMLearner bestempelt 46,3 als de beste open-weights-score op het board. Een score van vijftig op de moeilijkste tier is een uitstekend resultaat voor een open-weightsmodel en een slechte voor een frontiermodel, en DeepSeek V4.1 Flash 1017 valt duidelijk in de eerste categorie.

• Tier 4 v2-score — DeepSeek V4.1 Flash 1017 46,3% vs Qwen3.8-Max 46,3% vs Claude Haiku 5.5 46,3% (gedeeld, 21e)

• FrontierMath Tiers 1–3 — DeepSeek V4.1 Flash 1017 71,2% vs. zijn eigen septemberversie op 67,4%

• Gewichten — MIT-gelicenseerd, downloadbaar mixture-of-experts-model met 552B parameters en een aparte conditionele geheugentabel; trackers schatten de volledige omvang op schijf op bijna 763B parameters

• Prijs — $0.30 per miljoen input en $1.20 per miljoen output tijdens piek, $0.15 en $0.60 buiten piek, ongewijzigd sinds september

• Context — 1M tokens, met beeldinvoer

• Wiskundeclaims van leveranciers — geen; FrontierMath komt nergens voor in de door DeepSeek gepubliceerde tabellen

A scoreboard for DeepSeek V4.1 Flash 1017 listing FrontierMath Tier 4 v2 at 46.3%, FrontierMath Tiers 1-3 at 71.2%, the previous DeepSeek checkpoint at 26.8%, MIT open weights, a price of $0.30 input and $1.20 output per million tokens, and no vendor-published math claim, with a footer naming BenchLeader and LLMLearner as the sources.

De praktische lezing: als je werk wiskunde in wedstrijdstijl is en je alternatief een open-weightsmodel was, verandert 46,3 de afweging, omdat het een 552B-model onder MIT-licentie in dezelfde band plaatst als twee propriëtaire modellen die meer per token kosten. Als je alternatief een gesloten frontiermodel was, dicht niets hier het gat — de spreiding van 95 naar 46 op Tier 4 is geen afrondingsfout.

De bewering testen op je eigen problemen, zonder er een productiepad op te wagen

Aangezien de 46,3 berust op 41 privéproblemen en één trackinglaag, is de verstandige zet om die af te meten aan je eigen werklast in plaats van een van beide cijfers te vertrouwen. DeepSeek V4.1 Flash 1017 wordt aangeboden op OrcaRouter als deepseek/deepseek-v4.1-flash-1017, naast de septemberbuild onder deepseek/deepseek-v4.1-flash — wat betekent dat je dezelfde promptset tegen beide checkpoints kunt draaien via één API-sleutel en kunt zien of de kloof van acht problemen opduikt in je eigen evals. Er is geen tweede contract en geen codewijziging; de modelstring is het enige verschil.

Twee dingen aan de routeringslaag zijn relevant voor een beslissing die zo onzeker is. Prijzen worden doorberekend tegen de lijstprijs van de provider, met 0% opslag, dus het off-peaktarief van DeepSeek van $0,15 en $0,60 is hier dezelfde dag live als waar dan ook, en een prijswijziging van een leverancier wacht niet tot wij een catalogus hebben gesynchroniseerd. Nuttiger terwijl een benchmark wordt betwist: automatische failover en de routerings-DSL laten je de hard-math-slice naar de 1017-build sturen met max effort en terugvallen op een sterker model wanneer het een antwoord retourneert dat je niet kunt verifiëren — dus een onbewezen winst van negentien punten kost je een routeringsregel in plaats van een migratie.

Wat zou dit verhaal veranderen?

Drie dingen zijn het volgen waard, en alle drie zijn controleerbaar. Het eerste is of benchlm.ai en tensor.news hun 1017 rijen bijwerken naar iets anders dan 26.8; als nog twee trackers samenkomen op de oktobermeting, is de lezing van verouderde rijen bevestigd en wordt het getal gewoon. Het tweede is of DeepSeek een wiskunderij toevoegt aan zijn eigen vergelijkingstabel in een toekomstige changelog — een leverancier die dacht dat hij negentien punten op FrontierMath had gewonnen, zou dat waarschijnlijk zeggen, en stilte daar is zwak bewijs tegen. Het derde is een reproductie zonder tools. De 46.3 werd vastgelegd met tools toegestaan, en een toestandloze run zou je vertellen of de winst wiskundig redeneren is of een beter gebruik van een Python-sandbox.

Totdat een van die dingen landt, is de eerlijke samenvatting beperkt. Een negen dagen oude checkpoint, een MIT-licentie en een invoerprijs van $0,30 zijn in dezelfde band terechtgekomen als Qwen3.8-Max en Claude Haiku 5.5 op het moeilijkste publieke wiskundeniveau — op twee trackers, met maximale inspanning, van de eenenveertig problemen, zonder claim van het lab dat het heeft gebouwd. Dat is genoeg om een middag je eigen evaluaties te rechtvaardigen. Het is niet genoeg om een benchmarkdia te herschrijven.

Vergeleken in dit artikel2

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt