
DeepSeek V4.1 Flash 1017 skacze o 19 punktów w FrontierMath Tier 4 — a DeepSeek nigdy o tym nie wspomniał
- GoogleNOWOŚĆGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 za 1 mln tokenów · 90 tok/s
- AnthropicNOWOŚĆAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 za 1 mln tokenów · 97 tok/s
- orcaNOWOŚĆOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaNOWOŚĆOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 za 1 mln tokenów · 88 tok/s
- OrcaNOWOŚĆOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 za 1 mln tokenów · 134 tok/s
- OrcaNOWOŚĆOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 za 1 mln tokenów · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 za 1 mln tokenów · 125 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 za 1 mln tokenów · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencja
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 za 1 mln tokenów · 192 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencja
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 za 1 mln tokenów · 134 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencja
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencja
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 za 1 mln tokenów · 128 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Inteligencja
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Inteligencja
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 za 1 mln tokenów · 186 tok/s
Najciekawszy wynik benchmarku powiązany z DeepSeek V4.1 Flash 1017 to ten, którego dostawca nie opublikował. 21 października 2026 r., pięć dni po udostępnieniu checkpointu, tracker BenchLeader dodał wynik FrontierMath Tier 4 dla modelu: 46,3% przy maksymalnym wysiłku rozumowania. To o jedno zadanie różnicy od Qwen3.8-Max, który zmierzył 46,3% 2 sierpnia, i tyle samo co Claude Haiku 5.5, który zmierzył 46,3% 7 października. Jest też około dziewiętnaście punktów powyżej pozycji, na której na tej samej tablicy wyników znajduje się każdy wcześniejszy checkpoint DeepSeek. Własny changelog DeepSeek dla aktualizacji z 17 października wymienia dziewięć benchmarków. Ani jeden z nich nie jest benchmarkiem matematycznym. Jest udostępniany w OrcaRouter obok wersji z września pod deepseek/deepseek-v4.1-flash, więc możesz uruchomić ten sam zestaw promptów na obu checkpointach.
Ta rozbieżność między tym, co twierdził DeepSeek, a tym, co zmierzyła strona trzecia, jest tu sednem sprawy. Checkpoint 1017 ogłoszono jako wydanie skupione na kosztach i szybkości — w dzienniku zmian użyto sformułowania „poprawa Pareto w zakresie wydajności i kosztów”, z krótszymi wynikami i szybszym ukończeniem zadań. Tabela benchmarków w tym samym dzienniku zmian dotyczy wyłącznie pracy agentowej: HLE bez narzędzi, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Matematyki nie ma na liście. Zatem albo matematyka DeepSeeka poprawiła się jako nieogłaszany efekt uboczny pracy agentowej, albo jeden serwis śledzący ma wiersz, którego nie mają pozostałe. Oba odczytania warto traktować poważnie, a prowadzą one do różnych zaleceń.
O co tak naprawdę chodzi w Tier 4 v2 i dlaczego liczba problemów ma większe znaczenie niż procent
FrontierMath Tier 4 v2 to poziom badawczy benchmarku Epoch AI: prywatny zestaw rozszerzający 43 problemy na poziomie badawczym, udostępniony 12 czerwca 2026 r., przy czym modele mogą uruchamiać Pythona w bezstanowej piaskownicy z ustaloną listą bibliotek. Mianownik punktacji wydaje się wynosić 41 — opublikowane wyniki dzielą się przez niego bez reszty, ponieważ 19 poprawnych z 41 to 46,34%, a 11 z 41 to 26,83%. Tak czy inaczej, zbiór jest wystarczająco mały, że jeden problem jest wart około 2,4 punktu procentowego, i to ten szczegół rządzi wszystkim innym na tej stronie. Dwa wyniki, które na liście rankingowej wyglądają na odległe, mogą się różnić o osiem pytań.
Co dokładnie odzwierciedlają liczby DeepSeek. Wynik 46,3% przekłada się na dziewiętnaście poprawnych odpowiedzi przy tym mianowniku. Wynik 26,8%, który mają wcześniejsze checkpointy, przekłada się na jedenaście. Cały „dziewiętnastopunktowy skok” to osiem zadań. To realna różnica — osiem zadań na czterdzieści jeden nie jest szumem w zwykłym sensie — ale to także próba wystarczająco mała, że pojedyncza zmiana narzędzia, zmieniony prompt systemowy lub inne ustawienie poziomu wysiłku może przesunąć model o kilka miejsc. Gdy cztery modele mają remis na poziomie 46,3%, nie są istotnie rozdzielone. Wszystkie mieszczą się w granicach jednego zadania od siebie.
Trajektoria: trzy płaskie punkty kontrolne, potem krok
Powód, dla którego 46,3 jest odbierane jako nowina, a nie artefakt zaokrąglenia, tkwi w tym, co je poprzedzało. W czterech ostatnich wpisach DeepSeek w FrontierMath Tier 4 v2 linia jest płaska, a następnie pionowa:
• DeepSeek V4 Flash 0731 — 24,4%, lipcowy checkpoint
• DeepSeek V4 Pro 0813 — 26,8%, sierpniowy flagowiec
• DeepSeek V4.1 Flash (0910) — 26,8%, wrześniowe wydanie, które zastąpiło oba
• DeepSeek V4.1 Flash 1017 — 46,3%, październikowy checkpoint, przy maksymalnym wysiłku
Łatwiejsze poziomy też się przesunęły, ale umiarkowanie: BenchLeader podaje 71,2% w FrontierMath Tiers 1–3 dla kompilacji 1017 wobec 67,4% dla wrześniowej. To kształt, jakiego można oczekiwać po rzeczywistym wzroście możliwości — kilka punktów tam, gdzie pytania są rozwiązywalne, i znacznie większy ruch tam, gdzie nie są. To także kształt, jakiego można oczekiwać po zmianie w harnessie, która pomaga nieproporcjonalnie mocno w najtrudniejszych zadaniach, dlatego następna sekcja ma znaczenie.
To, w którą tablicę wierzysz, zależy od tego, którą tablicę czytasz.
Sprawdziliśmy pięć trackerów. Dwa z nich obecnie pokazują 46,3% dla kompilacji 1017. Trzy z nich nie.
• BenchLeader — 46,3% na poziomie 4 i 71,2% na poziomach 1–3, przy maksymalnym wysiłku, wynik dodano 21 października 2026
• DataLearner, obecnie występujący jako LLMLearner — 46,34%, ex aequo 21. miejsce, oceniany w konfiguracji „Max (With Tools)”, ostatni wynik dodano 26 października 2026 r., oznaczony w tabeli jako najlepszy wynik wśród modeli z otwartymi wagami
• benchlm.ai — 26,829%, 30. miejsce, „iteracyjne rozwiązywanie problemów matematycznych z użyciem Pythona”, strona zaktualizowana 25 października 2026
• tensor.news — w ogóle brak wiersza 1017; jego wpis DeepSeek V4.1 Flash wskazuje 26,83%, zmierzono 9 września 2026
• trustthebench — 26%, na stronie z datą 26 sierpnia 2026 r., która całkowicie wyprzedza punkt kontrolny

Te trzy odmienne głosy mają wspólny problem z proweniencją. Liczba 26,83 to — z dokładnością do dwóch miejsc po przecinku — wynik, jaki uzyskała wrześniowa kompilacja. Narzędzie śledzące, które przenosi nową etykietę modelu na stary pomiar, daje dokładnie taki wzorzec, a strona opatrzona datą sierpniową jest jednoznacznym dowodem, że przynajmniej jeden z nich to robi. To nie czyni liczby 46,3 miarodajną — sprawia raczej, że 26,8 jest przestarzałe, a nie sprzeczne.
Rozstrzygnęłoby to drugie środowisko testowe. Ani 46,3, ani 71,2 nie zostały odtworzone poza warstwą śledzenia, a DeepSeek nie opublikował własnej oceny matematycznej dla tego checkpointu. Traktuj tę liczbę jako mocny sygnał zewnętrzny, a nie jako ustalony fakt o modelu. Jeśli potrzebujesz wiarygodnej liczby do dokumentu przetargowego, jeszcze jej nie masz.
Dlaczego DeepSeek miałby wypuścić ulepszenie w matematyce i o tym nie wspomnieć?
Tabela w changelogu wyjaśnia to pominięcie lepiej niż jakakolwiek teoria spiskowa. Aktualizacja 1017 jest przedstawiana jako wydanie poświęcone kodowaniu i działaniom agentowym, a liczby podane przez dostawcę całkowicie wpisują się w tę konwencję: HLE bez narzędzi wzrost z 36,8 do 42,6, Terminal-Bench 4.0 z 31,2 do 42,3, DeepSWE v1.1 z 74,2 do 77,0, ProgramBench z 20,3 do 29,1, Apex Bench z 64,6 do 72,1. Model dostrojony na długich trajektoriach agentowych — gdzie nagrodą jest ukończenie wieloetapowego zadania, a nie wygenerowanie poprawnego końcowego tokenu — nabędzie wytrzymałość matematyczną jako efekt uboczny. Trudna matematyka i długie przebiegi agentów nagradzają to samo zachowanie: sprawdzaj dalej, nie zatrzymuj się za wcześnie.

Niezależni testerzy odkryli coś przeciwnego niż przewiduje ta teoria, i właśnie to czyni całą sprawę interesującą. Na próbce trudnej matematyki referencyjny pomiar ewaluatora wykazał, że liczba tokenów rozumowania przy minimalnym wysiłku spadła z 1974 do 790, a mediana wyników AIME spadła z 1681 do 1124. Krótsze rozumowanie przy minimalnym wysiłku nie jest tym, czego można by oczekiwać po modelu, który właśnie zyskał dziewiętnaście punktów w matematyce badawczej. Najbardziej prawdopodobne wyjaśnienie jest zależne od wysiłku: wynik 46,3 zarejestrowano przy maksymalnym wysiłku, a zmieniło się to, ile model myśli, gdy pozwoli mu się myśleć, a nie to, jak efektywnie myśli, gdy się mu nie pozwala.
Gdzie faktycznie znajduje się 46,3
Najlepszy ex aequo wśród chińskich modeli to nie to samo co bliskość czołówki, a ta sama tablica pokazuje to jasno w ciągu zaledwie kilku wierszy. Liderzy Tier 4 v2 to zupełnie inna klasa modeli: GPT-6.1 Sol z 100%, GPT-6 Astra z 97,6%, Claude Opus 5.5 z 95%, Claude Fable 5 z 90,2%, GPT-6 Sol z 90%. Najbliższy model powyżej grupy 46,3 to GPT-5.4 z 49%. Ranking LLMLearnera określa 46,3 jako najlepszy wynik modeli z otwartymi wagami na tej tablicy. Wynik w okolicach pół setki na najtrudniejszym poziomie to doskonały rezultat dla modelu z otwartymi wagami i słaby dla modelu czołowego, a DeepSeek V4.1 Flash 1017 zdecydowanie należy do pierwszej kategorii.
• Wynik Tier 4 v2 — DeepSeek V4.1 Flash 1017 46,3% vs Qwen3.8-Max 46,3% vs Claude Haiku 5.5 46,3% (remis, 21. miejsce)
• FrontierMath Poziomy 1–3 — DeepSeek V4.1 Flash 1017: 71,2% w porównaniu z własną wersją z września na poziomie 67,4%
• Wagi — na licencji MIT, do pobrania, mixture-of-experts z 552B parametrami i osobną tabelą pamięci warunkowej; trackery szacują pełny rozmiar na dysku na blisko 763B parametrów
• Cena — 0,30 USD za milion tokenów wejściowych i 1,20 USD za milion tokenów wyjściowych w godzinach szczytu, 0,15 USD i 0,60 USD poza godzinami szczytu, bez zmian od września
• Kontekst — 1 mln tokenów, z wejściem obrazowym
• Twierdzenia dostawcy dotyczące matematyki — brak; FrontierMath nie pojawia się w żadnych publikowanych tabelach DeepSeek

Praktyczny wniosek: jeśli Twoja praca to matematyka konkursowa, a Twoją alternatywą był model z otwartymi wagami, 46.3 zmienia rachunek, ponieważ stawia model 552B na licencji MIT w tym samym przedziale co dwa modele własnościowe, które kosztują więcej za token. Jeśli Twoją alternatywą był czołowy zamknięty model, nic tutaj nie zamyka luki — rozrzut od 95 do 46 w Tier 4 nie jest błędem zaokrąglenia.
Sprawdzanie tego twierdzenia na własnych problemach, bez opierania na nim ścieżki produkcyjnej.
Biorąc pod uwagę, że 46,3 opiera się na 41 prywatnych problemach i jednej warstwie śledzenia, rozsądnym krokiem jest zmierzenie go względem własnego obciążenia, zamiast ufać którejkolwiek z tych liczb. DeepSeek V4.1 Flash 1017 jest udostępniany w OrcaRouter jako deepseek/deepseek-v4.1-flash-1017, obok wrześniowej kompilacji pod deepseek/deepseek-v4.1-flash — co oznacza, że możesz uruchomić ten sam zestaw promptów na obu checkpointach przez jeden klucz API i sprawdzić, czy różnica wynosząca osiem problemów pojawi się w Twoich własnych ewaluacjach. Nie ma drugiego kontraktu ani zmian w kodzie; jedyną różnicą jest ciąg modelu.
Dwie rzeczy dotyczące warstwy routingu mają znaczenie dla tak niepewnej decyzji. Ceny są przekazywane po cenie katalogowej dostawcy z 0% marży, więc stawka DeepSeek poza szczytem wynosząca 0,15 USD i 0,60 USD obowiązuje tutaj tego samego dnia, w którym obowiązuje gdziekolwiek indziej, a zmiana ceny przez dostawcę nie czeka, aż zsynchronizujemy katalog. Jeszcze bardziej przydatne, gdy wynik benchmarku jest kwestionowany: automatyczne przełączanie awaryjne i DSL routingu pozwalają wysłać trudny wycinek matematyczny do wersji 1017 z maksymalnym wysiłkiem i przejść awaryjnie na silniejszy model, gdy zwróci odpowiedź, której nie da się zweryfikować — więc niepotwierdzony wzrost o dziewiętnaście punktów kosztuje cię regułę routingu, a nie migrację.
Co zmieniłoby tę historię?
Trzy rzeczy są warte obserwacji i wszystkie trzy można sprawdzić. Pierwsza: czy benchlm.ai i tensor.news zaktualizują swoje 1017 wierszy na coś innego niż 26,8; jeśli dwa kolejne trackery zbiegną się z październikowym pomiarem, odczyt nieaktualnego wiersza zostanie potwierdzony, a liczba stanie się zwyczajna. Druga: czy DeepSeek doda wiersz matematyczny do własnej tabeli porównawczej w przyszłym changelogu — dostawca, który uważałby, że zyskał dziewiętnaście punktów na FrontierMath, prawdopodobnie by to powiedział, a cisza w tym miejscu jest łagodnym dowodem przeciw. Trzecia: reprodukcja bez narzędzi. Wartość 46,3 zarejestrowano z dozwolonymi narzędziami, a uruchomienie bezstanowe powiedziałoby, czy zysk to rozumowanie matematyczne, czy lepsze wykorzystanie piaskownicy Pythona.
Dopóki któreś z nich się nie pojawi, uczciwe podsumowanie jest wąskie. Dziewięciodniowy checkpoint, licencja MIT i cena wejściowa 0,30 USD znalazły się w tym samym przedziale co Qwen3.8-Max i Claude Haiku 5.5 na najtrudniejszym publicznym poziomie matematycznym — według dwóch trackerów, przy maksymalnym wysiłku, na czterdzieści jeden problemów, niepotwierdzone przez laboratorium, które go zbudowało. To wystarcza, by uzasadnić popołudnie własnych ewaluacji. To nie wystarcza, by uzasadnić przepisanie slajdu z benchmarkiem.
Porównane w tym artykule2
Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie
