Kartu judul untuk DeepSeek V4.1 Flash 1017 yang menampilkan angka utama 46,3%, diberi label FrontierMath Tier 4 v2 dan peringkat ke-21 bersama, dengan catatan kaki yang menyebutkan bahwa angka-angka tersebut berasal dari BenchLeader dan LLMLearner serta bahwa vendor tidak menerbitkan skor matematika apa pun.
Engineering & Research

DeepSeek V4.1 Flash 1017 Melonjak 19 Poin pada FrontierMath Tier 4 — dan DeepSeek Tidak Pernah Menyebutnya

Penulis

Alistair Wren

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Angka benchmark paling menarik yang melekat pada DeepSeek V4.1 Flash 1017 adalah angka yang tidak dipublikasikan oleh vendor. Pada 21 Oktober 2026, lima hari setelah checkpoint tersebut dirilis, pelacak BenchLeader menambahkan hasil FrontierMath Tier 4 untuk model itu: 46,3% pada upaya penalaran maksimum. Itu selisih sejauh satu soal dari Qwen3.8-Max, yang terukur 46,3% pada 2 Agustus, dan sejajar dengan Claude Haiku 5.5, yang terukur 46,3% pada 7 Oktober. Angka itu juga sekitar sembilan belas poin di atas posisi setiap checkpoint DeepSeek sebelumnya di papan yang sama. Changelog DeepSeek sendiri untuk pembaruan 17 Oktober mencantumkan sembilan benchmark. Tidak satu pun di antaranya adalah benchmark matematika. Model ini disajikan di OrcaRouter bersama versi September dengan nama deepseek/deepseek-v4.1-flash, jadi Anda dapat menjalankan set prompt yang sama terhadap kedua checkpoint tersebut.

Kesenjangan antara apa yang diklaim DeepSeek dan apa yang diukur pihak ketiga itulah inti ceritanya. Checkpoint 1017 diumumkan sebagai rilis untuk biaya dan kecepatan — frasa dalam changelog-nya adalah "performance-cost Pareto improvement," dengan keluaran yang lebih pendek dan penyelesaian tugas yang lebih cepat. Tabel benchmark dalam changelog yang sama seluruhnya berisi pekerjaan agentik: HLE tanpa alat, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Matematika tidak ada dalam daftar. Jadi, entah kemampuan matematika DeepSeek meningkat sebagai efek samping yang tidak diumumkan dari pekerjaan agentik tersebut, atau ada satu situs pelacak yang memiliki baris yang tidak dimiliki situs lainnya. Kedua tafsiran itu layak dipertimbangkan secara serius, dan keduanya mengarah pada saran yang berbeda.

Apa yang sebenarnya diminta oleh Tier 4 v2, dan mengapa jumlah masalah lebih penting daripada persentase

FrontierMath Tier 4 v2 adalah tingkat kelas riset dari tolok ukur Epoch AI: kumpulan ekspansi privat berisi 43 soal tingkat riset, dirilis 12 Juni 2026, dengan model diizinkan menjalankan Python di sandbox tanpa status terhadap daftar pustaka tetap. Denominator penilaiannya tampaknya 41 — skor yang dipublikasikan habis dibagi olehnya, karena 19 benar dari 41 adalah 46,34% dan 11 dari 41 adalah 26,83%. Bagaimanapun, kumpulan ini cukup kecil sehingga satu soal bernilai sekitar 2,4 poin persentase, dan itulah detail yang menentukan semua hal lain di halaman ini. Dua skor yang terlihat jauh berbeda di papan peringkat bisa terpaut delapan soal.

Yang persis seperti angka-angka DeepSeek. Skor 46,3% setara dengan sembilan belas jawaban benar terhadap penyebut tersebut. Skor 26,8% yang dibawa checkpoint-checkpoint sebelumnya setara dengan sebelas. Seluruh "lonjakan sembilan belas poin" itu adalah delapan soal. Itu perbedaan nyata — delapan soal dari empat puluh satu bukanlah kebisingan dalam pengertian biasa — tetapi itu juga sampel yang cukup kecil sehingga satu alat yang diubah, system prompt yang diubah, atau pengaturan effort yang berbeda dapat menggeser model beberapa posisi. Ketika empat model berada dalam posisi imbang di 46,3%, mereka tidak terpisah secara berarti. Semuanya hanya berjarak satu soal satu sama lain.

Trajektorinya: tiga titik pemeriksaan datar, lalu satu langkah

Alasan 46,3 dianggap sebagai berita, bukan artefak pembulatan, adalah apa yang terjadi sebelumnya. Di sepanjang empat entri terakhir DeepSeek pada FrontierMath Tier 4 v2, garisnya datar lalu vertikal:

• DeepSeek V4 Flash 0731 — 24,4%, checkpoint Juli

• DeepSeek V4 Pro 0813 — 26,8%, produk unggulan Agustus

• DeepSeek V4.1 Flash (0910) — 26,8%, rilis September yang menggantikan keduanya

• DeepSeek V4.1 Flash 1017 — 46,3%, checkpoint Oktober, dengan upaya maksimal

Tier yang lebih mudah juga bergerak, tetapi secara moderat: BenchLeader mencantumkan 71,2% pada FrontierMath Tier 1–3 untuk build 1017 dibandingkan 67,4% untuk versi September. Itulah pola yang Anda harapkan dari peningkatan kapabilitas yang sesungguhnya — beberapa poin pada soal yang dapat dikerjakan, dan pergeseran yang jauh lebih besar pada soal yang tidak dapat dikerjakan. Itu juga pola yang Anda harapkan dari perubahan harness yang membantu secara tidak proporsional pada masalah tersulit, itulah sebabnya bagian berikutnya penting.

Papan mana yang Anda percayai bergantung pada papan mana yang Anda baca.

Kami memeriksa lima pelacak. Dua di antaranya kini mencantumkan 46,3% untuk build 1017. Tiga lainnya tidak.

• BenchLeader — 46,3% pada Tier 4 dan 71,2% pada Tier 1–3, dengan upaya maksimal, hasil ditambahkan pada 21 Oktober 2026

• DataLearner, kini hadir sebagai LLMLearner — 46,34%, berbagi peringkat ke-21, dievaluasi dalam konfigurasi "Max (With Tools)", hasil terakhir ditambahkan pada 26 Oktober 2026, dan ditandai di papan peringkat sebagai skor open-weight terbaik

• benchlm.ai — 26,829%, peringkat ke-30, "pemecahan masalah matematika iteratif berbasis Python," halaman diperbarui 25 Oktober 2026

• tensor.news — tidak ada baris 1017 sama sekali; entri DeepSeek V4.1 Flash-nya tertulis 26,83%, diukur 9 September 2026

• trustthebench — 26%, pada halaman bertanggal 26 Agustus 2026, yang sepenuhnya mendahului checkpoint

A screenshot of the LLMLearner FrontierMath Tier 4 v2 leaderboard, published by Epoch AI, showing 70 models across 43 problems with the last result added 2026-10-26. The top ten are led by GPT-6.1 Sol at 100.0, GPT-6 Astra at 97.6 and Claude Opus 5.5 at 95.0, and the page flags DeepSeek-V4.1-Flash-1017 at 46.3 as the best open-weights score, tied at rank 21.

Ketiga penyelisih itu berbagi masalah asal-usul. Angka 26.83 adalah, hingga dua desimal, skor yang diperoleh build September. Pelacak yang membawa label model baru ke pengukuran lama menghasilkan pola persis seperti ini, dan halaman bertanggal Agustus adalah bukti tak ambigu bahwa setidaknya salah satu dari mereka melakukannya. Itu tidak membuat 46.3 menjadi otoritatif — itu membuat 26.8 basi, bukan kontradiktif.

Yang bisa memastikannya adalah harness kedua. Baik 46,3 maupun 71,2 belum direproduksi di luar lapisan pelacakan, dan DeepSeek belum menerbitkan evaluasi matematika miliknya sendiri untuk checkpoint ini. Anggap angka itu sebagai sinyal pihak ketiga yang kuat, bukan sebagai fakta mapan tentang model. Jika Anda memerlukan angka yang dapat dipertahankan untuk dokumen pengadaan, Anda belum memilikinya.

Mengapa DeepSeek merilis peningkatan matematika dan tidak menyebutkannya

Tabel dalam changelog menjelaskan kelalaian itu lebih baik daripada narasi konspirasi apa pun. Pembaruan 1017 disajikan sebagai rilis pengodean dan agentik, dan angka-angka vendor sepenuhnya berada dalam nada itu: HLE tanpa alat naik dari 36,8 menjadi 42,6, Terminal-Bench 4.0 dari 31,2 menjadi 42,3, DeepSWE v1.1 dari 74,2 menjadi 77,0, ProgramBench dari 20,3 menjadi 29,1, Apex Bench dari 64,6 menjadi 72,1. Model yang disetel pada lintasan agentik panjang — ketika imbalannya adalah menyelesaikan tugas multi-langkah, bukan mengeluarkan token final yang benar — akan memperoleh stamina matematis sebagai efek samping. Matematika sulit dan sesi agen yang panjang memberi imbalan atas perilaku yang sama: terus memeriksa, jangan berhenti terlalu cepat.

A screenshot of DeepSeek's own 17 October 2026 release page for DeepSeek-V4.1-Flash-1017, headed 'Wish-Driven Programming Made Real'. Its benchmark table lists HLE at 42.6 and 44.0, Terminal-Bench 4.0 at 42.3, DeepSWE v1.1 at 77.0, ProgramBench at 29.1, NL2Repo-Bench at 68.2, Automation-Bench at 60.5, Agents' Last Exam at 35.4, Apex Bench v1.1 at 72.1, Chartography at 83.0, BabyVision at 92.5 and ZeroBench-main at 51.0. No mathematics benchmark appears anywhere in the table.

Penguji independen menemukan kebalikan dari apa yang diprediksi teori itu, dan itulah yang membuat semuanya menarik. Pada sampel matematika sulit, evaluator sference mengukur keluaran penalaran dengan upaya minimum turun dari 1.974 token menjadi 790, dengan median keluaran AIME turun dari 1.681 menjadi 1.124. Penalaran yang lebih pendek pada upaya minimum bukanlah yang Anda harapkan dari model yang baru saja memperoleh sembilan belas poin dalam matematika riset. Rekonsiliasi paling mungkin bergantung pada upaya: angka 46,3 dicatat pada upaya maksimum, dan yang berubah adalah seberapa banyak model berpikir ketika Anda membiarkannya berpikir, bukan seberapa efisien ia berpikir ketika Anda tidak membiarkannya.

Di mana 46.3 sebenarnya berada

Terbaik bersama di antara model-model Tiongkok tidak sama dengan hampir menyamai garis terdepan, dan papan peringkat yang sama memperjelasnya dalam beberapa baris. Para pemimpin Tier 4 v2 adalah kelas model yang sama sekali berbeda: GPT-6.1 Sol pada 100%, GPT-6 Astra pada 97,6%, Claude Opus 5.5 pada 95%, Claude Fable 5 pada 90,2%, GPT-6 Sol pada 90%. Model terdekat di atas kluster 46,3 adalah GPT-5.4 pada 49%. Papan peringkat LLMLearner memberi label 46,3 sebagai skor bobot terbuka terbaik di papan tersebut. Skor sekitar 50 pada tier tersulit adalah hasil yang sangat baik bagi model bobot terbuka dan hasil yang buruk bagi model terdepan, dan DeepSeek V4.1 Flash 1017 berada kokoh di kategori pertama.

• Skor Tier 4 v2 — DeepSeek V4.1 Flash 1017 46,3% vs Qwen3.8-Max 46,3% vs Claude Haiku 5.5 46,3% (imbang, ke-21)

• FrontierMath Tingkat 1–3 — DeepSeek V4.1 Flash 1017 71,2% vs build September miliknya sendiri pada 67,4%

• Bobot — berlisensi MIT, dapat diunduh, mixture-of-experts 552B parameter dengan tabel memori kondisional terpisah; para pelacak memperkirakan total jejak di disk mendekati 763B parameter

• Harga — $0.30 per juta input dan $1.20 per juta output pada jam sibuk, $0.15 dan $0.60 di luar jam sibuk, tidak berubah sejak September

• Konteks — 1 juta token, dengan input gambar

• Klaim matematika vendor — tidak ada; FrontierMath tidak muncul di mana pun dalam tabel yang diterbitkan DeepSeek

A scoreboard for DeepSeek V4.1 Flash 1017 listing FrontierMath Tier 4 v2 at 46.3%, FrontierMath Tiers 1-3 at 71.2%, the previous DeepSeek checkpoint at 26.8%, MIT open weights, a price of $0.30 input and $1.20 output per million tokens, and no vendor-published math claim, with a footer naming BenchLeader and LLMLearner as the sources.

Pembacaan praktisnya: jika pekerjaan Anda adalah matematika bergaya kompetisi dan alternatif Anda adalah model open-weights, 46,3 mengubah kalkulasi, karena menempatkan model 552B berlisensi MIT dalam band yang sama dengan dua model proprietari yang biayanya lebih mahal per token. Jika alternatif Anda adalah model tertutup frontier, tidak ada di sini yang menutup kesenjangan — sebaran 95-ke-46 pada Tier 4 bukan kesalahan pembulatan.

Menguji klaim tersebut pada masalah Anda sendiri, tanpa mempertaruhkan jalur produksi padanya.

Mengingat bahwa 46,3 bergantung pada 41 soal privat dan satu lapisan pelacakan, langkah yang masuk akal adalah mengukurnya terhadap beban kerja Anda sendiri alih-alih memercayai salah satu angka tersebut. DeepSeek V4.1 Flash 1017 disediakan di OrcaRouter sebagai deepseek/deepseek-v4.1-flash-1017, bersama build September di bawah deepseek/deepseek-v4.1-flash — yang berarti Anda dapat menjalankan rangkaian prompt yang sama terhadap kedua checkpoint melalui satu kunci API dan melihat apakah selisih delapan soal itu muncul dalam evaluasi Anda sendiri. Tidak ada kontrak kedua dan tidak ada perubahan kode; string model adalah satu-satunya perbedaan.

Dua hal tentang lapisan routing relevan bagi keputusan yang belum tuntas ini. Harga diteruskan pada harga daftar penyedia dengan markup 0%, sehingga tarif off-peak DeepSeek sebesar $0,15 dan $0,60 langsung berlaku di sini pada hari yang sama ketika berlaku di mana pun, dan perubahan harga vendor tidak menunggu kami menyinkronkan katalog. Yang lebih berguna saat benchmark masih diperdebatkan: failover otomatis dan DSL routing memungkinkan Anda mengirim irisan matematika sulit ke build 1017 dengan upaya maksimal dan beralih ke model yang lebih kuat ketika model itu mengembalikan jawaban yang tidak dapat Anda verifikasi — jadi keuntungan sembilan belas poin yang belum terbukti hanya membutuhkan satu aturan routing, bukan migrasi.

Apa yang akan mengubah cerita ini

Ada tiga hal yang layak diperhatikan, dan ketiganya dapat diperiksa. Yang pertama adalah apakah benchlm.ai dan tensor.news memperbarui 1017 baris mereka menjadi sesuatu selain 26,8; jika dua pelacak lagi menyepakati pengukuran Oktober, tafsiran baris-usang itu terkonfirmasi dan angka tersebut menjadi biasa. Yang kedua adalah apakah DeepSeek menambahkan baris matematika ke tabel perbandingannya sendiri dalam changelog mendatang — vendor yang percaya telah memperoleh sembilan belas poin pada FrontierMath kemungkinan besar akan mengatakannya, dan diamnya di sana merupakan sedikit bukti yang menentang. Yang ketiga adalah reproduksi tanpa alat. Angka 46,3 dicatat dengan alat diizinkan, dan eksekusi tanpa status akan memberi tahu Anda apakah peningkatan itu merupakan penalaran matematis atau pemanfaatan kotak pasir Python yang lebih baik.

Sampai salah satu dari hal-hal itu terwujud, ringkasan jujurnya sempit. Sebuah checkpoint berusia sembilan hari, lisensi MIT, dan harga input $0.30 telah berada di rentang yang sama dengan Qwen3.8-Max dan Claude Haiku 5.5 pada tingkat matematika publik tersulit — pada dua pelacak, dengan upaya maksimal, dari empat puluh satu soal, tanpa diklaim oleh lab yang membangunnya. Itu cukup untuk membenarkan satu sore untuk evaluasi Anda sendiri. Itu tidak cukup untuk membenarkan menulis ulang slide benchmark.

Dibandingkan dalam artikel ini2

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari