DeepSeek V4.1 Flash vs Kimi K3: Membaca Klaim, Lalu Bukti

DeepSeek V4.1 Flash hadir dengan klaim spesifik yang dapat diperiksa: bahwa ia mengalahkan Kimi K3 pada benchmark siber dan coding — dan pada baris yang dipilih vendor, memang begitu. Terminal-Bench 2.1: 90,6 vs 88,3. CyberGym: 88,1 vs 80,0. DeepSWE v1.1: 74,2 vs 67,5. NL2Repo-Bench: 65,4 vs 58,0. Setiap angka DeepSeek tersebut berasal dari harness milik DeepSeek sendiri pada upaya penalaran DeepSeek sendiri, dan setiap angka Kimi K3 yang dibandingkan dengannya berasal dari tempat lain. Itu bukan alasan untuk mengabaikan klaim tersebut. Itulah alasan klaim itu perlu diurai sebelum Anda membeli apa pun atas dasar klaim itu.

Berikut ini tampilan sebenarnya dari basis bukti kedua model, apa yang terjadi ketika Anda menempatkan keduanya pada satu skala, dan satu angka yang bertahan di setiap versi perbandingan ini.

Dua basis bukti yang hampir tidak tumpang tindih

Ini adalah bagian yang tidak biasa dari pertandingan ini, dan ini menjelaskan sebagian besar perbedaan pendapat yang akan Anda temukan secara online.

DeepSeek menerbitkan tabel benchmark peluncuran. Terminal-Bench 2.1, DeepSWE v1.1, CyberGym, ProgramBench, NL2Repo-Bench, Automation-Bench — semuanya dilaporkan vendor. Itu adalah baris-baris yang dipilih DeepSeek untuk dijalankan, pada harness yang dikonfigurasi DeepSeek, dengan DeepSeek sendiri yang menetapkan upaya penalaran. Perlu diketahui sebelum Anda membandingkannya dengan apa pun: Artificial Analysis menemukan bahwa menjalankan rangkaian uji ini pada upaya penalaran maksimum menghabiskan sekitar 2,5 kali lebih banyak token keluaran daripada pengaturan tingkat menengah, sekaligus memulihkan sebagian besar akurasi di bawahnya. Tabel vendor pada upaya maksimum adalah pengukuran batas atas, bukan pengukuran yang umum.

Angka-angka Kimi K3 sebagian besar bukan milik Moonshot. Artificial Analysis menjalankan harness-nya sendiri dan menerbitkan hasil per-benchmark pada skala yang dapat dibandingkan di seluruh model yang dilacaknya: GPQA Diamond 93,5, Humanity's Last Exam 46,9, Long-Context Recall 88,7, SciCode 59,5, Terminal-Bench 2.1 85,0 — ditambah indeks komposit. Itu adalah pengukuran pihak ketiga.

Jadi, "DeepSeek mengalahkan Kimi K3 dalam coding" bermuara pada sesuatu yang lebih sempit daripada kedengarannya. Pada harness milik DeepSeek, model DeepSeek menang pada baris-baris coding yang dipilih DeepSeek. Itu sinyal yang nyata — vendor biasanya tidak menerbitkan tabel tempat mereka kalah — tetapi itu kelas bukti yang berbeda dari suite yang dijalankan secara independen, dan keduanya tidak boleh pernah muncul di kolom yang sama tanpa label.

Pada satu skala, selisihnya empat poin

Letakkan keduanya pada Intelligence Index milik Artificial Analysis dan gambarannya lebih tipis daripada yang disiratkan pemasaran masing-masing pihak. Kimi K3 mendapat skor 44. DeepSeek V4.1 Flash mendapat skor 40.

Empat poin. Pada baris per tolok ukur, keunggulan Kimi K3 konsisten dan terkonsentrasi pada area yang menunjukkan penalaran horizon panjang: Humanity's Last Exam 46,9 versus 36,8, SciCode 59,5 versus 51,9, GPQA Diamond 93,5 versus 90,9 yang dilaporkan vendor DeepSeek, Long-Context Recall 88,7 versus 84,0. Kimi K3 juga menempati peringkat kedua di papan Artificial Analysis yang berisi 113 model, sedangkan DeepSeek V4.1 Flash di peringkat keenam.

Itu adalah celah yang nyata, independen, dan dapat direproduksi. Tidak ada keunggulan harga yang mampu menutupnya untuk tugas yang bergantung pada celah-celah itu.

Itu juga empat poin — selisih empat poin yang sama yang memisahkan DeepSeek V4.1 Flash dari Grok 4.6, dan lebih kecil daripada selisih lima poin yang memisahkannya dari Qwen3.8-Max. Selisih empat poin pada indeks komposit adalah rentang yang sempit. Itu memberi tahu Anda bahwa Kimi K3 adalah model yang lebih kuat, dan itu sama sekali tidak memberi tahu Anda bahwa kekuatan itu muncul dalam beban kerja Anda.

Angka yang bertahan di setiap versi perbandingan ini

Biaya per tugas Intelligence Index, diukur oleh organisasi yang sama yang menghasilkan indeks tersebut: $0,27 untuk DeepSeek V4.1 Flash, $2,00 untuk Kimi K3.

7,4x. Itu adalah perbedaan terbesar, paling tangguh, dan paling dapat diperiksa silang antara kedua model ini, dan tidak seperti baris benchmark, itu tidak bergantung pada harness siapa yang menjalankannya — jumlah token adalah jumlah token.

Ini juga berskala dengan seberapa agentik beban kerja Anda. Angka $2,00 berasal dari suite campuran; pada agentic coding bench milik Vals AI, selisih yang dilaporkan melebar menjadi sekitar 40x, $0,41 per tugas versus $17,59, dengan proses DeepSeek selesai dalam sekitar 15 menit versus sekitar 90 menit. Semakin jauh Anda dari satu prompt dan respons menuju loop pemanggilan alat yang panjang, semakin berbeda kedua model penetapan harga — karena di situlah caching dan volume output mendominasi tagihan.

• Tarif — DeepSeek V4.1 Flash $0.15/$0.60 per 1 juta di luar jam sibuk ($0.30/$1.20 jam sibuk, hari kerja 01:00–04:00 dan 06:00–10:00 UTC) vs Kimi K3 $3.00/$15.00 per 1 juta, tetap

• Diskon cache — 98% vs 90%; pembacaan cache $0.003 per 1 juta vs $0.30 per 1 juta

• Konteks — 1.048.576 token untuk keduanya, dan keduanya tidak menerapkan biaya tambahan konteks panjang

• Throughput — 214,4 token/detik vs 34,7, selisih 6,2x

• Verbositas — 250M token keluaran di seluruh indeks vs 160M

• Parameter — total 552B, 8B aktif saat prefill dan 16B saat decode, dibandingkan dengan total 2,8T dengan 16 dari 896 expert aktif per token

• Sampling — permukaan lengkap temperature / top_p / seed vs tidak ada; Kimi K3 hanya mengekspos reasoning_effort dan thinking tidak dapat dinonaktifkan

• Lisensi — MIT vs Modified MIT, yang menambahkan ketentuan merek/branding di atas 100 juta pengguna bulanan atau pendapatan bulanan $20 juta

Di mana sisi murah benar-benar lebih buruk

Dua biaya berada di sisi DeepSeek dalam pembukuan, dan keduanya mudah terlewatkan.

Verbositas. DeepSeek V4.1 Flash menghasilkan 250 juta token output di seluruh Intelligence Index, dibandingkan 160 juta milik Kimi K3. Output di sini ditagih sebesar 4x input. Model yang dua puluh kali lebih murah per token tetapi menghasilkan output satu setengah kali lebih banyak bukanlah dua puluh kali lebih murah — itulah tepatnya sebabnya angka yang jujur berhenti di 7,4x dan bukan 20x seperti yang tersirat dalam kartu tarif. DeepSeek adalah model paling verbose dalam perbandingan ini; Grok 4.6 paling sedikit, yakni 94 juta.

Kecepatan. Kartu tarif mengatakan DeepSeek lebih murah. Jam menunjukkan bahwa DeepSeek juga 6,2x lebih cepat — 214,4 token/detik versus 34,7 milik Kimi K3. Mode berpikir Kimi K3 tidak dapat dimatikan dan upaya penalarannya default ke maksimum, jadi tidak ada jalur murah dan cepat untuk dijadikan fallback bagi panggilan yang mudah. Anda membeli penalaran frontier pada setiap permintaan, apakah permintaan itu membutuhkannya atau tidak. Pada tugas coding yang sulit, itulah produknya. Pada proses klasifikasi, itu pemborosan.

Apa yang dikatakan traffic, yang tidak dapat ditangkap oleh benchmark mana pun

Data routing kami sendiri menambahkan satu-satunya sinyal yang tidak dapat dihasilkan oleh vendor maupun analis. Dalam tujuh hari terakhir, Kimi K3 memindahkan sekitar 3,04 miliar token melalui OrcaRouter. DeepSeek V4.1 Flash memindahkan sekitar 59,1 miliar — kira-kira sembilan belas kali lebih banyak, pada model yang baru aktif kurang dari sepekan.

Sebagian dari itu bersifat struktural. DeepSeek mengarahkan semua permintaan V4 Pro ke V4.1 Flash dan menagihnya dengan tarif Flash hingga V4.1 Pro dirilis, sehingga basis terpasang yang besar dimigrasikan ke sana tanpa ada yang memilih apa pun. Namun volume yang dihasilkan tetap merupakan bukti paling jelas yang tersedia bahwa sejumlah besar beban kerja produksi sudah dilayani dengan cukup baik oleh model yang lebih murah — dan itu adalah putusan yang tidak dapat diberikan oleh benchmark, karena benchmark mengukur apa yang bisa dilakukan suatu model dan lalu lintas mengukur apa yang bersedia tim tempatkan di hadapan pengguna yang membayar.

Memilih di antara mereka

Keduanya berada di belakang endpoint yang sama yang kompatibel dengan OpenAI di OrcaRouter, dan itulah yang membuat pemisahan ini praktis alih-alih menjadi proyek migrasi: rutekan sesi coding berhorizon panjang, di mana keunggulan penalaran Kimi K3 sepadan dengan biayanya, dan lalu lintas agentik serta pekerjaan pengetahuan bervolume tinggi, di mana keduanya hanya berselisih empat poin indeks, ke DeepSeek V4.1 Flash. Karena gateway meneruskan tarif penyedia tanpa markup sama sekali, biaya per token yang Anda lihat adalah milik vendor itu sendiri — layak diperiksa dua kali sehari di sisi DeepSeek, karena jendela puncaknya menggandakan tarif pada pagi hari kerja UTC.

Putusan mengikuti bukti, bukan tabel peluncuran. Jika pekerjaan Anda adalah satu panggilan penalaran yang sulit — pertanyaan ilmiah, algoritma baru, dokumen yang tidak boleh salah Anda baca — Kimi K3 adalah model yang lebih kuat, kesenjangan independennya konsisten, dan harganya sekunder. Jika pekerjaan Anda adalah agen pengodean, loop pemanggilan alat yang panjang, atau apa pun dengan prefiks cache besar yang diputar ulang dalam volume tinggi, keduanya cukup berdekatan dalam hal kemampuan sehingga biaya menjadi kriteria penentu, dan di situ kesenjangannya berkisar dari 7,4x hingga kira-kira 40x tergantung seberapa agentic tugasnya.

Tabel benchmark DeepSeek sendiri melebih-lebihkan seberapa bersih kemenangan itu. Harga tidak.