
DeepSeek V4.1 Flash 1017 tăng 19 điểm trên FrontierMath Tier 4 — và DeepSeek chưa từng đề cập đến điều đó
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 90 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 97 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaMỚIOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 88 tok/s
- OrcaMỚIOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 134 tok/s
- OrcaMỚIOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 trên 1 triệu token · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 125 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 192 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 134 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 128 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 186 tok/s
Con số benchmark thú vị nhất gắn với DeepSeek V4.1 Flash 1017 là con số mà nhà cung cấp không công bố. Vào ngày 21 tháng 10 năm 2026, năm ngày sau khi checkpoint được phát hành, tracker BenchLeader đã thêm một kết quả FrontierMath Tier 4 cho mô hình: 46,3% ở mức nỗ lực suy luận tối đa. Đó là cách biệt đúng một bài toán so với Qwen3.8-Max, mô hình đo được 46,3% vào ngày 2 tháng 8, và ngang bằng với Claude Haiku 5.5, mô hình đo được 46,3% vào ngày 7 tháng 10. Nó cũng cao hơn khoảng mười chín điểm so với vị trí của mọi checkpoint DeepSeek trước đó trên cùng bảng xếp hạng. Changelog của chính DeepSeek cho bản cập nhật ngày 17 tháng 10 liệt kê chín benchmark. Không có một benchmark nào trong số đó là benchmark toán học. Nó được phục vụ trên OrcaRouter cùng với bản dựng tháng Chín dưới deepseek/deepseek-v4.1-flash, vì vậy bạn có thể chạy cùng một bộ prompt với cả hai checkpoint.
Khoảng cách giữa những gì DeepSeek tuyên bố và những gì một bên thứ ba đo được chính là câu chuyện ở đây. Checkpoint 1017 được công bố như một bản phát hành về chi phí và tốc độ — cụm từ trong changelog là "cải thiện Pareto về hiệu năng-chi phí", với đầu ra ngắn hơn và hoàn thành tác vụ nhanh hơn. Bảng benchmark trong cùng changelog đó toàn là công việc agentic: HLE không dùng công cụ, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. Toán học không có trong danh sách. Vậy nên hoặc là khả năng toán của DeepSeek đã cải thiện như một tác dụng phụ không được quảng cáo của công việc agentic, hoặc là một trang theo dõi có một dòng mà những trang khác không có. Cả hai cách lý giải đều đáng được xem xét nghiêm túc, và chúng dẫn đến những lời khuyên khác nhau.
Tier 4 v2 thực sự đòi hỏi điều gì, và tại sao số lượng vấn đề lại quan trọng hơn tỷ lệ phần trăm
FrontierMath Tier 4 v2 là hạng cấp nghiên cứu trong bộ đánh giá của Epoch AI: một tập mở rộng riêng tư gồm 43 bài toán ở mức nghiên cứu, phát hành ngày 12 tháng 6 năm 2026, trong đó các mô hình được phép chạy Python trong một sandbox không lưu trạng thái dựa trên một danh sách thư viện cố định. Mẫu số dùng để tính điểm dường như là 41 — các điểm số đã công bố chia hết cho nó, vì 19 đúng trên 41 là 46,34% và 11 trên 41 là 26,83%. Dù thế nào đi nữa, tập hợp này đủ nhỏ để một bài toán đáng giá khoảng 2,4 điểm phần trăm, và đó là chi tiết chi phối mọi thứ khác trên trang này. Hai điểm số trông có vẻ cách xa nhau trên bảng xếp hạng có thể chỉ cách nhau tám câu hỏi.
Đó chính xác là điều các con số của DeepSeek thể hiện. Điểm 46,3% tương đương với mười chín câu đúng trên mẫu số đó. Điểm 26,8% mà các checkpoint trước đó có được tương đương với mười một câu. Toàn bộ “cú nhảy mười chín điểm” là tám bài toán. Đó là một khác biệt thực sự — tám bài toán trong số bốn mươi mốt không phải là nhiễu theo nghĩa thông thường — nhưng đó cũng là một mẫu đủ nhỏ để chỉ một công cụ bị thay đổi, một system prompt bị thay đổi, hoặc một thiết lập effort khác có thể đẩy một mô hình lên xuống vài bậc. Khi bốn mô hình cùng hòa nhau ở 46,3%, chúng không thực sự được tách biệt một cách có ý nghĩa. Tất cả đều cách nhau không quá một bài toán.
Quỹ đạo: ba điểm kiểm tra phẳng, sau đó là một bước
Lý do 46,3 được ghi nhận là thông tin mới chứ không phải một sai số làm tròn nằm ở những gì đến trước nó. Trong bốn mục FrontierMath Tier 4 v2 gần nhất của DeepSeek, đường biểu diễn phẳng rồi sau đó dựng đứng:
DeepSeek V4 Flash 0731 — 24.4%, bản checkpoint tháng 7
• DeepSeek V4 Pro 0813 — 26,8%, mẫu flagship tháng 8
• DeepSeek V4.1 Flash (0910) — 26,8%, bản phát hành tháng Chín đã thay thế cả hai
• DeepSeek V4.1 Flash 1017 — 46.3%, bản checkpoint tháng 10, ở mức nỗ lực tối đa
Các mức dễ hơn cũng tăng, nhưng khiêm tốn: BenchLeader ghi nhận 71,2% trên FrontierMath Mức 1–3 cho bản dựng 1017, so với 67,4% của bản tháng Chín. Đó là hình dạng mà bạn sẽ kỳ vọng từ một sự gia tăng năng lực thực sự — vài điểm ở những nơi câu hỏi có thể giải được, một bước nhảy lớn hơn nhiều ở những nơi chúng không thể. Đó cũng là hình dạng mà bạn sẽ kỳ vọng từ một thay đổi harness giúp ích một cách không cân xứng ở những bài toán khó nhất, đó là lý do phần tiếp theo quan trọng.
Bạn tin vào bảng nào tùy thuộc vào việc bạn đọc bảng nào.
Chúng tôi đã kiểm tra năm trình theo dõi. Hai trong số đó hiện ghi 46,3% cho bản dựng 1017. Ba trình còn lại thì không.
• BenchLeader — 46,3% ở Tier 4 và 71,2% ở Tier 1–3, với mức nỗ lực tối đa, kết quả được thêm vào ngày 21 tháng 10 năm 2026
• {{1}}DataLearner{{/1}}, hiện được ghi nhận là {{2}}LLMLearner{{/2}} — 46,34%, đồng hạng 21, được đánh giá ở cấu hình {{3}}"Max (With Tools)"{{/3}}, kết quả cuối cùng được thêm vào ngày 26 tháng 10 năm 2026, và được đánh dấu trên bảng là điểm số open-weights tốt nhất
• benchlm.ai — 26.829%, xếp thứ 30, "Giải quyết bài toán toán học lặp đi lặp lại có hỗ trợ Python," trang được cập nhật ngày 25 tháng 10 năm 2026
• tensor.news — không có dòng 1017 nào cả; mục DeepSeek V4.1 Flash của nó ghi 26,83%, được đo vào ngày 9 tháng 9 năm 2026
• trustthebench — 26%, trên một trang đề ngày 26 tháng 8 năm 2026, thời điểm hoàn toàn trước checkpoint

Ba ý kiến phản biện cùng chung một vấn đề về nguồn gốc. Con số 26.83, chính xác đến hai chữ số thập phân, là điểm mà bản dựng tháng Chín đạt được. Một công cụ theo dõi gắn nhãn mô hình mới lên một phép đo cũ sẽ tạo ra đúng kiểu mẫu này, và trang đề ngày tháng Tám là bằng chứng rõ ràng rằng ít nhất một trong số họ đang làm vậy. Điều đó không làm cho 46.3 trở nên đáng tin cậy — nó khiến 26.8 trở nên lỗi thời chứ không phải mâu thuẫn.
Điều có thể giải quyết chuyện này là một harness thứ hai. Cả 46,3 lẫn 71,2 đều chưa được tái lập bên ngoài lớp theo dõi, và DeepSeek chưa công bố đánh giá toán học nào của riêng mình cho checkpoint này. Hãy coi con số đó là một tín hiệu mạnh mẽ từ bên thứ ba, chứ không phải là một sự thật đã được xác lập về mô hình. Nếu bạn cần một con số có thể biện minh được cho một tài liệu mua sắm, thì bạn vẫn chưa có.
Tại sao DeepSeek lại phát hành một cải tiến về toán học mà không hề đề cập đến nó
Bảng trong changelog giải thích việc thiếu sót này rõ hơn bất kỳ giả thuyết âm mưu nào. Bản cập nhật 1017 được trình bày như một bản phát hành về lập trình và agentic, và các con số của nhà cung cấp hoàn toàn nằm trong cùng định hướng đó: HLE không dùng công cụ tăng từ 36,8 lên 42,6; Terminal-Bench 4.0 từ 31,2 lên 42,3; DeepSWE v1.1 từ 74,2 lên 77,0; ProgramBench từ 20,3 lên 29,1; Apex Bench từ 64,6 lên 72,1. Một mô hình được tinh chỉnh trên các quỹ đạo agentic dài — nơi phần thưởng là hoàn thành một tác vụ nhiều bước thay vì tạo ra một token cuối cùng đúng — sẽ có thêm sức bền toán học như một sản phẩm phụ. Toán khó và các lượt chạy agent dài thưởng cho cùng một hành vi: tiếp tục kiểm tra, đừng dừng sớm.

Những người kiểm thử độc lập đã phát hiện điều ngược lại với những gì lý thuyết đó dự đoán, và chính điều đó khiến toàn bộ câu chuyện trở nên thú vị. Trên một mẫu toán khó, phép đo sference của trình đánh giá cho thấy đầu ra suy luận ở mức nỗ lực tối thiểu giảm từ 1,974 token xuống 790, với đầu ra trung vị trên AIME giảm từ 1,681 xuống 1,124. Suy luận ngắn hơn ở mức nỗ lực tối thiểu không phải là điều bạn sẽ kỳ vọng từ một mô hình vừa tăng mười chín điểm trong toán học nghiên cứu. Cách dung hòa khả dĩ nhất là phụ thuộc vào mức nỗ lực: con số 46.3 được ghi nhận ở mức nỗ lực tối đa, và điều đã thay đổi là mô hình suy nghĩ nhiều đến mức nào khi bạn để nó suy nghĩ, chứ không phải nó suy nghĩ hiệu quả đến mức nào khi bạn không để nó làm vậy.
46.3 thực sự nằm ở đâu
Đồng hạng nhất trong số các mô hình Trung Quốc không đồng nghĩa với việc tiệm cận mức tiên phong, và chính bảng xếp hạng đó cho thấy rõ điều này chỉ trong vài dòng. Các mô hình dẫn đầu Tier 4 v2 hoàn toàn là một đẳng cấp mô hình khác: GPT-6.1 Sol đạt 100%, GPT-6 Astra đạt 97,6%, Claude Opus 5.5 đạt 95%, Claude Fable 5 đạt 90,2%, GPT-6 Sol đạt 90%. Mô hình gần nhất phía trên cụm 46,3 là GPT-5.4 với 49%. Bảng xếp hạng của LLMLearner ghi 46,3 là điểm open-weights tốt nhất trên bảng. Điểm số quanh mốc 50 trên tầng khó nhất là một kết quả xuất sắc đối với một mô hình open-weights và là một kết quả kém đối với một mô hình tiên phong, và DeepSeek V4.1 Flash 1017 nằm vững chắc trong nhóm đầu tiên.
• Điểm Tier 4 v2 — DeepSeek V4.1 Flash 1017 46.3% so với Qwen3.8-Max 46.3% so với Claude Haiku 5.5 46.3% (đồng hạng, thứ 21)
• FrontierMath Cấp 1–3 — DeepSeek V4.1 Flash 1017 đạt 71.2% so với bản dựng tháng 9 của chính nó ở mức 67.4%
• Trọng số — được cấp phép MIT, có thể tải xuống, hỗn hợp chuyên gia 552B tham số với một bảng bộ nhớ có điều kiện riêng; các công cụ theo dõi ước tính tổng dung lượng trên đĩa gần 763B tham số
• Giá — $0,30 mỗi triệu đầu vào và $1,20 mỗi triệu đầu ra vào giờ cao điểm, $0,15 và $0,60 vào giờ thấp điểm, không thay đổi so với tháng 9
• Ngữ cảnh — 1M token, có đầu vào hình ảnh
• Tuyên bố toán học từ nhà cung cấp — không có; FrontierMath không hề xuất hiện trong các bảng được DeepSeek công bố

Cách hiểu thực tế: nếu công việc của bạn là toán kiểu thi đấu và lựa chọn thay thế của bạn là một mô hình trọng số mở, thì 46.3 thay đổi bài toán cân nhắc, bởi vì nó đưa một mô hình 552B được cấp phép MIT vào cùng dải với hai mô hình độc quyền có giá mỗi token cao hơn. Nếu lựa chọn thay thế của bạn là một mô hình đóng tiên phong, thì không có gì ở đây thu hẹp được khoảng cách — mức chênh 95 so với 46 trên Tier 4 không phải là sai số làm tròn.
Kiểm chứng tuyên bố đó trên chính những vấn đề của bạn, mà không đặt cược một lộ trình sản xuất vào nó
Vì 46,3 dựa trên 41 bài toán riêng tư và một lớp theo dõi, động thái hợp lý là đo nó so với khối lượng công việc của chính bạn thay vì tin vào một trong hai con số. DeepSeek V4.1 Flash 1017 được cung cấp trên OrcaRouter với tên deepseek/deepseek-v4.1-flash-1017, cùng với bản dựng tháng Chín dưới deepseek/deepseek-v4.1-flash — nghĩa là bạn có thể chạy cùng một bộ lời nhắc với cả hai checkpoint thông qua một khóa API và xem liệu khoảng cách tám bài toán có xuất hiện trong các đánh giá của chính bạn không. Không có hợp đồng thứ hai và không có thay đổi mã; chuỗi mô hình là điểm khác biệt duy nhất.
Hai điều về lớp định tuyến có liên quan đến một quyết định còn chưa ngã ngũ này. Giá được chuyển thẳng theo giá niêm yết của nhà cung cấp với mức markup 0%, nên mức giá ngoài giờ cao điểm của DeepSeek là $0.15 và $0.60 có hiệu lực ở đây cùng ngày với bất kỳ nơi nào, và việc nhà cung cấp thay đổi giá không phải chờ chúng ta đồng bộ danh mục. Hữu ích hơn trong lúc một benchmark còn đang tranh cãi: failover tự động và DSL định tuyến cho phép bạn gửi phần toán khó đến bản dựng 1017 ở mức nỗ lực tối đa và chuyển dự phòng sang một mô hình mạnh hơn khi nó trả về câu trả lời bạn không thể xác minh — vì vậy một mức tăng mười chín điểm chưa được chứng minh chỉ khiến bạn tốn một quy tắc định tuyến thay vì một cuộc di trú.
Điều gì sẽ thay đổi câu chuyện này?
Có ba điều đáng theo dõi, và cả ba đều có thể kiểm chứng. Điều thứ nhất là liệu benchlm.ai và tensor.news có cập nhật 1017 hàng của họ thành một giá trị khác 26.8 hay không; nếu thêm hai trình theo dõi nữa hội tụ về phép đo tháng Mười, thì cách hiểu rằng đó là hàng dữ liệu cũ được xác nhận và con số trở nên bình thường. Điều thứ hai là liệu DeepSeek có thêm một hàng toán học vào bảng so sánh của chính mình trong nhật ký thay đổi tương lai hay không — một nhà cung cấp tin rằng mình đã tăng được mười chín điểm trên FrontierMath thì có lẽ sẽ nói ra, và sự im lặng ở đó là bằng chứng nhẹ chống lại. Điều thứ ba là một lần tái lập không dùng công cụ. Con số 46.3 được ghi nhận khi cho phép dùng công cụ, và một lần chạy không trạng thái sẽ cho bạn biết liệu mức tăng đó là nhờ suy luận toán học hay nhờ sử dụng hộp cát Python tốt hơn.
Cho đến khi một trong những điều đó thành hiện thực, bản tóm tắt trung thực vẫn còn hẹp. Một checkpoint chín ngày tuổi, giấy phép MIT và mức giá đầu vào $0,30 đã lọt vào cùng dải với Qwen3.8-Max và Claude Haiku 5.5 trên hạng mục toán công khai khó nhất — trên hai trình theo dõi, ở mức nỗ lực tối đa, trong bốn mươi mốt bài toán, mà không được phòng thí nghiệm đã tạo ra nó xác nhận. Điều đó đủ để biện minh cho một buổi chiều đánh giá của riêng bạn. Nó không đủ để biện minh cho việc viết lại một slide benchmark.
So sánh trong bài viết này2
Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày
