
DeepSeek V4.1 Flash 1017, FrontierMath Tier 4에서 19점 상승 — 그리고 DeepSeek은 이 사실을 언급조차 하지 않았다
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 90 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaNEWOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 88 tok/s
- OrcaNEWOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 134 tok/s
- OrcaNEWOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 100만 토큰당 · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 125 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 192 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 134 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100만 토큰당 · 128 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955지능
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855지능
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100만 토큰당 · 186 tok/s
가장 흥미로운 벤치마크 수치가 붙어 있는 대상은 DeepSeek V4.1 Flash 1017이며, 그 수치는 벤더가 공개하지 않은 값이다. 2026년 10월 21일, 체크포인트가 출시된 지 5일 후, 트래커 BenchLeader는 이 모델에 대한 FrontierMath Tier 4 결과를 추가했다: 최대 추론 노력 기준 46.3%. 이는 Qwen3.8-Max가 8월 2일에 기록한 46.3%와 한 문제 분량의 격차이고, Claude Haiku 5.5가 10월 7일에 기록한 46.3%와 동일한 수준이다. 또한 같은 보드에서 이전의 모든 DeepSeek 체크포인트가 위치한 지점보다 약 19점 높다. DeepSeek 자체의 10월 17일 업데이트 체인지로그에는 9개의 벤치마크가 나열되어 있다. 그중 수학 벤치마크는 하나도 없다. 이 모델은 OrcaRouter에서 9월 빌드와 함께 deepseek/deepseek-v4.1-flash 아래 제공되므로, 동일한 프롬프트 세트를 두 체크포인트 모두에 대해 실행할 수 있다.
DeepSeek가 주장한 것과 제3자가 측정한 것 사이의 그 격차가 여기서의 핵심이다. 1017 체크포인트는 비용과 속도 중심의 릴리스로 발표되었다 — 체인지로그의 표현은 "성능-비용 파레토 개선"이며, 더 짧은 출력과 더 빠른 작업 완료를 내세웠다. 같은 체인지로그의 벤치마크 표는 모두 에이전틱 작업이다: 도구 없이 수행한 HLE, Terminal-Bench 4.0, DeepSWE v1.1, ProgramBench, Apex Bench, Agents' Last Exam. 수학은 목록에 없다. 따라서 DeepSeek의 수학 성능이 에이전틱 작업의 광고되지 않은 부수 효과로 향상되었거나, 아니면 한 추적 사이트에 다른 사이트에는 없는 행이 있거나 둘 중 하나다. 두 해석 모두 진지하게 받아들일 가치가 있으며, 서로 다른 조언으로 이어진다.
Tier 4 v2가 실제로 요구하는 것, 그리고 왜 문제 개수가 비율보다 더 중요한가
FrontierMath Tier 4 v2는 Epoch AI 벤치마크의 연구급 등급입니다. 2026년 6월 12일에 공개된 43개의 연구 수준 문제로 구성된 비공개 확장 세트이며, 모델은 고정된 라이브러리 목록을 대상으로 상태 비저장 샌드박스에서 Python을 실행할 수 있습니다. 채점 분모는 41인 것으로 보입니다. 공개된 점수가 그것으로 깔끔하게 나누어떨어지기 때문입니다. 41개 중 19개 정답은 46.34%이고, 41개 중 11개는 26.83%입니다. 어느 쪽이든 이 세트는 한 문제가 대략 2.4퍼센트포인트의 가치가 있을 만큼 작으며, 바로 그 점이 이 페이지의 다른 모든 것을 좌우하는 세부 사항입니다. 리더보드에서 멀리 떨어져 보이는 두 점수는 여덟 문제 차이일 수 있습니다.
즉, 그것이 바로 DeepSeek 수치가 의미하는 바입니다. 46.3% 점수는 그 분모 기준으로 19개 정답에 해당합니다. 이전 체크포인트가 보이는 26.8% 점수는 11개 정답에 해당합니다. '19점 상승' 전체는 문제 8개입니다. 이는 실제 차이입니다 — 41문제 중 8문제는 일반적인 의미의 노이즈가 아닙니다 — 하지만 도구 하나를 바꾸거나, 시스템 프롬프트를 바꾸거나, 다른 노력 설정을 쓰는 것만으로 모델을 여러 순위 움직일 수 있을 만큼 작은 표본이기도 합니다. 네 모델이 46.3%에서 동률을 이룰 때, 그것들은 의미 있게 분리된 것이 아닙니다. 모두 서로 한 문제 차이 안에 있습니다.
궤적: 평평한 체크포인트 세 개, 그다음 한 단계
46.3이 반올림 오차가 아니라 화제가 되는 이유는 그 이전에 있었던 일에 있다. DeepSeek의 최근 FrontierMath Tier 4 v2 기록 네 건에 걸쳐, 선은 평평하다가 수직으로 변한다:
• DeepSeek V4 Flash 0731 — 24.4%, 7월 체크포인트
• DeepSeek V4 Pro 0813 — 26.8%, 8월의 플래그십
• DeepSeek V4.1 Flash (0910) — 26.8%, 두 가지를 모두 대체한 9월 릴리스
• DeepSeek V4.1 Flash 1017 — 46.3%, 10월 체크포인트, 최대 추론 노력 기준
더 쉬운 티어들도 움직였지만, 완만했다: BenchLeader는 FrontierMath Tiers 1–3에서 1017 빌드가 71.2%로, 9월 빌드의 67.4%와 대조된다고 기록한다. 이는 진정한 역량 향상에서 기대할 수 있는 모양이다 — 질문이 해결 가능한 곳에서는 몇 점, 그렇지 않은 곳에서는 훨씬 큰 움직임이다. 또한 가장 어려운 문제에서 불균형적으로 도움이 되는 하네스 변경에서 기대할 수 있는 모양이기도 하며, 이것이 다음 섹션이 중요한 이유다.
당신이 어느 게시판을 믿는지는 당신이 어느 게시판을 읽느냐에 달려 있습니다.
트래커 다섯 개를 확인했습니다. 그중 두 곳은 이제 1017 빌드에 대해 46.3%를 기록하고 있습니다. 세 곳은 그렇지 않습니다.
• BenchLeader — 티어 4에서 46.3%, 티어 1–3에서 71.2%, 최대 노력 기준, 결과는 2026년 10월 21일에 추가됨
• DataLearner, 현재 LLMLearner로 활동 중 — 46.34%, 공동 21위, "Max (With Tools)" 구성으로 평가됨, 마지막 결과는 2026년 10월 26일에 추가되었으며, 보드에서 최고 오픈 웨이트 점수로 표시됨
• benchlm.ai — 26.829%, 30위, "Python을 활용한 반복적 수학 문제 해결", 페이지 업데이트: 2026년 10월 25일
• tensor.news — 1017 행이 전혀 없음; DeepSeek V4.1 Flash 항목은 26.83%로 표시되며, 2026년 9월 9일 측정
• trustthebench — 26%, 2026년 8월 26일자 페이지에서, 이 페이지는 체크포인트보다 완전히 앞선다

세 반대자는 모두 출처 문제를 안고 있다. 26.83이라는 수치는 소수점 둘째 자리까지 볼 때 9월 빌드가 얻은 점수다. 새 모델 라벨을 오래된 측정값에 붙여 옮기는 트래커는 정확히 이런 패턴을 만들어내며, 8월 날짜가 찍힌 페이지는 그들 중 최소한 하나가 그렇게 하고 있다는 명백한 증거다. 그렇다고 해서 46.3이 권위 있는 값이 되는 것은 아니다. 그것은 26.8을 모순된 값이 아니라 낡은 값으로 만든다.
이를 확정지을 것은 두 번째 하네스다. 46.3도 71.2도 트래킹 계층 밖에서는 재현되지 않았고, DeepSeek는 이 체크포인트에 대해 자체 수학 평가를 공개하지 않았다. 이 수치를 모델에 관한 확립된 사실이 아니라 강력한 제3자 신호로 취급하라. 조달 문서에 사용할 방어 가능한 수치가 필요하다면, 아직 그러한 수치는 없다.
왜 DeepSeek가 수학 성능 향상을 내놓고도 언급하지 않았을까
체인지로그의 표는 어떤 음모론보다도 그 누락을 더 잘 설명한다. 1017 업데이트는 코딩 및 에이전틱 릴리스로 제시되며, 공급업체 수치는 전적으로 그 영역에 속한다. 도구 없이 HLE는 36.8에서 42.6으로, Terminal-Bench 4.0은 31.2에서 42.3으로, DeepSWE v1.1은 74.2에서 77.0으로, ProgramBench는 20.3에서 29.1로, Apex Bench는 64.6에서 72.1로 상승했다. 올바른 최종 토큰을 내는 것이 아니라 다단계 작업을 완료하는 것이 보상인 긴 에이전틱 궤적에서 튜닝된 모델은 수학적 지구력을 부산물로 얻게 된다. 어려운 수학과 긴 에이전트 실행은 같은 행동을 보상한다: 계속 확인하고, 일찍 멈추지 않는 것이다.

독립 테스터들은 그 이론이 예측하는 것과 반대되는 결과를 발견했으며, 바로 그것이 이 모든 것을 흥미롭게 만든다. 어려운 수학 샘플에서 평가자 추론은 최소 노력 추론 출력이 1,974토큰에서 790토큰으로 감소했고, AIME 중앙값 출력은 1,681에서 1,124로 줄었다고 측정했다. 최소 노력에서의 더 짧은 추론은 연구 수학에서 방금 19점을 얻은 모델에서 기대할 수 있는 것이 아니다. 가장 그럴듯한 조정은 노력 의존적이다: 46.3은 최대 노력에서 기록되었으며, 바뀐 것은 모델이 생각하도록 허용했을 때 얼마나 많이 생각하는지이지, 그렇게 하지 않았을 때 얼마나 효율적으로 생각하는지가 아니다.
46.3이 실제로 어디에 위치하는지
중국 모델 중 공동 최고라는 것은 최전선에 근접했다는 뜻이 아니며, 같은 리더보드가 몇 줄 안에 그 점을 분명히 보여준다. Tier 4 v2 선두주자들은 완전히 다른 등급의 모델이다. GPT-6.1 Sol은 100%, GPT-6 Astra는 97.6%, Claude Opus 5.5는 95%, Claude Fable 5는 90.2%, GPT-6 Sol은 90%다. 46.3 클러스터 위에서 가장 가까운 모델은 49%의 GPT-5.4다. LLMLearner의 리더보드는 46.3을 보드에서 최고 오픈웨이트 점수로 표시한다. 가장 어려운 티어에서 50점에 가까운 점수는 오픈웨이트 모델에는 훌륭한 결과이고 최전선 모델에는 형편없는 결과이며, DeepSeek V4.1 Flash 1017은 확실히 첫 번째 범주에 속한다.
• Tier 4 v2 점수 — DeepSeek V4.1 Flash 1017 46.3% vs Qwen3.8-Max 46.3% vs Claude Haiku 5.5 46.3% (동률, 21위)
• FrontierMath 티어 1–3 — DeepSeek V4.1 Flash 1017 71.2% vs 자체 9월 빌드 67.4%
• 가중치 — MIT 라이선스로 다운로드 가능한 552B 파라미터 규모의 전문가 혼합(MoE) 모델이며, 별도의 조건부 메모리 테이블을 갖추고 있음; 추적자들은 전체 디스크 점유 규모를 약 763B 파라미터로 추정한다
• 가격 — 피크 시 입력 100만 개당 $0.30, 출력 100만 개당 $1.20, 오프피크 시 $0.15 및 $0.60으로 9월과 동일
• 컨텍스트 — 이미지 입력 지원, 1M 토큰
• 벤더 측 수학 성능 주장 — 없음; FrontierMath는 DeepSeek의 공개된 표 어디에도 나타나지 않음

실용적으로 보면: 당신의 작업이 경시대회 스타일 수학이고 대안이 오픈 웨이트 모델이었다면, 46.3은 판단 기준을 바꿉니다. 왜냐하면 552B MIT 라이선스 모델을 토큰당 비용이 더 높은 두 독점 모델과 같은 구간에 올려놓기 때문입니다. 대안이 프런티어 폐쇄형 모델이었다면, 여기서 그 격차를 메우는 것은 아무것도 없습니다 — Tier 4에서의 95 대 46 격차는 반올림 오차가 아닙니다.
자신의 문제로 그 주장을 검증하되, 그것에 프로덕션 경로를 걸지 않고
46.3이 41개의 비공개 문제와 하나의 추적 레이어에 기반한다는 점을 고려하면, 어느 숫자든 믿기보다 자신의 워크로드에 맞춰 측정하는 것이 현명합니다. DeepSeek V4.1 Flash 1017은 OrcaRouter에서 deepseek/deepseek-v4.1-flash-1017로 제공되며, deepseek/deepseek-v4.1-flash 아래의 9월 빌드와 함께 제공됩니다. 즉, 하나의 API 키로 동일한 프롬프트 세트를 두 체크포인트에 대해 실행하고 8개 문제 차이가 자체 평가에서 나타나는지 확인할 수 있습니다. 두 번째 계약도, 코드 변경도 없습니다. 유일한 차이는 모델 문자열입니다.
라우팅 계층에 관한 두 가지는 이처럼 결론이 나지 않은 결정과 관련이 있습니다. 가격은 공급자 정가에 0% 마크업으로 그대로 전달되므로, DeepSeek의 오프피크 요금인 $0.15와 $0.60은 다른 어디에서 적용되는 바로 그날 여기서도 적용되며, 공급업체의 가격 변경은 우리가 카탈로그를 동기화할 때까지 기다리지 않습니다. 벤치마크가 논쟁 중일 때 더 유용한 점은 자동 페일오버와 라우팅 DSL을 통해 어려운 수학 부분을 최대 노력으로 1017 빌드에 보내고, 검증할 수 없는 답변이 반환되면 더 강력한 모델로 폴백할 수 있다는 것입니다. 따라서 입증되지 않은 19포인트 향상의 대가는 마이그레이션이 아니라 라우팅 규칙 하나입니다.
이 이야기를 바꿀 것은 무엇일까
주목할 만한 세 가지가 있으며, 세 가지 모두 확인 가능하다. 첫째는 benchlm.ai와 tensor.news가 자신들의 1017개 행을 26.8이 아닌 값으로 업데이트하는지 여부다. 추적기 두 곳이 더 10월 측정값으로 수렴하면 낡은 행이라는 해석이 확인되고 그 숫자는 평범해진다. 둘째는 DeepSeek가 향후 변경 로그에서 자체 비교 표에 수학 행을 추가하는지 여부다. FrontierMath에서 19점을 얻었다고 믿는 업체라면 아마 그렇게 말했을 것이며, 그 침묵은 반대의 약한 증거다. 셋째는 도구 없이 재현하는 것이다. 46.3은 도구 허용 상태에서 기록되었으며, 무상태 실행은 그 향상이 수학적 추론인지 Python 샌드박스의 더 나은 활용인지 알려줄 것이다.
그중 하나가 실현되기 전까지는 솔직한 요약의 범위가 좁을 수밖에 없다. 9일 된 체크포인트, MIT 라이선스, 0.30달러의 입력 가격이 가장 어려운 공개 수학 등급에서 Qwen3.8-Max, Claude Haiku 5.5와 같은 구간에 올라섰다. 두 트래커에서, 최대 노력 설정으로, 41개 문제 중에서, 그것을 만든 연구소가 내세우지도 않은 채로. 그것은 당신이 직접 평가해 볼 오후 한나절을 정당화하기에는 충분하다. 벤치마크 슬라이드를 다시 쓰는 것을 정당화하기에는 충분하지 않다.
이 글에서 비교한 모델2
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
