DeepSeek V4.1 Flash 1017のタイトルカード。見出し数値46.3%を示し、FrontierMath Tier 4 v2とラベル付けされ、21位タイ。フッターには、数値はBenchLeaderとLLMLearnerによるもので、ベンダーは数学スコアを公開していないと記されている。
Engineering & Research

DeepSeek V4.1 Flash 1017、FrontierMath Tier 4で19ポイント急上昇——それなのにDeepSeekは一切触れていない

著者

Alistair Wren

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

最も興味深いベンチマーク数値は、DeepSeek V4.1 Flash 1017にまつわるものだが、ベンダーが公表したものではない。2026年10月21日、チェックポイントの公開から5日後、追跡サイトBenchLeaderはこのモデルにFrontierMath Tier 4の結果を追加した。最大推論エフォートで46.3%だ。これはQwen3.8-Maxとの間に1問分の差があることを意味し、同モデルは8月2日に46.3%を記録した。またClaude Haiku 5.5と同水準でもあり、同モデルは10月7日に46.3%を記録した。これは同じボード上で以前のDeepSeekチェックポイントが位置する水準より約19ポイント高い。DeepSeek自身の10月17日アップデートの変更履歴には9つのベンチマークが挙げられている。そのうち数学ベンチマークは一つもない。 OrcaRouter上では9月ビルドと並んでdeepseek/deepseek-v4.1-flashとして提供されているため、同じプロンプトセットを両方のチェックポイントに対して実行できる。

DeepSeekが主張した内容と第三者が測定した内容の間にあるこの隔たりこそが、ここでの本題だ。1017チェックポイントはコストと速度のリリースとして発表された——変更履歴にある表現は「性能とコストのパレート改善」であり、出力はより短く、タスク完了はより速いというものだった。同じ変更履歴のベンチマーク表はすべてエージェント作業だ。ツールなしのHLE、Terminal-Bench 4.0、DeepSWE v1.1、ProgramBench、Apex Bench、Agents' Last Exam。数学はリストにない。つまり、エージェント作業の宣伝されていない副作用としてDeepSeekの数学が向上したのか、それともある追跡サイトにだけ他のサイトにはない行があるのか。どちらの読み方も真剣に受け止める価値があり、そしてそれぞれ異なる助言につながる。

Tier 4 v2 が実際に求めているもの、そしてなぜ問題の件数が割合よりも重要になるのか

FrontierMath Tier 4 v2は、Epoch AIのベンチマークにおける研究グレードの層である。43問の研究レベルの問題からなる非公開の拡張セットで、2026年6月12日に公開され、モデルは固定されたライブラリ一覧に対してステートレスなサンドボックス内でPythonを実行することが許可されている。採点対象の分母は41であるように見える — 公表されたスコアはそれで割り切れる。41問中19問正解は46.34%、41問中11問は26.83%だからだ。いずれにせよ、このセットは十分に小さく、1問がおよそ2.4パーセンテージポイントに相当し、それがこのページの他のすべてを左右する詳細である。リーダーボード上で大きく離れて見える2つのスコアでも、8問しか違わないことがある。

まさにそれが、DeepSeekの数字が示していることだ。46.3%というスコアは、その分母に対して19問正解という計算になる。以前のチェックポイントが示す26.8%というスコアは、11問正解という計算になる。「19ポイントの跳ね上がり」の全体は、わずか8問だ。それは実際の差ではある——41問中8問は、通常の意味でのノイズではない——しかし同時に、サンプルとして小さすぎるため、ツールを1つ変えるだけでも、システムプロンプトを変えるだけでも、あるいはエフォート設定を変えるだけでも、モデルの順位がいくつも入れ替わりうる。4つのモデルが46.3%で並んでいるとき、それらは意味のある形で分離されているわけではない。どれも互いに1問差の範囲内にある。

軌道:3つの平坦なチェックポイント、その後のステップ

46.3が丸め誤差ではなくニュースとして扱われる理由は、その前に何があったかにあります。DeepSeekの直近4回のFrontierMath Tier 4 v2エントリーを通してみると、その線は横ばいで、その後垂直になります:

• DeepSeek V4 Flash 0731 — 24.4%、7月のチェックポイント

• DeepSeek V4 Pro 0813 — 26.8%、8月のフラッグシップ

• DeepSeek V4.1 Flash (0910) — 26.8%、その両方を置き換えた9月のリリース

• DeepSeek V4.1 Flash 1017 — 46.3%、10月のチェックポイント、最大エフォート時

より易しいティアも動いたが、控えめだった。BenchLeaderによると、FrontierMath Tiers 1–3では1017ビルドが71.2%、9月のものが67.4%となっている。これは真正な能力向上から期待される形だ。つまり、問題が解きやすいところでは数ポイント、解きにくいところでははるかに大きな動きになる。またこれは、最難の問題で不釣り合いに助けとなるハーネス変更からも期待される形であり、だからこそ次の節が重要なのである。

どの掲示板を信じるかは、どの掲示板を読むかによって決まる。

5つのトラッカーを確認しました。そのうち2つは現在、1017ビルドについて46.3%を示しています。3つは示していません。

• BenchLeader — 最大エフォート時でTier 4は46.3%、Tier 1~3は71.2%、結果は2026年10月21日に追加

• 現在LLMLearnerとして提供されているDataLearner — 46.34%、21位タイ、「Max (With Tools)」構成で評価、最終結果追加日は2026年10月26日、ボード上で最高のオープンウェイトスコアとして掲載

• benchlm.ai — 26.829%、30位、「Pythonを活用した反復型数学問題解決」、ページ更新日:2026年10月25日

• tensor.news — 1017 の行はまったくありません。DeepSeek V4.1 Flash の項目は 26.83% を示しており、測定日は 2026年9月9日です

• trustthebench — 26%、2026年8月26日付のページで、これはチェックポイントより完全に前の日付です

A screenshot of the LLMLearner FrontierMath Tier 4 v2 leaderboard, published by Epoch AI, showing 70 models across 43 problems with the last result added 2026-10-26. The top ten are led by GPT-6.1 Sol at 100.0, GPT-6 Astra at 97.6 and Claude Opus 5.5 at 95.0, and the page flags DeepSeek-V4.1-Flash-1017 at 46.3 as the best open-weights score, tied at rank 21.

3人の異論者には来歴の問題が共通している。26.83という数値は、小数点以下2桁まで、9月ビルドが獲得したスコアである。新しいモデルラベルを古い測定値に持ち越すトラッカーは、まさにこのパターンを生み出す。そして8月付のページは、少なくともそのうちの1つがそうしていることの紛れもない証拠である。それは46.3を権威あるものにするのではない——26.8を矛盾ではなく古いものにするのである。

それを決着させるのは第二の評価ハーネスだ。46.3も71.2もトラッキング層の外では再現されておらず、DeepSeekはこのチェックポイントについて自前の数学評価を一切公開していない。この数値は強力な第三者シグナルとして扱うべきであり、モデルについて確立された事実として扱うべきではない。調達文書に耐えうる数字が必要なら、まだ手元にはない。

なぜDeepSeekは数学性能の向上をリリースしておきながら、それについて言及しないのか

変更履歴の表は、どんな陰謀論よりもその省略をうまく説明している。1017アップデートはコーディングとエージェント向けのリリースとして提示されており、ベンダーの数値も完全にその文脈に沿っている。ツールなしのHLEは36.8から42.6へ、Terminal-Bench 4.0は31.2から42.3へ、DeepSWE v1.1は74.2から77.0へ、ProgramBenchは20.3から29.1へ、Apex Benchは64.6から72.1へ上昇した。長いエージェント軌跡で調整されたモデル——そこでは報酬が正しい最終トークンを出力することではなく、多段階タスクを完了することにある——は、数学的持久力を副産物として身につける。難解な数学と長いエージェント実行は同じ行動に報いる。すなわち、確認を続け、早く止まらないことだ。

A screenshot of DeepSeek's own 17 October 2026 release page for DeepSeek-V4.1-Flash-1017, headed 'Wish-Driven Programming Made Real'. Its benchmark table lists HLE at 42.6 and 44.0, Terminal-Bench 4.0 at 42.3, DeepSWE v1.1 at 77.0, ProgramBench at 29.1, NL2Repo-Bench at 68.2, Automation-Bench at 60.5, Agents' Last Exam at 35.4, Apex Bench v1.1 at 72.1, Chartography at 83.0, BabyVision at 92.5 and ZeroBench-main at 51.0. No mathematics benchmark appears anywhere in the table.

独立したテスターは、その理論が予測するものとは正反対の結果を見つけた。だからこそ、話全体が面白いのだ。難しい数学のサンプルでは、評価者の sference が測定したところ、最小努力時の推論出力が1,974トークンから790トークンへ低下し、AIMEの出力中央値は1,681から1,124へ下がった。最小努力時の推論が短くなるのは、研究数学でちょうど19ポイントを獲得したばかりのモデルから期待されることではない。最もありそうな整合の説明は努力量依存だ。46.3は最大努力時に記録されたもので、変わったのは、考えさせたときにモデルがどれだけ考えるかであり、考えさせないときにどれだけ効率的に考えるかではない。

46.3が実際にどこに位置するか

中国のモデルの中で同率最高であることは、フロンティアに近いことと同じではなく、同じボードを見ればほんの数行の中でそれが明らかになる。Tier 4 v2のリーダーたちはまったく別格のモデルクラスだ。GPT-6.1 Solが100%、GPT-6 Astraが97.6%、Claude Opus 5.5が95%、Claude Fable 5が90.2%、GPT-6 Solが90%。{{1}}46.3{{/1}}のクラスターより上で最も近いモデルはGPT-5.4の49%だ。LLMLearnerのリーダーボードは{{2}}46.3{{/2}}をボード上の最高オープンウェイトスコアと表示している。最も難しいティアで50点近いスコアは、オープンウェイトモデルにとっては優秀な結果であり、フロンティアモデルにとっては貧弱な結果であり、DeepSeek V4.1 Flash 1017は確実に前者のカテゴリーに入る。

• Tier 4 v2 スコア — DeepSeek V4.1 Flash 1017 46.3% vs Qwen3.8-Max 46.3% vs Claude Haiku 5.5 46.3%(同率、21位)

• FrontierMath Tier 1~3 — DeepSeek V4.1 Flash 1017 は71.2%、同社の9月ビルドは67.4%

• 重み — MITライセンスでダウンロード可能な552BパラメータのMixture-of-Experts。別個の条件付きメモリテーブルを備え、トラッカーによるオンディスクの実フットプリントは約763Bパラメータ相当

• 価格 — ピーク時は入力100万あたり0.30ドル、出力100万あたり1.20ドル、オフピーク時は0.15ドルと0.60ドルで、9月から変更なし

• コンテキスト — 100万トークン、画像入力対応

• ベンダーによる数学の主張 — なし。FrontierMath は DeepSeek の公開表のどこにも登場しない

A scoreboard for DeepSeek V4.1 Flash 1017 listing FrontierMath Tier 4 v2 at 46.3%, FrontierMath Tiers 1-3 at 71.2%, the previous DeepSeek checkpoint at 26.8%, MIT open weights, a price of $0.30 input and $1.20 output per million tokens, and no vendor-published math claim, with a footer naming BenchLeader and LLMLearner as the sources.

実用的な見方をすると、あなたの作業が競技スタイルの数学で、代替手段がオープンウェイトモデルだったなら、46.3は判断を変えます。なぜなら、MITライセンスの552Bモデルを、トークンあたりのコストがより高い2つのプロプライエタリモデルと同じ水準に置くからです。代替手段がフロンティアのクローズドモデルだったなら、ここにあるものでその差が埋まることはありません——Tier 4における95対46の開きは、丸め誤差ではありません。

自分の問題でその主張を検証すること、それに本番経路を賭けることなく

46.3 が 41 個の非公開問題と 1 つのトラッキング層に基づいていることを踏まえると、どちらの数値を信じるよりも、自分のワークロードに照らして測定するのが合理的です。DeepSeek V4.1 Flash 1017 は OrcaRouter 上でdeepseek/deepseek-v4.1-flash-1017として提供されており、deepseek/deepseek-v4.1-flash の9月ビルドも併せて提供されています。つまり、同じプロンプトセットを1つの API キーで両方のチェックポイントに対して実行し、8問の差が自分の評価にも現れるかどうかを確認できます。2つ目の契約はなく、コード変更もありません。異なるのはモデル文字列だけです。

ルーティング層に関する2つの点は、これほど未解決な判断に関係します。価格はプロバイダーの定価でマークアップ0%のままパススルーされるため、DeepSeekのオフピーク料金である$0.15と$0.60は、どこかで有効になった当日にここでも有効になり、ベンダーの価格変更は当社がカタログを同期するのを待ちません。ベンチマークが論争中のときにより役立つのは、自動フェイルオーバーとルーティングDSLです。これにより、難しい数学のスライスを最大エフォートで1017ビルドに送り、検証できない回答が返ってきたときにはより強力なモデルにフォールバックできます。そのため、未実証の19ポイントの向上は、移行ではなくルーティングルール1つのコストで済みます。

この物語を変えるものは何でしょうか

注目すべき点は3つあり、いずれも検証可能だ。第一は、benchlm.aiとtensor.newsが1017行を26.8以外の値に更新するかどうか。さらに2つのトラッカーが10月の測定値に収束すれば、行が古いままという解釈が裏付けられ、その数字は平凡なものになる。第二は、DeepSeekが将来の変更履歴で自社の比較表に数学の行を追加するかどうか。FrontierMathで19ポイント向上したと信じていたベンダーならおそらくそう言うはずで、そこが沈黙していることは反対方向の弱い証拠になる。第三は、ツールなしでの再現だ。46.3はツール使用を許可した状態で記録されたもので、ステートレスな実行をすれば、その向上が数学的推論によるものか、Pythonサンドボックスのより良い活用によるものかがわかる。

それらのどれかが実現するまでは、誠実な要約は限定的なものになる。9日前のチェックポイント、MITライセンス、入力価格0.30ドルが、公開されている数学の最難関ティアにおいて、2つのトラッカー上で、最大努力設定で、41問中という条件のもと、Qwen3.8-MaxやClaude Haiku 5.5と同じ水準に達している——しかも、それを作ったラボによっては主張されていない。これは、自分自身で評価に午後を費やす理由にはなる。ベンチマークのスライドを書き換える理由にはならない。

この記事で比較したモデル2

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新