記事「{{1}}DeepSeek V4 Pro Benchmarks{{/1}}」のヒーロータイトルカード:大きなゲージを備えたスコアボード、見出し「{{2}}DeepSeek V4 Pro — the benchmark scorecard{{/2}}」、サブタイトル「{{3}}Official 0813 scores, independent checks, and what's still unreproduced{{/3}}」、そして「{{4}}TERMINAL-BENCH 2.1: 87.9{{/4}}」「{{5}}DEEPSWE: 62.7{{/5}}」「{{6}}AA INDEX: 53{{/6}}」「{{7}}1M CONTEXT{{/7}}」と表示されるチップ。{{8}}OrcaRouter{{/8}}ロゴを右下に合成。
Guides & Insights

DeepSeek V4 Pro ベンチマーク:完全な0813スコアカード、すべての独立検証、そしてまだ誰も確認していないこと

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

一言で言えば:DeepSeek V4 Proは、DeepSeek自身の数値に基づけば、真に強力なエージェント性能スコアカードを公表している——Terminal-Bench 2.1は87.9、DeepSWEは62.7、CyberGymは83.3——しかし、見出しになる数値のほぼすべてはベンダー報告であり、独立系の見方はより冷ややかだ。 Artificial Analysisは公式0813ビルドをIntelligence Indexで53と評価し、GLM 5.2と同水準、GPT-5.6 Terraより4ポイント低く、Kimi K3より7ポイント低い。Vals AIは12位とし、前世代のGPT-5.5を下回る。本記事は他に誰も書いていない完全な集約である:0813の完全なスコアカード、技術報告書からの拡張コーディングセット、存在するすべての独立検証、そしてどの数値が再現済みで、どれが依然としてDeepSeekの主張のみなのかという正直な台帳。スコアカード公表から1週間後、サービング状況も見え始めた——2026年8月19日、LMSYSとAnt Groupは、バッチサイズ1で271出力トークン/秒に達するH20サービングスタックを公開した。これは以下の専用セクションで扱い、このページのベンダー側のすべてと同様、誰かが再現するまでは自己申告として記録する。

公式0813スコアカード — Deep​Seek自身の数字、そのすべて

Deep​Seekの公式発表(APIドキュメント、news260813、2026年8月13日)は、4月のプレビュー版に対する本番ビルドについて報告している。このセクションのすべての数値はベンダー報告であり、2026年8月16日時点で独立に再現されたものはない:

• Terminal-Bench 2.1 — 87.9(プレビュー: 72.1)。

• DeepSWE — 62.7(プレビュー: 12.8)— 約5倍の急上昇で、このカード上で最も際立つ主張です。

• CyberGym — 83.3(プレビュー: 52.7)。

• Humanity's Last Exam — ツールなしで42.7、ツールありで60.0(プレビュー: 37.7 / 48.2)。

• Toolathlon-Verified — 74.1(プレビュー: 55.9)。

• AutomationBench(公開)— 31.8(プレビュー: 12.8)。

• DSBench-FullStack — 71.1、DSBench-Hard — 67.2(プレビュー: 41.8 / 31.1)。

• NL2Repo — 61.5(プレビュー: 38.5)。

• Agents' Last Exam — 25.7(プレビュー: 16.5)。

注目すべきパターンは、性能向上がどこに集中しているかです。エージェント型とサイバーセキュリティのベンチマークです。それはまさに、ラボがエージェントモデルを宣伝したいときに作り出す種類のスコアカードであり、またまさに、本番環境に費用を投じる前に中立的な再実行が必要となる種類のものです。

Scoreboard card for DeepSeek V4 Pro's official 0813 benchmarks: rows read Terminal-Bench 2.1 87.9 (preview 72.1), DeepSWE 62.7 (12.8), CyberGym 83.3 (52.7), HLE with tools 60.0 (48.2), DSBench-FullStack 71.1 (41.8), Toolathlon-Verified 74.1 (55.9), with a footer reading 'All figures DeepSeek-reported via API docs news260813, Aug 13 2026 — none independently reproduced.'

Deep​Seekのテクニカルレポートにある拡張コーディングセット

エージェント型カードに加えて、Deep​Seekの技術レポート(BenchLMが2026年8月16日に集約したもの)は、より広範なコーディングおよび長文コンテキストのセットを追加しています。これもベンダー報告であり、BenchLMによって「Provider exact」とラベル付けされています — 独立したテストはありません:

• SWE-bench Verified — 80.6%、SWE-bench Pro — 55.4%。

• LiveCodeBench Pass@1-CoT — 93.5% — BenchLMのカタログで確認済みの最高値です。

• Codeforces レーティング — 3206 — カタログ内で確認済みの最高記録でもあります。

• BrowseComp — 83.4%、Terminal-Bench 2.0 — 67.9%。

• MRCR 1M — 83.5%、CorpusQA 1M — 62.0% — いずれも100万トークンの検索においてカタログ最高性能であり、100万トークンのコンテキストウィンドウを謳うモデルにとって重要な指標です。

• GPQA Diamond — 92.8、SciCode — 49.2、Long-Context Recall — 75.3(OrcaRouterのモデルページに掲載)。

独立した評価者が実際に測定しているもの

3つの独立した情報源がDeepSeek V4 Proを実行しており、その評価はベンダー公表のスペックカードを下回る水準に集中している:

• Artificial Analysis Intelligence Index — 53(SCMPの報道、2026年8月。OrcaRouterのモデルページでは53.2で、132件中20位)。GLM 5.2と同等、GPT-5.6 Terraには4ポイント及ばず、Kimi K3には7ポイント及ばない。

• Artificial Analysis Coding — 68.8、130モデル中24位(OrcaRouterのモデルページによる)。

• Vals AI Index — 12位。前世代のGPT-5.5を下回り、Kimi K3やClaude Opus 5には大きく及ばない(SCMP)。Vals AI自身のテストでは、サンドボックス化されたターミナル環境内でのタスク完了と、Excelスプレッドシートでの複雑な財務モデル構築という、2つの具体的な弱点が指摘された。

• Vibe Code Bench v1.1 — 49.93(Vals AI、このセットで唯一の「Benchmark exact」独立実行)。

正直な台帳 — 何が再現され、何がまだDeep​Seekの言葉だけなのか

これはベンチマーク記事が提供するために存在するセクションであり、ローンチ報道よりもこのページをブックマークすべき理由でもあります。すべてのスコアを2つのバケットのいずれかに分けてください:

• 独立系情報源による:AA Intelligence Index 53 / 53.2、AA Coding 68.8、Vals AI ランキング12位、Vibe Code Bench 49.93 — さらに、別ソースから取得した Terminal-Bench 2.1 の実行結果である 78.7 が、OrcaRouter のモデルページで Deep​Seek の 87.9 と並んでいます。ベンダー公表値と独立実行の間にあるこの9ポイントの差は、このページで最も重要なデータポイントです。それは再現ギャップを数値化したものです。

• ベンダー報告のみで、独立した再現は行われていません:上記の公式0813カードに記載されたすべての数値(Terminal-Bench 2.1 87.9、DeepSWE 62.7、CyberGym 83.3、HLE 42.7/60.0、Toolathlon 74.1、AutomationBench 31.8、DSBench 71.1/67.2、NL2Repo 61.5、Agents' Last Exam 25.7)および拡張コーディングセット全体(SWE-bench Verified 80.6、LiveCodeBench 93.5、Codeforces 3206、BrowseComp 83.4、MRCR 83.5、CorpusQA 62.0、GPQA Diamond 92.8)。Deep​Seekの独自ドキュメントは、Terminal-Bench 2.1の数値を「プロバイダー実行」と記載しています。

そう読めば、話は筋が通る。DeepSeek V4 Pro は実際に中位のフロンティアモデルであり、AA 53、順位は10位台から20位台で、ベンダーのスコアカードはトップに近いエージェント性能とコーディング性能を主張している。両方の記述は真であり、矛盾しない。一方は測定されたもので、他方は主張されたものである。

Verification ledger card for DeepSeek V4 Pro: left column 'Independently sourced' lists AA Intelligence Index 53, AA Coding 68.8, Vals AI rank 12th, and a separate Terminal-Bench 2.1 run of 78.7; right column 'Vendor-reported only' lists Terminal-Bench 2.1 87.9, DeepSWE 62.7, CyberGym 83.3, LiveCodeBench 93.5, Codeforces 3206, SWE-bench Verified 80.6; footer reads 'Independent per Artificial Analysis, Vals AI, SCMP Aug 2026 · Vendor per DeepSeek API docs and technical report.'

スコアカードにかかるコスト

DeepSeek V4 Proは、合計1.6T/アクティブ49BのMoEフラッグシップで、100万トークンのコンテキストウィンドウと最大384Kトークンの出力を備えています。OrcaRouterでは、DeepSeekの定価でマークアップなしで提供されています:入力100万トークンあたり$0.435、出力100万トークンあたり$0.87(キャッシュ読み取りは100万トークンあたり$0.060)。これは2026年8月15日に確認したディレクトリに基づくもので、実際のモデルページでも確認済みです。この料金では、価格対ポイントの計算がこのモデルの最も強い根拠となります。独立系指数で同モデルに近いスコアのモデルの出力価格のおよそ10分の1なので、ベンダーの主張が正しければ上位に近いスコアカードに対して中価格帯の料金を支払うことになります。1点注意:DeepSeekは北京時間8月17日付でピーク/オフピーク価格制(オフピークはピークの50%)を発表しているため、料金は変動する可能性があります。ここに示す数字は本記事時点のライブ定価です。

Screenshot of the OrcaRouter model page for DeepSeek V4 Pro 0813: input price about $0.44 and output about $0.88 per million tokens, cache read $0.060, a 1M-token context window and 384K max output, live performance figures of 80.8 tokens per second output speed and 0.16 percent error rate, and an Artificial Analysis Intelligence score of 53.2 ranked 20th of 132.

DeepSeek V4 Pro の提供: H20 上で 271 出力トークン/秒

ベンチマークはモデルが何を知っているかを評価し、サービングの数値は、どれだけ安価にモデルに考えさせられるかを評価する。2026年8月19日、Chatbot Arenaを運営する組織であるLMSYSと、Ant Groupのオープンソースチームは、0813ビルドに関する初の本格的なサービング作業を公開した。それは、LMSYSが保守するオープンソースエンジンSGLang上に構築された「シナリオ特化型サービングスタック」である。注目の数値はNVIDIA H20上、バッチサイズ1で毎秒271出力トークンであり、チームはこれをB300と比べて1.42倍の差としている——ネイティブFP4 Tensor Coreを搭載しないチップで達成された。これらはLMSYSとAnt Group自身の測定値であり、両者のブログとXで発表されたもので、いずれも独立に再現されたものではない。

スタックの残りの数値は、すべてLMSYSとAnt Groupが自社のスタック上で自己申告したものです:

• デコードレイテンシ — 「最適化されたDSpark」コンポーネントにより、バッチサイズ1で出力トークンあたりの時間(TPOT)が74.8~78.0%削減されます。

• プレフィル — 100万トークンのプレフィルが43.7秒で完了し、プレフィルスループットの幾何平均が36.5%向上します。

• KVキャッシュ — チームが「Humming MXFP4AFP8 + Online C128」と呼ぶ方式により、フルトークンのKVキャッシュ容量が10.14倍に拡大されます。これは、このクラスのシリコン上で100万トークンのエージェントワークロードを実用的なものにするための原動力です。

• GPUあたりのデコード — 4Kコンテキストでは、GPUあたりのデコードスループットが319.9から703.2トークン/s/GPUに向上し、2.20倍の改善となります。

これに基づいてフリートのサイズを決める前に、注意点を読んでください。バッチサイズ1は単一ストリーム領域であり、対話型エージェントやチャットが対象とするもので、高並列APIではありません。また、B300を基準にした1.42×という比較はLMSYSが示した比率で、B300の絶対的なtokens/sは公開していないため、その差は主張されているだけで検証できません。この結果はチップではなくスタックを測ったものでもあります。これらの向上は、そうでなければ1.6T-total MoEには非力に見えるハードウェア上でのSGLangレベルの最適化によるものです。参考までに、OrcaRouterのライブモデルページでは、共有APIエンドポイント経由のDeepSeek V4 Proを80.8 output tokens/sと計測しています。H20の数値は専用スタック上の単一ストリームベンチマークであり、意味の異なる別の数値です。

ワークロードがAPI経由で処理される場合でも、モデルの呼び出し方法は何も変わりません。DeepSeek V4 Proは、OrcaRouter上のOpenAI互換キー1つで、DeepSeekの定価で利用でき、プロバイダーが停止した場合には自動フェイルオーバーが働きます。H20の数値が最も重要になるのは、セルフホストのH20フリートに費用を払うかAPIに払うかを検討しているチームにとってです。LMSYSとAnt Groupの取り組みが埋めるギャップは、モデル選択ではなくハードウェア購入の判断に関するものです。

この推奨が誤っている場合

DeepSeek V4 Pro を選ぶべきではない、正直なケース:

• 独立して確認されたフロンティア推論が必要です。 AA Index 53 は中位です — Kimi K3(60)と GPT-5.6 Terra(57)が先行し、検証済みです。判断が測定された上限に左右されるのであれば、ベンダーカードはそれを変えません。

• 誰かが再実行する前に、DeepSWE 62.7 に本番を賭けているのですね。 1回のリリースで12.8→62.7への跳ね上がりは主張であり、事実ではありません。中立的な再現を待ちましょう——87.9対78.7というTerminal-Benchの差は、何が見つかるかを物語っています。

• あなたのワークロードは、サンドボックス化されたターミナル自動化、またはExcelでの財務モデリングです。 Vals AIは、ベンダーのスコアとは無関係に、まさにここがモデルの苦手とする領域だと述べています。

• CyberGym 83.3 でサイバーセキュリティの判断を下そうとしています。つまり、DeepSeek が自社モデルを自社ベンチマークでテストしているということであり、この数値に基づいて購入するセキュリティベンダーは、監査されていないデータを買っていることになります。

• 271 tokens/s という数値だけで H20 を購入しようとしています。 その数値はバッチサイズ 1 における単一スタックの自己申告ベンチマークであり、有望ではあるものの再現されておらず、利用率、電力、そして実際に運用するサービングスタックが何であれそれらも含むコスト曲線上の 1 点にすぎません。

結論

DeepSeek V4 Pro 0813は、独立系の記録を上回るベンダースコアカードを持つ、真のフロンティアモデルだ。0813リリースはテキストプレビューを本格的なエージェント型の有力候補へと変えた——リリース自体は別記事で扱った——そして今日それを評価したいなら、OrcaRouter上のOpenAI互換キー1つでDeepSeekの定価により利用でき、プロバイダーが停滞した場合の自動フェイルオーバーも付いている。この記事の分け方でスコアカードを読めばいい。独立系の検証(AA 53、Vals 12位、Terminal-Bench 78.7の実行)は今日信頼できるものだ。87.9sと62.7sは、それらの上に構築する前に検証すべきものだ。同じ規律はサービングにも及ぶ。LMSYSとAnt GroupによるH20上の271出力トークン/秒は、我々が持つ最良のスループット像であり、中立的な実行が確認するまでは依然として彼らの主張だ。再現されていない見出し数値のためではなく、価格対性能と1Mトークンコンテキストのために買うべきだ。

この記事で比較したモデル3

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新