DeepSeekの3Tモデル：クラスターを待たなければならないスケールアップ

9月14日、DeepSeekはDeepSeek V4 Pro — 8月13日に一般提供を開始した1.6兆パラメータのフラッグシップ — を廃止し、deepseek-v4-proへのすべての呼び出しにDeepSeek V4.1 Flashで応答する。これは9月10日にリリースした5520億パラメータのモデルである。その切り替えが発表される4日前に、匿名のDeepSeekウォッチャーが、正反対の鋭い指摘を投稿した。ラボは3兆パラメータのモデルに取り組んでおり、それは「おそらくもう1つの1TパラメータのEngram」であるということ、そしてそれがリリースされていない理由は能力ではなく経済性であるということだ。

そのモデルについて確認されていることは何もない。名前も、リポジトリも、設定ファイルも、ベンチマークも、リリース時期もない——「信頼できる筋」を出典とするXの投稿が1件あるだけで、その唯一最も興味深い詳細は、投稿者自身によって推測だと明示されている。それは事実ではなくシグナルとして扱え。それでも読む価値はある。なぜなら、その主張の二つの半面は相反する方向に引っ張り合っており、DeepSeek自身のロードマップと接触して生き残りそうなのは、そのうち片方だけだからだ。

漏洩が実際に語っていること、そして語っていないこと

この投稿はアカウント teortaxesTex によるもので、同氏は長年にわたる DeepSeek のウォッチャーで、2023年からこのラボのファンだと自称している。全文は次のとおり。「実は、信頼できる筋から聞いたのだが、DeepSeek は3Tモデル（バックボーン、おそらくまた1Tパラメータの Engram だが、それは私の推測にすぎない）に取り組んでいた。ただ、それをポストトレーニングして提供するのが経済的に見合うか確信が持てなかっただけだ。彼らのクラスターが成長すれば、いくつか見られるだろう…」

それら二つの文には重みを持つ四つの事柄があり、そのうちの一つは事実ですらない。「信頼できる筋」は名前が明かされていない。パラメータ数は単一の数値として示され、総数とアクティブ数の内訳がない。Engramに関する余談は、推測している本人自身によって憶測と位置づけられている。そして「彼らのクラスタが成長するとき」は、日付が一切添えられていない条件文である。

• 何が主張されているのか — 3兆パラメータのDeepSeekモデルが開発のいずれかの段階に存在するということ。

• 明示的に著者自身の推測であるもの——そのうちおよそ1TがEngramメモリだということ。

• 不明な点 — その名称、アーキテクチャ、アクティブパラメータ数、コンテキストウィンドウ、トレーニング状況、そしてそもそも製品として提供されるのかどうか。

• 現時点で検証可能なものは何か — 何もない。Deep​Seek のリポジトリ、モデルカード、料金表の行、ドキュメントの項目のどこにも、それについての言及はない。

算術でさえ曖昧だ。「3Tモデル（バックボーン、おそらく別の1TパラメータのEngram）」には2通りの読み方がある。約1TがEngramである3Tモデルなのか、それとも3Tのバックボーンに加えて別の1TのEngramが並存し、合計およそ4Tになるのか。その差は1兆パラメータ分の開きがあり、ほとんどのラボが1回のトレーニングに費やす額を上回るほどサービング請求額を変えてしまう。

また、このアカウントの実績は神託級ではなく玉石混交であることも覚えておきたい。彼は、DeepSeekが9月9日に出したV4 Proのトラフィックを経路変更するという通知を、同ラボが「V4ファミリーのアーキテクチャ上の問題を解決した」証拠だと解釈した。もっともな推論ではあるが、やはり推論にすぎない。9月上旬には、サードパーティのコーディングプラットフォーム上の匿名ステルスモデルがXiaomiのMiMo-V3-Flashだという見方も示したが、これは誰も確認していない。有益な早期シグナルではあるが、典拠となる情報源ではない。

面白いのはパラメータ数ではなく、メモリテーブルのほうだ

Engramは実在し、3Tという主張が最初に聞こえるよりも説得力を持つのは、それが理由だ。Deep​Seekは2026年1月に、オープンソースコードを添えて条件付きメモリアーキテクチャを公開した。そしてそれは珍しいことを成し遂げている。静的知識の検索を動的推論から分離するのだ。事実を思い出すためにGPU計算資源を費やす代わりに、モデルはコンテキストをハッシュ化してDRAM上に保持された埋め込みテーブルへと格納し、定数時間で検索する。検索経路にはGPU処理が一切なく、さらに、取得された記憶が周囲のコンテキストと矛盾する場合にそれを抑制するゲーティング機構を備えている。

DeepSeekが自社のテスト構成について報告した数値こそ、保持すべきものだ。1000億パラメータの埋め込みテーブルをDRAMにオフロードしてスループット低下3%未満、そして100万トークンで97%のニードル・イン・ア・ヘイスタック精度（標準アテンションは84.2%）。これらはラボ自身の数値であり、私たちが再現したものではない。独立した初期評価では、同じコンテキスト長で93～96%の範囲に達したと報じられている——ベースラインは明確に上回るが、主張には及ばない。

そのアイデアを10倍に拡大すると、リークの形が変わる。もし3Tモデルの追加パラメータの大半が、HBMを奪い合うエキスパートではなくDRAM上に置かれたハッシュテーブルメモリだとしたら、「3T」はもはや「サービス提供不能」の代理指標ではなくなる。総パラメータ数とサービングコストは切り離される。これがこのリークにおける真に新しいアイデアであり、公表された研究が実際に裏付けている部分だ。

注意点は、Engram論文は伝えられるところでは推論時のオーバーヘッド——レイテンシとスループット——を扱っていないということだ。そしてそれは、DRAM常駐のルックアップテーブルがもしどこかに現れるとすれば、まさに現れる場所である。取りに行かなければならないメモリは、タダで手に入るメモリではない。

なぜDeepSeek自身の9月は逆の主張をするのか

3T製品がまもなく出荷されるという見方への反論は、Deep​Seekがちょうど1.6Tでその実験を走らせ、より小さなもので自らの問いに答えたことにある。現時点のV4ラダーは次のとおり：

• DeepSeek-V4-Flash-0731 — 総パラメータ数284B、トークンあたり13Bがアクティブ。

• DeepSeek-V4-Pro-0813 — 合計1.6T、アクティブ49B、MITライセンスの下でオープンウェイト。

• DeepSeek V4.1 Flash — Causal Encoder-Decoder設計の552Bバックボーンで、prefill時にはトークンあたり8Bパラメータを、decode時には16Bを活性化します。

北京時間9月14日正午、中間層が登場する。DeepSeekはV4 Proをオフラインにし、deepseek-v4-proへのリクエストをV4.1 Flashへルーティングして、V4.1 Proが存在するまではFlashの料金で課金する。公式の料金ページには現在2つの行が掲載されており、どちらもサイズの面で引退したモデルの後継ではない：deepseek-flashはピーク時に100万入力トークンあたり0.30ドル、100万出力トークンあたり1.20ドル、deepseek-v4-proは1.32ドルと3.96ドルで、オフピーク料金はその半額。どちらも100万トークンのコンテキストウィンドウと384,000トークンの出力上限を記載している。

進む方向性は微妙ではない。最大のモデルを引退させ、トークンあたり10分の1のパラメータを活性化するモデルを採用した研究室は、フロンティア能力の経済的な単位が、訓練できる最大のチェックポイントではないという結論にすでに達している。3Tモデルで、その構築元が「ポストトレーニングして経済的に提供できる」かどうか確信していないというのは、ためらいに関する噂ではない。それは、代替案について測定データをすでに持っている研究室を描写している。

ポストトレーニングは、その問題のより困難な半分です。HuaweiのCloudMatrix384 SuperPOD上でのDeepSeek-V4-Proシリーズの全パラメータポストトレーニングは、サードパーティのSLAI T-Rexプロジェクトによって、34.22% MFU、オープンベースラインレシピの約2.93倍と報告されています。それは心強い数字です — 1.6Tモデルにおける、サードパーティの数字です。バックボーンを2倍にすると、1つのトークンが処理される前に、コストがおよそ2倍になります。

「彼らのクラスターが成長するとき」

この漏洩で要となる条項は最後のものだ。なぜなら、それは公的な文書による裏付けがある唯一の部分だからだ。報道によると、DeepSeekは内モンゴル自治区ウランチャブの新設データセンターに、HuaweiのAscend 950DTアクセラレーターを少なくとも16万基導入する計画で、発注額は約25億6000万ドルに上る。これは、中国製AIシリコンのクラスターとしては、これまでに試みられたものの中で最大級の一つである。

その計画に付随する注意点は、見出しよりも重要だ。チップは学習用ではなく推論用に計画されている。DeepSeekは以前Huaweiのシリコンでの学習を試したことがあるが、今もNvidiaのアクセラレータで学習している。3Tモデルが実際に必要とするのは、まさにその工程だ。納入には1年以上かかる可能性がある。一部の生産能力は2027年後半から2028年初頭に稼働する見込みだ。そして、今年Huaweiが製造できる950DTユニット数を制限すると予想されるのは、ロジックではなく、高帯域幅メモリの供給だ。

「クラスターが成長したとき」という楽観的な読み方では、3Tモデルは早くても2027～2028年のスケジュールに載ることになり、悲観的な読み方——つまり研究上の成果物にとどまり、製品にはならない——は、DeepSeekが2026年に出荷したすべてと整合する。このラボを取り巻く計算環境もまた、純粋な供給問題ではなく、係争中の政策問題である。9月8～9日、NSA、FBI、CISAは共同で、DeepSeekを含む中国の6つのラボが米国のフロンティアモデルを「産業規模」で蒸留したと主張し、中国商務省はこの告発を否定した。この告発をどう解釈するにせよ、クラスターの成長に依存するリリースは、DeepSeek内部の誰も制御できない決定に左右される。

これをリークからローンチに変えるには、何が必要だろうか

チェックリストは短く具体的で、まだどれも発動していない：

• Hugging Face 上の deepseek-ai 組織にあるリポジトリで、ファミリーのスラッグではなく、バージョン付きのチェックポイント名を持つもの。

• DeepSeekの「Models & Pricing」ページに追加される新しい行。

• APIドキュメントのニュースフィードに、ラボで通常のnewsYYMMDD形式で日付入りのエントリを追加する。

• ファミリー名ではなくモデル識別子 — DeepSeek はチェックポイントにバージョンを付けており、ファミリーのスラッグだけの場合はこれまでプレビューを意味してきた。

より近いマイルストーンは V4.1 Pro だ。Deep​Seek のチームメンバーが9月9日に、ルーティングウィンドウの終点として言及したものである。公開仕様も、パラメータ数も、価格も、日付もない。ある意味で V4.1 Pro はこのリークの試金石だ。次のフラッグシップがおよそ V4 Pro の 1.6T 以下で着地するなら、3T という主張は少なくとも1世代ずれ込んだことになる。

今週モデルを選ぶなら、これらが何を意味するのか

2026年において、3Tモデルは購入の決め手にはならない。そして、DeepSeekの9月の実践的な教訓は、規模とは全く関係ない。それは、エンドポイントの背後にあるモデルが、エンドポイントの名前が全く同じままで変更され得るということだ。誰かがdeepseek-v4-proを抽象化レイヤー経由で呼び出すとする。その人は、コードに触れることなく、9月14日により小さく安価な別のモデルを入手する。単一のプロバイダーによるそのIDの実装に直接接続している人は、そのプロバイダーが決めたことをそのまま得る。

DeepSeek V4.1 Flash と DeepSeek V4 Pro はどちらも、OrcaRouter 上で 1 つのキーの下、0% のマークアップで利用できます。プロバイダーの定価がそのまま渡されるため、DeepSeek の 9 月 10 日の価格改定は、ここでは当日から、何らかの上乗せ版ではなく定価で有効になります。モデルページには、オフピーク帯で入力 100 万トークンあたり $0.15、出力 100 万トークンあたり $0.60 と表示されており、これは DeepSeek 自身のオフピーク価格で、上乗せは一切ありません。プロバイダー間の自動フェイルオーバーは、こうした週に最も重要となる地味な機能です。ベンダーがエンドポイントの下でモデルを差し替えるとき、それを移行ではなく設定変更にしてくれるのがルーティング層です。

3TのDeepSeekモデルがいずれ実際にリリースされるなら、それを保持できるクラスタを持つ者が、計算資源が決める価格で提供することになる。同じルーティング層こそ、あなたがそれと出会う場所だ — 新たな契約を結ぶことも、何かを再構築することもなく。

未解決の問いは、Deep​Seekが3兆パラメータのモデルを構築できるかどうかではない。公開された3本のアーキテクチャ論文、実用的なメモリ設計、そして開発元が自社の1.6Tの前身を上回ると主張する552Bモデルは、このラボがその方法を心得ていることを示唆している。問いは、それを提供するために対価を払う人がいるかどうかだ——そして過去2週間の証拠を見る限り、Deep​Seek自身も確信していない。見るべきはパラメータ数ではなく、クラスタだ。価格ページは、どんなリークよりも早く、Deep​Seekが実際に何を提供しているかを教えてくれる。