Nemotron 3.5 Bolt E4B 4GB 對比 Nemotron 3.5 Bolt 74B-A9B 24GB：同名，截然不同的機器

NVIDIA 在八天內推出了兩款名為 Bolt 的模型。NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 於 2026 年 10 月 23 日發布：這是一個純文字、總參數 8B 的對話模型，由 Gemma-4-E4B-it 後訓練而成。NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB——多數人講到 Nemotron 3.5 Bolt 時所指的就是這個模型——於 10 月 15 日發布：這是一個總參數 74B、活躍參數 9B 的多模態代理模型，並將每個專家權重壓縮至每個權重 2 位元。

它們共享一個徽章、一份授權，以及一個發布時段。它們不共享母架構、模態、上下文視窗、基準測試套件或工作任務。把「Bolt」讀成尺寸階梯，正是這項比較要防止的錯誤。

其中一個是 Gemma 的衍生模型。另一個是壓縮過的 120B 代理。

世系幾乎解釋了其餘的一切。

E4B 最初是 Gemma-4-E4B-it，這是 Google 的指令微調小型模型，NVIDIA 則透過 NeMo-RL 與 NeMo-Gym，以可驗證獎勵的強化學習及人類回饋對其進行後訓練。其架構屬於 Gemma：總參數 8B、有效參數 4B、純文字輸入與輸出路徑，以及 64K 上下文視窗。NVIDIA 的貢獻在於行為，而非骨幹。

74B 是從 NVIDIA 自家的多模態母模型 Nemotron 3.5 Super VL 120B-A12B 發展而來。NVIDIA 在 24GB 記憶體預算下，執行了一項名為 Star Elastic 的路由引導式架構搜尋，產出一個具備 740 億參數的混合模型，每個 token 有 90 億個活躍參數，並在 LatentMoE 設計中結合 Mamba-2 與 Transformer 層，搭載 C-RADIO v4-H 視覺編碼器。它可接受文字、圖像與影片，並能處理 256K 個 token 的上下文。

說白了：E4B 是 NVIDIA 調校過的對話模型，74B 是 NVIDIA 壓縮過的代理模型。「Bolt」這個名稱描述的是部署目標——每 GB 的智慧——而非共用的架構。

規格並列對照

• 總參數與活躍參數——E4B 為總計 8B、有效 4B；74B 為總計 74B、活躍 9B。

• 架構 — 小型模型採用 Gemma-4-E4B；大型模型採用 Mamba-2 加上 Transformer 混合 LatentMoE，並從 Super VL 父模型進行 Star Elastic 壓縮。

• 模態 — E4B 為文字輸入、文字輸出；74B 為文字、圖像與影片輸入、文字輸出。

• 上下文視窗 — E4B 的輸入與輸出皆為 64K 個 token；74B 則最高可達 256K 個 token。

• 精度 — E4B 出貨版 GGUF 採用 Q4_K_M；74B 的每個專家權重約 2.0625 位元採用 IQ2，部分 Mamba 層採用 NVFP4，嵌入則採用 Q8_0。

• 已發布權重 — {{1}}E4B 的 6.18GB Q4_K_M 與 15.88GB BF16；{{/1}} {{2}}74B 的 23.75GB GGUF 權重加上視覺投影器、24.12GB 可直接用於 vLLM 的 safetensors，以及 BF16 格式的 149.8GB。{{/2}}

• 授權 — 兩者皆採用 OpenMDW-1.1，其中 Gemma 4 元件在 E4B 的技術棧中採用 Apache 2.0。

• 發售日期 — E4B 為 2026 年 10 月 23 日；74B 為 2026 年 10 月 15 日。

• 執行環境 — E4B 採用 llama.cpp；儘管隨附快速入門指令，模型卡仍將此配置方案標為「pending」。74B 採用 vLLM，並附有參考配置方案，以 commit hash 固定 nightly 容器。

有一個中繼資料陷阱值得在造成採購錯誤之前先指出來。74B 儲存庫上的 Hugging Face 檔案小工具顯示「22B params」，但模型卡標明總參數為 74B、活躍參數為 9B。模型卡才是對的：22B 是過時的側邊欄欄位，不是第三個變體；任何人若依小工具而不是模型卡來估算硬體需求，就會嚴重錯往另一個方向。

基準測試表沒有共用任何一列

這是在比較兩者之前最重要、必須理解的事，而這也是大多數報導所略過的事。

NVIDIA 在 GDPVal-AA-V2、Terminal-Bench 2.1、Tau3 Banking、HLE、AA-Omniscience、SciCode、GPQA Diamond、AA-LCR、PinchBench、MCP-Atlas、BrowseComp 與 WebArena 上評測了 74B 模型。其亦在 MultiChallenge、RoleBench、RoleMRC、EQ-Bench v3、Brevity、BFCL-v3、When2Call、ToolSandbox、Tau2-Bench、IHEval、AgentIF、StructEval-T、IFBench、InverseIFEval、RULER、LongMemEval、LongBench v2、SysBench、GaRAGe、RAGTruth 與 RelyToolBench 上評測了 E4B 模型。

兩者沒有重疊。沒有任何一列同時出現在兩張表中。這兩套測試甚至使用不同版本的代理式基準——E4B 使用 Tau2，74B 使用 Tau3 Banking——所以看起來最接近的一對也無法相比。

這意味著任何形式為「74B 比 E4B 好 X 分」的說法都是捏造的。NVIDIA 並未發布共同的評測框架，也沒有任何第三方執行過。這些表格真正能支持的是關於設計意圖的陳述：

• 74B 是在看似工作的任務上進行測量的——終端機操作、瀏覽、科學程式設計、研究所程度的問題、長上下文推理。其已公佈的最強成績為 BrowseComp 66.75、Terminal-Bench 2.1 50.98、GPQA Diamond 86.43，以及 AA-LCR 64.06。

• E4B 是在看似對話的任務上進行評估——角色維持、指令階層、知道何時呼叫工具、以工具輸出為依據。其表現最強的分項是 IHEval 84.79、RoleBench 67.05、RelyToolBench 63.16 和 When2Call 63.36。

兩組數據皆為廠商回報且未經重現。74B 的規格卡還有一個值得指出的額外轉折：NVIDIA 將該模型描述為 PinchBench 上同級中最強的開放模型，但其自家表格顯示 Qwen3.6-35B-A3B 為 88.07，而 Bolt 為 87.82。這是 0.25 分的差距，而這項說法在其自家註腳面前並不完全站得住腳。

速度宣稱，並附上硬體

吞吐量是兩張卡唯一都有公布數據的地方，但這些數字仍然無法對得上。

• E4B 在 RTX 5070 12GB 上 — 每秒 106.2 至 133.4 個 token，首個 token 耗時 548 至 1,238ms，VRAM 佔用 3.5 至 4.3GB，以 llama.cpp 與 CUDA 於 batch 1 條件下測得。

• E4B 在 Jetson Orin Nano 8GB 上——每秒 13.0 至 15.5 個 token，首個 token 耗時 5.8 至 6.3 秒。同一個模型，在「4GB」賣點真正針對的硬體上。

• 在 RTX Spark 上運行 74B 模型——在 AIPerf SPEED-Bench-Coding 上達到每秒 83.99 個 token，並搭配 LiLiCorr 草稿器，每一步使用七個推測性 token。

74B 這個數字假設有一個獨立的 1.13B 草稿模型檢查點、採用特定基準測試，且硬體與任一 E4B 執行都不同。E4B 的數字則假設不使用草稿模型。將 133 與 84 相比並得出小模型更快的結論，技術上正確，實際上卻毫無意義：一個是在桌上型 GPU 上、有效參數為四十億的模型，另一個則是在不同機器上、外掛投機解碼器的九十億活躍參數模型。

這些數字真正確立的是取捨的格局。E4B 是為首個 token 的延遲而打造；74B 則是為持續的代理式工作而打造，在這種工作中每秒 84 個 token 已經足夠。Orin Nano 那一列則是警訊：嵌入式硬體上的 4GB 模型，不會自動成為即時對話高手。

記憶體：4GB 和 24GB 是封套，不是檔案

這兩個名稱都使用記憶體目標，而且這兩個數字都不是下載項目。

• E4B — 一個 6.18GB 的 Q4_K_M GGUF。NVIDIA 在其自家 RTX 硬體上進行的 batch-1 執行中，測得 3.1 至 4.3GB 的 VRAM。該卡並未發布 4GB 檔案。

• 74B — 22.02GB 的 GGUF 權重，加上一個獨立的 1.73GB 視覺投影器，總計 23.75GB；若採用可直接用於 vLLM 的 safetensors 版本，則為 24.12GB。2.0625 位元的專家量化，正是讓 24GB 記憶體上限得以成立的關鍵。

• BF16 版本 — E4B 為 15.88GB，74B 則為 149.8GB，分散於 63 個分片。全精度變體用於後訓練，而非部署，而 74B 的說明卡已明確指出這一點。

儲存空間差距在部署精度下大約是四比一，在完整精度下大約是九比一。VRAM 差距比參數差距小，因為 74B 是以位元而非大小來付出其壓縮代價。

模態與情境，比參數量更具決定性

64K 文字視窗和 256K 多模態視窗，並不是同一款產品僅在限制上有所不同。

74B 能查看圖像或影片並據此採取行動。其規格卡載明支援 RGB JPEG 或 PNG 輸入、最長兩分鐘的 MP4 影片，以及 1080p 下每秒一幀或 720p 下每秒兩幀的建議設定。它能讀取螢幕截圖、圖表、表單或攝影機畫面，然後根據所見內容呼叫工具。正是這項能力讓它成為用於瀏覽與桌面工作的代理。

E4B 看不見。它接收文字並回傳文字，而其 64K 視窗在檢索方面明顯弱於同級模型：RULER 86.99，對上 Qwen3.5 4B 的 95.15；LongBench v2 50.50，對上 59.93。如果你的應用程式需要將長文件或螢幕截圖保持在檢視範圍內，那麼無論 E4B 的人設分數有多好，它都是不適合的模型。

每一個分別是給誰的

E4B 是為介面層而設計。互動角色、語音助理、嵌入式裝置代理、需要選擇腳本並開口說話的機器人，以及任何模型必須在成本低於工作站的硬體上於數百毫秒內回應的應用，都屬於這個範疇。NVIDIA 的示範讓這個意圖更具體：一台搭載於 Jetson Orin Nano 上的 Reachy Mini 機器人使用 E4B 來選擇動畫腳本，同時由另一個視覺模型負責感知；還有一個鐵匠 NPC，會驗證付款、查詢配方、收集材料，並交付物品。

74B 是為工作層而設。常駐的個人代理會瀏覽、撰寫程式碼、分析資料、監控背景任務，並呼叫 API。它可在 RTX Spark、DGX Spark、RTX PRO 工作站，以及記憶體充足的 GeForce RTX 顯示卡上執行，並設計成能在 24GB 預算內與其他應用程式並存。其基準測試表現概況——BrowseComp、Terminal-Bench、GPQA、AA-LCR——是能夠完成任務的模型，而非只會維持對話的模型。

兩者不能互相取代。想要可信 NPC 的遊戲工作室不需要 74B 多模態代理；需要讀取網頁並執行終端命令的代理平台，則無法使用純文字的 4B 對話模型。

雙模型系列對部署的意涵

有趣的架構結果是，NVIDIA 推出的是一套產品組合，而不是一條階梯。E4B 負責反射層，74B 負責本地工作層，而 Super VL 120B-A12B 則處理較重的多模態案例。這是三種不同的記憶體預算與三種不同的工作，全都屬於同一個授權體系。

大多數應用程式仍需要一層無法下載的第四層：當請求超出本機硬體能力時所用的前沿模型，或針對本機模型缺乏的模態而使用的第二家供應商。將這些請求透過單一 API 路由——200 多個模型、在供應商定價上加價 0%，自動容錯移轉當供應商效能下降時——可讓本機 Bolt 維持快速路徑，而託管模型則保持為例外情況。另一種做法是為本機層級以上的每個模型各自建立獨立整合、金鑰與帳單。

什麼能解決家庭問題？

一次執行。把兩個 Bolts 放上同一套測試框架、跑同一批任務——一組對話式、一組代理式、一組多模態——並公布各列結果。NVIDIA 握有檢查點、評估堆疊與誘因；它卻選擇改為公布兩張分開的表格。

在它出現之前，站得住腳的解讀是這樣：無論從設計還是證據來看，在 NVIDIA 選擇衡量的任務上，74B 都是能力更強的模型。E4B 則更適合一大類介面：在這些介面中，24GB 的代理顯得很荒謬，而 4GB 的對話模型恰到好處。盒子上的名字相同，裡面的機器卻不同。