pplx-decider-flash：Perplexity 低調的 4B 評審，讀自其儲存庫

Perplexity 上傳了pplx-decider-flash-v1.2至 Hugging Face，時間為 2026 年 10 月 15 日 16:57 UTC，約在它上傳pplx-decider-v1.2（行銷稱為 27B、模型卡稱為 26B 的大型決策模型）九小時後。我們在公司部落格上找不到任何發布文章。後續只有 X 上開發者帳號的一串貼文、Decisions API 文件中的一個章節，以及三天後的一次 GGUF 轉換。這就是全部的公開紀錄，足以精確描述這個模型，卻不足以告訴你它在你的資料上表現是否良好。

以下內容區分人們通常混為一談的三件事：儲存庫能證明什麼、廠商文件陳述什麼，以及 Perplexity 之外沒有人驗證過什麼。最後一類比前兩類都大。

實際上出貨了什麼，又是在哪一天？

儲存庫的時間軸明確無疑。Perplexity 建立了 pplx-decider-v1-27b於 2026 年 10 月 1 日，pplx-decider-v1.1-27b於 10 月 5 日，兩個 v1.2 檢查點於 10 月 15 日，以及 pplx-decider-flash-gguf-v1.2於 10 月 18 日。Flash 檢查點是當天的第二次上傳，這正是成對發佈的常見形態：旗艦版本先登場，蒸餾而成的小型同系列版本隨後跟上，讓兩者都落在同一則公告之下。

這個順序對整體定調很重要。這不是外洩的模型，也不是在相關文件完成前就提前流出的散落儲存庫。這是一次經過協調的發布，刻意維持低調的公開曝光——是開發者討論串，而不是發布長文；是文件，而不是基準測試中心。Hugging Face API 顯示，截至 11 月 4 日，基礎檢查點有 4,667 次下載，GGUF 轉換版本有 9,428 次下載，並有 63 個讚。Hugging Face 上的下載次數是弱訊號：它計算的是請求次數，而非不重複使用者，而且鏡像站流量會抬高這個數字。這些數字與真實但規模不大的開放權重受眾相符，而不是與病毒式爆紅的發布相符。

儲存庫告訴你的事

這份模型卡以廠商發布文件而言異常技術化，而可知的大部分資訊都來自它。

• Backbone — Qwen3.5-4B，搭配一個獨立的 BF16 讀出頭，形狀為 [255, 2560]，而非涵蓋完整詞彙表的語言模型頭。這是一個決策檢查點，而非外加分類器包裝的聊天模型。

• 大小 — 共 25 個檔案，BF16 格式總計約 9 GiB，這是容納權重所需的大小；工作記憶體還得在此之上額外計算。

• 參數數量 — API 文件寫的是 4B，模型卡標頭寫的是 BF16 下為 5B，而某個第三方索引列出的是 4.5B。主幹是 4B 模型。請把「4B 級」視為誠實的描述，不要引用單一數字，彷彿那是實測值。

• 注意力 — 全注意力層會以非因果方式處理整個請求，而線性注意力層則保持因果性。這正是會讓你踩坑的細節：標準的因果式服務堆疊會產生不同的數值，而為 v1.1 撰寫的提示詞無法沿用。

• 讀出位置 — 頭部會在每個 <|fim_suffix|> 標記處觸發，而不是在最終 token 處；這就是單次前向傳遞能針對同一個狀態為多個問題評分的方式。

• 上下文 — max_length 預設為 262,144 個 token，與主幹模型一致。訓練時使用的序列最長約 32,000 個 token，而模型卡明確指出，雖然支援更長的輸入，但驗證較少。

• 圖片 — 上限為 160 萬像素（1,638,400 像素），最低 65,536 像素，而一張 1.6 MP 的圖片大約會消耗 1,600 個位置。

• 校準 — 儲存的溫度參數為 1.554。在 1,497 題的開發集上，模型卡報告 88.8% 準確率、期望校準誤差 0.021 與 Brier 分數 0.163；若不使用該溫度參數，誤差會升至 0.057。供應商公布自身的校準數據，以及略過這些數據的代價，正透露關於預期用途的真實訊息。

卡片中的一行在與 API 實際接觸後站不住腳。它說該儲存庫是私有的，且需要具有存取權的權杖。Hugging Face API 回傳 gated: false 與 private: false，而且權重無需存取請求即可下載。卡片中一行過時內容是小事，但正是這種小事會告訴你：這張卡片是在發布前寫的，之後沒有再重新讀過。

API 文件補充了什麼

定價是 Flash 論點的起點。pplx-decider-flash-v1.2 的費用為 每百萬輸入 token $0.01。輸出 token 免費，且沒有按次請求費，因為通常意義上並沒有輸出 token——模型會回傳機率與預期分數，而文件在計帳時將每個問題計為一個輸出 token。

同一頁面設定了操作包絡：

• 別名 — pplx-decider-flash-latest 會跟隨最新版本，因此你上週調整好的閾值，可能在更新後無聲無息地指向另一個模型。凡是重要之處，請固定使用帶版本編號的 id。

• 速率限制 — 每分鐘 4,000,000 個權杖、每小時 240,000,000 個權杖，並在組織層級共用每秒 10 個請求的上限，適用於兩個決策模型。

• 題型 — noul 會回傳 0 到 1 的 P(yes)，choice 會回傳最多 255 個選項的機率，而 score 則會回傳各評分等級的分佈。

• 問題預算 — 文件建議每個請求只問一個問題。這不是風格上的提醒；而是你所獲報價與實際支付價格之間的差別。

翻轉建議的計費規則

27B 模型會在一次分組處理中回答請求中的每個問題，並只對該狀態計費一次。Flash 則會獨立回答每個問題，不會看到其他問題，且每個問題都會再次對該狀態計費。文件提供了實例：針對 10,000 個 token 的狀態提出三個問題，在 Flash 上約需 30,000 個輸入 token。

算一下就知道。在一個 10,000 個 token 的狀態上問一個問題，Flash 要 $0.0001，27B 要 $0.0002。問兩個問題時，Flash 要 $0.0002，較大的模型也要 $0.0002——打成平手。問三個問題時，Flash 要 $0.0003，27B 要 $0.0002。交叉點是 每個狀態兩個問題。Perplexity 自己的文件說，較大的模型在問三個以上問題時「通常比 Flash 便宜」；精確的交叉點其實早一個問題，而且只要 Flash 的價格正好是 27B 費率的一半，在任何標價下都成立。

這是本次發布中最有用的一點，卻很容易被忽略，因為最吸睛的重點是五折優惠。4B 模型半價只有在一次只問它一件事時才更便宜。

不可信的數字

Perplexity 報告兩個模型的 Decision Index 0.3 分數。Flash 得分為 60.05（每次請求一題）以及 58.88（聯合請求）；27B 得分為 68.09（聯合請求）以及 67.75（每次請求一題）。在 Vision Decision Index 上，Flash 為 72.53，相較於 77.43。

類別拆分比總體標題數字更能說明問題，因為它顯示出 4B 在哪裡讓步。就 Flash 的 joint-run 數據對上 27B 的 joint-run 數據而言：

• 知識 — 42.0 對 56.3。這是差距最大的一項，達 14.3 分，也是決定模型究竟能否處理開放式世界知識的關鍵。

• 語言 — 63.3 對 72.8。

• 檢索 — 64.8 對 68.4。差距最窄，為 3.6 個百分點，這符合預期任務：判斷某段落是否回答了問題，比知道答案本身是更輕鬆的任務。

• 工具 — 76.7 對 84.4。

• 文科 — 46.8 對 56.2。

• 整體 — 58.88 對比 68.09。

那些數字全都來自 Perplexity 維護的一項基準測試。27B 的模型卡——這次蒸餾中的教師模型——對訓練方面異常坦率：它表示，部分工作是納入若干基準測試隨附的官方訓練切分，使模型在部分 Decision Index 任務上「進入領域」（in domain），而這些切分「已針對測試集去污染」，好讓比較保持公平。這比發布相關報導所暗示的更為審慎，而且仍讓計分板掌握在廠商手中。沒有第三方稽核過切分紀律，也沒有人重現這些數字。

廠商自家數據中有個較小的怪異之處，與行銷說法相牴觸。Flash較高的得分出現在一次只回答一個問題時——60.05 對 58.88。分組對 4B 整體有害，儘管它在緊密耦合的「選出所有適用項」任務上有幫助，而這正是文件所言。該模型以聯合請求速度為賣點，但實測在沒有分組時表現更好。

尚未可知的事物

這些缺口很具體，而這正是這篇是「我們所知」整理而非評論的原因。

• 沒有獨立基準測試。Perplexity 以外沒有任何機構發表過 Decision Index 的複現結果，或在中立測試框架上進行正面對決。

• 無延遲服務水準。 廠商唯一公布的速度數據，是日期為 10 月 19 日的一份文件測試：約 248,000 個輸入 token 在 Flash 上耗時 16 秒，而在 27B 上則為 53 秒。那是廠商端的測量，未註明硬體或百分位數。

• 沒有多語言評估。 該卡片與文件描述的是文字和圖像；兩者皆未報告英語以外語言的準確度。

• 未公布訓練資料量。模型卡指出，Flash 是從 27B 蒸餾而來，使用較大模型的訓練請求，學生學習的是教師的完整機率分布，而不只是其答案，並且多次執行是透過權重平均合併。內容未說明涉及多少資料、資料來自何處，或截止點落在哪裡。

• 沒有公開的錯誤分析。對於輸出為機率、且你會據此設定閾值的模型，並沒有細分其失敗之處——無論是按題型、按選項數量、按語言，還是按影像內容。

像這樣的模型在堆疊中處於什麼位置

值得清楚說明 Flash 的用途，因為這個名稱容易讓人產生錯誤期待。它不會撰寫任何內容。你把一個狀態——文字、JSON、圖片——以及一個或多個具型別的問題交給它，它會回傳一個機率或分布，讓你的程式碼據此設定閾值。自然的架構是在昂貴的東西前面放一道便宜的閘門：先分類請求，決定是否要檢索，挑選工具，然後生成。

那道閘門不會取代生成層，而這正是路由發揮作用的地方。OrcaRouter 會將200 多個生成模型置於單一 API 金鑰之後，且不會在供應商的定價表價格上加價，因此任何上游廠商降價都能當天生效，而不必等待經銷商的試算表。如果閘門分類錯誤，自動容錯切換可避免請求在下一個跳點失敗。我們不做的，是託管 pplx-decider-flash：它不在我們的目錄中，而如今要運行它，誠實的做法是使用廠商自家的 API，或在你自己的 GPU 上使用 Apache-2.0 權重。

如果你已經有硬體，自行架設的盤算就說得通。大約 9 GiB 的 BF16 權重可放進一張 16 GB 的消費級顯卡，而關於這次發布的報導也轉述了 Perplexity 執行長的一項說法：Flash 可在配備 16 GB 記憶體的 M4 Mac 上運行。沒有已公布的輸送量數據能佐證這一點，而且非因果注意力意味著你不能直接把它放進現成的因果推論伺服器，還期望得到該顯卡的評測成績。

什麼會改變這項評估？

有四件事，按用處排序。對 Decision Index 0.3 進行中立重現，以確認 60.05 或解釋差距。發布來自 API 的延遲分布，而不是單一文件測試。提供多語言輸入的證據，因為 4B 分類器正是團隊會未經檢查就指向非英語流量的那類模型。以及一篇第一方技術文章，描述該蒸餾背後的訓練資料。

在那之前，站得住腳的立場既狹窄又實用：pplx-decider-flash-v1.2 是一個真實、可下載、採 Apache-2.0 授權的 4B 級決策模型，具備已公布的價格、有文件記載的校準溫度，以及一項計費規則——只要你批次處理問題，它立刻就會比它的大型同系列模型更貴。除此之外的一切都只是 Perplexity 自家的計分板，你應將其視為待在你標註資料上檢驗的假設，而非結果。