pplx-decider-flash: Vị giám khảo 4B thầm lặng của Perplexity, được đọc từ repo

Perplexity đã tải pplx-decider-flash-v1.2 lên Hugging Face lúc 16:57 UTC ngày 15 tháng 10 năm 2026, khoảng chín giờ sau khi nó tải pplx-decider-v1.2 lên, mô hình quyết định lớn mà bộ phận tiếp thị gọi là 27B và thẻ mô hình gọi là 26B. Chúng tôi không thể tìm thấy bài đăng ra mắt nào trên blog công ty. Những gì tiếp theo là một chuỗi từ tài khoản nhà phát triển trên X, một mục trong tài liệu Decisions API, và một bản chuyển đổi GGUF ba ngày sau đó. Đó là toàn bộ hồ sơ công khai, và nó đủ để mô tả chính xác mô hình nhưng không đủ để cho bạn biết liệu nó có tốt trên dữ liệu của bạn hay không.

Điều dưới đây tách bạch ba thứ mà người ta thường lẫn lộn với nhau: những gì kho mã chứng minh, những gì tài liệu của nhà cung cấp nêu rõ, và những gì chưa ai bên ngoài Perplexity xác minh. Hạng mục cuối cùng lớn hơn hai hạng mục đầu.

Điều gì thực sự đã được phát hành và vào ngày nào

Dòng thời gian của kho lưu trữ là rõ ràng. Perplexity đã tạo pplx-decider-v1-27b vào ngày 1 tháng 10 năm 2026, pplx-decider-v1.1-27b vào ngày 5 tháng 10, cả hai checkpoint v1.2 vào ngày 15 tháng 10, và pplx-decider-flash-gguf-v1.2 vào ngày 18 tháng 10. Checkpoint Flash là lần tải lên thứ hai trong ngày hôm đó, đúng hình thức thông thường của một bản phát hành theo cặp: mẫu chủ lực trước, bản nhỏ chưng cất theo sau, để cả hai cùng nằm dưới một thông báo.

Thứ tự đó quan trọng đối với cách đóng khung câu chuyện. Đây không phải là một mô hình bị rò rỉ hay một kho lưu trữ lạc đã vượt trước thủ tục giấy tờ của nó. Đây là một bản phát hành có phối hợp với dấu vết công khai được cố ý giữ nhẹ — một luồng thảo luận dành cho nhà phát triển thay vì một bài viết ra mắt, tài liệu thay vì một trung tâm benchmark. API của Hugging Face báo cáo 4.667 lượt tải xuống trên checkpoint cơ sở và 9.428 trên bản chuyển đổi GGUF tính đến ngày 4 tháng 11, cùng 63 lượt thích. Số lượt tải xuống trên Hugging Face là một tín hiệu yếu: chúng đếm các yêu cầu, không phải người dùng riêng biệt, và lưu lượng từ các bản sao làm chúng phình lên. Chúng nhất quán với một lượng khán giả open-weights thực sự nhưng khiêm tốn, không phải với một đợt phát hành lan truyền.

Kho lưu trữ cho bạn biết điều gì

Thẻ mô hình này mang tính kỹ thuật một cách bất thường đối với một bản phát hành của nhà cung cấp, và phần lớn những gì có thể biết được đều đến từ nó.

• Backbone — Qwen3.5-4B, với một đầu đọc riêng ở BF16 có hình dạng [255, 2560] thay vì một đầu mô hình ngôn ngữ có toàn bộ từ vựng. Đây là một checkpoint quyết định, không phải một mô hình trò chuyện có lớp bọc phân loại.

• Kích thước — 25 tệp với tổng dung lượng khoảng 9 GiB ở định dạng BF16, đây là mức bạn cần để chứa các trọng số; bộ nhớ làm việc nằm cộng thêm vào đó.

• Số lượng tham số — tài liệu API ghi 4B, phần tiêu đề của model card ghi 5B ở BF16, và một chỉ mục của bên thứ ba liệt kê 4.5B. Phần xương sống là một mô hình 4B. Hãy coi "4B class" là mô tả trung thực và đừng trích dẫn một con số duy nhất như thể nó đã được đo đạc.

• Attention — các lớp full-attention chạy phi nhân quả trên toàn bộ yêu cầu trong khi các lớp linear-attention vẫn giữ tính nhân quả. Đây chính là chi tiết sẽ khiến bạn dính đòn: một stack phục vụ nhân quả tiêu chuẩn sẽ cho ra những con số khác, và các prompt viết cho v1.1 không thể dùng lại được.

• Vị trí đọc ra — head kích hoạt tại mỗi <|fim_suffix|> marker thay vì tại token cuối cùng, nhờ đó một lượt truyền xuôi duy nhất có thể chấm điểm nhiều câu hỏi với cùng một trạng thái.

• Ngữ cảnh — max_length mặc định là 262.144 token, khớp với mô hình nền. Quá trình huấn luyện dùng các chuỗi dài tới khoảng 32.000 token, và thẻ mô hình nêu rõ rằng đầu vào dài hơn vẫn được hỗ trợ nhưng ít được kiểm chứng hơn.

• Hình ảnh — giới hạn ở 1,6 megapixel (1.638.400 pixel), tối thiểu 65.536 pixel, với một hình ảnh 1,6 MP tiêu tốn khoảng 1.600 vị trí.

• Hiệu chuẩn — nhiệt độ đã lưu là 1,554. Trên một tập phát triển gồm 1.497 câu hỏi, thẻ báo cáo độ chính xác 88,8%, sai số hiệu chuẩn kỳ vọng 0,021 và điểm Brier 0,163; nếu không có nhiệt độ, sai số tăng lên 0,057. Một nhà cung cấp công bố các con số hiệu chuẩn của chính mình và chi phí của việc bỏ qua chúng đang cho bạn biết điều gì đó thực sự về mục đích sử dụng.

Một dòng trong card không đứng vững khi đối chiếu với API. Nó nói rằng kho lưu trữ là riêng tư và cần token có quyền truy cập. API Hugging Face trả về gated: false và private: false, và trọng số tải xuống mà không cần yêu cầu truy cập. Một dòng cũ trong card là chuyện nhỏ, nhưng đó là kiểu chuyện nhỏ cho thấy card được viết trước khi công bố và không được đọc lại sau đó.

Tài liệu API bổ sung những gì

Giá cả chính là điểm khởi đầu của lập luận về Flash. Trên Decisions API, pplx-decider-flash-v1.2 có giá $0.01 cho mỗi triệu token đầu vào. Token đầu ra miễn phí và không có phí theo từng yêu cầu, vì không có token đầu ra theo nghĩa thông thường — mô hình trả về xác suất và một điểm số kỳ vọng, còn tài liệu tính mỗi câu hỏi là một token đầu ra để hạch toán.

Cùng trang đó thiết lập phạm vi hoạt động:

• Bí danh — pplx-decider-flash-latest theo phiên bản mới nhất, nên một ngưỡng bạn đã tinh chỉnh tuần trước có thể âm thầm trỏ đến một mô hình khác sau khi cập nhật. Hãy ghim id được gắn phiên bản trong bất kỳ thứ gì quan trọng.

• Giới hạn tốc độ — 4.000.000 token mỗi phút và 240.000.000 mỗi giờ, với giới hạn 10 yêu cầu mỗi giây được chia sẻ cho cả hai mô hình ra quyết định ở cấp tổ chức.

• Các loại câu hỏi — noul trả về P(yes) từ 0 đến 1, choice trả về xác suất trên tối đa 255 tùy chọn, và score trả về phân phối trên các mức rubric.

• Hạn mức câu hỏi — tài liệu khuyến nghị mỗi yêu cầu chỉ nên có một câu hỏi. Đây không phải là ghi chú về văn phong; đó là sự khác biệt giữa mức giá bạn được báo và mức giá bạn phải trả.

Quy tắc tính phí làm đảo ngược khuyến nghị

Mô hình 27B trả lời mọi câu hỏi trong một yêu cầu trong một lượt gộp và chỉ tính phí trạng thái một lần. Flash trả lời từng câu hỏi một cách độc lập, không thấy các câu khác, và tính phí trạng thái lại cho mỗi câu hỏi. Tài liệu đưa ra ví dụ minh họa: ba câu hỏi với một trạng thái 10.000 token tốn khoảng 30.000 token đầu vào trên Flash.

Hãy làm phép tính. Một câu hỏi trên một trạng thái 10.000 token tốn $0.0001 trên Flash và $0.0002 trên 27B. Hai câu hỏi tốn $0.0002 trên Flash và $0.0002 trên mô hình lớn hơn — hòa nhau. Ba câu hỏi tốn $0.0003 trên Flash và $0.0002 trên 27B. Điểm giao nhau là hai câu hỏi cho mỗi trạng thái. Tài liệu của chính Perplexity nói rằng mô hình lớn hơn "thường tốn ít hơn Flash" khi có từ ba câu hỏi trở lên; điểm chính xác sớm hơn một câu hỏi, và điều đó đúng với mọi giá niêm yết mà ở đó Flash đúng bằng một nửa mức giá của 27B.

Đây là điều hữu ích nhất trong bản phát hành, và rất dễ bỏ sót vì tiêu đề là mức giảm giá 50%. Một mô hình 4B với giá bằng nửa chỉ rẻ hơn khi bạn hỏi nó từng việc một.

Con số cần nghi ngờ

Perplexity báo cáo điểm Chỉ số Quyết định 0.3 cho cả hai mô hình. Flash đạt 60.05 với một câu hỏi cho mỗi yêu cầu và 58.88 với các yêu cầu gộp; mô hình 27B đạt 68.09 khi gộp và 67.75 khi mỗi yêu cầu một câu hỏi. Trên Chỉ số Quyết định Thị giác, Flash đạt 72.53 so với 77.43.

Việc phân tách theo danh mục mang nhiều thông tin hơn con số tiêu đề, vì nó cho thấy 4B yếu thế ở đâu. Về các con số chạy chung của Flash so với các con số chạy chung của 27B:

• Kiến thức — 42,0 so với 56,3. Đây là khoảng cách lớn nhất, 14,3 điểm, và là yếu tố quyết định liệu mô hình có thể xử lý kiến thức thế giới mở hay không.

• Ngôn ngữ — 63,3 so với 72,8.

• Truy xuất — 64,8 so với 68,4. Khoảng cách hẹp nhất là 3,6 điểm, điều này phù hợp với mục đích đề ra: đánh giá xem một đoạn văn có trả lời được câu hỏi hay không là một nhiệm vụ nhẹ nhàng hơn so với việc biết câu trả lời.

• Công cụ — 76,7 so với 84,4.

• Nghệ thuật — 46.8 so với 56.2.

• Tổng thể — 58.88 so với 68.09.

Mọi con số đó đều đến từ một benchmark do Perplexity duy trì. Thẻ 27B — mô hình giáo viên trong quá trình chưng cất này — thẳng thắn một cách bất thường về phía huấn luyện: theo thẻ này, một phần công việc đã đưa mô hình “vào miền” cho một số tác vụ Decision Index bằng cách đưa vào các tập chia huấn luyện chính thức mà một số benchmark phát hành, với các tập chia này “được khử nhiễm so với các tập kiểm thử” để so sánh vẫn công bằng. Đó là một lập trường cẩn trọng hơn những gì các bài đưa tin xung quanh bản phát hành ngụ ý, và nó vẫn để bảng điểm nằm trong tay nhà cung cấp. Chưa có bên thứ ba nào kiểm toán quy trình phân chia, và chưa ai tái lập được các con số.

Có một điểm lạ nhỏ hơn nằm trong chính các con số của nhà cung cấp, đi ngược lại thông điệp tiếp thị. Flash đạt điểm cao hơn khi trả lời từng câu hỏi một — 60.05 so với 58.88. Việc gom nhóm làm giảm hiệu suất tổng thể của 4B, mặc dù nó có ích với các tác vụ chọn tất cả đáp án phù hợp có liên kết chặt chẽ, đúng như tài liệu nói. Mô hình được quảng bá dựa trên tốc độ xử lý yêu cầu gộp, nhưng lại được đo tốt hơn khi không có nó.

Những gì chưa thể biết được

Những khoảng trống ấy rất cụ thể, và đó chính là lý do đây là bài viết về những gì chúng ta đã biết, chứ không phải một bài đánh giá.

• Không có đánh giá độc lập nào.Không có bên nào ngoài Perplexity công bố bản tái lập Decision Index hay so sánh đối đầu trên một bộ khung trung lập.

• Không có mức dịch vụ về độ trễ. Con số tốc độ duy nhất mà nhà cung cấp công bố là một bài kiểm tra tài liệu ngày 19 tháng 10, trong đó khoảng 248.000 token đầu vào mất 16 giây trên Flash so với 53 giây trên 27B. Đó là phép đo từ phía nhà cung cấp, không nêu rõ phần cứng hay phân vị.

• Không có đánh giá đa ngôn ngữ. Thẻ và tài liệu mô tả văn bản và hình ảnh; không bên nào báo cáo độ chính xác ngoài tiếng Anh.

• Không có khối lượng dữ liệu huấn luyện nào được công bố. Thẻ mô hình cho biết Flash được chưng cất từ mô hình 27B trên các yêu cầu huấn luyện của mô hình lớn hơn, với việc mô hình học trò học toàn bộ phân phối xác suất của mô hình giáo viên thay vì chỉ học các câu trả lời, và rằng một số lần chạy đã được kết hợp bằng cách lấy trung bình trọng số. Thẻ không nêu dữ liệu đó gồm bao nhiêu, đến từ đâu, hay ngưỡng cắt nằm ở đâu.

• Chưa có phân tích lỗi nào được công bố. Đối với một mô hình có đầu ra là xác suất mà bạn sẽ áp ngưỡng lên, không có phân tích chi tiết nào về những điểm mô hình thất bại — theo loại câu hỏi, theo số lượng lựa chọn, theo ngôn ngữ hay theo nội dung hình ảnh.

Vị trí của một mô hình như thế này trong một stack

Đáng để nói rõ {{1}}Flash{{/1}} dùng để làm gì, vì cái tên dễ gợi ra kỳ vọng sai lệch. Nó không viết bất cứ thứ gì. Bạn đưa cho nó một trạng thái — văn bản, JSON, hình ảnh — và một hoặc nhiều câu hỏi có kiểu, và nó trả lại một xác suất hoặc một phân phối mà mã của bạn đặt ngưỡng dựa trên đó. Kiến trúc tự nhiên là một cổng rẻ tiền đặt trước một thứ đắt đỏ: phân loại yêu cầu, quyết định có truy xuất hay không, chọn công cụ, rồi tạo sinh.

Cổng đó không thay thế lớp tạo sinh, và đây chính là lúc định tuyến trở nên quan trọng. OrcaRouter cung cấp hơn 200 mô hình tạo sinh chỉ với một khóa API mà không cộng thêm giá so với giá niêm yết của nhà cung cấp, nên việc giảm giá từ bất kỳ nhà cung cấp thượng nguồn nào sẽ có hiệu lực ngay trong ngày thay vì phải chờ bảng tính của nhà bán lại. Nếu cổng phân loại sai, chuyển đổi dự phòng tự động sẽ giúp yêu cầu không bị chết ở chặng kế tiếp. Điều chúng tôi không làm là tự lưu trữ pplx-decider-flash: nó không có trong danh mục của chúng tôi, và cách trung thực để chạy nó ngay hôm nay là dùng API của chính nhà cung cấp hoặc trọng số Apache-2.0 trên GPU của bạn.

Bài toán tự vận hành là hợp lý nếu bạn đã có phần cứng. Khoảng 9 GiB trọng số BF16 vừa trên một card đồ họa tiêu dùng 16 GB, và các bài đưa tin về bản phát hành đã lặp lại tuyên bố của giám đốc điều hành Perplexity rằng Flash chạy trên một chiếc Mac M4 với 16 GB bộ nhớ. Không có số liệu thông lượng nào được công bố chứng minh điều đó, và cơ chế attention không nhân quả nghĩa là bạn không thể chỉ đơn giản thả nó vào một máy chủ suy luận nhân quả có sẵn rồi mong đợi điểm số của card.

Điều gì sẽ thay đổi đánh giá này?

Bốn điều, theo thứ tự hữu ích. Một bản tái tạo trung lập của Decision Index 0.3, hoặc xác nhận mức 60.05 hoặc giải thích khoảng chênh lệch. Một phân bố độ trễ được công bố từ API thay vì chỉ một bài kiểm tra tài liệu duy nhất. Bằng chứng về đầu vào đa ngôn ngữ, vì bộ phân loại 4B đúng là kiểu mô hình mà các nhóm sẽ hướng vào lưu lượng phi tiếng Anh mà không kiểm tra. Và một bài viết kỹ thuật do chính đơn vị phát triển công bố, mô tả dữ liệu huấn luyện đằng sau quá trình chưng cất đó.

Cho đến lúc đó, lập trường có thể bảo vệ được là hẹp và hữu ích: pplx-decider-flash-v1.2 là một mô hình quyết định thực sự, có thể tải xuống, theo Apache-2.0, thuộc lớp 4B, với mức giá được công bố, nhiệt độ hiệu chuẩn được ghi lại và quy tắc tính phí khiến nó đắt hơn mô hình lớn cùng dòng ngay khi bạn xử lý câu hỏi theo lô. Mọi thứ ngoài đó chỉ là bảng điểm của chính Perplexity, và bạn nên coi đó là một giả thuyết để kiểm chứng trên dữ liệu đã gán nhãn của mình chứ không phải một kết quả.