pplx-decider trên Ollama: Mô hình Quyết định 27B Im lặng của Perplexity đã có thể chạy

Perplexity đã công bố trọng số của pplx-decider-v1.1-27b vào ngày 2026-10-05, và checkpoint đầu tiên mà nó thay thế, pplx-decider (tên repo pplx-decider-v1-27b), vào ngày 2026-10-01. Cả hai đều là bản tinh chỉnh của Qwen3.8-27B trả lời bằng xác suất thay vì bằng câu, và cả hai nằm trong cùng dòng System One với Jev 1.13 của TypeSafe. Điều mới không nằm ở mô hình: tính đến hôm nay, pplx-decider là một mục trong thư viện mô hình của chính Ollama, có thể cài đặt bằng một lệnh. Trước khi mục niêm yết đó xuất hiện, việc chạy checkpoint này đòi hỏi một GPU CUDA có đủ chỗ cho khoảng 49 GiB trọng số bf16. Giờ đây nó là một bản pull đã lượng tử hóa 17 GB trên một chiếc laptop. Thay đổi duy nhất đó chính là nội dung của trang này, và mô hình mà nó khiến có thể chạy được đã mười bốn ngày tuổi.

Cụ thể thì đã có gì thay đổi

Mục trong thư viện Ollama có tên là pplx-decider, và thư viện đã liên tục thu thập các mô hình quyết định — Laya, Nimble, Kev, Clef, Strands Decider — suốt mùa thu. Đây là bổ sung mới nhất, và trên registry được duy trì, nó cung cấp ba thẻ (pplx-decider:latest, pplx-decider:27b và pplx-decider:27b-q4_K_M) đều phân giải về cùng một digest manifest. Chỉ một artifact duy nhất, không phải một thang kích thước.

• Định dạng — GGUF được phục vụ bởi llama.cpp, so với các phân mảnh safetensors bf16 trên Hugging Face

• Kích thước tải xuống — khoảng 17 GB ở q4_K_M, so với khoảng 49 GiB trọng số cộng với bộ nhớ làm việc cho checkpoint bf16

• Lớp thị giác — manifest mang theo một projector riêng khoảng ~927 MB song song với lớp mô hình, nên đầu vào hình ảnh được đóng gói cùng với trọng số văn bản

• Phần cứng — một máy tiêu dùng thay vì một máy CUDA

Giao diện mà Ollama cung cấp là /v1/systemone — một endpoint được hãng thêm vào ở v0.35.0 và mở rộng cho các mô hình Clef trong v0.35.1. Nó cũng vừa có thêm giao diện dòng lệnh: v0.40.4, phát hành ngày 2026-10-12, đã bổ sung các mô hình quyết định vào ollama run, nhờ đó có thể hỏi thẳng từ terminal một câu hỏi có/không, một lựa chọn nhãn hoặc một điểm theo rubric với --ask, --choice và --level. Bản phát hành đó mới được ba ngày; mô hình mà nó giúp sử dụng thuận tiện thì đã hai tuần tuổi.

Kho lưu trữ thực sự ghi lại những gì

Checkpoint không phải là một mô hình trò chuyện với một prompt ngắn gọn. Thẻ mô hình của nó mô tả một bố cục quyết định gốc: xương sống Qwen3.8-27B ở tên lớp đã phát hành, cùng một readout.safetensors riêng chứa đầu quyết định bf16 [255, 5120] — một readout 255 lớp trên các khe tùy chọn, không phải đầu ngôn ngữ toàn bộ từ vựng. Không có vòng lặp giải mã. Mọi tùy chọn của mọi câu hỏi đều được tính điểm trong một lượt truyền xuôi, đó là lý do phản hồi báo cáo 0 token đầu ra.

Ba chi tiết trong thẻ quan trọng hơn bảng đánh giá chuẩn, vì chúng chính là những chi tiết phá vỡ một tích hợp ngây thơ:

• Chế độ chú ý. Các lớp full-attention dùng một chế độ phi nhân quả (noncausal) đã được lưu sẵn, và thẻ nêu rõ rằng suy luận nhân quả (causal) mặc định không tái tạo được thiết lập đã được đánh giá. Khởi chạy checkpoint bằng một bộ nạp causal có sẵn thì bạn sẽ nhận được những con số không phải là những con số đã công bố.

• Nhiệt độ hiệu chuẩn. DecisionModel.predict được cung cấp sẽ áp dụng một nhiệt độ đã lưu. Nếu bạn đọc trực tiếp logits, hãy áp dụng nó đúng một lần — áp dụng hai lần, hoặc không áp dụng, sẽ làm sai tỷ lệ mọi xác suất mà sau đó bạn rẽ nhánh dựa trên đó.

• Một giới hạn quyết định thực sự. Văn bản và tất cả hình ảnh cho một quyết định phải nằm trong ngân sách 8.192 token, và các đầu vào vượt giới hạn sẽ bị từ chối thay vì bị cắt bớt. Huấn luyện và đánh giá được báo cáo giới hạn hình ảnh ở 512×512; việc nâng giới hạn giờ đây có thể cấu hình qua max_image_pixels, mặc định là 2048×2048, nhưng thẻ cảnh báo rằng các độ phân giải cao hơn nằm ngoài phân phối huấn luyện.

Kho lưu trữ này nếu không thì lại đầy đủ một cách bất thường đối với một mô hình mà không ai công bố: mười một phân đoạn safetensors, một decision_config.json, một mẫu trò chuyện, và một release-manifest.json ghi lại tổng kiểm tra tệp và nguồn gốc điểm kiểm tra. Giấy phép là Apache 2.0.

Hai phần của tài liệu đã lệch nhau. Thẻ v1.1 vẫn bảo bạn xác thực với "kho riêng tư này" — kho đó hiện được đọc công khai. Và thẻ v1 cũ hơn mang con trỏ new_version trỏ đến v1.1, đây là tín hiệu trung thực cho thấy v1 đã bị thay thế.

Điều duy nhất cần kiểm tra trước khi bạn lên kế hoạch xoay quanh nó

Mục niêm yết trên Ollama quảng cáo cửa sổ ngữ cảnh 256K. Con số đó dường như được kế thừa từ mô hình cơ sở — Qwen3.8-27B thực sự có 262.144 vị trí — và nó không phải là hợp đồng mà checkpoint quyết định tự ghi nhận cho chính mình. Checkpoint này từ chối bất kỳ quyết định nào có văn bản cộng với hình ảnh vượt quá 8.192 token. Lập kế hoạch một pipeline trên 256K, nạp vào đó một hợp đồng 40.000 token cùng bốn ảnh trang, và yêu cầu sẽ thất bại thay vì bị cắt bớt. Con số lớn hơn mô tả kiến trúc; con số nhỏ hơn mô tả API mà bạn thực sự đang gọi.

Hỗ trợ hình ảnh cũng có một điểm giới hạn tương tự. Thẻ mô hình Ollama cho pplx-decider hiển thị một yêu cầu hình ảnh đối với /v1/systemone, nhưng trang về khả năng của chính Ollama cho endpoint đó lại nêu rằng hình ảnh “chỉ dành cho các mô hình Clef”. Một trong hai tài liệu đó đã lỗi thời. Hãy coi đầu vào đa phương thức trên đường dẫn này là chưa được xác minh cho đến khi bạn tự chạy nó — checkpoint bên dưới rõ ràng nhận hình ảnh, và manifest rõ ràng cung cấp kèm một projector, nhưng cổng được ghi trong tài liệu của runtime lại hẹp hơn so với những gì thẻ mô hình ngụ ý.

Một mã số nhà cung cấp, và một số khác.

Đánh giá của chính Perplexity cho checkpoint v1.1 báo cáo Chỉ số Quyết định là 61,56, so với 57,9 của Jev trên cùng bộ đánh giá và 56,4 của checkpoint mà nó thay thế, với mức tăng lớn nhất theo hạng mục ở ngôn ngữ (69,45) và truy xuất (61,26). Những con số đó do nhà cung cấp báo cáo và được tạo ra từ phía Perplexity; đối với checkpoint trước đó, thẻ còn đi xa hơn và nói rằng các kết quả được đo lường thông qua API Perplexity. Đó là một điều chính đáng để công bố và là một điều yếu để dựa vào.

Bức tranh độc lập hữu ích hơn. Một bảng xếp hạng cộng đồng mở dành cho lớp mô hình này, Jev Decision Index, đã chấm điểm pplx-decider-v1.1-27b trên bảng điều khiển riêng của mình và bản phát hành dữ liệu ngày 2026-10-14 của nó báo cáo rằng checkpoint này hoàn thành 110.179 trong 110.201 trường hợp được chấm điểm trên 42 benchmark trên một chiếc RTX PRO 6000 duy nhất. Trên bảng đó, mô hình đạt điểm kỹ năng cân bằng là 62,75 và xếp hạng thứ sáu, với Jev ở vị trí thứ mười hai với 60,11. Có hai điều mà bảng của nhà cung cấp không hiển thị lộ ra từ chính dữ liệu đó:

• Điểm mạnh của nó.ARC-Easy 99,3; ARC-Challenge 97,0; quyết định có/không khi gọi hàm (BFCL) 97,2; FinEntity 95,4; BPoMP 95,2; CLINC150 91,5. Các tác vụ phân loại và truy xuất kinh điển chính là nơi checkpoint này chứng tỏ được giá trị của mình.

• Còn ở đâu thì không.Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, bộ hội thoại được dẫn hướng bởi schema 33.2, BRIGHT 50.9, GPQA Diamond 56.1. Suy luận nhiều bước khó không phải là thứ mà một lần đọc kết quả đơn lượt mang lại cho bạn, và một hệ thống xếp tầng âm thầm chuyển công việc suy luận sang một mô hình ra quyết định sẽ tạo ra những nhánh sai đầy tự tin.

Hiệu chuẩn xứng đáng có một dòng riêng, vì đó chính là toàn bộ ý nghĩa của một mô hình trả về xác suất thay vì nhãn. Trên 34.829 quyết định được chấm điểm độc lập, checkpoint đạt độ chính xác trung bình 76,1 phần trăm so với độ tự tin trung bình 82,9 phần trăm — sai số hiệu chuẩn kỳ vọng là 0,071 và điểm Brier là 0,335, với 2,0 phần trăm trường hợp có độ tự tin trên 0,95 mà vẫn sai. Đó là một bề mặt xác suất dùng được nhưng chưa hoàn hảo, và nó được hiệu chuẩn tốt hơn một cách đo lường được so với ECE 0,074 của Jev trên cùng bảng. Nếu bạn đang đặt ngưỡng 0,9 và coi đó như gần như chắc chắn, thì con số 2 phần trăm đó chính là con số bạn cần tính đến khi thiết kế.

Độ trễ trên cùng phần cứng đạt trung vị 104 ms và p95 là 835 ms trên 110.000 quyết định, đó là lập luận thực tiễn cho việc dùng mô hình ra quyết định thay vì một mô hình ngôn ngữ nhỏ ở vị trí gác cổng: p95 mới là hạn mức, không phải giá trị trung bình.

Cái giá của một quyết định

Perplexity vận hành Decisions API được lưu trữ riêng cho các checkpoint này — POST https://api.perplexity.ai/v1/decisions, với pplx-decider-v1.1-27b là ID mô hình mặc định và checkpoint trước đó vẫn có thể được gọi tới. Trang định giá đó liệt kê $0.02 mỗi triệu token đầu vào, token đầu ra miễn phí và không có phí theo từng yêu cầu, với mức trần 128 câu hỏi mỗi yêu cầu, 262.144 token đầu vào và 10 yêu cầu mỗi giây cho mỗi tổ chức.

Ngược lại, đường hướng cục bộ không tốn gì cho mỗi quyết định sau khi 17 GB đã tải xong. Với một hàng đợi phân loại chỉ chạy một vài câu hỏi được nhập cho mỗi ticket, phép tính đó tự nó đã rõ — và đáng lưu ý rằng mức trần 262.144 token đầu vào của bản chạy trên máy chủ không phải là giới hạn mà bản cục bộ của bạn sẽ áp đặt, vì ngân sách của chính checkpoint là 8.192.

Chỗ mà tuyến cục bộ không phải là câu trả lời nằm ở phần còn lại của stack quanh quyết định. Đây là một mô hình 27B trả về một xác suất cho mỗi lựa chọn; nó sẽ không soạn câu trả lời, tóm tắt ticket hay gọi công cụ. Nếu bạn muốn quyết định và phần viết nằm sau một khóa duy nhất, thì đó chính là mục đích của OrcaRouter — một API xuyên suốt hơn 200 mô hình với giá niêm yết của nhà cung cấp được chuyển tiếp mà không có phụ phí theo token, cùng với DSL định tuyến khi bạn muốn một mô hình ra quyết định và một mô hình viết được ghép thành một lời gọi. Hai phần của câu chuyện cụ thể này đã có trên nền tảng: checkpoint gốc được phục vụ dưới dạng Qwen3.8-27B, nên bạn có thể so sánh bản fine-tune với chính nền tảng gốc của nó trên cùng một khóa, và mô hình tham chiếu mà nó được đo lường so với được phục vụ dưới dạng Jev 1.13 thông qua cùng một dạng endpoint systemone. Bộ quyết định của Perplexity không phải là thứ chúng tôi cung cấp — nó có sẵn thông qua API riêng của Perplexity và một số nền tảng bên thứ ba — nên nếu bạn cần nó cụ thể, bản pull cục bộ ở trên và endpoint của Perplexity là các tuyến của bạn.

Ba câu hỏi mà kho lưu trữ không trả lời

Checkpoint nào nằm trong artefact đã lượng tử hoá? Mục trong thư viện Ollama được đặt tên theo họ mô hình, không phải theo phiên bản, và khối benchmark của nó liên kết tới kho lưu trữ v1 — bảng 11 benchmark ghi 85,7 phần trăm, đây là con số tổng thể trên thẻ v1 chứ không phải bộ Decision Index của v1.1. Theo chính cách tính của Perplexity, v1.1 là checkpoint mạnh hơn, và nó không hẳn là bản bạn đang tải về. Hãy kiểm tra digest trước khi bạn xây dựng dựa trên giả định đó.

Perplexity có ý định công khai bất kỳ phần nào trong số này không? Không có thông báo, bài đăng blog, mục nhật ký thay đổi hay thông báo về tính khả dụng API nào cho các trọng số này xuất hiện. Các checkpoint đã được hàng nghìn người đọc — 2.740 lượt tải xuống trên v1 và 3.154 trên v1.1 tại thời điểm viết — nhưng sự chú ý dành cho một model card không giống như việc nhà cung cấp nói rằng nó được hỗ trợ. Hãy coi kho lưu trữ công khai là tạo tác có thẩm quyền và mọi thứ khác là suy luận.

Liệu có phiên bản chính thức được nhà cung cấp lưu trữ sắp ra mắt không?Chưa rõ. Việc tồn tại một Decisions API đã được tài liệu hóa và có niêm yết giá ở phía Perplexity cho thấy hướng lưu trữ (hosted) mới là sản phẩm dự định, còn các trọng số (weights) nằm ở thượng nguồn của nó. Nhưng đó là phỏng đoán về ý định, không phải sự thật từ một tài liệu, và nó được ghi nhãn đúng như vậy.

Ai nên di chuyển, và ai không nên

Nếu pipeline của bạn đã phân nhánh dựa trên các quyết định nhà cung cấp có kiểu — định tuyến ticket, phát hiện hoàn tiền, gating bước agent — thì đây là một checkpoint hai tuần tuổi với điểm số được tái lập độc lập, giấy phép Apache 2.0 và, tính đến hôm nay, một đường dẫn 17 GB lên phần cứng bạn sở hữu. Đánh giá cho thấy nó được hiệu chỉnh tốt hơn mô hình tham chiếu và tốt hơn khoảng hai hạng trên một bảng xếp hạng công khai, và bản sao cục bộ loại bỏ hoàn toàn chi phí trên mỗi quyết định. Hãy kéo nó về, chạy nó với các ví dụ được dán nhãn của riêng bạn, và so sánh nó với bất cứ thứ gì bạn đang dùng hiện nay. Ngân sách quyết định 8.192 token là ràng buộc cần kiểm tra trước tiên, chứ không phải 256K mà bản niêm yết quảng cáo.

Nếu bạn cần suy luận thay vì phân loại, hãy chờ. Hội đồng đánh giá độc lập xếp checkpoint này ở mức mười mấy phần trăm trên các benchmark kiến thức khó, và một bề mặt xác suất tự tin về một câu hỏi mà nó thực sự không thể trả lời thì khi vận hành thực tế còn tệ hơn một mô hình chậm biết suy nghĩ trước. Lý lẽ ủng hộ một mô hình ra quyết định là trung vị 104 ms và việc sáu mươi câu hỏi chỉ tốn một lượt chạy — và không điều nào trong số đó giúp được khi các câu trả lời đều sai.

Việc chạy bước quyết định trên phần cứng của riêng bạn cũng là thời điểm tốt để xem xét những gì đã sai trong nhóm này: các sự cố AI và lỗi tác nhân được ghi nhận liên quan đến các mô hình quyết định được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.