pplx-decider vs Kev: Hai mô hình System One bạn đã có thể tải về

Điều trùng hợp hữu ích trong màn so tài này là bạn có thể giải quyết nó trên phần cứng của riêng mình ngay chiều nay. pplx-decider, mô hình ra quyết định 27B của Perplexity, xuất hiện vào 2026-10-01 mà không kèm thông báo nào và một bản sửa đổi v1.1 vào 2026-10-05, và cả hai đều có trên thư viện Ollama. Kev, dòng tái tạo của Jared Palmer, đã có trên Ollama kể từ khi v2 ra mắt vào 2026-09-30 và bao phủ từ 0.5B đến 27B. Chúng dùng cùng một dạng lệnh gọi — một trạng thái cộng với danh sách các câu hỏi có tên, một lượt truyền xuôi, trả về một xác suất, không sinh văn bản — nghĩa là cùng một harness có thể chạy cả hai. Điều khác biệt nằm ở mọi thứ bên dưới: cách đầu ra được tạo ra, những gì các tác giả ghi lại trong tài liệu, và cần bao nhiêu GPU.

Bắt đầu với thứ khiến cho một cuộc so tài trở nên khả thi ngay từ đầu. Cả hai mô hình đều không viết văn bản. Bạn đưa một tài liệu và đặt câu hỏi theo tên, mỗi câu hỏi khai báo loại câu trả lời của nó — một lựa chọn trong số 2 đến 255 tùy chọn được dán nhãn, một kết quả đọc có/không/không rõ, hoặc một điểm số trên 2 đến 10 mức được mô tả. Câu trả lời đến dưới dạng xác suất, theo thứ tự bạn đã hỏi. Một phiếu với sáu mươi câu hỏi là một lượt chạy qua mô hình, không phải sáu mươi lời gọi.

Thực sự thì mỗi mô hình đảm nhiệm bao nhiêu phần trong việc ra quyết định

Thẻ của Kev nói rõ về cách nó được xây dựng theo kiểu hiếm thấy ngoài các tài liệu nội bộ, và chi tiết đó đáng đọc trước khi bạn tin vào một con số nào từ nó. Checkpoint 27B là một bản tinh chỉnh có giám sát toàn trọng số trên Qwen/Qwen3.8-27B, sau đó là bước trung bình trọng số — 0,85 của mô hình mới được pha với 0,15 của v1 trong fp32. Các kích thước nhỏ hơn, từ 0,8B đến 9B, được phát hành dưới dạng LoRA adapter trên các nền Qwen3.5 thay vì checkpoint đầy đủ.

Phần quyết định hình dạng của đầu ra tách biệt với xương sống ngôn ngữ. Kev mang một đầu con trỏ — khoảng 2,6M tham số ở fp32, nằm trên đỉnh một xương sống 25,6B để tạo thành 26B — chính là thứ biến một trạng thái ẩn thành xác suất trên các tùy chọn có tên của bạn. pplx-decider làm cùng công việc đó với một đầu đọc ra đã phát hành có dạng [255, 5120]: 255 tùy chọn trên một trạng thái ẩn rộng 5.120, ở dạng bf16.

Hai kiến trúc, cùng một ý tưởng: mô hình ngôn ngữ đọc, một head nhỏ đưa ra quyết định. Đó là lý do cả hai đều không sinh văn xuôi, và cũng là lý do điểm benchmark từ cái này không chuyển sang cái kia ngay cả khi cả hai được đối chiếu với cùng một mô hình tham chiếu.

Cuộc đối đầu trực tiếp duy nhất trong hồ sơ, và lý do bạn không thể trừ nó đi

Cả hai dự án đều báo cáo dựa trên Jev, khiến người ta dễ muốn đặt chúng cạnh nhau để so sánh. Đừng làm vậy.

Thẻ của chính Kev có một hàng Decision Index 0.2, đặt Kev-27B v2 ở mức 52.3 so với 50.2 của v1, Jev ở mức 54.0, và AutoJev-27B ở mức 50.0. Đó là một so sánh rõ ràng, cùng bộ kiểm thử, cùng phiên bản, và nó cho thấy Kev v2 đã cải thiện khoảng hai điểm và vẫn kém Jev.

Các card của pplx-decider báo cáo mức tổng thể có trọng số theo bộ kiểm thử là 61,56 cho v1.1, so với 56,4 cho v1 và 57,9 cho Jev. Theo chính các con số của họ, đó là mức tăng hơn năm điểm chỉ trong một lần sửa đổi và mức dẫn trước Jev hơn ba điểm rưỡi.

Hai đoạn đó không thể trừ cho nhau được. Các bộ kiểm thử khác nhau, các tổ hợp tác vụ khác nhau, cách đánh trọng số khác nhau — và cả hai dự án đều không công bố phần trọng số. Điều bạn có thể nói thì hẹp hơn nhưng vẫn hữu ích: cả hai đều dịch chuyển theo cùng một hướng trong cùng một cửa sổ, cả hai đều làm điều đó bằng cách thay đổi cách huấn luyện phần đọc ra thay vì hoán đổi xương sống, và mức chênh lệch mà pplx-decider tuyên bố so với Jev lớn hơn mức thiếu hụt đo được của Kev. Đó là lý do để kiểm thử pplx-decider, không phải lý do để tin vào nó.

Chỉ một trong hai cái có một bản tái lập độc lập gắn với bất kỳ con số nào của nó. Các tag Ollama của Kev công bố số lần đạt JevBench theo từng tag — 205/231 đối với kev:27b-nvfp4, bao gồm 86/111 trên tập khó, giảm xuống còn 146/231 đối với kev:0.8b — kèm ghi chú rõ ràng rằng những số này loại trừ 303 tác vụ bị niêm phong hoặc do giám khảo chấm điểm không có sẵn và không phải là điểm bảng xếp hạng chính thức. Đó là một lần tự chạy, nhưng là một lần tự chạy mà bạn có thể lặp lại. Không có gì tương đương như vậy dành cho pplx-decider.

Kev tài liệu hóa điều gì mà pplx-decider không?

• Nhiệt độ — Kev đi kèm với T = 1.32, khoảng 90% là [1.20, 1.45], được áp dụng khi tải, nên các xác suất bạn nhận được đã được chia tỷ lệ sẵn. Các card của pplx-decider hoàn toàn không công bố temperature nào, nghĩa là bất kỳ hiệu chỉnh nào bạn cần thì bạn phải tự khớp lấy.

• Hồ sơ huấn luyện — Kev v2 tốn 129 giờ GPU trên 8× H200, chạy một epoch trên 145.840 bản ghi và 337.130 câu hỏi, nhãn do GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b và MiMo-V2.6-Pro tạo ra mà không dùng đầu ra nào của Jev, cùng một bộ lọc nhiễm bẩn đã loại bỏ 6.388 bản ghi trên 102 phân vùng đánh giá. pplx-decider ghi lại một pipeline được xây dựng trên Bespoke Nimble của Bespoke Labs với các tập con benchmark được ghim theo record ID và checksum, đồng thời ghi công mức tăng của v1.1 là nhờ loại bỏ mặt nạ nhân quả cùng dữ liệu huấn luyện bổ sung — nhưng không công bố số bản ghi, số giờ GPU cũng như danh sách đơn vị gán nhãn.

• Báo cáo hồi quy trung thực — thẻ của Kev tự in ra những điểm trượt của chính nó: transfer-v4 giảm 0,8 điểm, CUAD giảm 1,6, sai số hiệu chuẩn kỳ vọng trên breadth-v1 ở mức 0,015 so với 0,053 trên CUAD, tệ hơn v1 từ hai đến bốn lần, và nó chỉ đích danh sự lạc quan do chọn lọc trong đánh giá của chính nó. Bảng v1.1 của pplx-decider cho thấy công cụ tụt từ 79,3 xuống 78,88 trong khi mọi hạng mục khác đều tăng, và không có gì trong thẻ đề cập đến điều đó.

• Các kiểu hỏng — thẻ của Kev liệt kê phạm vi sàng lọc nhiễm bẩn và các điều kiện mà các số liệu đã công bố của nó được tạo ra. Họ Decider, dòng của Mapika, đi xa hơn và nêu tên các dạng đầu vào cụ thể khiến nó hỏng; pplx-decider im lặng về câu hỏi này.

Không điều nào trong số này nói rằng pplx-decider kém hơn. Tài liệu không phải là năng lực — một phòng thí nghiệm có bài đăng ra mắt còn trong bản nháp có những động cơ khác với một cá nhân công bố ghi chú lên Hugging Face. Nhưng khi hai mô hình tuyên bố cùng một loại kết quả và chỉ một trong số chúng cho bạn biết temperature của nó, thì cái cho bạn biết chính là cái bạn có thể đưa vào sản xuất trong tháng này.

Hạch toán ngữ cảnh, đây chính là nơi hai bên phân kỳ gay gắt nhất

• Kev — 65.536 token trạng thái, cộng ít nhất 8.192 token cho mỗi câu hỏi, với huấn luyện ở mức lên tới 32.768. Ở trạng thái 64k, mức chiếm dụng bộ nhớ thường trú đạt khoảng 87,1 GB ở đỉnh, thời gian mô hình 9,4 giây, 733 ms khi trúng bộ đệm, và 21,1 yêu cầu mỗi giây ở một máy khách so với 36,4 ở sáu mươi tư.

• pplx-decider — 8.192 token cho cả văn bản lẫn hình ảnh cộng lại, với các đầu vào quá khổ bị từ chối thay vì bị cắt ngắn. Bản dựng Ollama liệt kê cửa sổ ngữ cảnh 256K, điều mà không có gì trong kho lưu trữ giải thích và cũng không khớp với giới hạn của chính thẻ mô hình.

Khoảng cách đó là khác biệt quan trọng nhất giữa hai mô hình đối với các khối lượng công việc thực tế. Kev được xây dựng cho các trạng thái dài và nhiều câu hỏi đặt ra dựa trên chúng. pplx-decider là một mô hình dense 27B với ngân sách đầu vào tương đối nhỏ, điều này khiến nó hướng về các tài liệu ngắn, hình ảnh và các yêu cầu nằm gọn trong vài nghìn token.

• Ngôn ngữ — chỉ có tiếng Anh trên cả hai, được nêu rõ là hạn chế trên cả hai.

• Thị giác — pplx-decider nhận văn bản, JSON và hình ảnh, với token thị giác tốn khoảng width × height / 1024 và thiết lập đánh giá được giới hạn ở 512×512. Kev không có thị giác trong dòng 27B.

• Mức tối thiểu để phục vụ — Kev-27B cần GPU hạng 80 GB: 51,3 GB trọng số bf16, khoảng 65,5 GB thường trú, 87,1 GB ở trạng thái 64k, và máy chủ của nó bind công khai trừ khi KEV_API_KEY được đặt. Trọng số bf16 của pplx-decider vào khoảng 49 GiB, nên mức tối thiểu tương tự; bản dựng Ollama đã lượng tử hoá chỉ còn 17 GB, tức là một cỗ máy rất khác.

• Các nấc — Kev bao gồm 0.5B, 0.6B, 0.8B, 4B, 8B, 9B và 27B, với các kích cỡ nhỏ dưới dạng bộ điều hợp LoRA. pplx-decider là một kích cỡ duy nhất, được chỉnh sửa hai lần.

Chạy cuộc so tài mà không đặt cược vào nó

Cả hai mô hình đều có thể truy cập được dưới dạng trọng số cục bộ, và đây đúng là tình huống mà một lớp định tuyến mới chứng tỏ được giá trị của mình. OrcaRouter không phục vụ pplx-decider và cũng không phục vụ Kev — cả hai đều không có trong danh mục, và không có gì ở đây nên được hiểu là chúng tôi lưu trữ chúng. Thứ mà chúng tôi thực sự cung cấp trong nhóm này là typesafe/jev-1.13, được đưa ra thông qua cùng dạng gọi POST /v1/systemone với giá $0.042 mỗi triệu token đầu vào, và nó là nhánh đối chứng tự nhiên: cùng giao diện, cùng loại câu hỏi, không cần GPU của riêng bạn.

Điều đó khiến một cuộc so tài ba bên trở nên rẻ để thiết lập. Hãy đặt một pplx-decider cục bộ và một Kev cục bộ phía sau cùng một harness để đối đầu với typesafe/jev-1.13 định tuyến, chấm điểm cả ba trên tài liệu của chính bạn, và để sự bất đồng giữa chúng cho bạn biết ngưỡng của bạn thực sự nằm ở đâu. Chuyển đổi dự phòng tự động quan trọng hơn mức thông thường trong cách bố trí đó, vì một mô hình 27B cục bộ trên một card duy nhất là thành phần kém tin cậy nhất trong chuỗi; định tuyến đường dự phòng qua một API cho hơn 200 mô hình — giá niêm yết của nhà cung cấp được chuyển nguyên với 0% markup — giữ cho thí nghiệm không biến thành một sự cố ngừng dịch vụ. Và khi một mô hình như pplx-decider cuối cùng đạt tới một endpoint được lưu trữ, chính chiếc key vận hành nhánh đối chứng cũng vận hành nó, không cần hợp đồng thứ hai và không cần thay đổi mã.

Điều gì sẽ làm thay đổi câu trả lời

Bốn điều, và tất cả đều có thể kiểm chứng chứ không phải chuyện sở thích.

Nếu pplx-decider tiếp cận được một nhà cung cấp suy luận, bảng đánh giá chuẩn chưa được xác minh của nó sẽ trở thành câu hỏi giữa giá và độ trễ, và khoảng trống tài liệu không còn quan trọng nữa — bạn sẽ trả tiền cho một bản đọc kết quả được lưu trữ, chứ không phải tự duy trì một bản. Nếu một bên độc lập tái tạo các số liệu JevBench của một trong hai mô hình trên một harness đã công bố, toàn bộ so sánh sẽ thu hẹp thành một bộ duy nhất thay vì hai bộ không tương thích.

Nếu điểm yếu ECE đã được ghi nhận của Kev trên CUAD hóa ra có thể khắc phục bằng refit thay vì retrain, thì lập luận về calibration chống lại nó phần lớn biến mất, vì Kev vốn đã phát hành kèm temperature của nó và các kiểu thất bại của nó là những đại lượng đã biết. Và nếu bạn cần một mô hình quyết định trên một card thay vì hai card, bản build lượng tử hóa 17 GB của pplx-decider là lựa chọn duy nhất ở đây — không phải vì nó tốt hơn, mà vì nó vừa chỗ ở nơi mà một mô hình 27B ở bf16 không vừa.

Cho đến khi một trong những điều đó xảy ra, cách nhìn thực tế chẳng có gì hào nhoáng. Kev là lựa chọn mà bạn có thể lặp lại các con số ngay hôm nay và có thể tin tưởng rằng quy trình hiệu chuẩn của nó được ghi chép lại; pplx-decider là lựa chọn có mức trần được tuyên bố cao hơn nhưng lại có dấu vết tài liệu mỏng manh hơn. Hãy chọn cái đầu tiên nếu bạn xuất hàng trong tháng này. Kéo cái thứ hai vào cùng một giàn thử nếu bạn thuộc kiểu đội ngũ thà đo đạc một bản phát hành âm thầm còn hơn chờ đợi một bài đăng ra mắt.

Định tuyến phương án dự phòng qua giá niêm yết của nhà cung cấp được chuyển tiếp với mức tăng giá 0% giúp một cuộc so tài ba bên không biến thành sự cố ngừng dịch vụ khi điểm kiểm tra cục bộ là thành phần kém đáng tin cậy nhất trong chuỗi.

Một cuộc so tài ba bên cũng là thời điểm hợp lý để đặt câu hỏi điều gì đã thất bại trong nhóm này: các sự cố AI và lỗi agent đã được ghi nhận liên quan đến các mô hình quyết định đều được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.