pplx-decider-flash vs pplx-decider: 4B rẻ hơn cho đến khi bạn đặt ba câu hỏi

Trong bảng giá, pplx-decider-flash-v1.2 có giá bằng một nửa so với pplx-decider-v1.2: 0,01 USD mỗi triệu token đầu vào so với 0,02 USD. Theo quy tắc tính phí, mức giảm giá đó chỉ duy trì đúng một câu hỏi. Hỏi hai câu về cùng một trạng thái thì hai mô hình có chi phí như nhau. Hỏi ba câu thì mô hình 4B là mô hình đắt hơn, vì Flash tính phí lại trạng thái cho mỗi câu hỏi trong khi 27B chỉ tính một lần. Mô hình rẻ hơn chỉ thực sự rẻ hơn nếu bạn hỏi nó từng câu hỏi nhỏ một.

Sự đảo ngược đó chính là phần hữu ích của phép so sánh này. Phần còn lại là một sự đánh đổi quen thuộc về kích thước: một checkpoint 4B thắng về độ trễ và bộ nhớ trước một mô hình 26 tỷ tham số thắng về độ chính xác, với cả hai đều được phân phối dưới cùng giấy phép Apache-2.0 và cùng ngữ cảnh mặc định 262,144 token.

Hai trạm kiểm soát, một bản phát hành, những nhiệm vụ khác nhau

Perplexity đã công bố cả hai vào ngày 15 tháng 10 năm 2026, mô hình lớn lúc 07:40 UTC và Flash lúc 16:57. Chúng dùng chung một thiết kế: phần nền Qwen, đầu đọc 255 chiều thay vì đầu mô hình ngôn ngữ, các lớp tự chú ý đầy đủ phi nhân quả và nhiệt độ hiệu chuẩn đã lưu. Chúng không dùng chung phần nền. pplx-decider-v1.2 được xây dựng trên Qwen3.8-27B và có dung lượng khoảng 52 GiB ở định dạng BF16. pplx-decider-flash-v1.2 được xây dựng trên Qwen3.5-4B và có dung lượng khoảng 9 GiB.

Cách đặt tên lỏng lẻo hơn các con số. Mô hình lớn được chào bán với tên 27B, nhưng thẻ mô hình của chính nó lại ghi 26B ở BF16. Flash được chào bán là 4B trong tài liệu API, trong khi tiêu đề thẻ của nó ghi 5B ở BF16 và phần xương sống của nó là một mô hình 4B. Cả hai điểm khác biệt đều không làm thay đổi quyết định triển khai; cả hai đều đáng để biết trước khi bạn đưa ra một con số tham số trong kế hoạch dung lượng.

Bảng giá, trước dấu hoa thị

• Giá đầu vào — pplx-decider-flash-v1.2 ở mức $0,01 mỗi triệu token so với pplx-decider-v1.2 ở mức $0,02.

• Giá đầu ra — miễn phí trên cả hai, không có phí theo từng yêu cầu. Mỗi câu hỏi được tính là một token đầu ra chỉ nhằm mục đích hạch toán.

• Giới hạn tốc độ — 4,000,000 token mỗi phút và 240,000,000 mỗi giờ, với giới hạn 10 yêu cầu mỗi giây được dùng chung cho cả hai mô hình ở cấp tổ chức.

• Bí danh — pplx-decider-flash-latest và pplx-decider-latest đều chuyển sang phiên bản mới nhất, vì vậy một ngưỡng được tinh chỉnh dựa trên một phiên bản có thể âm thầm gặp một phiên bản khác.

Dấu hoa thị không hề bị ẩn. Tài liệu của Perplexity nói rõ rằng Flash được thiết kế cho một câu hỏi mỗi yêu cầu, rằng việc gửi nhiều câu hỏi sẽ tạo ra các câu trả lời độc lập mà không có tương tác chéo, và rằng trạng thái sẽ bị tính phí lại cho từng câu hỏi. Tài liệu thậm chí còn trình bày ví dụ: ba câu hỏi trên một trạng thái 10.000 token tốn khoảng 30.000 token đầu vào.

Nơi câu hỏi thứ hai xóa khoản giảm giá

Công thức tổng quát rất đơn giản. Với một trạng thái gồm s token và q câu hỏi, Flash tốn q × s × $0.01 mỗi triệu và 27B tốn s × $0.02 mỗi triệu. Hóa đơn của Flash vượt qua mô hình lớn ở câu hỏi thứ ba.

• Một câu hỏi, trạng thái 10.000 token — Flash $0.0001 so với 27B $0.0002. Flash thắng với chi phí bằng một nửa.

• Hai câu hỏi, cùng trạng thái — Flash $0.0002 so với 27B $0.0002. Hòa nhau, không phải giảm giá.

• Ba câu hỏi — Flash $0.0003 so với 27B $0.0002. Bản 4B đắt hơn 50%.

• Năm câu hỏi — Flash $0.0005 so với 27B $0.0002. Bản 4B có giá gấp hai lần rưỡi.

Tính theo giá trị tuyệt đối, đây chỉ là những phần nhỏ của một xu, đó là lý do quy tắc này dễ bị bỏ qua và cũng là lý do nó tích lũy theo khối lượng. Một cổng chạy một triệu yêu cầu ba câu hỏi với trạng thái 10.000 token tốn khoảng $300 trên Flash và $200 trên 27B. Mô hình trông có vẻ rẻ hơn 50% lại đắt hơn 50% ở khối lượng công việc mà việc gộp lô thông thường sẽ là một tối ưu hóa.

Tài liệu của Perplexity nói rằng mô hình lớn hơn "thường có chi phí thấp hơn Flash" khi có từ ba câu hỏi trở lên. Điểm giao chính xác là hai. Nếu các câu hỏi của bạn thực sự gắn kết với nhau — các khía cạnh kiểu "chọn tất cả những gì áp dụng" của cùng một quyết định — thì cách xử lý gộp cũng là cách chính xác. Nếu chúng là các điểm số ứng viên độc lập, tài liệu khuyên tách chúng thành các yêu cầu riêng, điều này làm hóa đơn của Flash tăng thêm trong khi giữ nguyên hóa đơn của 27B.

Khoảng cách về độ chính xác, theo từng danh mục

Cả hai mô hình đều được chấm điểm trên Decision Index 0.3, chỉ số tổng hợp của chính Perplexity. Con số nổi bật là 60.05 cho Flash với một câu hỏi mỗi yêu cầu, so với 68.09 cho 27B với các yêu cầu gộp chung. Phần phân tách theo hạng mục, khi so sánh các lần chạy gộp với các lần chạy gộp, cho thấy khoảng cách 9,2 điểm giữa các lần chạy gộp đến từ đâu.

• Kiến thức — 42.0 so với 56.3. Khoảng cách 14.3 điểm, và là yếu tố nên quyết định phần lớn các triển khai. Nếu câu hỏi đòi hỏi phải biết điều gì đó thay vì đánh giá điều gì đó, thì 4B không phải là phương án thay thế.

• Ngôn ngữ — 63,3 so với 72,8.

• Truy xuất — 64,8 so với 68,4. Khoảng cách hẹp nhất là 3,6 điểm. Đánh giá liệu một đoạn văn có hỗ trợ một tuyên bố hay không chính là nhiệm vụ mà Flash được tạo ra để làm, và các con số phản ánh điều đó.

• Công cụ — 76.7 so với 84.4. Cả hai mô hình đều mạnh nhất ở đây xét về giá trị tuyệt đối, điều này phù hợp với trường hợp sử dụng định tuyến.

• Nghệ thuật — 46.8 so với 56.2.

• Thị giác — 72,53 so với 77,43 trên Vision Decision Index, mức chênh lệch 4,9 điểm nhỏ hơn khoảng cách về văn bản và khiến Flash cạnh tranh hơn trên hình ảnh so với văn xuôi.

Lưu ý hiển nhiên áp dụng cho mọi con số ở trên: bộ đánh giá chuẩn thuộc về nhà cung cấp và chưa có bên thứ ba nào tái lập được. Thẻ 27B cho biết công việc huấn luyện bao gồm các tập huấn luyện chính thức của một số tác vụ Decision Index, đã được khử nhiễm so với các tập kiểm thử; đó là một thực hành được nêu ra, không phải một thực hành đã được kiểm toán. Hãy coi hồ sơ theo nhóm năng lực là một giả thuyết về nơi mỗi mô hình mạnh — kiến thức và nghệ thuật đối với 27B, truy xuất và công cụ đối với cả hai — chứ không phải là một kết quả đã được đo lường.

Sự bất đối xứng trong yêu cầu chung

Việc nhóm các câu hỏi có lợi cho mô hình lớn và gây bất lợi cho mô hình nhỏ, và chính những con số của Perplexity cho thấy điều đó.

• pplx-decider-v1.2 — 68.09 khi gộp so với 67.75 khi mỗi yêu cầu một lần. Ghép nhóm tăng thêm 0.34 điểm.

• pplx-decider-flash-v1.2 — 58.88 khi gộp so với 60.05 khi mỗi yêu cầu một lần. Việc gộp tốn 1.17 điểm.

Tài liệu giải thích cơ chế: mô hình 4B mất độ chính xác khi trả lời nhiều câu hỏi cùng lúc, đó là lý do mặc định được khuyến nghị là mỗi yêu cầu chỉ một câu hỏi. Điều mà các con số bổ sung là mức suy giảm đủ lớn để thể hiện trong điểm tổng thể, chứ không chỉ ở các trường hợp biên. Mô hình được tiếp thị dựa trên tốc độ xử lý một lượt và lại đo được kết quả tốt hơn khi không xử lý một lượt. Nếu bạn vẫn gộp nhóm để theo đuổi thông lượng, bạn đang trả giá cho tốc độ hai lần — một lần bằng token và một lần bằng độ chính xác.

Hiệu chuẩn: gần nhau hơn so với khoảng cách độ chính xác gợi ý

Cả hai card đều công bố thông tin hiệu chuẩn một cách trung thực, điều này đủ hiếm để đáng lưu ý.

• Nhiệt độ đã lưu — 1.554 trên Flash so với 1.382 trên 27B.

• Độ chính xác trên tập phát triển — 88,8% trên 1.497 câu hỏi đối với Flash so với 91,3% đối với 27B.

• Sai số hiệu chuẩn kỳ vọng sau hiệu chỉnh nhiệt độ — 0.021 đối với Flash so với 0.014 đối với 27B.

• Điểm Brier — 0,163 so với 0,134.

Flash kém chính xác hơn và hiệu chuẩn kém hơn, đúng như kỳ vọng ở kích thước bằng một phần bảy, nhưng khoảng cách hiệu chuẩn là 0,007 ECE — đủ nhỏ để một ngưỡng được tinh chỉnh trên 27B thường sẽ chuyển giao được. Thẻ mô hình 27B cũng thẳng thắn cho rằng dữ liệu quyết định held-out vẫn có phần tự tin quá mức, với ECE khoảng 0,05, nên cả hai mô hình đều không thể thay thế cho việc khớp ngưỡng trên dữ liệu của riêng bạn. Tài liệu của Perplexity nói chính xác điều đó: đánh giá chuẩn cả hai trên dữ liệu có nhãn ở các ngưỡng dự định của bạn và chỉ giữ Flash nếu nó đáp ứng mục tiêu độ chính xác của bạn.

Tự lưu trữ: 9 GiB so với 52 GiB

Cả hai đều theo Apache-2.0, nên mức giá dịch vụ lưu trữ chỉ là tiện ích chứ không phải ràng buộc. Khác biệt về phần cứng chính là ranh giới rõ rệt nhất giữa chúng.

• Trọng số — khoảng 9 GiB BF16 cho Flash so với khoảng 52 GiB cho bản 27B, cộng thêm bộ nhớ làm việc trên cả hai.

• Phần cứng — Flash vừa với một card tiêu dùng 16 GB; bản 27B cần một bộ tăng tốc nghiêm túc hoặc chia tải trên nhiều GPU.

• Phục vụ — cả hai đều không thể đưa vào một máy chủ causal nguyên bản mà không cần thay đổi. Các lớp full-attention chạy phi nhân quả, và các prompt viết cho v1.1 không dùng lại được.

• Ngữ cảnh — mặc định là 262.144 token trên cả hai, trong khi quá trình huấn luyện chỉ được xác thực đến khoảng 32.000 và các thẻ cảnh báo rằng đầu vào dài hơn ít được kiểm thử hơn.

Tự vận hành Flash là phiên bản duy nhất trong so sánh này mà 4B thắng vô điều kiện. Một thẻ 16 GB duy nhất, giấy phép thoáng, và không có hóa đơn theo token là một sản phẩm thực sự khác biệt so với một checkpoint 52 GiB cần cả một đội vận hành.

Một quy tắc ra quyết định mà bạn có thể áp dụng

• Một câu hỏi cho mỗi bang, khối lượng lớn — Flash. Lợi thế về giá là có thật và mức suy giảm độ chính xác tập trung ở các tác vụ tri thức mà bạn có thể định tuyến sang nơi khác.

• Hai câu hỏi trở lên mỗi trạng thái — 27B. Ở hai câu, giá ngang nhau; từ ba câu trở lên thì rẻ hơn, và chính xác hơn ở chế độ kết hợp; khoảng cách càng mở rộng khi thêm mỗi câu hỏi.

• Những đánh giá nặng về kiến thức hoặc nặng về rubric — 27B. Mức thâm hụt 14,3 điểm về kiến thức không phải là thứ mà một prompt tốt hơn có thể khắc phục được.

• Kiểm soát truy xuất và lựa chọn công cụ — Flash là lựa chọn có thể biện minh. Khoảng cách ở đó là 3,6 và 7,7 điểm, và khối lượng công việc đúng là thứ mà mô hình được xây dựng để xử lý.

• Triển khai trên thiết bị hoặc GPU đơn — Flash, không có lựa chọn thay thế thực sự nào trong cặp này.

• Thị giác — hoặc là, với 27B dẫn trước 4,9 điểm; nếu bạn đã chạy 27B cho văn bản, việc tách thị giác sang Flash chẳng đáng là bao.

Dù bạn rơi vào phía nào của sự phân tách, bộ quyết định vẫn là phần rẻ nhất của pipeline. Phần sinh mà nó gác cổng mới là nơi tiền đổ vào, và đó chính là lớp đáng để tối ưu. OrcaRouter đặt hơn 200 mô hình sau một khóa duy nhất mà không đánh thêm giá so với giá niêm yết của nhà cung cấp, nên một đợt giảm giá ở thượng nguồn sẽ được áp dụng ngay trong cùng ngày, và cơ chế chuyển đổi dự phòng tự động sẽ xử lý trường hợp cổng gửi yêu cầu đến một mô hình đang bị suy giảm. DSL định tuyến kết hợp các mô hình do chúng tôi cung cấp; không có checkpoint pplx-decider nào nằm trong số đó, nên việc phân tách Flash so với 27B phải nằm trong mã của chính bạn. Bộ quyết định được lưu trữ trong danh mục của chúng tôi là Jev của TypeSafe, dưới dạng jev-1.13 và jev-1.14.

Bài kiểm tra mà cả hai nhà cung cấp đều chưa công bố

Tất cả những điều trên là một quyết định được đưa ra từ tài liệu của nhà cung cấp. Bài kiểm tra có thể giải quyết chuyện đó thì nhàm chán và cụ thể: lấy một nghìn yêu cầu thật, gán nhãn chúng, và chạy cả hai mô hình ở ngưỡng bạn dự định với một câu hỏi và với ba câu hỏi. Ghi lại độ chính xác, lỗi hiệu chuẩn và tổng số token bị tính phí. Dự đoán từ các con số đã công bố là Flash thắng ở khối lượng công việc một câu hỏi về chi phí và thua ở khối lượng ba câu hỏi về cả chi phí lẫn độ chính xác. Nếu điều đó đúng, lựa chọn là một thuộc tính của hình dạng yêu cầu của bạn, không phải ngân sách của bạn — và nhóm đo lường nó sẽ chọn đúng, trong khi mọi người đọc bảng giá chọn mô hình rẻ hơn 50% trên giấy và đắt hơn 50% trong sản xuất.