pplx-decider-flash vs Laya: Hai kiểu mô hình quyết định, một phép so sánh sai lầm

Những con số đang được truyền tay thì gọn gàng và vô dụng. Một chỉ số so sánh cho Laya 69,5 điểm và pplx-decider-flash-v1.2 68 điểm, gần như hòa. Một chỉ số khác cho Flash 73,7 điểm và xếp nó thứ nhất trong 48. Chỉ số thứ ba cho Flash 451 trên 504, so với 240 của Laya multilingual. Ba nguồn, ba phán quyết, vì mỗi nguồn đang đo một mô hình khác nhau trên một bộ tác vụ khác nhau — và ít nhất hai trong ba nguồn đang đo một biến thể Laya mà không nói rõ là biến thể nào. Đây mới là phép so sánh thực sự quan trọng, và câu trung thực đầu tiên là chưa ai đã chạy nó một cách đúng đắn cả.

Điều có thể so sánh được là hình dạng của hai hệ thống: chúng được xây dựng để làm gì, chi phí vận hành chúng ra sao, và mỗi hệ thống đòi hỏi gì ở bạn trước khi nó tạo ra một xác suất dùng được. Trên những trục đó, chúng không phải là những đối thủ sát nút. Chúng là những sản phẩm khác nhau mà tình cờ chung một chức danh công việc.

Mỗi mục một đoạn văn.

pplx-decider-flash-v1.2 là một mô hình quyết định đa phương thức thuộc lớp 4B từ Perplexity, được xây dựng trên nền tảng Qwen3.5-4B với một đầu đọc 255 chiều riêng biệt. Bạn cung cấp cho nó một trạng thái — văn bản, JSON hoặc một hình ảnh lên tới 1,6 megapixel — cùng các câu hỏi được định kiểu, và nó trả về xác suất đã hiệu chuẩn trong một lượt lan truyền xuôi. Nó được thiết kế để hoạt động zero-shot: nhiệt độ đã lưu là 1,554, và thẻ mô hình báo cáo độ chính xác 88,8% với sai số hiệu chuẩn kỳ vọng là 0,021 trên một tập phát triển gồm 1.497 câu hỏi. Nó dùng giấy phép Apache-2.0, khoảng 9 GiB ở BF16, và có giá 0,01 USD cho mỗi triệu token đầu vào trên API của Perplexity với đầu ra miễn phí.

Laya là một họ bộ mã hóa quyết định không tự hồi quy từ Convai Innovations, được phát hành ngày 18 tháng 9 năm 2026 và cũng theo Apache-2.0. Checkpoint tiếng Anh là ModernBERT-large được tinh chỉnh với 421M tham số và ngữ cảnh 512 token; mô hình đa ngôn ngữ là mmBERT-base với 322M tham số và 1.024 token; checkpoint thứ ba, laya-typed-decisions, là mô hình đạt các điểm số nổi bật. Mô hình trả lời tất cả câu hỏi trong một cuộc gọi chỉ trong một lượt lan truyền xuôi, sử dụng token mặt nạ theo từng tùy chọn, không có bước sinh và không có đầu vào hình ảnh.

Tại sao các bảng so sánh lại không khớp nhau

Sự lệch nhau bắt đầu từ bộ đánh giá mà mỗi nhà cung cấp tự xây dựng. Perplexity chấm điểm các mô hình của mình trên Decision Index 0.3, một chỉ số tổng hợp về kiến thức, ngôn ngữ, truy xuất, công cụ và nghệ thuật. Convai chấm điểm Laya trên một bộ đánh giá typed-decisions gồm 400 tình huống và 2.000 quyết định, bộ này cũng được họ công bố. Chưa có mô hình nào được chạy trên harness của bên kia một cách công khai.

Các chỉ số bên thứ ba lấp đầy khoảng trống đó một cách tệ hại. Bảng tổng hợp của Anchor Terminal đặt Laya ở vị trí thứ tư với 69.5 và Flash thứ sáu với 68, chênh lệch 1.5 điểm nằm gọn trong độ nhiễu của một bảng tổng hợp mà không ai có thể kiểm toán. Ollaya Bench báo cáo tổng thể 73.7 và xếp hạng một trong 48 cho Flash, với độ chính xác macro 82.4%, nhưng không công bố harness. Một bộ tác vụ do Jev biên soạn cho điểm Flash là 451/504 và Laya multilingual là 240 — một trận thua đậm, trên một bộ tác vụ do những người bảo trì của một mô hình đối thủ viết. Trang của PublicAI lại ghi nhận Flash đánh bại Laya 322M và Laya multilingual, đồng thời cũng thua 3–0 trước một "Laya" không tên.

Mục cuối cùng đó chính là toàn bộ vấn đề được thu nhỏ lại. “Laya” không phải là một mô hình duy nhất. So sánh Flash với một encoder tiếng Anh 421M, một encoder đa ngôn ngữ 322M và một chuyên gia benchmark đã được tinh chỉnh sẽ cho ra ba câu trả lời khác nhau, và chỉ một trong số đó là thứ bạn thực sự sẽ triển khai.

Bảng điểm mà chúng ta có thể bảo vệ

Đây là những khía cạnh mà hai hệ thống thực sự khác biệt, cùng với số liệu đã công bố của mỗi bên và nguồn dẫn được nêu rõ.

• Tham số — pplx-decider-flash-v1.2 thuộc lớp 4B (tài liệu API ghi 4B, phần tiêu đề thẻ ghi 5B ở BF16) so với Laya ở mức 421M tiếng Anh và 322M đa ngôn ngữ.

• Ngữ cảnh — 262.144 token trên Flash, được huấn luyện đến khoảng 32.000 so với 512 token trên Laya English và 1.024 trên đa ngôn ngữ.

• Phương thức — Flash chấp nhận văn bản, JSON và hình ảnh lên tới 1,6 MP, trong khi Laya chỉ chấp nhận văn bản.

• Sử dụng zero-shot — Flash được phát hành ở trạng thái đã hiệu chỉnh, với temperature đã lưu và các chỉ số lỗi được công bố so với các checkpoint cơ sở của Laya; chính card này gọi nó là "một nền tảng nhanh để chuyên biệt hóa, chứ không phải một cỗ máy ra quyết định zero-shot".

• Độ trễ — Laya ở mức 32,8 ms cho một câu hỏi trên T4, 72,3 ms cho mười câu hỏi, 103–332 câu hỏi mỗi giây khi chạy theo lô, và 193–464 ms trên CPU so với Flash mà không có số liệu cấp dịch vụ nào được Perplexity công bố; con số duy nhất nhà cung cấp công bố là một bài kiểm tra tài liệu trong đó ~248.000 token đầu vào mất 16 giây.

• Giá — Flash ở mức 0,01 USD mỗi triệu token đầu vào, đầu ra miễn phí, trên API của Perplexity so với Laya, vốn không có giá dịch vụ lưu trữ vì đây là bản phát hành trọng số mà bạn tự vận hành.

Độ trễ và phần cứng: điểm Laya chưa theo kịp

Toàn bộ thông điệp của Laya là một quyết định không cần mô hình sinh, và các con số về độ trễ chứng minh điều đó. Một câu hỏi trong 32,8 ms trên T4 đối với checkpoint đa ngôn ngữ, 39,5 ms cho tiếng Anh; mười câu hỏi trong 72,3 ms; 103 đến 332 câu hỏi mỗi giây khi chạy theo lô. Trên CPU, khi tải trước, nó chạy trong 193 đến 464 ms. Một encoder 322M đủ nhỏ để nằm trong đường xử lý yêu cầu không đủ khả năng dùng GPU.

Flash thuộc một lớp triển khai khác. Chín gigabyte trọng số BF16 vừa trên một card đồ họa tiêu dùng 16 GB và một bài benchmark của bên thứ ba báo cáo khoảng 10,4 GB VRAM và 90–127 ms mỗi quyết định trên RTX 5090. Đó là mức đáng nể đối với một mô hình 4B và gấp khoảng ba lần độ trễ T4 của Laya trên phần cứng có giá đắt hơn nhiều lần. Nếu ràng buộc của bạn là số mili giây trên phần cứng rẻ, thì cuộc tranh luận đã ngã ngũ trước khi độ chính xác được tính đến.

Câu hỏi về tinh chỉnh

Đây chính là phần mà những bảng so sánh che giấu, và nó mang tính quyết định.

Độ chính xác 0,766 được nhấn mạnh của Laya thuộc về laya-typed-decisions, một checkpoint được tinh chỉnh trên chính tập huấn luyện của benchmark. Checkpoint tiếng Anh gốc đạt 0,362 trên cùng benchmark, so với mức cơ sở lớp đa số là 0,461 và đoán ngẫu nhiên là 0,318. Nói cách khác, mô hình bạn tải về nguyên bản còn tệ hơn việc luôn trả lời bằng nhãn phổ biến nhất. Convai nói thẳng điều đó trên thẻ mô hình. Một nghiên cứu tái lập độc lập trên arXiv cũng báo cáo rằng một chỉ số được nhấn mạnh, độ chính xác mềm là 0,509 so với 0,471 đã công bố, không tái lập được, và lập luận rằng dữ liệu hiệu chuẩn bị nhiễm bẩn ngay từ cách xây dựng.

Tuyên bố của Flash có dạng ngược lại: một con số 60,05 do nhà cung cấp báo cáo trên Decision Index với một câu hỏi mỗi yêu cầu, từ một mô hình mà bạn được kỳ vọng dùng nguyên trạng như khi xuất xưởng. Tuyên bố đó chưa được kiểm chứng — Perplexity đã xây dựng benchmark này, và thẻ của nó nói rằng công việc huấn luyện bao gồm các phần chia huấn luyện chính thức của một số tác vụ Decision Index, đã được khử nhiễm so với các tập kiểm tra. Đó là một thực hành có thể biện hộ được và được nêu rõ ràng, nhưng nó cũng có nghĩa là mô hình đã thấy dữ liệu cùng miền cho benchmark mà nó được chấm điểm, và việc khử nhiễm là tuyên bố của chính Perplexity chứ không phải một sự thật đã được kiểm toán. Nhưng gánh nặng thì khác. Với Laya, bạn phải tinh chỉnh và hiệu chỉnh lại trước khi các con số được công bố có ý nghĩa gì; thẻ khuyến nghị khớp nhiệt độ vì xác suất thô thường quá tự tin, với ECE giảm từ 0,466 xuống 0,081 sau khi hiệu chỉnh lại. Với Flash, bạn đang tin vào việc hiệu chỉnh của nhà cung cấp trên dữ liệu bạn chưa từng thấy.

Cả hai đều không miễn phí. Một cái tốn thời gian kỹ thuật, cái kia tốn thời gian xác minh.

Ngôn ngữ và số lượng

Laya multilingual về nguyên tắc hỗ trợ hơn 100 ngôn ngữ và trên thực tế là 45 trong số 51, theo ngưỡng “dùng được” của chính card đó là gấp ba lần mức ngẫu nhiên. Điểm XNLI của nó ngoài tiếng Anh là 0,731, so với 0,521 của checkpoint chỉ tiếng Anh, và độ chính xác ý định MASSIVE trên 13 ngôn ngữ khác là 0,451. Đó là những con số khiêm tốn, nhưng chúng có tồn tại, còn Flash không có đánh giá đa ngôn ngữ nào được công bố. Nếu lưu lượng của bạn không phải tiếng Anh, nhà cung cấp có đánh giá đa ngôn ngữ là điểm khởi đầu an toàn hơn ngay cả khi điểm số của họ thấp.

Cardinality đi theo hướng ngược lại. Laya suy giảm nghiêm trọng ở các câu hỏi lựa chọn có số lượng nhãn lớn: 0,425 trên 72 nhãn của Banking77 so với 0,870 của Jev, vì 77 lựa chọn ở cài đặt mặc định chỉ nhận được khoảng ba đến bốn token mỗi lựa chọn. Tài liệu khuyến nghị tăng ngân sách token cho lựa chọn hoặc tách theo hướng từ thô đến mịn. Flash chấp nhận tối đa 255 lựa chọn và không có benchmark số lượng lớn nào được công bố, nên cách hiểu an toàn là Flash được thiết kế cho đúng trường hợp mà Laya ghi nhận là điểm yếu và chưa chứng minh được hiệu quả.

Cái giá của một nghìn quyết định

Laya không có giá theo từng quyết định vì bạn tự vận hành nó. Trên một T4 với tốc độ 103–332 câu hỏi mỗi giây, một triệu quyết định tương đương khoảng 50 phút đến ba giờ thời gian GPU. Với mức giá cloud phổ thông, chi phí đó chỉ vài xu đến vài đô la, cộng thêm công việc kỹ thuật để triển khai và giám sát nó.

Flash trên API rất dễ tính toán. Một trạng thái 400 token, một câu hỏi: 1.000 quyết định là 400.000 token đầu vào, với mức $0.01 mỗi triệu token thì là $0.004. Một triệu quyết định tốn khoảng $4. Tự vận hành các trọng số sẽ loại bỏ chi phí theo từng token nhưng đưa bạn trở lại với GPU có khoảng 9 GiB trọng số và một mẫu attention không nhân quả mà các máy chủ nhân quả đóng gói sẵn không tái tạo được.

Cái bẫy nằm ở việc gộp lô. Flash tính phí lại phần state cho mỗi câu hỏi, nên ba câu hỏi cho mỗi state sẽ làm hóa đơn tăng gấp ba. Nếu cổng của bạn hỏi nhiều thứ cùng một lúc, mô hình rẻ không còn rẻ nữa.

Đây cũng là lớp nơi câu hỏi định tuyến xuất hiện. Một mô hình quyết định là cổng chặn phía trước quá trình tạo sinh, và phía tạo sinh là nơi phần lớn chi phí nằm. OrcaRouter đặt hơn 200 mô hình sau một khóa mà không tăng giá so với giá niêm yết, nhờ đó một mô hình tạo sinh rẻ hơn hoặc một đợt giảm giá từ nhà cung cấp sẽ được áp dụng ngay trong ngày, và tính năng chuyển đổi dự phòng tự động giúp một yêu cầu bị định tuyến sai không thất bại hoàn toàn. Chúng tôi không lưu trữ pplx-decider-flash hay Laya. Mô hình quyết định duy nhất mà chúng tôi cung cấp là Jev của TypeSafe, dưới dạng jev-1.13 và jev-1.14, điều đáng biết nếu bạn muốn có một bộ quyết định được lưu trữ mà không cần dựng GPU.

Cách chọn, theo thứ tự

• Lưu lượng truy cập không phải tiếng Anh — hãy bắt đầu với Laya đa ngôn ngữ, rồi đo lường. Đây là bên duy nhất có số liệu xuyên ngôn ngữ được công bố.

• Dưới 100 ms trên phần cứng phổ thông — Laya. Trên T4, nó trả lời trong 33 ms; Flash cần GPU hiện đại và được cho là mất 90–127 ms ở đó.

• Hình ảnh trong bang — Flash, không có đối thủ thực sự nào. Laya không có lộ trình tầm nhìn.

• Trạng thái dài — Flash. Cửa sổ 512 token khiến Laya không phù hợp với bất kỳ thứ gì giống như một tài liệu.

• Không có dữ liệu được gán nhãn và không có thời gian để tinh chỉnh — Flash, ít nhất như một điểm khởi đầu. Checkpoint cơ sở của Laya thấp hơn baseline đa số.

• Hơn 20 tùy chọn mỗi câu hỏi — Flash, hoặc Laya với ngân sách tùy chọn tăng lên và cách chia từ thô đến mịn.

Tóm tắt trung thực là các mô hình này cạnh tranh cho cùng một mô tả công việc và gần như không bao giờ cho cùng một triển khai. Laya là một encoder nhỏ, nhanh, có thể tinh chỉnh, dùng cho phân loại khối lượng lớn bằng những ngôn ngữ bạn có thể kiểm thử. Flash là một mô hình đánh giá đa phương thức, đa dụng, đã được hiệu chỉnh, có ngữ cảnh lớn và được hậu thuẫn bởi bảng điểm của nhà cung cấp. Những bảng so sánh đặt chúng cách nhau 1,5 điểm không hẳn là sai mà đúng hơn là vô nghĩa: chúng san bằng đi đúng những thuộc tính quyết định việc lựa chọn.