ScaleDown Classify so với Microsoft-Decision-1: Một bên công bố số liệu, bên kia công bố phương pháp

ScaleDown Classify và Microsoft-Decision-1 là hai lựa chọn đóng, được lưu trữ trong so sánh này. Cả hai đều không phát hành trọng số, cả hai đều không phải là thứ bạn tải xuống, và cả hai đều được xây dựng trên cùng một tiền đề: rằng một quyết định — thuộc danh mục nào, tùy chọn nào, cái nào trong số này — nên được đọc ra từ xác suất của mô hình thay vì được viết ra dưới dạng văn bản bởi một vòng lặp sinh. Microsoft-Decision-1 đã có sẵn rộng rãi trên Microsoft Foundry kể từ ngày 8 tháng 10 năm 2026 dưới dạng một bộ giải mã dày đặc 9 tỷ tham số được Microsoft huấn luyện hậu kỳ, với 25 ngôn ngữ được hỗ trợ và ngữ cảnh 32.768 token. ScaleDown Classify là một công cụ đánh giá theo tiêu chí được lưu trữ với giá 0,05 đô la cho mỗi triệu token đầu vào và 0 đô la cho mỗi triệu token đầu ra, với giới hạn đầu vào 1 triệu token và giới hạn hai mươi nhãn. Điều phân biệt chúng không phải là khả năng. Mà là những gì mỗi công ty sẵn sàng công bố về mô hình của chính mình, và họ đã chọn hai nửa đối lập.

Sự đảo ngược tiết lộ

Tài liệu Foundry của Microsoft-Decision-1 mô tả quá trình đánh giá của nó một cách chi tiết đến bất thường. Các bộ chuẩn đánh giá ra quyết định công khai và cộng đồng cùng các tập nội bộ được giữ lại. Các chỉ số bao gồm độ chính xác và sai số hiệu chuẩn. Thứ tự lựa chọn được thay đổi. Các kiểm định thống kê theo cặp. Một khung đánh giá giống hệt cho mọi mô hình mà nó được so sánh cùng. Và rồi nó báo cáo rằng mô hình "hoạt động ngang tầm với các mô hình ra quyết định hàng đầu và vượt trội so với các mô hình ra quyết định mở khác được đánh giá bằng cùng phương pháp luận" — và không in ra một con số nào cả. Không có số liệu độ chính xác, không có sai số hiệu chuẩn, không có bảng theo từng bộ chuẩn.

Điều Microsoft thực sự công bố là một danh sách các hạn chế, và đó là một danh sách tốt. Điểm số thay đổi theo cách diễn đạt và thứ tự lựa chọn. Một câu hỏi được đặt vấn đề kém vẫn trả về một điểm số. Độ hiệu chuẩn mạnh nhất ở các loại tác vụ quen thuộc. Không có lời giải thích nào được đưa ra. Các điểm mạnh được nêu tên của mô hình là suy luận, áp dụng quy tắc và khả năng chống chịu với định dạng lời nhắc; các điểm yếu được nêu tên là kiến thức chuyên ngành và hiệu suất phi tiếng Anh.

ScaleDown Classify vận hành theo hình ảnh phản chiếu của chính sách đó. Tài liệu của nó đi sâu vào chi tiết vận hành về cách viết một yêu cầu — rubric được mô tả là phần quan trọng nhất của một yêu cầu phân loại, được diễn đạt dưới dạng câu hỏi có/không trực tiếp, tránh phủ định, giữ không chồng lấn để khối lượng xác suất không bị chia tách một cách khó lường — và tài liệu tiếp thị của nhà cung cấp đưa ra các tuyên bố về độ chính xác và chi phí, bao gồm một mô hình khoảng nửa tỷ tham số đạt 91,7% trong một tác vụ phân loại đơn giản so với 88,6% của một mô hình 72 tỷ tham số. Không có tuyên bố nào trong số đó gắn với một phương pháp luận được mô tả, và ScaleDown Classify không công bố lỗi hiệu chuẩn kỳ vọng trên bất kỳ bộ đánh giá công khai nào.

Vậy nên lựa chọn là giữa một nhà cung cấp cho bạn biết họ đã đo lường như thế nào mà không cho biết họ tìm ra được gì, và một nhà cung cấp cho bạn biết họ tìm ra được gì mà không cho biết họ đã đo lường như thế nào. Cả hai đều không phải là công bố đầy đủ, và không nên được đối xử như vậy.

Ngôn ngữ: một bên công bố số lượng, bên kia không công bố gì

Microsoft-Decision-1 liệt kê 25 ngôn ngữ được hỗ trợ và nói thẳng rằng độ bao phủ, chất lượng và độ hiệu chuẩn "có thể khác nhau tùy theo từng ngôn ngữ", đồng thời nêu tên các ngôn ngữ không phải tiếng Anh và đặc biệt là những ngôn ngữ ít tài nguyên là các mảng còn yếu kém. Đó là một công bố hữu ích: nó cho bạn biết mô hình là đa ngôn ngữ, cho bạn biết đại khái mức độ đa ngôn ngữ, và cho bạn biết nơi không nên tin tưởng nó.

Tài liệu Classify của ScaleDown không công bố danh sách ngôn ngữ. Không có gì trong tài liệu tham chiếu API nêu rõ những ngôn ngữ nào mà việc chấm điểm rubric xử lý, hay liệu cách diễn đạt rubric bằng một ngôn ngữ không phải tiếng Anh có hoạt động giống như vậy không, và hướng dẫn rubric — hãy diễn đạt nó thành một câu hỏi trực tiếp có/không, tránh phủ định — được viết theo cách ngầm giả định người gọi là người nói tiếng Anh đang viết rubric bằng tiếng Anh. Đối với một bộ phân loại mà trên thực tế sẽ được hướng tới các ticket hỗ trợ quốc tế, đó là khoảng trống cần lấp đầy trước khi bạn cam kết, và đó là khoảng trống mà chỉ đánh giá của chính bạn mới có thể lấp đầy.

Nếu bạn cần một phạm vi ngôn ngữ được tài liệu hóa, so sánh này kết thúc tại đây và Microsoft thắng theo mặc định. Nếu bạn chỉ dùng tiếng Anh, số lượng không phải là yếu tố và phần còn lại của quyết định là về độ dài đầu vào và các ngưỡng.

Ngữ cảnh: 32.768 token so với một triệu

Microsoft ghi nhận một lần gọi duy nhất có thể xử lý tối đa 32.768 token. ScaleDown ghi nhận giới hạn đầu vào 1 triệu token và nêu rằng việc hiệu chỉnh theo từng khối là giống hệt nhau dù một khối được gửi riêng lẻ hay là một phần của lô năm mươi khối, với hồ sơ chia sẻ được tính phí một lần cho mỗi yêu cầu. Xét trên con số thô, đó là mức chênh lệch gấp ba mươi lần và là khoảng cách đơn lẻ lớn nhất giữa hai sản phẩm.

Điều nó mang lại không phải là thông lượng — mà là liệu bạn có cần một lớp chia nhỏ hay không. Một luồng hỗ trợ, một ticket kèm lịch sử của nó, một đoạn ngắn được truy xuất: tất cả đều vừa trong 32k, vẫn còn chỗ cho một schema câu hỏi, và ở kích thước đó hai mô hình gần như tương đương nhau. Một hợp đồng đầy đủ, một tài liệu chính sách nhiều trang, một ngữ cảnh truy xuất dài hoặc một biểu mẫu được quét: không thứ nào trong đó vừa với 32k, và đường xử lý tài liệu của Classify — base64 JPEG, PNG, TIFF hoặc PDF, một hoặc nhiều trang, với văn bản được trích xuất trả về trong trường ocr_text — nghĩa là tài liệu có thể được đưa vào dưới dạng byte thay vì văn bản đã xử lý trước.

Cả hai số liệu đều là của chính các nhà cung cấp. Tuyên bố một triệu token của ScaleDown chưa được xác minh độc lập, và các danh mục niêm yết của bên thứ ba cho mô hình hiển thị độ dài ngữ cảnh là không áp dụng thay vì lặp lại con số đó, đây là một hạn chế của danh mục chứ không phải là một mâu thuẫn.

Giải thích: một người từ chối, một người tính gấp đôi.

Microsoft-Decision-1 không đưa ra giải thích nào, và trang mô hình liệt kê đó là một hạn chế chứ không phải một lựa chọn thiết kế. ScaleDown Classify sẽ trả về một câu giải thích cho nhãn hàng đầu của nó, và tài liệu rất cẩn trọng về việc câu đó là gì: nó được tạo ra sau khi nhãn hàng đầu đã được cố định, nên nó giải thích quyết định thay vì nghi ngờ lại quyết định đó, nó ở dạng tự do, và nó gửi lại các nhãn và rubric với gấp đôi số token đầu vào được tính phí. Nó chỉ khả dụng cho các yêu cầu đơn nhãn với một đầu vào văn bản hoặc tài liệu duy nhất — các yêu cầu đa nhãn và theo lô không bao giờ trả về nó.

Đối với hàng đợi đánh giá thủ công, câu đó thường là sự khác biệt giữa việc người đánh giá chấp nhận một phân loại và việc người đánh giá làm lại nó, điều này khiến cho khoản phụ phí gấp đôi dễ được biện minh trên phần lưu lượng đến được với con người. Đối với một pipeline tự động, nó là khoản chi vô ích trên hóa đơn, và nên được tắt.

Cả hai đều đóng, và điều đó thay đổi những gì bạn có thể kiểm tra.

• Trọng số — cả hai đều không cung cấp chúng; ScaleDown cung cấp dịch vụ tự lưu trữ và cấp phép dành cho doanh nghiệp theo yêu cầu, còn trang của Microsoft thì không đề cập đến bất kỳ lộ trình tinh chỉnh nào

• Giới hạn tùy chọn — ScaleDown 20 nhãn mỗi yêu cầu, 16 ở chế độ đa nhãn, được chấm điểm độc lập; giới hạn tập tùy chọn của Microsoft-Decision-1 không được nêu trên trang mô hình

• Suy luận theo lô — ScaleDown ghi nhận tối đa 50 chunk cho mỗi yêu cầu dựa trên một hồ sơ nhãn dùng chung; trang của Microsoft liệt kê suy luận theo lô là đã bị vô hiệu hóa

• Công bố thông tin thanh toán — Mức giá của Classify được ghi rõ, ở mức $0.05 cho mỗi triệu token đầu vào và $0 cho mỗi triệu token đầu ra; mức giá theo token của Foundry không được ghi trên trang mô hình

• Cấu trúc giá — Classify nhân theo số nhãn của bạn ở chế độ đa nhãn và tăng gấp đôi khi bật chế độ suy luận; mức giá Foundry tính theo token và không có hệ số nhân nhãn được công bố

• Câu trả lời trống — Classify vẫn trả về một kết quả thắng ngay cả khi không có gì phù hợp, nên ngưỡng là do bạn tự đặt; hành vi được Microsoft công bố là một câu hỏi được đặt vấn đề kém vẫn trả về một điểm số

Hệ quả của việc cả hai đều đóng là như nhau trong cả hai trường hợp: bạn không thể kiểm tra tạo tác, nên cách kiểm chứng duy nhất của bạn là dựa trên hành vi. Điều đó khiến một tập dữ liệu có nhãn do chính bạn tạo và được giữ riêng trở thành bắt buộc, đồng thời khiến chi phí chuyển nhà cung cấp trở thành việc chạy lại đánh giá đó thay vì một thay đổi mã nguồn.

OrcaRouter nằm ở đâu trong một pipeline được xây dựng trên một trong hai

Cả hai mô hình này đều không nằm trong danh mục của chúng tôi, và không có gì ở đây là tuyên bố về tính khả dụng — cả hai đều là các endpoint chấm điểm có cấu trúc chứ không phải đích chat-completions, và một lớp định tuyến không phải là thứ mà cái nào trong hai cái đó cần. Thứ chúng tôi cung cấp là lớp nằm trên chúng: hơn 200 mô hình sinh nằm sau một khóa tương thích OpenAI, tạo ra bản nháp mà bộ phân loại đang đánh giá, với mức giá niêm yết của nhà cung cấp được chuyển nguyên với 0% markup, cùng một DSL định tuyến để kết hợp nhiều mô hình vào một lệnh gọi và tự động chuyển đổi dự phòng khi một đường phục vụ bị suy giảm. Nếu một mô hình ra quyết định đóng vai trò cổng kiểm soát những gì lớp sinh của bạn được phép phát hành, thì lớp sinh chính là nơi rủi ro về thời gian hoạt động của bạn nằm, và đó là nửa mà một khóa có thể hợp nhất.

Chọn cái nào?

Chọn Microsoft-Decision-1 nếu bạn cần một dấu chân ngôn ngữ được ghi nhận, nếu bạn đã ở trong Azure, hoặc nếu lập trường tuân thủ của một nhà cung cấp lớn quan trọng hơn với quy trình mua sắm của bạn so với một con số độ chính xác được công bố. Hãy chấp nhận rằng bạn sẽ đánh giá nó hoàn toàn dựa trên dữ liệu của riêng bạn, vì Microsoft đã chọn không cung cấp cho bạn bất cứ điều gì khác.

Chọn ScaleDown Classify nếu đầu vào của bạn vượt quá 32k token, nếu bạn muốn bước trích xuất được gộp vào lệnh gọi phân loại, hoặc nếu bạn muốn một rubric cho từng nhãn mà bạn có thể viết lại mà không cần huấn luyện lại bất cứ thứ gì. Hãy chấp nhận rằng lập luận về độ chính xác là của nhà cung cấp và chưa được tái lập, rằng không có số liệu hiệu chuẩn nào được công bố, và rằng bạn sẽ phải tự viết ngưỡng tin cậy của riêng mình và một nhãn bao quát.

Phép đo lẽ ra sẽ quyết định điều này — cả hai mô hình trên cùng đầu vào, cùng thứ tự tùy chọn, cùng đợt quét ngưỡng, do một người không có lợi ích liên quan thực hiện — vẫn chưa được bên cung cấp nào công bố. Cho đến khi một trong hai bên chạy nó, cách hiểu trung thực là Microsoft là mặc định an toàn hơn còn ScaleDown là công cụ có năng lực hơn.

Những so sánh như thế này cũng là nơi các kiểu lỗi lộ diện: những sự cố AI được ghi nhận và các lỗi của agent đằng sau những mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.