SubQ Snap 1.1 đồng hạng Nhất trên Decision Index nhờ học cách không đưa ra lựa chọn

Mô hình mới nhất đứng đầu Artificial Analysis Decision Index v1.0 không phải là mô hình trả lời đúng nhiều câu nhất. SubQ Snap 1.1, được Subquadratic phát hành vào ngày 22 tháng 10 năm 2026, đạt 65 điểm và đồng hạng với d1-ultra và Elephant 9B ở vị trí đầu tiên. Jev 1.14 đứng ở mức 57. Hãy đọc phần chữ nhỏ bên dưới chỉ số và lý do của sự đồng hạng hoàn toàn không phải là độ chính xác thô: bài viết của Artificial Analysis ghi độ chính xác của Snap 1.1 là 20%, so với 32% của d1-ultra và 12% của Elephant 9B. Điều Snap 1.1 làm tốt hơn cả hai là từ chối trả lời.

Đó là một kết quả kỹ thuật thực sự, không phải một mẹo benchmark, nhưng nó thay đổi việc ai nên quan tâm. Một mô hình quyết định không phải mô hình trò chuyện. Nó nhận một tài liệu và một tập câu trả lời được phép cố định — định tuyến đến hàng đợi này hay hàng đợi kia, gọi công cụ này hay từ chối, có hoặc không hoặc chuyển cấp — và trả về một lựa chọn kèm theo xác suất đã được hiệu chỉnh. Luận điểm của Subquadratic kể từ khi bản xem trước được phát hành mười ngày trước đó là khối lượng công việc này xứng đáng có kiến trúc riêng thay vì một LLM tổng quát đốt token đầu ra để tạo ra từ "hoàn tiền". Version 1.1 là bản phát hành đầu tiên mà tuyên bố về hiệu chỉnh đủ cụ thể để có thể kiểm chứng.

Điều gì thực sự đã thay đổi giữa Snap 1.0 và 1.1

Đây là bản phát hành sau huấn luyện, không phải một mô hình mới. Phần xương sống Subquadratic Sparse Attention, cửa sổ 384K token và luồng đầu vào văn bản cộng hình ảnh đều không thay đổi so với Snap 1.0, bản đã ra mắt ngày 12 tháng 10 với giá 0,05 USD cho mỗi triệu token đầu vào. Điều thay đổi là cách mô hình hành xử khi không chắc chắn: nhà cung cấp cho biết 1.1 bổ sung hiệu chỉnh độ không chắc chắn tường minh và chưng cất lý luận nhiều bước thành một lượt truyền xuôi duy nhất, thay vì tạo chuỗi suy nghĩ rồi mới chốt câu trả lời.

Những con số mà Subquadratic báo cáo cho thay đổi đó đặc biệt cụ thể, điều này vừa là điểm tốt vừa đáng để xem xét kỹ. Sai số hiệu chuẩn kỳ vọng trên các bộ chuẩn xác suất held-out giảm từ 0,108 xuống 0,014. Lỗi tự tin trên các câu hỏi không thể trả lời giảm từ 294/600 xuống 57/600 — mức giảm 81% mà các bài đưa tin ra mắt cứ nhắc đi nhắc lại. Ảo giác quá tự tin trên các đầu vào ngoài phân phối giảm từ 99,3% xuống 12,5%. Mức đồng thuận với quy tắc quyết định tối ưu Bayes tăng từ 83% lên 90%. Trên bộ 16 bộ chuẩn doanh nghiệp của nhà cung cấp, 1.1 đạt trung bình cao hơn Jev 1.14 7,2 điểm với khoảng tin cậy 95% từ 6,5 đến 7,8, thắng 12, hòa 3 và thua 1, đồng thời đạt trung bình cao hơn Snap 1.0 5,5 điểm.

Tất cả những điều đó là do nhà cung cấp tự báo cáo. Chưa có ai bên ngoài Subquadratic công bố một lần chạy của 1.1; các repo độc lập hiện có đã kiểm thử mô hình preview, và chúng được thảo luận ở phần dưới.

Làm thế nào một mô hình có độ chính xác 20% lại đồng hạng nhất

Chỉ số Decision Index không chấm điểm độ chính xác một cách riêng lẻ. Nó chấm điểm kết quả của một quyết định trong điều kiện không chắc chắn, nghĩa là việc từ chối trả lời một câu hỏi mà mô hình không thể trả lời có giá trị cao hơn một phỏng đoán đầy tự tin — và cao hơn nhiều so với một phỏng đoán sai đầy tự tin. Artificial Analysis báo cáo tỷ lệ không ảo giác của Snap 1.1, tức tỷ lệ nó nói "Tôi không biết" với những câu hỏi mà nó không thể trả lời đúng, là 86%. Elephant 9B cao hơn với 93% và d1-ultra thấp hơn một chút với 85%. Độ chính xác 20% của Snap 1.1 nằm ở giữa bộ ba đó, và điểm chỉ số của nó giống hệt cả hai.

Sự đánh đổi đó có đúng hay không phụ thuộc hoàn toàn vào việc một câu trả lời sai sẽ khiến bạn tốn kém những gì ở hạ nguồn. Trong một bộ định tuyến phiếu hỗ trợ, một lần định tuyến sai đầy tự tin sẽ đẩy khiếu nại về thanh toán sang hàng đợi kỹ thuật và khách hàng phải chờ hai ngày; còn việc không đưa ra dự đoán sẽ chuyển nó sang một bước phân loại sơ bộ do con người xử lý, tốn ba mươi giây. Trong một tác vụ phân loại nội dung hàng loạt không có con người trong quy trình, việc không đưa ra dự đoán chỉ là một dòng chưa gán nhãn và chỉ số độ chính xác mới là thứ quan trọng. Chỉ số này đang cho bạn biết Snap 1.1 được xây dựng cho trường hợp đầu tiên. Nó không cho bạn biết rằng đây là bộ phân loại chính xác nhất mà bạn có thể mua, bởi vì không phải vậy.

Đợt giảm giá, và mẫu số không ai nhắc tới

Thay đổi còn lại trong 1.1 là giá: $0.04 mỗi triệu token đầu vào, giảm 20% so với mức $0.05 của bản xem trước, còn token đầu ra thì miễn phí. Nửa sau đó chính là phần làm thay đổi hóa đơn. Một bộ phân loại được xây dựng trên mô hình sinh phải trả tiền cho câu trả lời — thường là một câu trả lời ngắn, nhưng các mô hình suy luận có thể tiêu tốn hàng trăm token để quyết định sẽ phát ra gì. Snap không có đầu ra nào phải trả tiền, vì vậy một lệnh gọi đọc 100K token chỉ tốn khoảng bốn phần mười xu và không gì khác.

Artificial Analysis trình bày cùng một con số theo từng tác vụ thay vì theo từng token: khoảng 30 USD cho mỗi triệu tác vụ đối với Snap 1.1, so với 32 USD cho d1-ultra và 8,4 USD cho Elephant 9B. Con số theo từng tác vụ đó mới là con số hữu ích, và nó cũng là lời nhắc rằng giá niêm yết theo token là một cách kém hiệu quả để so sánh một mô hình ra quyết định với bất kỳ thứ gì khác. Hóa đơn tăng theo độ dài đầu vào, vì vậy một lệnh định tuyến 4K token và một lần rà soát hợp đồng 300K token nằm ở những khung chi phí hoàn toàn khác nhau dù mức giá là như nhau.

Điều mà những con số của nhà cung cấp không thể giải đáp

Có hai điều đáng được tách biệt khỏi bài đăng ra mắt. Thứ nhất là sự hoài nghi. Các bài đưa tin của cộng đồng về những bản phát hành của Subquadratic — bao gồm cả bài báo của BlockBeats được lan truyền với tên gọi "AI jack-of-all-trades" — đã đặt câu hỏi rằng có bao nhiêu phần trong tập tuyên bố là có thể tái tạo độc lập, và mô hình không có trọng số mở, nên không có checkpoint nào để người ngoài chạy thử. Thứ hai là các bài kiểm tra độc lập hiện có đều được chạy trên bản xem trước, chứ không phải 1.1. Một so sánh có thể tái tạo của jcarlosrodicio cho thấy Snap hơi kém Jev ở dưới 30K token (93,9% so với 94,7%) và kém xa hơn trên nhật ký 360K token (58,8% so với 77,1% của Jev khi Jev được chia nhỏ). Một benchmark kỹ thuật phần mềm riêng biệt, snap-vs-jev-swe, cho thấy Snap đạt 87,5% trên SWE-bench Verified về định vị tệp so với mức cơ sở ngẫu nhiên 10,6%, và đo được hiện tượng đảo câu trả lời ở 5,0% các mục khi thứ tự lựa chọn bị đảo ngược.

Những kết quả đó không bị 1.1 phủ định — công tác hiệu chuẩn đúng là kiểu thay đổi có thể làm chúng dịch chuyển — nhưng chúng cũng không phải bằng chứng cho điều đó. Ngoài ra còn có một mâu thuẫn nội bộ nhỏ trong các con số đã công bố: bài đưa tin ra mắt dẫn điểm When2Call là 96.2, trong khi biến thể trắc nghiệm đã hiệu chỉnh theo xác suất ngẫu nhiên của chính Subquadratic cho cùng bộ đánh giá ghi 91.0. Cả hai đều có thể đúng với các định dạng nhiệm vụ khác nhau; người mua đang so sánh 96.2 với con số của đối thủ cần biết mình đang cầm biến thể nào.

Nơi nó vỡ

Cột loss trong bộ 16 benchmark của chính nhà cung cấp rất đáng chú ý. PhishNChips, một bộ phát hiện lừa đảo trực tuyến, kém Jev 1.14 tới 22 điểm, và Subquadratic quy điều đó cho việc hiệu chỉnh ngưỡng chứ không phải chất lượng xếp hạng — ROC-AUC gần như ngang nhau, 0.91 so với 0.92. Đó là vấn đề có thể khắc phục với một đội sẵn sàng tinh chỉnh ngưỡng, và là vấn đề không thể khắc phục với một đội chỉ muốn dùng ngay. Phân vùng kiến thức và suy luận là lĩnh vực duy nhất trong năm lĩnh vực mà Jev dẫn đầu tuyệt đối, 55.1 so với 50.9. Snap 1.1 mạnh nhất ở những nơi tập câu trả lời rõ ràng và bằng chứng nằm trong tài liệu: công cụ và tự động hóa (85.3 so với 74.6), truy xuất và phân loại (67.0 so với 63.1), hiểu ngôn ngữ (71.6 so với 63.3).

Ai nên di chuyển, và ai nên chờ đợi

Hãy chuyển sang nếu quyết định của bạn là một cuộc gọi định tuyến, chọn công cụ, leo thang hoặc đánh giá mức độ liên quan được đưa ra trên các tài liệu dài, và một câu trả lời sai đầy tự tin tốn kém hơn việc leo thang. Cửa sổ 384K là lý do vận hành: chỉ một lượt xử lý trên toàn bộ hợp đồng, chuỗi ticket hoặc gói log, không cần xây lớp chia nhỏ và không cần giữ pipeline truy xuất đồng bộ. Các nhóm đã chạy bản xem trước có trường hợp rõ ràng nhất, vì giá đã giảm và độ hiệu chuẩn đã cải thiện mà không cần thay đổi API.

Cân nhắc chờ nếu bạn cần văn bản được tạo, nếu độ chính xác 20% trên tập câu hỏi hỗn hợp của benchmark thấp hơn ngưỡng tối thiểu của bạn, hoặc nếu bạn cần độ trễ dưới 100ms trên một hot path — Subquadratic không công bố con số độ trễ nào cho 1.1, và phép đo của bên thứ ba đối với bản preview cho thấy một lệnh gọi 8K-token mất khoảng 0,75 giây. Cũng cân nhắc chờ nếu bạn cần tự host: không có weights.

Một lưu ý thực tế về vị trí của thành phần này trong một stack. SubQ Snap 1.1 được cung cấp qua API và console riêng của Subquadratic; nó không nằm trong danh mục của OrcaRouter, và chúng tôi sẽ không giả vờ điều khác. Thứ chúng tôi cung cấp là lớp đằng sau quyết định: khi Snap phân giải một lời gọi thành "dùng một mô hình", mô hình đó là một trong hơn 200 mô hình có thể truy cập qua một khóa duy nhất tại OrcaRouter, với giá niêm yết của nhà cung cấp, mức cộng thêm 0% và tự động chuyển đổi dự phòng giữa các nhà cung cấp. Lớp quyết định và lớp thực thi gặp lỗi độc lập, và đáng để không đặt cả hai phía sau cùng một nhà cung cấp.

Vấn đề còn bỏ ngỏ không phải là liệu các con số hiệu chuẩn của 1.1 có thật hay không — chúng đủ cụ thể để sẽ được kiểm chứng — mà là liệu chúng có đứng vững dưới một bộ khung đánh giá khác hay không. Cách diễn đạt prompt làm độ chính xác thay đổi 11 đến 14 điểm trên các benchmark Snap công khai, nhiều hơn khoảng cách giữa bất kỳ hai mô hình nào trên chỉ số. Một cải thiện hiệu chuẩn chỉ đúng dưới mẫu prompt riêng của nhà cung cấp sẽ là một thứ nhỏ hơn nhiều so với những gì màn ra mắt ngụ ý.