Một thẻ tiêu đề được tạo, phần tiêu đề là 'Karpo Decision 31B', phần phụ đề là 'Một bản fine-tune Gemma 4 31B đứng đầu bảng gồm 307 mô hình, dù không có bài công bố ra mắt nào đứng tên nó', ba chip ghi 'trọng số: 5 tháng 11 năm 2026', 'Điểm tổng: 73.9' và 'công bố: không có', một dòng thời gian ngang bốn mốc ghi '5 tháng 11 kho lưu trữ', '6 tháng 11 lần chạy chấm điểm', '12 tháng 11 họ sáu mô hình' và '16 tháng 11 chỉnh sửa README', cùng một thẻ có viền ghi 'không có giá', 'không có endpoint' và 'không có dòng Artificial Analysis'.
Guides & Insights

Karpo Decision 31B đứng đầu bảng xếp hạng 307 mô hình dù không có bài đăng ra mắt nào mang tên mình

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Vào ngày 12 tháng 11 năm 2026, Decision Index — bảng xếp hạng cộng đồng theo dõi các bản tái tạo mở Jev của TypeSafe — đã đặt Karpo Decision 31B lên đầu Full score của nó, 73,9, cao nhất trong 307 mục. Cùng tuần đó, lời tuyên bố bắt đầu lan truyền rằng mô hình này, một bản tinh chỉnh của Gemma 4 31B mở của Google, đánh bại Gemini Decision 1 của chính Google. Chỉ một trong hai phát biểu đó là điều người đọc có thể kiểm chứng hôm nay, và khác biệt giữa chúng chính là toàn bộ câu chuyện. Việc bảng xếp hạng đặt Karpo ở vị trí đầu là công khai, có ghi ngày và có thể tái lập từ một tệp kết quả 45 MB do phòng thí nghiệm công bố. Cuộc đối đầu trực tiếp với Gemini Decision 1 chưa bao giờ được thực hiện: hai mô hình không cùng nằm trên một bảng xếp hạng nào, và các công cụ mà chúng được chấm điểm không phải là cùng một công cụ.

Điều khiến nửa đầu trở nên kỳ lạ không phải là điểm số. Mà là sự im lặng xung quanh nó. MachinePulse Pte. Ltd., công ty Singapore đứng sau Karpo, đã tạo kho Hugging Face vào ngày 5 tháng 11 năm 2026, công bố một kho suy luận trên GitHub cùng ngày, và phát hành năm phiên bản anh em nhỏ hơn — 12B, 9B, 4B, 2B và 0.8B — vào ngày 12 tháng 11. Tính đến thời điểm viết bài, không có trang sản phẩm, không có bài đăng blog, không có giá cả, không có thông báo mô hình và không có API. Trang web của chính công ty trả về 404 trên mọi đường dẫn lẽ ra chứa một trong số đó. Karpo tồn tại dưới dạng trọng số, một README, một gói Python và một dòng trên bảng xếp hạng. Bài viết này nói về những gì bốn thứ đó có thể và không thể cho bạn biết.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Các mốc thời gian, và vì sao chúng lại quan trọng hơn bình thường

Dấu thời gian tạo kho lưu trữ là 5 tháng 11 năm 2026 lúc 15:33 UTC. Mã suy luận trên GitHub được tạo hai mươi hai phút sau đó. Bộ dữ liệu chạy Decision Index — thứ khiến cho 73.9 có thể kiểm toán được — đã được tải lên vào ngày 6 tháng 11 lúc 05:18 UTC. README vẫn đang được chỉnh sửa vào ngày 16 tháng 11, với hai lần commit cuối không thay đổi gì ngoài một dòng bản quyền và một tuyên bố giấy phép.

Đó là một mô hình hai tuần tuổi với một kho lưu trữ đang hoạt động và chưa có màn ra mắt. Đây không phải là một vụ rò rỉ, cũng không phải là việc đổi tên của một thứ cũ hơn: các trọng số là mới, tệp giấy phép là mới, và bộ sáu mô hình đã được đưa lên trong một buổi chiều duy nhất. Đây thực chất là một phòng thí nghiệm đã quyết định công bố sản phẩm trước khi tiếp thị.

Chính xác thì 73.9 đo lường điều gì?

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

Decision Index ở trạng thái hiện tại là phiên bản 0.4.1. Điểm Full của nó được những người duy trì bảng tính toán trên các bài kiểm tra riêng: khoảng 60% nhiệm vụ lấy từ cùng các kỹ năng như bộ công khai và 40% từ những lĩnh vực mà bộ công khai không bao phủ. Dòng của Karpo ghi 73,9 Full, với 70,7 ở phần cùng kỹ năng và 78,6 ở phần lĩnh vực mới. Hai con số cuối đó xuất hiện theo một thứ tự bất thường — thông thường một mô hình làm kém hơn ở lĩnh vực xa lạ so với các kỹ năng mà nó được tinh chỉnh — và thẻ báo cáo điều này mà không đưa ra bình luận.

Bảng xếp hạng công bố một hạng cho các mô hình trong phạm vi 0,9 điểm so với mô hình dẫn đầu, vì vậy Karpo không độc chiếm vị trí đầu tiên. GLiDE 27B, với 73,4 điểm, đồng chia sẻ vị trí số 1. Phía sau là REAX 1.3 với 72,6, Logits Sigma-1 Duo với 72,3, Copernicus-31B với 72,1 và KnowLine 31B Gen1.5 với 71,9. Đây là một nhóm dẫn đầu đông đúc, không phải một sự bỏ xa.

Con số thứ hai trên thẻ, 75.05, có nguồn gốc khác và cần được đọc theo cách khác. Đó là chỉ số công khai, và nó đến từ lượt chạy của chính MachinePulse với bộ công cụ chấm điểm chính thức — 140.178 yêu cầu được chấm điểm, chín trong số đó bị từ chối vì một câu hỏi cộng với trạng thái của nó vượt quá cửa sổ 32,768 token. Hội đồng đã thông qua lượt chạy đó. Lý do để tin nó hơn một con số điển hình của nhà cung cấp là thư mục chạy được công khai: results.jsonl.gz, một tệp điểm số theo từng yêu cầu, một bản kê môi trường. Bất kỳ ai cũng có thể chạy lại bộ công cụ và so sánh. Việc chính hội đồng thông qua chính là bước xem xét. Đó là một tiêu chuẩn mạnh hơn mức mà hầu hết các tuyên bố ra mắt đáp ứng, và nó vẫn không giống với việc một phòng thí nghiệm độc lập chấm điểm mô hình trên phần cứng của chính họ.

Vậy thì có hai nhãn, và không nên gộp chúng lại: Full score được bên thứ ba tính toán từ các bài kiểm thử riêng tư; public index được bên thứ nhất tính toán từ một bộ kiểm thử công khai và đã được áp dụng. Cả hai đều không phải là benchmark của nhà cung cấp theo nghĩa thông thường. Cả hai đều không phải là Artificial Analysis.

Tại sao “beats Gem​ini Decision 1” vẫn chưa phải là một tuyên bố được đo lường

Gem​ini Decision 1 đã có một con số. Artificial Analysis chấm nó 65,98 điểm trên Decision Index v2.1, một chỉ số tổng hợp từ sáu đánh giá được tính trọng số trên các hạng mục quyết định tài liệu, gọi công cụ, kiến thức, suy luận và bất biến. Trên bảng xếp hạng đó, nó đứng thứ mười một trong số các mô hình quyết định do AA xếp hạng, dưới d1.2-ultra với 74,85, Drex Max v1.1 với 72,62 và SubQ Snap 1.2 với 72,58, đồng thời trên Microsoft-Decision-1 với 62,07. Việc chấm điểm do AA thực hiện, trên phần cứng của AA, và chi phí để chạy là 345 USD cho mỗi triệu tác vụ.

Karpo hoàn toàn không xuất hiện trên bảng đó. Artificial Analysis không có trang nào cho nó và cũng không có hàng nào cho nó. Gemini Decision 1 cũng không xuất hiện trên trang theo dõi Decision Index có chứa Karpo — bảng đó là một sổ đăng ký các bản tái tạo mở, còn mô hình của Google là một sản phẩm đóng, chỉ có API, không có trọng số nào để tái tạo.

Vậy nên phép so sánh mà mọi người đang thực hiện chỉ là một suy luận từ hai con số do hai tổ chức tạo ra trên hai bộ kiểm thử có thành phần nhiệm vụ khác nhau, tỷ lệ bài kiểm thử riêng tư khác nhau và công thức tính điểm khác nhau. 73.9 không lớn hơn 65.98 theo bất kỳ nghĩa nào có thể đứng vững khi đối chiếu với phương pháp luận. Nếu ngày mai chạy cả hai qua cùng một bộ công cụ, Karpo hoàn toàn có thể sẽ thắng — hồ sơ theo từng danh mục của nó rất mạnh — nhưng chưa ai chạy thử, và tiêu đề hiện tại chỉ là một giả thuyết khoác lên mình bộ áo của một kết quả.

Có một điểm phức tạp nữa đáng để biết, vì nó đi ngược lại tuyên bố chứ không phải ủng hộ tuyên bố đó. Trong năm nhóm phân loại của tracker, lĩnh vực yếu nhất của Karpo là kiến thức và lập luận, với 65,5 kỹ năng đã hiệu chỉnh theo yếu tố ngẫu nhiên. Lĩnh vực mạnh nhất của nó là công cụ và tự động hóa, ở mức 88,4. Trên bảng của AA, thành phần duy nhất mà Gem​ini Decision 1 vượt gần như mọi thứ là thành phần kiến thức: 66,3 trên AA-Omniscience, mức cao nhất trong bốn mô hình được kiểm tra ở đây. Lĩnh vực mà mô hình Goog​le mạnh nhất cũng là lĩnh vực mà bản tinh chỉnh Gem​ma tương đối yếu nhất. Một cuộc đối đầu trực tiếp ở đó sẽ là một cuộc tranh đua thực sự, chứ không phải thắng dễ, và đó chính xác là lý do vì sao phép so sánh chưa được chạy không nên được báo cáo như một chiến thắng.

Phần của tấm thẻ thú vị hơn cả thứ hạng

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo không phải là một mô hình trò chuyện có chế độ JSON. Nó là một bộ đọc kết quả. Mỗi lựa chọn trong một câu hỏi được gán một mã lựa chọn, và một đầu tuyến tính chấm điểm 255 mã tại một vị trí cố định, rồi áp dụng softmax trên các lựa chọn mà câu hỏi thực sự đưa ra. Không có gì được sinh ra, nên câu trả lời luôn là một trong các lựa chọn bạn đã cung cấp và chi phí đầu ra bằng không về mặt cấu trúc.

Kiến trúc này đáng để dành một đoạn vì nó giải thích độ trễ. Một yêu cầu là một trạng thái cộng với bất kỳ số lượng câu hỏi nào, được mã hóa thành một chuỗi duy nhất: câu hỏi trước, rồi trạng thái, rồi một nhánh cho mỗi câu hỏi. Attention nhánh cho phép một nhánh đọc khối dùng chung và chính nó, không bao giờ đọc nhánh khác. Trạng thái được tính một lần. Do đó, một trăm câu hỏi về cùng một hóa đơn tốn gần như một lượt duyệt qua hóa đơn, chứ không phải một trăm lượt.

• Tham số — 31,3B ở bf16, cộng với một readout 255 × 5.376 ở fp32; khoảng 62,5 GB trên đĩa.

• Ngữ cảnh — 32.768 token mỗi chuỗi; một yêu cầu dài hơn được tách theo từng câu hỏi, mỗi phần mang theo đầy đủ trạng thái, và một câu hỏi vẫn không vừa sẽ bị từ chối thay vì bị cắt ngắn.

• Đầu vào — văn bản, JSON và hình ảnh; ảnh chụp màn hình có thể được truyền dưới dạng state.viewport_screenshot hoặc dưới dạng URL dữ liệu.

• Các loại câu hỏi — lựa chọn với tối đa 255 tùy chọn, noul cho đúng/sai, điểm cho một cấp độ có thứ tự.

• Giao diện — một API Python và một máy chủ HTTP theo dạng System One, POST /v1/systemone.

• Giấy phép — Apache-2.0 cho trọng số và mã, cùng với giấy phép riêng của Gem​ma 4 được đi kèm trong kho lưu trữ.

Độ trễ đo được trên phần cứng tham chiếu của tracker, một GPU và mỗi lần một yêu cầu, là trung vị 94 ms. Như vậy chưa đủ nhanh để vô hình trong vòng lặp tác nhân theo từng bước vốn thực hiện hai mươi lệnh gọi nhỏ mỗi lượt, nhưng đủ nhanh để đứng sau một cổng gọi công cụ chỉ kích hoạt vài lần mỗi cuộc hội thoại. Thẻ còn báo lỗi hiệu chuẩn 4,8 điểm, con số mà một triển khai thực sự phụ thuộc vào: độ chính xác cho biết câu trả lời hàng đầu đúng bao thường xuyên, còn hiệu chuẩn cho biết liệu xác suất gắn với nó có thể được dùng để đặt ngưỡng hay không.

Điều gì chưa được xác nhận, được nói rõ ràng.

Không có giá. Không phải kiểu “chưa công bố, đang chờ ra mắt” — không có bảng giá, không có endpoint được host, không có console, không có bản dùng thử. Nếu hôm nay bạn muốn có Karpo Decision 31B, bạn tải 62.5 GB và chạy nó trên GPU của riêng bạn bằng loader của chính kho lưu trữ. Tải checkpoint như một mô hình chat thông thường sẽ không tái tạo được câu trả lời của nó; cả branch attention và readout đều là bắt buộc.

Không có điểm số độc lập. Decision Index là không chính thức và do cộng đồng duy trì. Nó cẩn thận, được ghi chép đầy đủ và minh bạch một cách bất thường về phương pháp, đồng thời nó không phải là Artificial Analysis, và nó chưa được yêu cầu chấm điểm mô hình này trên phần cứng của chính mình. Yếu tố bên thứ ba mạnh nhất là việc những người duy trì nó đã tính điểm Full trên các bài kiểm tra mà nhà cung cấp chưa từng thấy.

Ngoài mô tả trong chính README, không có tuyên bố nào của nhà cung cấp về mục đích mà mô hình được xây dựng: những quyết định nhỏ mà một agent đưa ra ở mỗi bước — có nên gọi công cụ hay hỏi trước, nhấp vào phần tử nào trên trang, liệu một sản phẩm trả lại có đủ điều kiện theo chính sách hay không. Mô tả đó là cách diễn giải của phòng thí nghiệm, không phải một phạm vi đã được xác thực độc lập.

Và không có thông báo nào. Không phải một thông báo kín đáo, cũng không phải một mục trong nhật ký thay đổi. Hai tuần sau khi các trọng số được đưa lên, bề mặt công khai của công ty chỉ là một trang tuyển dụng và một dòng sản phẩm khác.

Điều này đặt một nhóm muốn thử nó vào tình thế nào

Tóm tắt trung thực là Karpo Decision 31B là mô hình quyết định mở thú vị nhất trong hai tuần qua và cũng là mô hình được hỗ trợ ít nhất. Vị trí dẫn đầu của nó là thật nhưng chỉ ngang bằng, chỉ số công khai của nó có thể tái lập, điểm kiểm thử riêng tư của nó thực sự đến từ bên thứ ba, và tuyên bố tiếp thị trọng tâm của nó — rằng một bản tinh chỉnh {{1}}Gem​ma{{/1}} giờ đây đánh bại {{2}}Goog​le{{/2}} ngay tại mô hình quyết định của chính họ — là chưa được đo lường.

Với những đội đã vận hành một lớp quyết định, lộ trình thực tế là triển khai dạng bóng chứ không phải di chuyển. Hãy giữ mô hình đang gánh lưu lượng sản xuất, chạy Karpo trên chính các yêu cầu đó ở chế độ ngoại tuyến, và so sánh xác suất thay vì nhãn: sai số hiệu chuẩn 4,8 điểm nghĩa là khoảng một trong hai mươi câu trả lời sai một cách tự tin hơn mức xác suất được nêu gợi ý, và chính chính sách ngưỡng của bạn biến điều đó thành hàng đợi đánh giá thủ công hoặc một sự cố. Nếu bạn đang chuẩn hóa về một điểm cuối cho phần còn lại của ngăn xếp, những mô hình bạn thực sự có thể tiếp cận trong tuần này là những mô hình có trong danh mục — bản thân Gemma 4 31B, nền tảng của Karpo và được phục vụ qua one API cho hơn 200 mô hình với giá niêm yết của nhà cung cấp, không phụ phí, và Jev 1.14 của TypeSafe, mô hình mà toàn bộ bảng tái lập mở này được xây dựng để theo đuổi. Karpo sẽ phải giành lấy vị trí của mình theo cách những mô hình khác đã làm: bằng việc có thể được gọi.

Điều đáng theo dõi không phải là 73.9. Mà là liệu MachinePulse có ra mắt trang sản phẩm, công bố giá và nộp hồ sơ lên AA trong tháng tới hay không. Một phòng thí nghiệm công bố trọng số trước khi có website thường có lý do, và lý do đó thường lộ ra dưới dạng một endpoint được host hoặc một cú xoay trục. Dù thế nào đi nữa, con số độc lập đầu tiên trên bảng AA sẽ trong một tuần giải quyết được điều mà hai tuần tính toán trên bảng xếp hạng vẫn chưa làm được.