Một thẻ tiêu đề được tạo có tiêu đề 'Karpo Decision 31B vs Nimble v3' với tiêu đề phụ 'Giấy phép đưa ra câu trả lời trước bảng xếp hạng.' Ở bên dưới, hai thẻ: 'Nimble v3' liệt kê 'bộ điều hợp LoRA 9B', 'CC BY-NC 4.0 — không dùng cho mục đích thương mại' và 'Điểm tổng 51.06' bên cạnh một ổ khóa đóng; và 'Karpo Decision 31B' liệt kê 'checkpoint đầy đủ 31.3B', 'trọng số Apache-2.0' và 'Điểm tổng 73.86' bên cạnh một ổ khóa mở.
Guides & Insights

Karpo Decision 31B vs Nimble v3: Giấy phép đã trả lời trước cả bảng xếp hạng

Tác giả

Elias Hawthorne

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gem​ma 4 fine-tune under Apache-2.0 with Gem​ma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.

Vậy hãy xét giấy phép trước, vì đó là phần duy nhất trong so sánh này vừa đã rõ ràng vừa mang tính quyết định. Rồi hãy xem những con số có thể và không thể cho bạn biết điều gì, vì ở khía cạnh đó gần như chẳng có gì là đã rõ ràng cả.

Mỗi kho lưu trữ thực sự chứa những gì

Nimble v3 gồm năm tệp: một README, adapter_config.json, adapter_model.safetensors, một schema_config.json và .gitattributes. Đây là một PEFT adapter, không phải mô hình độc lập, và nó yêu cầu Qwen/Qwen3.5-9B làm mô hình nền, mà kho lưu trữ không sao chép lại. Thẻ mô tả một ngữ cảnh và các câu hỏi có kiểu — lựa chọn giữa các tùy chọn, hoặc có/không — và trả về xác suất cho từng tùy chọn. Bespoke Labs chưa công bố độ dài ngữ cảnh, giới hạn số tùy chọn, nhiệt độ và ghi chú thay đổi nào cho v3; các checkpoint trước đó của dòng mô hình này có ghi lại một số thông tin đó, còn phiên bản này thì không.

Karpo Decision 31B là một checkpoint đầy đủ, 62,5 GB trọng số với 31,3 tỷ tham số ở dạng bf16, cộng thêm một đầu đọc ra fp32 kích thước 255 × 5.376. Nó đọc văn bản, JSON và hình ảnh, nhận tối đa 255 lựa chọn mỗi câu hỏi, giới hạn chuỗi ở 32.768 token, chia các yêu cầu dài hơn theo từng câu hỏi và từ chối những gì vẫn không vừa thay vì cắt bớt. Nó được phân phối dưới dạng một gói Python và một máy chủ HTTP theo hình dạng System One, POST /v1/systemone, vì một ngăn xếp chat-completions thông thường không thể chạy nó: cả attention nhánh và đầu đọc ra đều thiết yếu, và việc tải checkpoint như một mô hình chat thông thường sẽ không tái tạo được các câu trả lời của nó.

Sự khác biệt giữa các repository mang tính thực tiễn. README của Nimble v3 không cho bạn biết cách phục vụ nó đúng cách; thẻ Karpo thì có. Một bên là checkpoint kèm sổ tay hướng dẫn sử dụng, bên kia là checkpoint kèm một dòng giấy phép.

Khoảng trống, và những công cụ mà bạn sẽ phải tin tưởng để tin vào nó

On the Decision Index — the community board tracking open reproductions of TypeSafe's Je​v, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.

Các con số công bố trên mỗi thẻ là kết quả chạy của chính các nhà cung cấp trên bộ công cụ chính thức và nên được đọc riêng: 75,05 cho Karpo trên 140.178 yêu cầu được tính điểm, và 56,88 cho Nimble v3 — con số mà thẻ của nó in trên bộ 0.2.1 cũ hơn, mà lần chạy lại của hội đồng đưa ra là 57,19 trên thang hiện tại. Cả hai đều đã được hội đồng thông qua, đây là một bước đánh giá thực chất và không giống với việc một phòng thí nghiệm độc lập đưa mô hình lên phần cứng của chính họ. Không mô hình nào xuất hiện trên Artificial Analysis. Không ai bên ngoài hai kho lưu trữ này đã chấm điểm một trong hai mô hình.

Điều đó trên thực tế có nghĩa là 22,8 điểm đáng tin cậy hơn hầu hết các so sánh của nhà cung cấp và kém tin cậy hơn một lần đo bằng cùng một công cụ trên cả hai mô hình. Chúng được tạo ra bởi một tổ chức trên một bộ kiểm thử với một công thức, đây thực sự là trường hợp tốt nhất hiện có cho các mô hình quyết định mở — và bộ kiểm thử là không chính thức, biên độ đồng hạng là 0,9 điểm, và nửa riêng tư thì bạn không thể kiểm tra được. Hãy coi hướng là thật và độ lớn là gần đúng.

Nơi mô hình 9B tiến gần hơn so với mức mà khoảng cách về kích thước hàm ý

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

Tách riêng năm điểm số theo hạng mục trên bảng xếp hạng, câu chuyện không còn là một chiến thắng dễ dàng nữa. Ở hạng mục công cụ và tự động hóa, Nimble v3 đạt 84.24 so với 88.39 của Karpo — bốn điểm, đến từ một mô hình chỉ bằng một phần ba kích thước, ở hạng mục bao trùm việc lựa chọn công cụ và cơ chế cổng cho agent. Đó chính là use case mà Bespoke Labs xây dựng dòng mô hình này để phục vụ, và nó vẫn trụ được gần như nguyên vẹn bất chấp chênh lệch kích thước. Nếu lớp quyết định của bạn tồn tại để trả lời câu hỏi “agent này có nên gọi công cụ không, và gọi công cụ nào”, thì adapter 9B nằm chung cuộc chơi với checkpoint 31B.

Ở mọi nơi khác, khoảng cách đúng như bạn dự đoán. Khả năng hiểu ngôn ngữ đạt 60,68 so với 76,78; truy xuất 55,48 so với 76,42; kiến thức 40,96 so với 65,46; nghệ thuật và đánh giá mở 44,05 so với 68,21. Lợi thế của Karpo tập trung đúng vào những chỗ mà năng lực bổ sung của một mô hình 31B đáng lẽ phải phát huy: ngữ cảnh dài hơn, nhiều kiến thức thế giới hơn, đọc hiểu một trạng thái dày đặc tốt hơn.

Độ trễ cũng không tương ứng với chênh lệch kích thước. Trên phần cứng tham chiếu của tracker — một GPU, mỗi lần một yêu cầu — Nimble v3 ghi nhận trung vị 73,9 ms so với 94,3 ms của Karpo. Hai mươi mili giây không phải lý do để chọn một mô hình, nhưng nó là lời nhắc rằng một adapter 9B đã hợp nhất là một đối tượng vận hành khác: nó vừa trên một laptop ở Q4, tải trong vài giây, và có thể nằm trong vòng lặp agent từng bước mà không cần bàn về ngân sách GPU.

Hiệu chỉnh, nơi mô hình nhỏ hơn không chỉ yếu hơn mà còn kém trung thực hơn

Độ chính xác cho bạn biết tần suất câu trả lời hàng đầu là đúng. Hiệu chuẩn cho bạn biết liệu xác suất gắn với nó có thể làm cơ sở cho một ngưỡng hay không, và đối với một mô hình quyết định thì đó là con số duy nhất quan trọng về mặt vận hành.

Thẻ của Karpo báo cáo sai số hiệu chuẩn kỳ vọng 4,8 điểm trên 34.411 phản hồi: độ tin cậy trung bình 87,96% so với độ chính xác thực tế 83,19%. Trong nhóm cao nhất, chiếm 68,5% tổng số phản hồi, nó đúng 95,7% số lần trong khi tuyên bố 98,7%. Quá tự tin ở đầu trên, khoảng ba điểm, trong khi đường cong nhìn chung vẫn bám sát.

Chỉ số của Nimble v3 là 12,29 điểm trên 34.833 phản hồi: độ tin cậy 87,26% so với độ chính xác 74,97%. Nhóm cao nhất chiếm 67% số phản hồi, tự nhận 98,6% và đúng 89,1% — mức phóng đại 9,5 điểm trong dải mà một ngưỡng thực sự nằm ở đó. Bên dưới đó, các nhóm tầm trung còn tệ hơn nữa: ở mức tự nhận 0,85, mô hình chỉ đúng khoảng 59% số lần. Đó không phải là một mô hình có độ lệch hiệu chuẩn nhỏ; đó là mô hình mà độ tin cậy của nó không thể được dùng làm cổng kiểm soát nếu không hiệu chỉnh lại thang, và tài liệu của chính dòng mô hình này chưa bao giờ hứa hẹn điều gì khác.

Đọc hai đoạn văn đó cùng nhau, kết luận trung thực sẽ hẹp hơn những gì bảng xếp hạng gợi ý. Karpo ra quyết định tốt hơn và biết rõ các quyết định của mình tốt đến đâu hơn. Nimble v3 rẻ hơn khi vận hành, và ở hạng mục quan trọng nhất đối với công việc tác nhân, nó ở mức gần bằng — nhưng nếu bạn định tự động chấp nhận trên 0,9 và chuyển cấp dưới ngưỡng đó, bạn sẽ dành tuần đầu tiên để khớp một bản hiệu chỉnh cho Nimble mà Karpo cung cấp sẵn trong thẻ của nó.

Ngã rẽ giấy phép, nói thẳng không rào đón

Nimble v3 được cấp phép CC BY-NC 4.0. Điều đó không hề mơ hồ: thẻ giấy phép nói rằng không được dùng cho mục đích thương mại. Mọi checkpoint Nimble trước đó đều là Apache-2.0, và mô hình nền tảng là Apache-2.0, điều đó không thay đổi gì — một nền tảng cấp phép dễ dãi không làm nới lỏng một adapter phi thương mại, và adapter chính là nơi hành vi nằm. Kho GitHub chứa mã huấn luyện và tuyển chọn dữ liệu của dự án không công bố giấy phép nào cả qua API của GitHub, đây là một vấn đề riêng và có lẽ còn tệ hơn đối với bất kỳ ai dự định xây dựng trên đó.

Karpo Decision 31B is Apache-2.0 for weights and code, with Gem​ma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.

Đối với một sổ tay nghiên cứu, một đánh giá nội bộ hay một bài báo, sự khác biệt này là vô hình và Nimble v3 là lựa chọn đầu vào rẻ hơn. Đối với bất kỳ thứ gì liên quan đến doanh thu — một cổng định tuyến bên trong một sản phẩm thương mại, một mô hình phân loại trong một quy trình trả phí, thậm chí một công cụ nội bộ tại một công ty vì lợi nhuận — giấy phép định đoạt cuộc so tài trước khi 22.8 điểm được xem xét. Bespoke Labs có một lộ trình API được lưu trữ và một placeholder cho biến thể 27B báo cáo 65.33 trên bộ công khai cũ hơn, và không bên nào trong hai điều đó thay đổi các điều khoản áp dụng cho adapter 9B.

Việc phục vụ một trong hai là một bài toán định tuyến trước khi nó là một bài toán mô hình hóa.

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

Mô hình quyết định vốn hẹp về bản chất: chúng chỉ trả lời những câu hỏi bạn đưa cho chúng, chúng không thể viết, giải thích hay trả về một lựa chọn mà bạn không cung cấp. Điều đó khiến chúng trở thành nửa nhỏ của một mô hình gồm hai mô hình, và là nửa dễ giữ trong nội bộ nhất. Nửa sinh tạo là nơi một endpoint duy nhất chứng tỏ được giá trị của mình.

OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Je​v 1.14, the target the whole board exists to reproduce, and the Gem​ma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.

Ba điều sẽ làm thay đổi cách đọc này

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

Đầu tiên là thay đổi giấy phép. Một bộ chuyển đổi Nimble dùng được cho mục đích thương mại trên nền Qwen3.5-9B, với hợp đồng ngữ cảnh và nhiệt độ được nêu rõ, sẽ khiến lựa chọn 9B thực sự có sức cạnh tranh cho việc gating tác nhân — điểm công cụ 84,24 cho thấy năng lực đó đã có sẵn. Không có gì trong tài liệu công khai của Bespoke Labs cho thấy điều đó sắp xảy ra; việc chuyển từ Apache-2.0 sang CC BY-NC đã đi theo hướng ngược lại.

Thứ hai là một đặc tả về ngữ cảnh và prompt. Card của Nimble v3 không ghi tài liệu về cả hai, nghĩa là bất kỳ ai chạy nó cũng đang đoán một định dạng prompt mà các bản phát hành trước từng cung cấp. Một mô hình mà đầu vào được người dùng tái dựng là một mô hình mà các con số rất khó tái tạo, và sai số hiệu chuẩn 12,3 điểm là kiểu con số có thể tốt hơn hoặc xấu đi tùy thuộc vào cách bạn đặt câu hỏi.

Cách thứ ba là bất kỳ công cụ độc lập nào đọc được cả hai. Decision Index thì cẩn thận, minh bạch về phương pháp và trung thực về các dải hòa của nó, và nó vẫn chỉ là một bảng cộng đồng. Ngày mà một trong hai mô hình xuất hiện trên Artificial Analysis bên cạnh một bộ chấm điểm của hyperscaler, thì so sánh không còn là số học trên hai tấm thẻ nhà cung cấp nữa mà bắt đầu là một phép đo. Điều đó chưa xảy ra với cả hai, và cho đến khi điều đó xảy ra, lập trường dễ biện hộ là lập trường nhàm chán: Apache-2.0 và được hiệu chỉnh tốt hơn ở 31B nếu bạn chạy được nó, phi thương mại và rẻ ở 9B nếu bạn không thể, và không có lý do gì để chọn chỉ dựa vào điểm số.