
Karpo Decision 31B vs Kev 27B: Mô hình được tài liệu hóa tốt hơn thua 14 điểm
- OrcaMỚIOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 trên 1 triệu token · 184 tok/s
- tencentMỚITencent: Hy4 Flash2026-11-16$0.02 / $0.07 trên 1 triệu token · 223 tok/s
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 87 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 96 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 trên 1 triệu token · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 trên 1 triệu token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
Đây là một cặp đối đầu hiếm hoi khi cả hai mô hình đều được chấm trên cùng một công cụ bởi cùng một nhóm người. Karpo Decision 31B và Kev 27B đều nằm trên Decision Index, bảng xếp hạng cộng đồng chấm điểm các bản tái tạo mở của Jev thuộc TypeSafe, và khoảng cách giữa chúng không hề nhỏ: 73.9 Full cho mô hình MachinePulse so với 59.6 cho Kev 27B của Jared Palmer, chênh lệch mười bốn điểm trên các bài kiểm tra riêng giống hệt nhau. Karpo dẫn đầu bảng. Kev đứng thứ 74 trong số 307.
Kết quả đó thật khó xử, bởi vì Kev 27B là mô hình được tài liệu hóa chặt chẽ hơn hẳn, và ở đúng thuộc tính mà một mô hình ra quyết định thực sự được giao phó — tính trung thực của các xác suất — nó tốt hơn một cách có thể đo lường được so với mô hình đánh bại nó. Cả hai khẳng định đó đều đến từ cùng hai nguồn, và hiểu được vì sao chúng không mâu thuẫn với nhau là điều hữu ích nhất trong so sánh này.
Mỗi mô hình là gì, trước khi xét đến điểm số
Kev 27B là bản tinh chỉnh toàn bộ trọng số của Qwen3.8-27B do Jared Palmer công bố theo Apache-2.0. Phiên bản thứ hai của nó, phát hành ngày 30 tháng 9 năm 2026, là một mức trung bình có trọng số: mỗi tensor trong backbone bằng 0,85 × trọng số đã tinh chỉnh cộng 0,15 × trọng số của phiên bản trước, với pointer head được giữ từ lần chạy mới. Checkpoint được phục vụ có 25,6B ở backbone cộng với một head 2,6M tham số, 51,3 GB ở bf16, với một nhiệt độ hiệu chuẩn duy nhất là 1,32 được tích hợp sẵn trong tệp head. Các trạng thái kéo dài đến 65.536 token, với ít nhất 8.192 token cho mỗi câu hỏi, và con số đó đã được kiểm chứng chứ không chỉ là danh nghĩa — thẻ mô hình công bố chênh lệch độ chính xác theo cặp ở từng nhóm từ 8k đến 64k so với mốc cơ sở 8k, kèm theo khoảng tin cậy.
Karpo Decision 31B là một bản tinh chỉnh của Gemma 4 31B được tinh chỉnh theo chỉ dẫn, được MachinePulse xuất bản vào ngày 5 tháng 11 năm 2026, cũng theo Apache-2.0. Mô hình giữ 31.3B tham số ở dạng bf16 cùng một readout fp32 255 × 5,376 — 62.5 GB trên đĩa — và trả lời thông qua một linear head trên các mã lựa chọn thay vì một pointer head trên các token. Ngữ cảnh là 32,768 token cho mỗi chuỗi, được chia theo câu hỏi khi một yêu cầu vượt quá giới hạn, với việc từ chối thẳng thay vì cắt ngắn khi một câu hỏi đơn lẻ không vừa.
Cùng một công việc, kỹ thuật khác nhau. Kev đọc một tài liệu dài và tạo ra một phân phối. Karpo đọc một tài liệu ngắn hơn một chút và tạo ra một phân phối, nhanh hơn.
14 điểm, và những gì đã tạo ra chúng

Cả hai hàng đều đến từ cùng một bảng, vì vậy phần này là một trong số ít những chỗ mà phép trừ trực tiếp là hợp lý.
• Tổng điểm — Karpo 73.9, Kev 59.6.
• Chỉ số công khai — Karpo 75.05, Kev 56.69.
• Xếp hạng theo Điểm tổng — Karpo hạng 1 (đồng hạng với GLiDE 27B ở 73.4), Kev hạng 74 trên 307.
• Kiến thức và suy luận — Karpo 65,5 kỹ năng đã hiệu chỉnh theo yếu tố may rủi, Kev 45,7.
• Công cụ và tự động hóa — Karpo 88.4, Kev 72.7.
• Nghệ thuật và thị hiếu con người — Karpo 68,2, Kev 42,7.
• Độ trễ trung vị, một GPU, từng yêu cầu một — Karpo 94 ms, Kev 135 ms.
Hình dạng của mức hao hụt nhất quán trên mọi danh mục, và khoảng cách tuyệt đối lớn nhất nằm ở kiến thức, gần hai mươi điểm. Đó là điều đáng lo ngại cho bất kỳ ai dự định dùng Kev cho các quyết định về tài liệu: mô hình đã được huấn luyện rất nhiều trên công việc tài liệu và công cụ dành cho nhà phát triển — 24.000 trong số 145.840 bản ghi huấn luyện của nó đến từ các nhóm nhiệm vụ được cấp phép, 7.617 bản ghi khác là các tài liệu dài được tổng hợp — và nó vẫn đạt được hai phần ba kỹ năng kiến thức của Karpo.
Bảng thông số của chính Kev nói thẳng thắn về hướng đi. Khi được đo trên bộ kiểm thử độ rộng của chính nó so với Jev của TypeSafe, nó báo cáo chỉ số 52,3 với khoảng tin cậy [49,2; 55,4] so với 54,0 [51,2; 57,0] của Jev — một kết quả thua mà nó nêu rõ ràng và không tô vẽ. Một đội công bố khoảng thua của chính mình là một đội mà những con số khác xứng đáng được tin tưởng khi còn nghi ngờ. Đó chính xác là điều khiến con số 59,6 đáng tin cậy thay vì đáng xấu hổ.
Con số đi theo chiều ngược lại
Đây là điểm bất ngờ. Sai số hiệu chuẩn — mức độ xác suất được nêu trôi lệch khỏi tỷ lệ trúng quan sát được — có lợi cho Kev, và không phải chỉ một chút.
Trình theo dõi ghi nhận sai số hiệu chuẩn kỳ vọng là 2,18 điểm đối với Kev 27B so với 4,77 đối với Karpo Decision 31B. Nói đơn giản: khi Kev nói 0,8, nó đúng khoảng 80% số lần, với mức lệch trung bình hai điểm. Khi Karpo nói 0,8, mức lệch trung bình gần năm điểm hơn. Thẻ của Kev xác nhận điều này từ phía chính nó, công bố các số liệu ECE theo từng bảng nằm trong khoảng 0,014 đến 0,053 và một kiểm định chéo năm phần giúp giảm sai số khớp từ 4,8% xuống 3,8%.
Vậy nên mô hình trả lời kém hơn lại giỏi hơn trong việc biết câu trả lời của nó tốt đến mức nào. Đó không phải là một nghịch lý, mà là sự phân biệt giữa độ chính xác và độ hiệu chuẩn, và nó quyết định mô hình nào thuộc về đâu:
• Nếu quyết định được tự động hóa tại một ngưỡng, thì hiệu chuẩn là thuộc tính quyết định. Một cổng được đặt ở 0,9 mà kích hoạt với các câu trả lời 0,9 của Karpo sẽ sai khoảng gấp đôi so với cùng cổng đó áp dụng cho Kev. Độ chính xác thấp hơn của Kev khiến bạn tốn thông lượng — nhiều trường hợp hơn rơi xuống dưới ngưỡng và phải chuyển sang xem xét — và khả năng hiệu chuẩn tốt hơn của nó nghĩa là những trường hợp vượt qua ngưỡng sẽ an toàn hơn.
• Nếu quyết định được xem xét hoặc chấm điểm, độ chính xác chiếm ưu thế. Con người hoặc một quy trình hạ nguồn sẽ thấy câu trả lời đứng đầu và xác suất, và mười bốn điểm chính xác là mười bốn điểm công việc được làm đúng. Lợi thế hiệu chuẩn của Kev chẳng mang lại gì khi không ai đặt ngưỡng.

Cả hai mô hình đều cung cấp cùng ba loại câu hỏi — choice tối đa 255 lựa chọn, noul cho đúng/sai, score cho một rubric có thứ tự — và cả hai đều cung cấp một endpoint HTTP mang dạng System One, nên việc lựa chọn có thể đảo ngược trong code. Đó là tin tốt: bạn có thể đo điều này trên dữ liệu của chính mình trong một buổi chiều thay vì tranh cãi về nó.
Độ dài tài liệu chính là điểm mà các thông số kỹ thuật thực sự khác biệt
Giới hạn trần 32.768 token của Karpo là trên mỗi chuỗi, và quy tắc tách là "theo từng câu hỏi, mỗi phần mang toàn bộ trạng thái". Với một trăm câu hỏi trên một hợp đồng 20k token, đó là một lượt và không có gì rắc rối. Với một câu hỏi trên một hợp đồng 40k token, yêu cầu bị từ chối — chín trong số 140.178 yêu cầu trong lần chạy của chính MachinePulse đã thất bại đúng theo cách này.
Kev cung cấp các trạng thái 65,536 token, được xác thực theo từng nhóm, và bảng tài liệu dài của nó là thứ hữu ích nhất trên thẻ đối với bất kỳ ai có hợp đồng thực tế. Trên các thỏa thuận thương mại CUAD, nó báo cáo độ chính xác 0.874 trên 2,194 câu hỏi, với các con số theo từng nhóm duy trì trong khoảng 0.867 đến 0.880 từ dưới 8k cho đến tận 32k–64k token. Độ chính xác không sụp đổ theo độ dài. Thứ thay đổi là hiệu chuẩn: sai số trên bảng tài liệu dài đó là 0.053, gấp khoảng ba lần con số tài liệu ngắn của nó. Các trạng thái dài là nơi độ tin cậy của Kev trở nên lỏng lẻo.
Vậy đánh đổi trung thực về độ dài là: Kev sẽ nhận một tài liệu mà Karpo từ chối, và nó sẽ trả lời tài liệu đó kém tin cậy hơn một chút so với khi trả lời một tài liệu ngắn. Không mô hình nào sẽ âm thầm cắt ngắn, và điều đó quan trọng hơn cả hai con số — một mô hình ra quyết định âm thầm bỏ đi điều khoản mà bạn hỏi thì tệ hơn một mô hình nói không.
Triển khai, trọng số và giấy phép cùng chia sẻ
Cả hai mô hình đều dùng Apache-2.0 cho trọng số và head, cả hai đều yêu cầu loader riêng, và cả hai đều hỏng nặng nếu bạn đối xử với chúng như mô hình chat. Kev cần một GPU cỡ 80 GB — trạng thái 64k token đạt đỉnh 87,1 GB trên H200 — hoặc một máy Mac có khoảng 96 GB. Karpo cần một GPU chứa được 62,5 GB trọng số bf16. Cả hai đều không có endpoint được host từ nhà phát hành; Kev được phục vụ bởi máy chủ của chính kho lưu trữ của nó, Karpo bởi gói riêng của nó. Cả hai đều đã thu hút các bản lượng tử hóa từ cộng đồng, đây là dấu hiệu thường thấy cho thấy mọi người thực sự đang chạy chúng chứ không chỉ đọc về chúng.
Chênh lệch 135 ms so với 94 ms là tính trên mỗi yêu cầu trên phần cứng không giống hệt nhau, nên hãy coi đó là mang tính định hướng. Điều không mang tính định hướng là cấu trúc vận hành: cơ chế attention phi nhân quả của Kev trên toàn bộ chuỗi tốn chi phí nhiều hơn trên mỗi token khi trạng thái dài hơn, trong khi Karpo tính một trạng thái chia sẻ cho mỗi yêu cầu và phân nhánh các câu hỏi từ đó. Nếu khối lượng công việc của bạn là nhiều câu hỏi trên một trạng thái ngắn, Karpo được xây dựng chính xác cho trường hợp đó. Nếu là một câu hỏi trên một tài liệu dài, thì là Kev.
Chạy cái nào?
Chọn Kev 27B nếu bạn cần giao cho một mô hình một thỏa thuận 64k token, nếu bạn muốn đặt ngưỡng theo xác suất và quan tâm rằng ngưỡng đó đúng nghĩa như nó nói, và nếu bạn coi trọng một nhà cung cấp công bố khoảng tin cậy về tổn thất của chính mình. Bạn đang chấp nhận khoảng mười bốn điểm độ chính xác trên một bảng xếp hạng mà cả hai mô hình đều đã tranh tài, và bạn nhận được bằng chứng tốt nhất của lĩnh vực về việc độ chính xác đó bao phủ và không bao phủ những gì.
Chọn Karpo Decision 31B nếu trạng thái là ảnh chụp màn hình, một ticket hoặc một trang — ngắn, nhiều câu hỏi, nhạy cảm về độ trễ — và nếu điểm Full của bảng xếp hạng là bằng chứng mà bạn coi trọng. Bạn đang chấp nhận sai số hiệu chuẩn 5 điểm và giới hạn 32k, đồng thời nhận được mô hình dẫn đầu hiện tại ở 94 ms.
Điều mà cả hai đều không mang lại cho bạn là một endpoint production. Nếu lớp quyết định phải nằm sau một cổng kích hoạt trước mỗi lần gọi công cụ, bạn sẽ phải tự vận hành một trong số này, hoặc gọi một dịch vụ được host. Jev 1.14 của TypeSafe có trong danh mục của chúng tôi cho đúng vai trò đó, và đây là mô hình mà cả hai checkpoint đều được tạo ra để bám đuổi — hữu ích làm đối chứng trong một shadow test, vì một bản tái tạo mở đánh bại mục tiêu của nó trên bảng xếp hạng bên thứ ba thì cũng nên đánh bại nó trên lưu lượng của bạn. Danh mục cũng có cả hai mô hình nền tảng, Gemma 4 31B và Qwen3.8-27B, thông qua một API cho hơn 200 mô hình với giá niêm yết của nhà cung cấp, không cộng thêm phí, đây là cách rẻ nhất để xác định liệu một lớp quyết định có đáng sở hữu hay không trước khi bạn mua GPU.
Câu hỏi mở mà cuộc đối đầu này để lại chính là điều mà bảng xếp hạng không thể trả lời: liệu lợi thế dẫn trước mười bốn điểm của Karpo có trụ vững khi tiếp xúc với khối lượng công việc thực tế hay không, hay đó là kiểu lợi thế đến từ việc được tinh chỉnh trên một phân phối gần với tập kiểm thử riêng hơn so với đối thủ của nó. Thẻ của Kev ghi lại hỗn hợp huấn luyện của nó đến từng số bản ghi; còn của Karpo thì không. Sự bất đối xứng đó không phải bằng chứng cho bất cứ điều gì, và đó là lý do để đo lường thay vì tin vào bất kỳ con số nào.

