
Karpo Decision 31B vs Laya: Một mô hình dẫn đầu 31B đối đầu với một Encoder 421M mà bạn có thể chạy trên laptop
- OrcaMỚIOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 trên 1 triệu token · 184 tok/s
- tencentMỚITencent: Hy4 Flash2026-11-16$0.02 / $0.07 trên 1 triệu token · 223 tok/s
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 87 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 96 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 trên 1 triệu token · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 trên 1 triệu token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
Đặt Karpo Decision 31B cạnh Laya, phản ứng đầu tiên thành thật là ai đó đã nhầm đơn vị. Karpo là bản tinh chỉnh Gemma 4 với 31,3 tỷ tham số, cần 62.5 GB trọng số và một GPU trung tâm dữ liệu. Laya là bộ mã hóa ModernBERT 421 triệu tham số từ Convai Innovations, Apache-2.0, 808 MB trên đĩa, chạy trên máy tính xách tay và trả kết quả trong khoảng 33 mili giây. Trên Decision Index, bảng cộng đồng mà cả hai cùng xuất hiện, khoảng cách ở điểm Full là 73.9 so với 9.2 — mức chênh lệch lớn nhất trong toàn bộ lô so sánh này.
Và thế nhưng Laya lại là mô hình đi kèm một gói pip được duy trì, một máy chủ MCP, các bản dựng ONNX và Core ML, cùng một quy trình tinh chỉnh với mức tăng độ chính xác được ghi nhận từ 0.362 lên 0.766 trên một bộ quy trình công việc thực tế. Karpo chỉ có một README và một kho lưu trữ. Câu hỏi thú vị không phải là mô hình nào tốt hơn. Mà là mỗi mô hình thực sự để làm gì, bởi vì khoảng cách điểm số và khoảng cách khả năng sử dụng chỉ về hai hướng ngược nhau và chỉ một trong hai mới quan trọng tại một thời điểm.
Hai con số đó có ý nghĩa gì, và tại sao sự so sánh lại không cân xứng ngay từ thiết kế
Điểm Full 9,21 của Laya trên trình theo dõi là một chỉ số kỹ năng đã hiệu chỉnh theo yếu tố ngẫu nhiên, và độ chính xác thô của nó trên cùng bộ kiểm thử là 37,7% với độ bao phủ 0,76 — nghĩa là khoảng một phần tư số yêu cầu của bộ kiểm thử chưa từng được trả lời. Trình theo dõi ghi lại lý do: 320 yêu cầu bị đánh dấu là không được hỗ trợ, phần lớn là do một chỉ dẫn dài hơn ngân sách gốc của Laya và mô hình từ chối thay vì cắt bớt. Trên một bộ kiểm thử được xây dựng cho các mô hình chấp nhận trạng thái 32k token, một bộ mã hóa 512 token không còn ở thế cạnh tranh, mà chỉ đang rơi vào trạng thái mặc định.
Karpo trả lời cùng bộ đề đó với độ phủ 99,87% và độ chính xác thô 83,2%. Chín yêu cầu đã bị từ chối, tất cả đều vì một câu hỏi cộng với trạng thái của nó vượt quá 32.768 token.
Vậy nên, một so sánh điểm trực tiếp cho bạn thấy rằng một mô hình được thiết kế cho phân loại ngắn trên cửa sổ 512 token làm rất kém trên một benchmark được thiết kế cho các mô hình quyết định tài liệu dài. Đó không phải là lời chỉ trích Laya; đó là một nhận định về bộ đánh giá. Phép so sánh hữu ích là theo từng tác vụ, và card của Laya có một phép so sánh như vậy: trên phân loại ý định MASSIVE, nó đạt 0.783 tiếng Anh và trên XNLI 0.860, với đầu vào nằm gọn trong cửa sổ của nó. Karpo không có con số công bố tương đương cho một tác vụ phân loại đơn ngắn, vì card của nó hoàn toàn không công bố kết quả ở cấp độ tác vụ.
Thông số kỹ thuật và ý nghĩa của từng thông số

• Tham số — Karpo 31.3B cộng với một readout 255 × 5,376, 62.5 GB ở dạng bf16; Laya 421M, đã tải xuống khoảng 808 MB.
• Kiến trúc — một xương sống mô hình ngôn ngữ nhân quả được chạy chỉ prefill với đầu đọc tuyến tính, so với một bộ mã hóa hai chiều chấm điểm từng lựa chọn tại [MASK] token riêng của nó.
• Bối cảnh — Karpo 32.768 token mỗi chuỗi, được chia theo câu hỏi với trạng thái được lặp lại; Laya tổng cộng 512 token trong cấu hình xuất xưởng, trong đó 192 token được dành cho lời nhắc tùy chọn, để lại khoảng 320 token cho trạng thái.
• Đa phương thức — Karpo đọc được hình ảnh và văn bản; Laya chỉ đọc văn bản. Không có luồng thị giác nào trong checkpoint tiếng Anh.
• Độ trễ — Karpo 94 ms trung vị trên một GPU tham chiếu; Laya 39,5 ms được đo trên card riêng của nó, và trình theo dõi ghi nhận trung vị 5,8 ms trên phần cứng của nó.
• Giấy phép — Apache-2.0 cho cả hai, trọng số và mã, không có hạn chế sử dụng.
• Hosting — không bên nào nằm trên endpoint lưu trữ do nhà phát hành cung cấp. Laya không cần gì ngoài pip install laya.
Dòng ngữ cảnh chính là toàn bộ quyết định. 320 token khả dụng cho trạng thái là một phiếu hỗ trợ, một email, một tin nhắn trò chuyện, một tiêu đề sản phẩm, một dòng log. Đó không phải là một hóa đơn có các dòng mục hàng hay một chính sách dài bốn mươi trang. Nếu trạng thái của bạn dài hơn một đoạn văn, Laya không thể được hỏi câu hỏi đó — không phải một cách kém cỏi, không phải một cách chậm chạp, mà là hoàn toàn không thể.
Khi mô hình nhỏ thực sự là câu trả lời đúng đắn
Có một nhóm quyết định mà việc dùng Karpo là phi lý, và thiết kế của Laya nhắm thẳng vào nhóm đó. Hãy xét một tác tử mà ở mỗi bước cần một câu trả lời có/không về việc kết quả công cụ có vẻ đáp ứng ý định hay không, hoặc cần biết truy vấn nên đi đến nguồn nào trong sáu nguồn truy xuất, hoặc liệu một tin nhắn người dùng có chứa tín hiệu rời bỏ hay không. Đây là những câu hỏi ở quy mô micro giây trên một câu ngữ cảnh, và có thể có tới năm mươi câu như vậy trong một cuộc hội thoại.
Ở 94 ms và một mô hình thường trú 62.5 GB, năm mươi lần gọi tốn gần năm giây thời gian GPU cho mỗi cuộc hội thoại, trên phần cứng đắt hơn mức lưu lượng biện minh. Ở mức trung vị 5.8 ms với một mô hình 800 MB chạy trên cùng máy với ứng dụng của bạn, năm mươi lần gọi tương tự chỉ tốn một phần ba giây và không có khoản mục chi phí trung tâm dữ liệu nào. Đó không phải là khác biệt nhỏ trong một vòng lặp theo từng bước; đó là khác biệt giữa một tính năng được phát hành và một tính năng không.
Thẻ của Laya cũng ghi lại các kiểu thất bại một cách trung thực, điều này đáng giá hơn một bảng thông số hoàn hảo. Checkpoint tiếng Anh sụp đổ trên các hệ chữ không phải Latinh — tiếng Khmer đạt độ chính xác 0.000 trong khi báo độ tin cậy 0.952 — đúng chính xác là kiểu thất bại "tự tin nhưng sai" mà một lớp quyết định không được phép mắc phải. Bản phát hành của Router phát hiện hệ chữ trong chưa đầy nửa mili giây bằng Python thuần và định tuyến đến checkpoint đa ngôn ngữ trước forward pass. Các câu hỏi có số lượng lớp lớn cũng suy giảm: 77 lựa chọn trong ngân sách 256 token khiến mỗi nhãn chỉ có ba hoặc bốn token, và độ chính xác trên Banking77 giảm còn 0.425 so với 0.870 của Jev. Thẻ hướng dẫn bạn tăng ngân sách cho head thay vì giả vờ rằng mặc định là ổn.

Sự kết hợp đó — một mô hình nhỏ với các kiểu lỗi đã được công bố và bản khắc phục được ghi lại cho từng kiểu — hữu ích hơn trong vận hành so với một điểm số cao hơn mà không có phân tích chi tiết theo từng tác vụ.
Nơi mô hình 31B xứng đáng với 62 GB của nó
Ưu điểm của Karpo đến từ việc có một mô hình ngôn ngữ thực sự bên trong nó. Nó đọc ảnh chụp màn hình. Nó giữ một tài liệu chính sách và một hồ sơ khách hàng trong cùng một trạng thái 32.768 token và trả lời hàng trăm câu hỏi về cả hai trong một lượt, vì trạng thái được tính một lần và mỗi câu hỏi rẽ nhánh từ khối dùng chung mà không nhìn thấy các tùy chọn của câu hỏi khác. Nó xử lý các lựa chọn 255 phương án mà không bị thiếu token, vì phần đọc kết quả chấm điểm các mã thay vì nhúng văn bản tùy chọn vào một ngân sách cố định.
Hồ sơ theo hạng mục củng cố điều này theo cách tương ứng rõ ràng với những gì bạn nhận được từ một mô hình lớn. Kỹ năng kiến thức và suy luận của Karpo là 65.5 so với 2.9 của Laya — một con số chủ yếu phản ánh các câu hỏi kiến thức ngữ cảnh dài của bộ đánh giá, những câu mà Laya không thể được yêu cầu trả lời. Kỹ năng công cụ và tự động hóa của nó là 88.4 so với 5.8. Đây không phải là những khác biệt tinh tế giữa hai mô hình tương đương; chúng là hai loại công cụ khác hẳn nhau.
Điều Karpo không có là bất kỳ bộ khung vận hành nào. Không có bản xuất ONNX, không có bản dựng Core ML, không có máy chủ MCP, không có tác nhân cài được bằng pip mà bạn có thể trỏ vào một mô tả quy trình công việc và tinh chỉnh trong một buổi chiều. Cộng đồng đã bắt đầu lượng tử hóa nó — một bản IQ3_M GGUF và một bản dựng NVFP4 đã xuất hiện trong vòng hai tuần — nhưng tính đến thời điểm viết bài này, chưa có lộ trình chính thức cho bản gọn nhẹ và cũng chưa có giá.
Khoảng cách tinh chỉnh, yếu tố quyết định nhiều triển khai hơn cả bảng xếp hạng.
Con số quan trọng nhất trên thẻ của Laya không phải là điểm benchmark. Mà là 0.766 so với 0.362: độ chính xác của một checkpoint đã được tinh chỉnh so với mô hình tiếng Anh cơ sở trên 2,000 quyết định thuộc bốn quy trình công việc. Việc tinh chỉnh đã làm tăng hơn gấp đôi độ chính xác trên những khối lượng công việc quan trọng.
Đó là lập luận cho một mô hình 421M trong một câu. Một mô hình nhỏ mà bạn có thể huấn luyện lại trên chính các quyết định đã được dán nhãn của mình trong một giờ sẽ đánh bại một mô hình 31B mà bạn không thể huấn luyện lại chút nào, trên lưu lượng của bạn, với schema của bạn. Điểm 73,9 của Karpo là mức trung bình trên một bộ đánh giá riêng; phân phối của bạn không phải bộ đó. Điểm cơ sở 0,362 của Laya cũng là mức trung bình trên các quyết định của người khác, và cả hai mô hình sẽ thay đổi khi dữ liệu là của bạn — nhưng chỉ một trong số chúng đi kèm một lộ trình được tài liệu hóa để thực hiện bước chuyển đó.
Karpo là một bản fine-tune toàn phần của checkpoint 31B, không có công thức huấn luyện nào được công bố và không có adapter. Về nguyên tắc, việc fine-tune nó là khả thi và không phải là điều mà card hỗ trợ, tài liệu hóa hay kỳ vọng.
Chạy cả hai, điều thường là câu trả lời hơn là chỉ một trong hai.
Hai mô hình bổ trợ cho nhau nhiều hơn là thay thế, và việc phân tách mang tính cơ học. Định tuyến các trạng thái ngắn đến encoder và các trạng thái dài đến 31B. Mẫu Router đã là mặc định được phát hành ở phía Laya; ở phía Karpo, tương đương là kiểm tra kích thước trên trạng thái trước khi bạn gửi đi.
Nơi một lớp định tuyến chứng minh được giá trị của mình là trường hợp thứ ba: tầng nằm giữa chúng. Nếu các trạng thái của bạn nằm trong khoảng từ 512 token đến 32.768, thì cả hai đều không phù hợp — Laya từ chối còn Karpo thì quá mức cần thiết và tốn kém. Dải giữa đó là nơi một mô hình quyết định được phục vụ trở nên hợp lý, và Jev 1.14 có trong danh mục của chúng tôi cho việc đó, có thể gọi bằng cùng một khóa như mọi thứ khác. Đặt một chính sách ngưỡng trước một điểm cuối định tuyến duy nhất — trạng thái ngắn đến encoder do bạn tự vận hành, trạng thái dài đến một mô hình được phục vụ, đầu ra không chắc chắn đến hàng đợi xem xét — là một công việc kỹ thuật nhỏ hơn việc vận hành một checkpoint 62,5 GB, và nó giữ việc hoán đổi mô hình ra khỏi mã ứng dụng của bạn. Danh mục của chúng tôi có hơn 200 mô hình, được tính theo giá niêm yết của nhà cung cấp mà không cộng thêm, cũng bao gồm Gemma 4 31B, mô hình nền mà Karpo được tinh chỉnh từ đó, một cách rẻ để kiểm tra xem việc tinh chỉnh thực sự mang lại gì trước khi cam kết một GPU cho nó.
Nếu buộc phải chỉ đưa ra một khuyến nghị: hãy bắt đầu với Laya. Nó không tốn gì, cài đặt trong một phút, và với những quyết định ngắn, khối lượng lớn mà một tác nhân đưa ra ở mỗi bước, nó là công cụ phù hợp — không phải một giải pháp thỏa hiệp. Hãy chuyển sang Karpo Decision 31B khi một trạng thái không còn vừa trong một đoạn văn, và chấp nhận rằng khi đó bạn đang mua một GPU, một bản tải xuống 62 GB và một mô hình không có giá, không có thông báo ra mắt và không có điểm số độc lập. Khoảng cách 64 điểm trên bảng xếp hạng là có thật, và nó đang đo một thứ chỉ có ý nghĩa khi đầu vào của bạn đủ dài để cần đến nó.

