Một thẻ tiêu đề được tạo với tiêu đề 'Karpo Decision 31B vs Laya', tiêu đề phụ 'Một mô hình dẫn đầu 31B đối đầu với một encoder 421M mà bạn có thể chạy trên máy tính xách tay', ba chip ghi 'Karpo: 31.3B, 62.5 GB, 32,768 tokens', 'Laya: 421M, 808 MB, 512 tokens' và 'Điểm tổng 73.9 so với 9.2', cùng một cặp biểu tượng phẳng — một giá GPU trung tâm dữ liệu được dán nhãn 'cần GPU' và một máy tính xách tay được dán nhãn 'chạy trên máy tính xách tay'.
Guides & Insights

Karpo Decision 31B vs Laya: Một mô hình dẫn đầu 31B đối đầu với một Encoder 421M mà bạn có thể chạy trên laptop

Tác giả

Gideon Frost

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Đặt Karpo Decision 31B cạnh Laya, phản ứng đầu tiên thành thật là ai đó đã nhầm đơn vị. Karpo là bản tinh chỉnh Gemma 4 với 31,3 tỷ tham số, cần 62.5 GB trọng số và một GPU trung tâm dữ liệu. Laya là bộ mã hóa ModernBERT 421 triệu tham số từ Convai Innovations, Apache-2.0, 808 MB trên đĩa, chạy trên máy tính xách tay và trả kết quả trong khoảng 33 mili giây. Trên Decision Index, bảng cộng đồng mà cả hai cùng xuất hiện, khoảng cách ở điểm Full là 73.9 so với 9.2 — mức chênh lệch lớn nhất trong toàn bộ lô so sánh này.

Và thế nhưng Laya lại là mô hình đi kèm một gói pip được duy trì, một máy chủ MCP, các bản dựng ONNX và Core ML, cùng một quy trình tinh chỉnh với mức tăng độ chính xác được ghi nhận từ 0.362 lên 0.766 trên một bộ quy trình công việc thực tế. Karpo chỉ có một README và một kho lưu trữ. Câu hỏi thú vị không phải là mô hình nào tốt hơn. Mà là mỗi mô hình thực sự để làm gì, bởi vì khoảng cách điểm số và khoảng cách khả năng sử dụng chỉ về hai hướng ngược nhau và chỉ một trong hai mới quan trọng tại một thời điểm.

Hai con số đó có ý nghĩa gì, và tại sao sự so sánh lại không cân xứng ngay từ thiết kế

Điểm Full 9,21 của Laya trên trình theo dõi là một chỉ số kỹ năng đã hiệu chỉnh theo yếu tố ngẫu nhiên, và độ chính xác thô của nó trên cùng bộ kiểm thử là 37,7% với độ bao phủ 0,76 — nghĩa là khoảng một phần tư số yêu cầu của bộ kiểm thử chưa từng được trả lời. Trình theo dõi ghi lại lý do: 320 yêu cầu bị đánh dấu là không được hỗ trợ, phần lớn là do một chỉ dẫn dài hơn ngân sách gốc của Laya và mô hình từ chối thay vì cắt bớt. Trên một bộ kiểm thử được xây dựng cho các mô hình chấp nhận trạng thái 32k token, một bộ mã hóa 512 token không còn ở thế cạnh tranh, mà chỉ đang rơi vào trạng thái mặc định.

Karpo trả lời cùng bộ đề đó với độ phủ 99,87% và độ chính xác thô 83,2%. Chín yêu cầu đã bị từ chối, tất cả đều vì một câu hỏi cộng với trạng thái của nó vượt quá 32.768 token.

Vậy nên, một so sánh điểm trực tiếp cho bạn thấy rằng một mô hình được thiết kế cho phân loại ngắn trên cửa sổ 512 token làm rất kém trên một benchmark được thiết kế cho các mô hình quyết định tài liệu dài. Đó không phải là lời chỉ trích Laya; đó là một nhận định về bộ đánh giá. Phép so sánh hữu ích là theo từng tác vụ, và card của Laya có một phép so sánh như vậy: trên phân loại ý định MASSIVE, nó đạt 0.783 tiếng Anh và trên XNLI 0.860, với đầu vào nằm gọn trong cửa sổ của nó. Karpo không có con số công bố tương đương cho một tác vụ phân loại đơn ngắn, vì card của nó hoàn toàn không công bố kết quả ở cấp độ tác vụ.

Thông số kỹ thuật và ý nghĩa của từng thông số

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Tham số — Karpo 31.3B cộng với một readout 255 × 5,376, 62.5 GB ở dạng bf16; Laya 421M, đã tải xuống khoảng 808 MB.

• Kiến trúc — một xương sống mô hình ngôn ngữ nhân quả được chạy chỉ prefill với đầu đọc tuyến tính, so với một bộ mã hóa hai chiều chấm điểm từng lựa chọn tại [MASK] token riêng của nó.

• Bối cảnh — Karpo 32.768 token mỗi chuỗi, được chia theo câu hỏi với trạng thái được lặp lại; Laya tổng cộng 512 token trong cấu hình xuất xưởng, trong đó 192 token được dành cho lời nhắc tùy chọn, để lại khoảng 320 token cho trạng thái.

• Đa phương thức — Karpo đọc được hình ảnh và văn bản; Laya chỉ đọc văn bản. Không có luồng thị giác nào trong checkpoint tiếng Anh.

• Độ trễ — Karpo 94 ms trung vị trên một GPU tham chiếu; Laya 39,5 ms được đo trên card riêng của nó, và trình theo dõi ghi nhận trung vị 5,8 ms trên phần cứng của nó.

• Giấy phép — Apache-2.0 cho cả hai, trọng số và mã, không có hạn chế sử dụng.

• Hosting — không bên nào nằm trên endpoint lưu trữ do nhà phát hành cung cấp. Laya không cần gì ngoài pip install laya.

Dòng ngữ cảnh chính là toàn bộ quyết định. 320 token khả dụng cho trạng thái là một phiếu hỗ trợ, một email, một tin nhắn trò chuyện, một tiêu đề sản phẩm, một dòng log. Đó không phải là một hóa đơn có các dòng mục hàng hay một chính sách dài bốn mươi trang. Nếu trạng thái của bạn dài hơn một đoạn văn, Laya không thể được hỏi câu hỏi đó — không phải một cách kém cỏi, không phải một cách chậm chạp, mà là hoàn toàn không thể.

Khi mô hình nhỏ thực sự là câu trả lời đúng đắn

Có một nhóm quyết định mà việc dùng Karpo là phi lý, và thiết kế của Laya nhắm thẳng vào nhóm đó. Hãy xét một tác tử mà ở mỗi bước cần một câu trả lời có/không về việc kết quả công cụ có vẻ đáp ứng ý định hay không, hoặc cần biết truy vấn nên đi đến nguồn nào trong sáu nguồn truy xuất, hoặc liệu một tin nhắn người dùng có chứa tín hiệu rời bỏ hay không. Đây là những câu hỏi ở quy mô micro giây trên một câu ngữ cảnh, và có thể có tới năm mươi câu như vậy trong một cuộc hội thoại.

Ở 94 ms và một mô hình thường trú 62.5 GB, năm mươi lần gọi tốn gần năm giây thời gian GPU cho mỗi cuộc hội thoại, trên phần cứng đắt hơn mức lưu lượng biện minh. Ở mức trung vị 5.8 ms với một mô hình 800 MB chạy trên cùng máy với ứng dụng của bạn, năm mươi lần gọi tương tự chỉ tốn một phần ba giây và không có khoản mục chi phí trung tâm dữ liệu nào. Đó không phải là khác biệt nhỏ trong một vòng lặp theo từng bước; đó là khác biệt giữa một tính năng được phát hành và một tính năng không.

Thẻ của Laya cũng ghi lại các kiểu thất bại một cách trung thực, điều này đáng giá hơn một bảng thông số hoàn hảo. Checkpoint tiếng Anh sụp đổ trên các hệ chữ không phải Latinh — tiếng Khmer đạt độ chính xác 0.000 trong khi báo độ tin cậy 0.952 — đúng chính xác là kiểu thất bại "tự tin nhưng sai" mà một lớp quyết định không được phép mắc phải. Bản phát hành của Router phát hiện hệ chữ trong chưa đầy nửa mili giây bằng Python thuần và định tuyến đến checkpoint đa ngôn ngữ trước forward pass. Các câu hỏi có số lượng lớp lớn cũng suy giảm: 77 lựa chọn trong ngân sách 256 token khiến mỗi nhãn chỉ có ba hoặc bốn token, và độ chính xác trên Banking77 giảm còn 0.425 so với 0.870 của Jev. Thẻ hướng dẫn bạn tăng ngân sách cho head thay vì giả vờ rằng mặc định là ổn.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Sự kết hợp đó — một mô hình nhỏ với các kiểu lỗi đã được công bố và bản khắc phục được ghi lại cho từng kiểu — hữu ích hơn trong vận hành so với một điểm số cao hơn mà không có phân tích chi tiết theo từng tác vụ.

Nơi mô hình 31B xứng đáng với 62 GB của nó

Ưu điểm của Karpo đến từ việc có một mô hình ngôn ngữ thực sự bên trong nó. Nó đọc ảnh chụp màn hình. Nó giữ một tài liệu chính sách và một hồ sơ khách hàng trong cùng một trạng thái 32.768 token và trả lời hàng trăm câu hỏi về cả hai trong một lượt, vì trạng thái được tính một lần và mỗi câu hỏi rẽ nhánh từ khối dùng chung mà không nhìn thấy các tùy chọn của câu hỏi khác. Nó xử lý các lựa chọn 255 phương án mà không bị thiếu token, vì phần đọc kết quả chấm điểm các mã thay vì nhúng văn bản tùy chọn vào một ngân sách cố định.

Hồ sơ theo hạng mục củng cố điều này theo cách tương ứng rõ ràng với những gì bạn nhận được từ một mô hình lớn. Kỹ năng kiến thức và suy luận của Karpo là 65.5 so với 2.9 của Laya — một con số chủ yếu phản ánh các câu hỏi kiến thức ngữ cảnh dài của bộ đánh giá, những câu mà Laya không thể được yêu cầu trả lời. Kỹ năng công cụ và tự động hóa của nó là 88.4 so với 5.8. Đây không phải là những khác biệt tinh tế giữa hai mô hình tương đương; chúng là hai loại công cụ khác hẳn nhau.

Điều Karpo không có là bất kỳ bộ khung vận hành nào. Không có bản xuất ONNX, không có bản dựng Core ML, không có máy chủ MCP, không có tác nhân cài được bằng pip mà bạn có thể trỏ vào một mô tả quy trình công việc và tinh chỉnh trong một buổi chiều. Cộng đồng đã bắt đầu lượng tử hóa nó — một bản IQ3_M GGUF và một bản dựng NVFP4 đã xuất hiện trong vòng hai tuần — nhưng tính đến thời điểm viết bài này, chưa có lộ trình chính thức cho bản gọn nhẹ và cũng chưa có giá.

Khoảng cách tinh chỉnh, yếu tố quyết định nhiều triển khai hơn cả bảng xếp hạng.

Con số quan trọng nhất trên thẻ của Laya không phải là điểm benchmark. Mà là 0.766 so với 0.362: độ chính xác của một checkpoint đã được tinh chỉnh so với mô hình tiếng Anh cơ sở trên 2,000 quyết định thuộc bốn quy trình công việc. Việc tinh chỉnh đã làm tăng hơn gấp đôi độ chính xác trên những khối lượng công việc quan trọng.

Đó là lập luận cho một mô hình 421M trong một câu. Một mô hình nhỏ mà bạn có thể huấn luyện lại trên chính các quyết định đã được dán nhãn của mình trong một giờ sẽ đánh bại một mô hình 31B mà bạn không thể huấn luyện lại chút nào, trên lưu lượng của bạn, với schema của bạn. Điểm 73,9 của Karpo là mức trung bình trên một bộ đánh giá riêng; phân phối của bạn không phải bộ đó. Điểm cơ sở 0,362 của Laya cũng là mức trung bình trên các quyết định của người khác, và cả hai mô hình sẽ thay đổi khi dữ liệu là của bạn — nhưng chỉ một trong số chúng đi kèm một lộ trình được tài liệu hóa để thực hiện bước chuyển đó.

Karpo là một bản fine-tune toàn phần của checkpoint 31B, không có công thức huấn luyện nào được công bố và không có adapter. Về nguyên tắc, việc fine-tune nó là khả thi và không phải là điều mà card hỗ trợ, tài liệu hóa hay kỳ vọng.

Chạy cả hai, điều thường là câu trả lời hơn là chỉ một trong hai.

Hai mô hình bổ trợ cho nhau nhiều hơn là thay thế, và việc phân tách mang tính cơ học. Định tuyến các trạng thái ngắn đến encoder và các trạng thái dài đến 31B. Mẫu Router đã là mặc định được phát hành ở phía Laya; ở phía Karpo, tương đương là kiểm tra kích thước trên trạng thái trước khi bạn gửi đi.

Nơi một lớp định tuyến chứng minh được giá trị của mình là trường hợp thứ ba: tầng nằm giữa chúng. Nếu các trạng thái của bạn nằm trong khoảng từ 512 token đến 32.768, thì cả hai đều không phù hợp — Laya từ chối còn Karpo thì quá mức cần thiết và tốn kém. Dải giữa đó là nơi một mô hình quyết định được phục vụ trở nên hợp lý, và Jev 1.14 có trong danh mục của chúng tôi cho việc đó, có thể gọi bằng cùng một khóa như mọi thứ khác. Đặt một chính sách ngưỡng trước một điểm cuối định tuyến duy nhất — trạng thái ngắn đến encoder do bạn tự vận hành, trạng thái dài đến một mô hình được phục vụ, đầu ra không chắc chắn đến hàng đợi xem xét — là một công việc kỹ thuật nhỏ hơn việc vận hành một checkpoint 62,5 GB, và nó giữ việc hoán đổi mô hình ra khỏi mã ứng dụng của bạn. Danh mục của chúng tôi có hơn 200 mô hình, được tính theo giá niêm yết của nhà cung cấp mà không cộng thêm, cũng bao gồm Gemma 4 31B, mô hình nền mà Karpo được tinh chỉnh từ đó, một cách rẻ để kiểm tra xem việc tinh chỉnh thực sự mang lại gì trước khi cam kết một GPU cho nó.

Nếu buộc phải chỉ đưa ra một khuyến nghị: hãy bắt đầu với Laya. Nó không tốn gì, cài đặt trong một phút, và với những quyết định ngắn, khối lượng lớn mà một tác nhân đưa ra ở mỗi bước, nó là công cụ phù hợp — không phải một giải pháp thỏa hiệp. Hãy chuyển sang Karpo Decision 31B khi một trạng thái không còn vừa trong một đoạn văn, và chấp nhận rằng khi đó bạn đang mua một GPU, một bản tải xuống 62 GB và một mô hình không có giá, không có thông báo ra mắt và không có điểm số độc lập. Khoảng cách 64 điểm trên bảng xếp hạng là có thật, và nó đang đo một thứ chỉ có ý nghĩa khi đầu vào của bạn đủ dài để cần đến nó.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.