Laya được giải thích: Một mô hình quyết định đưa ra câu trả lời mà không cần viết một token nào

Điều thú vị nhất ở Laya không phải là tốc độ của nó. Mà là mọi tùy chọn bạn đưa cho nó đều được chấm điểm tại [MASK] token riêng của chính tùy chọn đó, và sau đó các xác suất được softmax trên các tùy chọn của riêng câu hỏi đó. Convai Innovations đã công bố trọng số của Laya trên Hugging Face vào ngày 18 tháng 9 năm 2026, theo Apache 2.0 — ba checkpoint, một kho lưu trữ, 421M tham số cho mô hình tiếng Anh. Không có token đầu ra. Không có vòng lặp giải mã, không có JSON để phân tích cú pháp, không có dấu ngoặc nhọn nào để quên đóng. Bạn đưa cho nó một trạng thái và một tập hợp các câu hỏi có kiểu, và sau một lượt truyền xuôi, bạn nhận được một lựa chọn trên các tùy chọn được đặt tên, một điểm thứ tự với một mức dự kiến, hoặc một xác suất rằng một phát biểu là đúng. Thiết kế đó có một hệ quả mà mọi người bỏ sót: vì không gian đáp án được lắp ráp theo từng yêu cầu thay vì được nướng sẵn vào một đầu từ vựng, một schema bạn nghĩ ra chiều nay không cần huấn luyện lại. Nó cũng có một giới hạn, và dự án nói rõ điều đó ngay trên model card của chính nó: các checkpoint cơ sở đạt 0.362 trên benchmark typed-decisions, so với 0.318 khi đoán ngẫu nhiên và 0.461 khi luôn trả lời lớp đa số. Câu của chính Convai là câu nên giữ trong đầu — "Laya là một nền tảng nhanh để chuyên biệt hóa, không phải một cỗ máy ra quyết định zero-shot." Điểm so sánh hiển nhiên là Jev của TypeSafe AI, một mô hình System One được lưu trữ với không có trọng số được công bố, không có số lượng tham số được công bố và không có mô hình cơ sở được công bố. Laya là câu trả lời mở trọng số cho nó. Việc câu trả lời đó có hữu ích với bạn hay không phụ thuộc gần như hoàn toàn vào việc bạn đang cố thay thế nửa nào của pipeline.

Laya thực sự là gì, và nó không phải là gì

Bắt đầu với mặt hạn chế, vì đó là chỗ hầu hết các bài viết mắc sai. Laya không phải là LLM. Nó phi tự hồi quy: một lượt truyền xuôi duy nhất tạo ra câu trả lời, và mô hình không bao giờ phát ra văn bản. So sánh độ trễ của nó với token mỗi giây của một mô hình trò chuyện là so sánh hai phép toán khác nhau — một cái phân loại, cái kia sinh. Nếu bạn cần một đoạn văn, một bản tóm tắt, một kế hoạch hay một chuỗi lập luận, Laya không thể đưa cho bạn và cũng không cố làm vậy.

Nó là gì: một bộ mã hóa hai chiều với một đầu quyết định được gắn lên trên. Checkpoint tiếng Anh là ModernBERT-large — 395M tham số, được tinh chỉnh hoàn toàn — cộng với một đầu được huấn luyện từ đầu gồm hai lớp transformer, một bộ chấm điểm dấu tùy chọn, và một đầu act/escalate, tổng cộng 421M. Checkpoint đa ngôn ngữ thay thế backbone bằng mmBERT-base, 22 lớp và bộ từ vựng 256k, tổng cộng 322M. Ba checkpoint có trong một kho lưu trữ, và chỉ checkpoint bạn yêu cầu mới được tải xuống:

• convaiinnovations/laya — ModernBERT-large, 421 triệu tham số, ngữ cảnh 512 token, tiếng Anh, khoảng 808 MB trên ổ đĩa.

• convaiinnovations/laya-multilingual — mmBERT-base, 322 triệu tham số, ngữ cảnh 1.024 token (bộ mã hóa hỗ trợ tới 8.192 token với RoPE), hơn 100 ngôn ngữ, nhanh hơn khoảng 2,2 lần, dung lượng khoảng 647 MB.

• convaiinnovations/laya-typed-decisions — ModernBERT-large, 421 triệu tham số, ngữ cảnh 1.024 token, và là mô hình duy nhất trong ba mô hình mang con số 0,766 mà bạn sẽ thấy được trích dẫn ở khắp mọi nơi.

Một Router nằm ở phía trước và chọn checkpoint cho từng yêu cầu bằng cách phát hiện chữ viết và ngôn ngữ trong vòng chưa đầy nửa mili giây, bằng Python thuần, trước khi bất kỳ lượt lan truyền xuôi nào diễn ra. Đó không phải là một tính năng tiện lợi. Đó là một tính năng đảm bảo tính đúng đắn, và bằng chứng của chính dự án cho thấy tại sao: checkpoint tiếng Anh đạt độ chính xác 0.000 trên tiếng Khmer trong khi báo cáo độ tin cậy 0.952. Một mô hình vẫn tự tin trong khi hoàn toàn sai chính là trường hợp mà cơ chế chặn theo độ tin cậy không thể cứu bạn, nên quyết định định tuyến phải được đưa ra trước khi mô hình nhìn thấy đầu vào. Qua một đợt khảo sát 51 ngôn ngữ, router đã làm cho 45 trong 51 ngôn ngữ trở nên khả dụng — được định nghĩa là vượt ba lần mức ngẫu nhiên — so với 23 trong 51 đối với chỉ riêng checkpoint tiếng Anh.

Điều đáng để hiểu về thiết kế: một token [MASK] cho mỗi tùy chọn

Nếu bạn chỉ rút ra được một điều từ bài viết này, hãy rút ra điều này. Trong một classification head thông thường, tập nhãn được cố định tại thời điểm huấn luyện: lớp cuối cùng có một đầu ra cho mỗi lớp, và thêm một lớp nghĩa là phải huấn luyện lại. Laya thì không làm vậy. Nó biểu diễn mỗi tùy chọn dưới dạng văn bản kèm một marker, và bộ chấm điểm theo marker của tùy chọn đọc điểm số từ chính vị trí[MASK] của tùy chọn đó. Sau đó nó áp dụng softmax trên các tùy chọn thuộc câu hỏi đó.

Không gian câu trả lời do đó được xác định tại thời điểm yêu cầu. Bạn viết các lựa chọn, mô hình cho điểm chúng. Một schema mới không cần huấn luyện lại và không cần tinh chỉnh, vì không có gì trong trọng số mã hóa "billing" hay "technical" như một lớp — chỉ có cơ chế để so sánh một lựa chọn đã được kết xuất với một lựa chọn khác trong ngữ cảnh của trạng thái.

Hai ngân sách chi phối mức độ hiệu quả của việc đó, và chúng được chia sẻ. Mỗi chuỗi được chia thành một ngân sách prompt lựa chọn (head_max_len, 192 token trên checkpoint tiếng Anh và 256 trên hai checkpoint còn lại) và một ngân sách tài liệu (phần còn lại của max_len). Mọi câu hỏi trong một lượt gọi đều được trả lời trong cùng một lượt lan truyền tiến duy nhất đó, nên một lượt gọi có sáu câu hỏi không phải là sáu lần gọi mô hình. Nhưng các lựa chọn dùng chung ngân sách lựa chọn, đó là lý do một câu hỏi có 77 lựa chọn như Banking77 phân bổ khoảng ba đến bốn token cho mỗi nhãn và độ chính xác rơi xuống vực — 0,425 so với 0,870 đã công bố của Jev. Cách khắc phục được ghi lại chứ không bị giấu đi: hãy tăng head_max_len và max_len, hoặc chia một tập lựa chọn lớn thành một lựa chọn hai bước từ thô đến tinh.

Ba nguyên thủy

Mọi thứ Laya thực hiện đều thuộc một trong ba loại câu hỏi, và mỗi loại trả về một dạng khác nhau:

• choice — xác suất cho mỗi tùy chọn được đặt tên, cùng với nhãn hàng đầu và độ tin cậy. Đây là thành phần nguyên thủy dùng cho định tuyến và phân loại ý định.

• điểm số — một phân phối trên một thang đánh giá có thứ tự cùng với một mức độ kỳ vọng. Đây là dạng nguyên thủy thứ tự: mức độ khẩn cấp, sự bực bội, mức độ nghiêm trọng.

• noul — xác suất đã được hiệu chỉnh cho biết một phát biểu là đúng, từ 0.0 đến 1.0. Lừa đảo trực tuyến, rủi ro rời bỏ khách hàng, prompt injection.

Các kiểu dữ liệu được quy định chặt chẽ theo cách có ý nghĩa về mặt vận hành. Một câu hỏi lựa chọn không thể trả về một tùy chọn mà bạn không cung cấp, bởi vì những tùy chọn duy nhất nó có thể chấm điểm chính là những tùy chọn bạn đã hiển thị. Điều đó loại bỏ toàn bộ một nhóm lỗi trong môi trường vận hành — giá trị enum bị bịa ra, JSON bị cắt cụt, vòng lặp thử lại quanh một trình phân tích cú pháp. Nó không loại bỏ lỗi ngữ nghĩa. Một mô hình trả về billing: 0.94 cho một phiếu yêu cầu lẽ ra phải được chuyển đến bộ phận hỗ trợ kỹ thuật là sai, và nó sai một cách đầy tự tin. Đầu ra có kiểu dữ liệu đảm bảo hình dạng của câu trả lời, chứ không bao giờ đảm bảo tính đúng đắn của nó.

RLCD, hay tại sao các xác suất được cho là phải có ý nghĩa

Hầu hết các bộ phân loại được huấn luyện để đưa ra kết quả đúng. Laya được huấn luyện để trung thực về mức độ đúng đắn của mình, và điều đó đến từ công thức huấn luyện.

Phương pháp này được gọi là RLCD — Học tăng cường cho các Quyết định được Hiệu chuẩn. Chính sách phát ra một phân phối thay vì một argmax; khám phá thêm nhiễu Gaussian trung bình bằng 0 vào các logits; và phần thưởng là một quy tắc tính điểm strictly proper — log cộng spherical, với điểm xác suất xếp hạng được thêm vào cho các câu hỏi thứ bậc. Từ “proper” đó đang gánh phần việc. Một quy tắc tính điểm strictly proper chỉ được tối đa hóa trong kỳ vọng khi báo cáo niềm tin thực sự của bạn, vì vậy việc rào đón hoặc tuyên bố quá mức sẽ mất phần thưởng do thiết kế chứ không phải do chỉ dẫn. Các cập nhật là REINFORCE với baseline trung bình nhóm, kiểu GRPO, và các cuộc hội thoại nhiều lượt dùng TD(λ=1.0) trên các lát cắt tiền tố.

Hệ quả thực tế là ngưỡng tin cậy là một thứ có ý nghĩa để xây dựng logic ứng dụng dựa trên đó — một khẳng định mà bạn không thể đưa ra đối với một softmax từ bộ phân loại được huấn luyện bằng cross-entropy. Đó cũng là một khẳng định đi kèm một lưu ý mà dự án nói rõ ngay từ đầu: các checkpoint được phát hành bị quá tự tin, và bạn được kỳ vọng sẽ khớp lại một temperature trên dữ liệu của riêng mình trước khi tin vào các con số. Việc khớp lại một temperature cho mỗi loại câu hỏi và số lượng lựa chọn đã đưa ECE trung bình từ 0,466 xuống 0,081 trên checkpoint tiếng Anh và từ 0,314 xuống 0,106 trên checkpoint đa ngôn ngữ. Ngưỡng khởi đầu được dự án đề xuất cho việc tự động phê duyệt so với con người xem xét là khoảng 0,85.

Chi phí để vận hành là bao nhiêu

Các số liệu độ trễ là của chính dự án, được đo trên Tesla T4, với mọi checkpoint đều trả lời những câu hỏi giống hệt nhau từng byte trong cùng một lần chạy:

• Một câu hỏi — 39,5 ms trên laya, 32,8 ms trên laya-multilingual.

• Năm câu hỏi — 84,5 ms và 40,1 ms.

• Mười câu hỏi được xử lý theo lô — 158,6 ms (15,9 ms mỗi câu hỏi) và 72,3 ms (7,2 ms mỗi câu hỏi).

• Năm mươi câu hỏi — 771 ms và 337 ms, tức 6,8 ms mỗi câu hỏi trên checkpoint đa ngôn ngữ.

• Thông lượng theo lô trên một T4 — từ 103 đến 332 câu hỏi mỗi giây.

Nếu bạn đã thấy tuyên bố "nhanh hơn Jev 50 lần" đang lan truyền, đó không phải là con số của dự án và benchmark của chính dự án không ủng hộ điều đó. So sánh được Convai công bố là 7,8 lần về độ trễ p50 cho một câu hỏi: 32,8 ms so với 236–276 ms. Đó cũng là so sánh cần đọc kỹ, vì thẻ của Laya ghi phía Jev là các số liệu đã công bố của bên thứ ba mà Convai chưa từng đo — nó không có quyền truy cập TypeSafe API — và vì nó đặt một lượt forward pass trên GPU cục bộ đối chiếu với một lệnh gọi API được host bao gồm cả round-trip mạng và xếp hàng. Phần kiến trúc của khoảng cách đó là có thật. Phần hạ tầng của nó không phải là một thuộc tính của mô hình.

Về bộ nhớ, dung lượng chiếm dụng là vài trăm megabyte cho mỗi checkpoint, và bảng triển khai đáng để nắm trước khi bạn định cỡ một máy chủ. Mặc định lazy giữ hai checkpoint thường trú (tiếng Anh và đa ngôn ngữ, hai cái duy nhất mà router tự động chọn giữa chúng), nên sau lần tải đầu tiên của mỗi ngôn ngữ, một lần chuyển chỉ tốn chi phí phát hiện. Router(max_loaded=1) trên một máy hạn chế bộ nhớ sẽ tải lại mỗi khi đổi ngôn ngữ, đo được trung vị 7,4 giây trên CPU và 10,3 giây trên T4. Router(preload=True) là cấu hình máy chủ: không có gì phải tải lại, và độ trễ mỗi yêu cầu là con số 32,8 ms trên GPU hoặc 193–464 ms trên CPU.

Một nửa trung thực

Đây là chỗ tác phẩm này chứng minh được giá trị của nó, vì bề mặt xung quanh Laya vốn ồn ào và những hạn chế thì cụ thể.

Đầu tiên, con số tiêu đề là một con số đã được tinh chỉnh. Độ chính xác 0,766 thuộc về laya-typed-decisions, checkpoint được tinh chỉnh trên chính tập huấn luyện của benchmark đó. Các checkpoint gốc đạt 0,362 và 0,342 ở chế độ zero-shot, so với đường cơ sở ngẫu nhiên 0,318 và đường cơ sở lớp đa số 0,461 — nói cách khác, thấp hơn cả đường cơ sở tầm thường. Dự án tự nói rõ điều này trong danh sách hạn chế của mình thay vì chôn vùi nó, và checkpoint đã tinh chỉnh vượt qua mức trần tự đồng thuận 0,735 của teacher, một kết quả thực sự mạnh mẽ đối với một encoder 421M trên bốn quy trình hẹp (xử lý hóa đơn 0,804, sự cố bảo mật 0,766, dịch vụ khách hàng 0,764, khả năng quan sát vết agent 0,730). Nhưng đó là kết quả về chuyên biệt hóa, không phải về mô hình gốc, và bất kỳ ai trích dẫn 0,766 như một năng lực tổng quát là đang đọc sai thẻ mô hình.

Thứ hai, các primitive không tốt như nhau. Xét theo độ chính xác trên checkpoint đã tinh chỉnh: noul 0.857, choice 0.733, score 0.723. Dự án gọi ordinal score là "primitive yếu nhất" một cách thẳng thừng, với SST-5 ở mức 0.372. Nếu bề mặt quyết định của bạn là thang đánh giá mức độ nghiêm trọng từ 1 đến 5, thì đó là primitive mà bạn có ít lý do nhất để tin tưởng ngay từ đầu.

Thứ ba, hai hành vi được ghi nhận là lỗi trong trình theo dõi vấn đề của chính dự án, và cả hai đều sẽ khiến bạn trả giá trong môi trường production nếu bạn không đọc chúng. action.act_probability hiện chưa mang tín hiệu nào dùng được — issue #185 — vì đầu ra của decision head không được chuẩn hoá, ở mức xấp xỉ 300 lần thang đo của encoder, khiến act head bị bão hoà nên nó đọc ra 1.0 với gần như mọi đầu vào. Các logit thô của nó đi ngược lại tính đúng đắn, với AUROC 0.30 trên 396 quyết định đã được gán nhãn. Hãy gate theo confidence thay vào đó, vốn đạt AUROC 0.77 trên cùng những mục đó. Riêng ở một chỗ khác, noul có thể bám theo nhãn lựa chọn của chính nó thay vì state — issue #156 — bởi vì render_options hardcode nhãn của noul thành false: / true:, và cặp nhãn đó có thể lấn át câu trả lời, trả về một câu "no" đầy tự tin cho đầu vào rõ ràng là tích cực. Cách khắc phục được ghi nhận là hãy hỏi cùng câu hỏi đó dưới dạng hai lựa chọn choice với các khoá trung tính và cách diễn đạt yes/no của bạn làm phần mô tả.

Thứ tư, một chi tiết hiệu chỉnh dễ bị bỏ sót và đáng được nói rõ. Checkpoint đi kèm một nhiệt độ đã fit là 0.1006 cho bucket choice:11+, và loader kẹp mọi nhiệt độ vào khoảng [0.5, 5.0]. Việc kẹp đó đang giúp bạn đấy. Một nhiệt độ nhọn như vậy có thể lấy một phân phối thực sự bị chia tách và báo cáo nó như gần như chắc chắn; việc kẹp có nghĩa là trường hợp xấu nhất sẽ là một câu trả lời mềm hơn so với ý định của fit, và loader phát ra cảnh báo nêu tên bucket bị ảnh hưởng và bảo bạn coi độ tin cậy đó là chưa hiệu chỉnh. Hãy đọc các cảnh báo khi tải thay vì ẩn chúng.

Thứ năm, chỉ dùng tiếng Anh ở thư mục gốc của repo, và cách thức thất bại khi ra ngoài phạm vi tiếng Anh không hề êm ái — vì thế mới có router, và vì thế mới có khuyến nghị dùng laya-multilingual cho mọi thứ không phải văn xuôi tiếng Anh.

Bức tranh độc lập, ở những nơi nó tồn tại, hẹp hơn bức tranh của nhà cung cấp và không mâu thuẫn với nó. Một so sánh đối đầu trực tiếp độc lập — sysone-bench, 751 trạng thái trải trên chín bộ dữ liệu, đề ngày 2026-09-21, chạy trên các đầu vào giống hệt nhau từng byte với mã băm câu hỏi được xác minh là trùng khớp trước khi so sánh — cho thấy Jev dẫn trước ở triage, guardrails, moderation, banking77 và multilingual intent, còn Laya dẫn trước ở AG News (0.940 so với 0.910) và MNLI (0.983 so với 0.867). Kết quả về confidence-gating là thứ mà tôi thực sự sẽ lấy làm căn cứ để lập kế hoạch: gating ở ngưỡng tin cậy 0.85 giữ được 58% lưu lượng của Laya với độ chính xác 0.878, so với 78% lưu lượng của Jev với độ chính xác 0.917. Đó chính là hình dạng của sự đánh đổi — Laya tự động hóa ít lưu lượng hơn với độ chính xác thấp hơn trên phần mà nó giữ lại, và lần chạy router của chính nó nâng multilingual intent từ 0.360 lên 0.840.

Bề mặt xung quanh nó, vốn rộng một cách bất thường

Đối với một dự án mà trọng số chỉ mới vài ngày tuổi, bề mặt tích hợp lại chính là phần gây bất ngờ. Tất cả những điều này đều nằm trong kho lưu trữ thượng nguồn tại NandhaKishorM/laya, nơi hiển thị 19.871 sao trên GitHub vào thời điểm bài viết này được thực hiện, và toàn bộ đều theo giấy phép Apache 2.0:

• laya-serve — một HTTP server phơi bày Router trên cùng hình dạng yêu cầu và phản hồi POST /v1/systemone như Jev API được lưu trữ của TypeSafe, nên một client TypeSafe hiện có chỉ cần thay đổi URL cơ sở là chuyển sang được. Xin nói thẳng về mặc định bảo mật: nó liên kết với 0.0.0.0 mà không có xác thực trừ khi LAYA_API_KEY được đặt, khi đó nó yêu cầu bearer token. Có một biến thể module NixOS đã được tăng cường bảo mật, chạy dưới một unit systemd DynamicUser và truyền token qua LoadCredential thay vì đặt nó vào store.

• Bản chuyển đổi TypeScript đầy đủ trong laya-ts/ cho Node và trình duyệt, cùng với một đường dẫn agent ONNX (laya.onnx_agent.ONNXAgent) để chạy một mô hình đã xuất trên ONNX Runtime mà không cần PyTorch khi chạy.

• Máy chủ MCP nằm trong một tiện ích bổ sung tùy chọn, cung cấp laya_predict, laya_route, laya_preset và laya_status dưới dạng các công cụ.

• Tích hợp LangChain và LangGraph — LayaRouter để định tuyến cạnh có điều kiện với ngưỡng tin cậy cùng cơ chế dự phòng, và LayaGuardrail.

• Một Nix flake với nix run .#laya-serve và một mô-đun services.laya-serve, bốn tệp compose, một đường dẫn image Docker kèm hướng dẫn nhanh đã được tài liệu hóa, và một notebook Kaggle chạy toàn bộ vòng tinh chỉnh RLCD trên 2xT4 GPU miễn phí trong bốn đến năm giờ với khoảng 30k câu hỏi.

Apache 2.0 là chi tiết giấy phép quyết định liệu bạn có thể đưa thứ này vào một sản phẩm hay không: nó cho phép sử dụng thương mại, sửa đổi và phân phối lại, và nó không yêu cầu bạn công bố các thay đổi của mình hoặc trọng số đã tinh chỉnh của bạn. Nghĩa vụ là nghĩa vụ ghi công và bảo toàn thông báo thông thường, cùng với việc không có bất kỳ cấp phép bằng sáng chế hay nhãn hiệu nào một cách rõ ràng ngoài những gì giấy phép quy định. Đối với một lớp quyết định nằm trước lưu lượng khách hàng, đó là một đề xuất khác biệt về bản chất so với một điểm cuối được lưu trữ truy cập sớm mà trọng số, kiến trúc và công thức huấn luyện đều không được tiết lộ — đó chính là Jev ngày nay, với mức $0.042 mỗi triệu token đầu vào, đầu ra miễn phí và bề mặt đầu vào chỉ văn bản.

Vị trí thực sự của nó: một head quyết định ở đằng trước, một LLM được định tuyến ở đằng sau

Mẫu hình đáng để thấm nhuần không phải là “mô hình ra quyết định thay vì LLM”. Đó là một pipeline hai giai đoạn, và cả hai giai đoạn đều tồn tại vì giai đoạn kia yếu ở một điểm nào đó.

Đặt Laya lên trước cho những phán đoán khối lượng lớn, phạm vi hẹp, máy có thể tiêu thụ: định tuyến ticket, phân loại ý định, chấm điểm mức độ khẩn cấp, quyết định xem tài liệu này có liên quan đến truy vấn hay không, kiểm tra xem bản nháp này có vi phạm chính sách hay không. Những lệnh gọi đó có một tập câu trả lời cố định, chúng diễn ra hàng nghìn lần mỗi giờ, và một lượt truyền xuôi cục bộ 33 mili giây với không token đầu ra phù hợp hơn với chúng so với một vòng khứ hồi tạo sinh. Sau đó đặt một mô hình tạo sinh phía sau nó cho những lệnh gọi thực sự cần văn xuôi, tổng hợp hoặc suy luận trên một ngữ cảnh dài — việc soạn thảo, phần giải thích, bản tóm tắt chuyển cấp.

Đó là chỗ OrcaRouter ngồi, và cần phải chính xác về ranh giới. Chúng tôi không phục vụ Laya; nó là một encoder 421M do bạn tự chạy, và toàn bộ mục đích của nó là chạy ngay tại nơi dữ liệu của bạn đã ở đó. Chúng tôi cũng không phục vụ Jev — nó là endpoint truy cập sớm của TypeSafe. Thứ chúng tôi bao phủ là nửa sinh tạo của cùng đường ống đó: hơn 200 mô hình sau một khóa tương thích OpenAI, ở giá niêm yết của nhà cung cấp được chuyển nguyên với 0% markup, kèm tự động chuyển đổi dự phòng giữa các nhà cung cấp. Lý do thực tế khiến điều này quan trọng ở đây là đường nối giữa hai nửa. Ngay khi bạn bắt đầu định tuyến quyết định tới một mô hình sinh tạo cho những trường hợp mà đầu quyết định đã từ chối, bạn có thêm một tích hợp thứ hai, một hóa đơn thứ hai và một chế độ lỗi thứ hai. Một khóa cho phía sinh tạo, với chuyển đổi dự phòng nếu một nhà cung cấp suy giảm, nghĩa là đường leo thang của tầng quyết định chỉ là một thay đổi cấu hình chứ không phải một quan hệ nhà cung cấp thứ hai. Đó là một tuyên bố nhỏ, và nó là tuyên bố đúng.

Ai nên áp dụng nó, và ai nên chờ đợi

Hãy áp dụng Laya ngay bây giờ nếu bạn có dữ liệu đã được gán nhãn và một vòng lặp huấn luyện, cùng một bề mặt quyết định đủ ổn định để đáng để chuyên biệt hóa. Sổ tay Kaggle tồn tại chính xác là để bước tinh chỉnh không còn là một dự án nghiên cứu, các checkpoint cơ sở tải trong khoảng hai giây trên CPU, và giấy phép cho phép bạn phát hành kết quả cho mục đích thương mại mà không cần công bố trọng số của mình. Những khối lượng công việc phù hợp nhất là những cái dự án đã đánh giá chuẩn: phân loại phiếu hỗ trợ, xử lý hóa đơn, phân loại sự cố bảo mật, guardrail và kiểm duyệt, và khả năng quan sát dấu vết tác nhân. Giữ các câu hỏi lựa chọn dưới khoảng 20 tùy chọn, hiệu chỉnh nhiệt độ trên dữ liệu giữ riêng của bạn trước khi bạn đưa ngưỡng vào môi trường sản xuất, và kiểm soát dựa trên độ tin cậy, không bao giờ dựa trên act_probability.

Hãy đợi nếu quyết định của bạn cần đúng ngay từ đầu mà không có dữ liệu gán nhãn. Một checkpoint cơ sở nằm dưới đường cơ sở lớp đa số trên benchmark mà nó được công bố để đối chiếu không phải là một công cụ zero-shot, và cách đọc trung thực các con số giữa nhà cung cấp và bên độc lập cho thấy một API quyết định được host và vận hành tốt hiện là lựa chọn zero-shot mạnh hơn. Cũng hãy đợi nếu các tập lựa chọn của bạn lớn và bạn không sẵn sàng tinh chỉnh ngân sách head, nếu điểm số thứ tự của bạn cần đáng tin cậy ngay lập tức, hoặc nếu bạn cần đầu vào hình ảnh, âm thanh hay tài liệu dài — Laya chỉ xử lý văn bản và ngân sách ngữ cảnh của nó mặc định là 512 đến 1.024 token, tức là một tập chọn bằng chứng chứ không phải toàn bộ tài liệu.

Điều sẽ quyết định hạng mục này không phải là các con số độ trễ, vốn đã đủ tốt để không còn là lý lẽ nữa. Mà là liệu một mô hình nhỏ đưa ra xác suất trung thực trên một bề mặt quyết định do bạn định nghĩa, và có thể được huấn luyện lại trên nhãn của chính bạn, có đánh bại việc gọi một mô hình sinh lớn rồi phân tích đầu ra của nó hay không. Laya là một nỗ lực nghiêm túc đầu tiên đáng tin cậy ở phiên bản trọng số mở của câu hỏi đó — và nó mới chỉ vài ngày tuổi, đó là cách đúng đắn để đọc mọi điều ở trên. Phần nền tảng chỉ là điểm khởi đầu, không phải sản phẩm.