Gemini Decision 1 vs Laya: 262,144 Token Thuê So Với 512 Token Sở Hữu

Hai mô hình quyết định, hai con số mô tả cùng một lựa chọn thiết kế từ hai đầu đối lập. Gemini Decision 1 nhận đầu vào 262,144 token và tối đa 1,000 câu hỏi dạng văn bản trong một lần gọi, với giá $0.10 mỗi triệu token đầu vào, trên API của chính Google. Laya nhận 512 token văn bản trên checkpoint tiếng Anh của nó, chạy trên T4 mà bạn đã trả tiền, và là Apache-2.0. Đó là hệ số 512 trên cửa sổ và vô cực trên giá, theo những hướng ngược nhau, và không có benchmark nào cứu được phép so sánh vì hai mô hình không được xây dựng cho cùng một công việc.

Convai Innovations đã phát hành Laya vào ngày 18 tháng 9 năm 2026 dưới dạng ba checkpoint trong một kho lưu trữ: một mô hình tiếng Anh ModernBERT-large 421M, một mô hình đa ngôn ngữ mmBERT-base 322M và một biến thể typed-decisions. Google đã phát hành Gemini Decision 1 vào ngày 11 tháng 11 năm 2026 và không công bố trọng số, số lượng tham số hay mô hình nền tảng. Con số duy nhất mà cả hai có thể được đặt cạnh để so sánh là một bảng điểm chỉ có một trong hai — Gemini Decision 1 đạt 66 trên Artificial Analysis Decision Index v2.1, xếp thứ chín trong số mười tám, còn Laya không có trên bảng đó.

Cửa sổ 512 token loại trừ những gì trước bữa sáng

Hãy bắt đầu với ràng buộc, vì nó loại bỏ toàn bộ các danh mục sản phẩm nhanh hơn bất kỳ chỉ số độ chính xác nào.

• Đầu vào chia sẻ — Gemini Decision 1 đọc tối đa 262.144 token bao gồm đầu vào và mọi câu hỏi. Checkpoint tiếng Anh của Laya chỉ đọc 512 token, chấm hết. Checkpoint đa ngôn ngữ mặc định là 1.024 và có thể đẩy lên 8.192 với max_len=8192, khi đó card của chính Convai báo cáo 16 đến 18 trong số 20 yêu cầu tài liệu dài là đúng ở ngữ cảnh lên tới khoảng 4.000 token và “vượt quá mức đó kết quả sẽ thay đổi”.

• Phương thức — Gemini Decision 1 chấp nhận văn bản, hình ảnh, video, âm thanh và PDF trong cùng một yêu cầu. Laya chấp nhận văn bản. Một biểu mẫu yêu cầu bồi thường được quét, bản ghi cuộc gọi hay ảnh sản phẩm không phải là đầu vào cho đến khi có thứ gì đó ở thượng nguồn chuyển đổi nó thành chữ, và việc chuyển đổi đó là một mô hình riêng với chi phí riêng và những lỗi riêng của nó.

• Số câu hỏi mỗi lần gọi — tối đa 1.000 cho Gemini Decision 1, tách biệt với nhau, trong một lượt. Laya trả lời các câu hỏi bạn gửi bằng một trạng thái và tài liệu của chính nó đặt mức trần thực tế khoảng năm mươi lựa chọn cho mỗi câu hỏi lựa chọn trước khi ngân sách token cho mỗi lựa chọn của mô hình trở nên eo hẹp.

• Giá — $0.10 cho mỗi triệu token đầu vào đối với Gemini Decision 1, được Artificial Analysis đo ở mức $345 cho mỗi triệu tác vụ, không có context caching và không có Batch API. Laya là bản tải xuống: khoảng 808 MB cho checkpoint tiếng Anh, không tính phí theo từng lần gọi, và T4 chạy ở khoảng 32,8 mili giây mỗi quyết định.

• Giấy phép và phân phối — trọng số Apache-2.0, không phụ thuộc dịch vụ lưu trữ, và điểm vào pip install laya. Gemini Decision 1 chỉ khả dụng trên Gemini Developer API ở v1beta, với gói miễn phí 200 yêu cầu mỗi phút và danh sách được ghi tài liệu về các khả năng được hỗ trợ và không được hỗ trợ.

Trên bảng điểm có một trong hai thứ này, và đó không phải là một trận hòa.

Điểm 66 của Gemini Decision 1 là tổng hợp của sáu đánh giá có trọng số, 45% trong đó được xây dựng trên dữ liệu riêng tư, được tính điểm bằng độ chính xác trừ đi hình phạt Brier gắn với câu trả lời. Điểm mạnh và điểm yếu của nó sạch một cách bất thường đối với một mô hình trong ngày ra mắt: đứng thứ nhất trong số mười tám trên AA-Omniscience-Decision với 66,3 và thứ nhất trên HLE-MultiChoice với 48,7, nhưng đứng thứ chín trên AA-Paperclip với 56,8 cùng tỷ lệ vượt qua tài liệu theo kiểu được ăn cả ngã về không là 33%, và thứ mười bốn trên When2Call với 80,5. Đứng thứ chín tổng thể, thứ nhất ở nơi kiến thức và việc kiềm chế trả lời được kiểm tra, ở giữa bảng xếp hạng ở nơi việc trích xuất và lựa chọn công cụ được kiểm tra.

Laya không có con số tương đương, và dự án nói rõ lý do trong thẻ của chính nó. Các checkpoint gốc đạt 0,362 zero-shot trên bộ đánh giá typed-decisions — thấp hơn baseline lớp đa số 0,461 và gần mức ngẫu nhiên. Con số nổi bật 0,766 đòi hỏi tinh chỉnh trên tập huấn luyện riêng của chính bộ đánh giá đó. Câu tóm tắt của Convai là câu cần mang theo vào mọi đánh giá: Laya là một nền tảng nhanh để chuyên biệt hóa, không phải một cỗ máy ra quyết định zero-shot.

Đó không phải là một điểm yếu để đem ra chấm điểm so với mô hình của một phòng thí nghiệm tiên phong; đó là một cách mô tả sản phẩm khác. Gemini Decision 1 được bán như một thứ vốn đã giỏi ra quyết định. Laya được bán như một thứ trở nên giỏi với các quyết định của bạn sau khi bạn huấn luyện nó, và khi đó các con số đã công bố của nó — 0,766 so với 0,727 của một sản phẩm anh em trên các quyết định có kiểu, 0,950 so với 0,910 trên AG News — có tính cạnh tranh trên các tác vụ mà nó được huấn luyện để phù hợp.

Hai pipeline mà người ta thực sự xây dựng

Bởi vì các năng lực hầu như không giao nhau, cách diễn đạt trung thực không phải là “cái nào” mà là “bạn đang có công việc nào trong hai công việc này”.

Công việc mà Gemini Decision 1 phù hợp. Một đầu vào dài xuất hiện — một hợp đồng 60 trang, một giờ âm thanh cuộc gọi, một thư mục hóa đơn quét — và nhiều phán đoán phải được gắn vào đó. Bốn mươi quy tắc chính sách trên một ticket trong một lần đọc tính phí duy nhất; một bảng tiêu chí được chấm điểm trên một trăm câu trả lời ứng viên; một quyết định định tuyến phụ thuộc vào bằng chứng nằm rải rác khắp một tài liệu mà không ai muốn chia nhỏ. Tài liệu của chính Google nêu chính xác những điều này: định tuyến yêu cầu, kiểm tra chính sách trên nhiều quy tắc cùng lúc, chấm điểm ứng viên theo bảng tiêu chí, lựa chọn công cụ, phân loại độ trễ thấp trên media trực tiếp. Trần 1.000 câu hỏi và đầu vào đa phương thức chính là toàn bộ lý do sản phẩm tồn tại, và chúng là hai thứ mà Laya không thể làm dù với bất kỳ mức giá nào.

Đây là công việc mà Laya phù hợp. Một trạng thái ngắn gọn và một quyết định duy nhất, ở khối lượng mà chi phí mỗi lần gọi chính là ràng buộc và bộ nhãn do bạn quyết định. Phân loại ticket theo taxonomy của riêng bạn, phân loại ý định, một cổng có/không trước khi một mô hình đắt đỏ chạy. Một encoder 421M trên T4 với 32,8 mili giây gần như miễn phí mỗi lần gọi, và vì không gian câu trả lời được lắp ráp theo từng yêu cầu thay vì được cố định sẵn trong một đầu từ vựng, một schema bạn nghĩ ra chiều nay không cần huấn luyện lại để được chấp nhận — tuy nhiên nó vẫn cần dữ liệu huấn luyện để chính xác.

Sự kết hợp này không có gì lạ: Laya là giai đoạn đầu nhanh, xử lý 80% lưu lượng mà nó được huấn luyện để xử lý, và một bộ chấm điểm lớn được lưu trữ cho những mục cần bằng chứng từ đầu vào dài hoặc phi văn bản. Mô hình đó tốn ít chi phí hơn việc gửi mọi thứ đến Google và hỏng một cách êm ái hơn so với việc chạy một encoder 421M trên một hợp đồng.

So sánh chi phí thực sự dẫn đến đâu

Ở lưu lượng thấp, bài toán kinh tế của Laya vừa không thể đánh bại vừa không có ý nghĩa. Một T4 tốn vài trăm đô la một tháng dù bạn có dùng hay không; một triệu tác vụ Gemini Decision 1 với giá 345 đô la là một mục chi phí mà ai đó phải phê duyệt. Dưới vài trăm nghìn quyết định một tháng, endpoint được host thường chiếm ưu thế chỉ nhờ giờ công kỹ thuật — không có lượt chạy huấn luyện, không có tập nhãn và không có ngăn xếp phục vụ.

Ở khối lượng lớn, phép tính đảo chiều, với một lưu ý còn quan trọng hơn cả điểm giao: chi phí biên của Laya gần bằng không chỉ khi mô hình đã đạt hiệu suất trên tác vụ của bạn. Nếu không, nhãn dữ liệu mới là hóa đơn thật. Tài liệu của Convai nói rõ rằng chính tinh chỉnh mới tạo ra các con số được công bố, vì vậy so sánh trung thực là 345 đô-la cho mỗi triệu tác vụ được host, đối chiếu với một GPU cộng chi phí gán nhãn đủ số ví dụ để đạt mức hiệu chuẩn bạn tin tưởng. Không cái nào trong số đó là đơn giá theo token, và một so sánh giả vờ điều ngược lại chẳng khác gì so giá thuê với một dự án xây dựng.

Sau đó là đặc điểm độ trễ, và đây chính là chỗ hai sản phẩm không còn có thể thay thế cho nhau nữa. Gemini Decision 1 đo được 211 mili giây mỗi tác vụ trên bộ chỉ số — ổn cho một bước định tuyến phía sau tin nhắn khách hàng, chỉ ở mức chấp nhận được cho một vòng lặp từng khung hình. Con số 32,8 mili giây của Laya trên T4 là con số giúp có thể ra quyết định theo từng khung hình và từng lần gõ phím, và đó là lợi thế duy nhất mà không lượng hạ tầng Google nào có thể san lấp, vì nó đến từ việc chỉ có 421M tham số thay vì là một mô hình đa phương thức quy mô tiên phong.

Định tuyến phần không thuộc cả hai

OrcaRouter không cung cấp cả hai mô hình. Laya là trọng số Apache-2.0 do bạn tự chạy, còn Gemini Decision 1 là một endpoint chỉ trả xác suất trên API của chính Google — mô hình quyết định không phải là đích chat-completions, và chúng tôi không liệt kê những gì mình không thể phục vụ. Mô hình quyết định trong danh mục là typesafe/jev-1.14 của TypeSafe, đạt 66.23 trên cùng chỉ số, nếu một lệnh gọi chấm điểm bằng một khóa là điều quan trọng với bạn.

Lệnh gọi thực sự nên nằm sau bộ định tuyến là lệnh mà cả hai mô hình này đều phụ thuộc vào và không mô hình nào thực hiện: bước chuyển đổi. Cửa sổ 512 token của Laya có nghĩa là một mô hình thượng nguồn phải chuyển tài liệu, bản ghi âm hoặc ảnh chụp màn hình thành một trạng thái ngắn trước khi Laya có thể đánh giá nó, và chi phí trên mỗi tác vụ của Gemini Decision 1 bị chi phối bởi lượng ngữ cảnh bạn đưa cho nó. Việc chọn và hoán đổi mô hình thượng nguồn đó là quyết định lặp đi lặp lại trong pipeline này, và đó chính là việc chúng tôi được xây dựng để giải quyết: hơn 200 mô hình phía sau một khóa tương thích OpenAI, giá niêm yết của nhà cung cấp được chuyển tiếp với mức cộng thêm 0,0% để mức cắt giảm từ nhà cung cấp có hiệu lực ngay trong cùng ngày, và tự động chuyển đổi dự phòng khi một nhà cung cấp bị suy giảm. Viết một lần với bộ định tuyến, và cả bộ mã hóa bạn sở hữu lẫn bộ chấm điểm bạn thuê đều luôn có thể thay thế.

Việc cần làm trong tuần này

Nếu đầu vào của bạn dài hơn một trang, chứa bất kỳ nội dung nào không phải văn bản, hoặc cần trả lời nhiều hơn một vài câu hỏi về nó, thì Laya không phải là ứng viên và quyết định sẽ nằm giữa Gemini Decision 1 cùng các đối thủ ngang hàng được lưu trữ của nó về giá và tỷ lệ đạt. Tài liệu của Google liệt kê những gì mô hình hỗ trợ trong một đoạn; hãy đọc trước khi bạn thiết kế dựa trên nó, vì danh sách không được hỗ trợ — không có bộ nhớ đệm, không có xử lý theo lô, không có Flex hoặc Priority, không có tệp phương tiện bên trong hướng dẫn câu hỏi — dài hơn danh sách được hỗ trợ.

Nếu đầu vào của bạn là một câu hoặc một blob JSON ngắn và tập nhãn là của riêng bạn, thì mô hình chạy trên máy chủ là cách tốn kém để làm việc đó. Hãy tải Laya, gán nhãn 500 ví dụ, tinh chỉnh, và kiểm tra hiệu chuẩn trước khi bạn tin vào các độ tin cậy — đó là quy trình mà các tác giả của nó thiết kế cho, và thẻ mô hình của chính họ rõ ràng đến bất thường về khoảng cách giữa checkpoint gốc và checkpoint đã tinh chỉnh.

Điều bạn không nên làm là so sánh 66 với một con số từ thẻ mô hình của Laya. Chúng được tạo ra trên những công cụ khác nhau: một cái là điểm zero-shot thấp hơn baseline đa số, còn cái kia là một tổ hợp có trọng số của sáu đánh giá trên dữ liệu riêng tư. Phép so sánh duy nhất đáng thực hiện là trên các mục đã gắn nhãn của chính bạn, và chỉ một trong hai mô hình này có thể được chạy theo cách đó.