Quyết định 1 của Gemini so với Kev: Một nghìn câu hỏi trong một lần gọi, hay một công thức bạn có thể huấn luyện lại

Dòng Kev của Jared Palmer tốn khoảng 95 USD tiền thời gian H100 trên Modal để huấn luyện, cộng thêm khoảng ba xu cho các lệnh gọi API để lấy dữ liệu đánh giá, và toàn bộ công thức nằm trong kho mã nguồn. Gemini Decision 1 tốn bằng bất cứ thứ gì một phòng thí nghiệm tiên phong chi cho một mô hình mà họ sẽ không mô tả, và thứ bạn nhận được với số tiền đó là một lược đồ yêu cầu: một điểm cuối, tối đa 1.000 câu hỏi có kiểu dữ liệu đối với một đầu vào duy nhất 262.144 token, trả về xác suất đã hiệu chỉnh, không có token đầu ra, 0,10 USD mỗi triệu token đầu vào. Đặt Kev bên cạnh nó thì phép so sánh không thực sự là giữa hai mô hình. Mà là giữa một thiết bị chấm điểm theo lô và một cỗ máy nhỏ mà bạn có thể tháo rời.

Không dự án nào công bố một con số mà dự án kia có thể được chấm điểm đối chiếu, và đó là điều trung thực đầu tiên cần nói. Google không công bố bảng benchmark nào cùng Gemini Decision 1; mọi số liệu hiệu năng trong bài này đều đến từ Artificial Analysis, nơi mô hình đạt 66 trên Decision Index v2.1. Kev hoàn toàn không xuất hiện trên bảng đó. Thay vào đó, thứ Kev công bố là một harness, một bộ kiểm thử bị khóa và tỷ lệ lỗi của chính nó, và những thứ đó không thể đem ra trừ vào bất cứ con số nào.

Điều mà Gemini Decision 1 làm được mà Kev không thể

Hãy bắt đầu với khoảng cách năng lực, vì đây là yếu tố quyết định kiến trúc chứ không phải điểm số. Gemini Decision 1 đánh giá tối đa 1.000 câu hỏi độc lập dựa trên một đầu vào dùng chung trong một lượt truyền xuôi duy nhất. Các câu hỏi không thể thấy nhau, việc thêm hoặc bớt một câu không làm thay đổi các câu còn lại, và đầu vào dùng chung chỉ bị tính phí một lần.

Điều khoản cuối cùng đó chính là sản phẩm. Một phiếu hỗ trợ được kiểm tra dựa trên bốn mươi quy tắc chính sách là một yêu cầu, một lần đọc phiếu, bốn mươi câu trả lời đã được hiệu chỉnh. Trên một mô hình theo từng câu hỏi — mà Kev chính là như vậy, theo nghĩa là phần đầu chấm điểm từng phương án so với câu hỏi trong một hàng — thì cùng bốn mươi lần kiểm tra đó là bốn mươi lượt chạy qua trạng thái, bất kể bạn có gom lô chúng hay không. Chính các số liệu phục vụ của Kev cho thấy chi phí cụ thể: 18,1 mili giây cho sáu câu hỏi trên một trạng thái ngắn trên H100, 12,9 mili giây khi có bộ nhớ đệm, 14,3 GB thường trú. Sáu câu hỏi, không phải một nghìn.

Bề mặt đầu vào khác biệt theo cùng một cách:

• Phương thức — Gemini Decision 1 đọc được văn bản, hình ảnh, video, âm thanh và PDF; Kev đọc văn bản. Bản ghi cuộc gọi hoặc biểu mẫu đã quét là vấn đề tiền xử lý đối với Kev và là đầu vào gốc đối với Gemini Decision 1.

• Ngữ cảnh — 262.144 token cho Gemini Decision 1 trên toàn bộ đầu vào và câu hỏi; Kev phục vụ tối đa 65.536 token, với ít nhất 8.192 token cho mỗi câu hỏi nhưng chỉ xác thực tối đa 8.192 token, và thẻ của nó ghi đúng như vậy.

• Không trả lời — Gemini Decision 1 trả về các xác suất được giới hạn trong khoảng 0,01–0,99 cùng một trường độ tin cậy, nên câu trả lời có độ tin cậy thấp vẫn hiển thị mà không cần một tùy chọn riêng. Kev trả về softmax trên các tùy chọn bạn cung cấp, nghĩa là việc không trả lời chính là tùy chọn mà bạn đặt tên cộng với một ngưỡng bạn thiết lập.

• Trọng số — không có cho Gemini Decision 1; một endpoint được host trên Gemini Developer API ở v1beta, với gói miễn phí 200 yêu cầu mỗi phút và 10.000 mỗi ngày. Apache-2.0 cho Kev, với bộ điều hợp LoRA hạng 16 trên nền Qwen3.5 đóng băng và một pointer head, ở các kích cỡ 0.8B, 4B và 9B.

Điều mà Kev làm được mà Gemini Decision 1 không thể

{{1}}Kev{{/1}} cho phép bạn thay đổi mô hình. Không phải thay đổi câu lệnh (prompt) theo cách khác — mà là huấn luyện lại hành vi ra quyết định trên nhãn của chính bạn, với một khoản tiền bạn có thể đưa vào báo cáo chi phí.

Cách xây dựng này được cố ý làm khiêm tốn: một phần nền Qwen3.5 đóng băng, một adapter hạng 16 với khoảng 33,8 triệu tham số huấn luyện được, và một đầu con trỏ nhỏ chấm điểm token kết thúc của từng lựa chọn so với token cuối cùng của câu hỏi. Vì phần nền vẫn đóng băng, chi phí biên cho một miền quyết định mới chỉ ở cỡ adapter, chứ không phải cỡ mô hình nền. Bạn có thể giữ một phần nền trong bộ nhớ và hoán đổi adapter theo từng miền — một hình thái triển khai mà không endpoint được lưu trữ nào thể hiện được.

Những gì Kev công bố về chính mình đủ cụ thể để có thể tranh luận, và điều đó hiếm hơn mức đáng lẽ phải thế:

• Transfer-v4, ngoài miền bị khóa — độ chính xác 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 bộ dữ liệu giữ lại, 3.089 câu hỏi — độ chính xác 0,690, ECE 0,029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro với mười lựa chọn — 0.565.

• Số học ngày tháng — 0,65 ở độ chính xác theo ngày, được tác giả gọi là lĩnh vực yếu nhất, với một cờ tiền xử lý được đưa ra như một giải pháp khắc phục một phần và không có tuyên bố đo lại nào.

Đó là các phép đo của chính tác giả trên bộ khung đánh giá của chính tác giả, và thẻ cho biết hiệu chuẩn là một nhiệt độ trong phân phối duy nhất, nên độ phủ suy giảm khi ra ngoài miền và thứ tự lựa chọn có thể làm đảo một câu trả lời. Đó là một tự đánh giá đáng tin cậy, không phải một kết quả đã được kiểm toán. Dù vậy, đây vẫn là một thang đo mà bạn có thể thử tái tạo ngay tối nay, điều mà bạn khó có thể nói được với hầu hết các con số của nhà cung cấp trong hạng mục này.

Tại sao hai con số trên bàn không bao giờ gặp nhau

Cám dỗ là đặt độ chính xác chuyển giao 0,838 của Kev bên cạnh con số 66 của Gemini Decision 1 và tuyên bố người thắng cuộc. Hãy cưỡng lại điều đó, vì ba lý do.

Các công cụ đo những thứ khác nhau. Decision Index chấm điểm độ chính xác trừ đi mức phạt Brier cho độ tin cậy gắn với câu trả lời, được tổng hợp qua sáu đánh giá, 45% trong đó được xây dựng trên dữ liệu riêng tư. Con số transfer-v4 của Kev là độ chính xác thuần trên một tập đã khóa do tác giả tập hợp, với Brier và ECE được báo cáo bên cạnh thay vì gộp vào con số tiêu đề.

Các tổ hợp nhiệm vụ không giống nhau. Thành phần lớn nhất của chỉ số, AA-Paperclip chiếm 30%, là mười lăm câu trả lời kiểu được ăn cả ngã về không cho mỗi tài liệu — một dạng mà bài kiểm tra Kev's documents-v1 xấp xỉ nhưng không tái tạo được.

Và mẫu số khác nhau. Điểm chỉ số là một tổ hợp có trọng số trong đó việc không trả lời được thưởng; con số độ chính xác là tỷ lệ các câu hỏi mà phương án có xác suất cao nhất là đúng. Một mô hình có thể vượt một mô hình khác ở chỉ số này và kém hơn ở chỉ số kia mà không cái nào sai.

Vậy nên phát biểu có thể bảo vệ được thì hẹp: Gemini Decision 1 nằm ở giữa bảng trong số các mô hình quyết định được host, với 66 điểm, đứng thứ chín trong mười tám, đứng nhất ở các thành phần kiến thức và có tỷ lệ đạt tài liệu all-or-nothing là 33%; Kev là một adapter cỡ 4B mà tác giả báo cáo có độ hiệu chuẩn trong miền mạnh và yếu về số học ngày tháng. Bất kỳ ai nói với bạn rằng một trong hai tốt hơn đều đang ngoại suy.

Chi phí thực tế để vận hành mỗi thứ

Chi phí kinh tế của Gemini Decision 1 rất dễ tính toán và khó chấp nhận khi ở quy mô lớn. Với 0,10 USD mỗi triệu token đầu vào, Artificial Analysis đo được 345 USD mỗi triệu tác vụ — mô hình đắt nhất trong nửa trên của bảng xếp hạng, không có bộ nhớ đệm ngữ cảnh, không có Batch API và không có suy luận Flex hay Priority. Đầu vào dùng chung lặp lại vẫn được tính đầy đủ trong mọi yêu cầu. Một lượt quét hàng đêm trên một triệu ticket sẽ đọc lại tài liệu chính sách một triệu lần.

Bài toán kinh tế của Kev có hình dạng ngược lại: gần như miễn phí mỗi lần gọi sau khi đã trả tiền cho GPU, với chi phí thực nằm ở số giờ bạn bỏ ra để xây dựng nhãn, huấn luyện adapter và kiểm định chúng. Con số ~95 USD của Palmer bao gồm lượt chạy huấn luyện, không phải việc gán nhãn. Nếu các quy tắc định tuyến của bạn khác với một generic judge — và chúng khác thật — thì chi phí gán nhãn đó đang mua cho bạn thứ mà không mô hình quyết định hosted nào bán: một bộ chấm điểm mã hóa chính sách của bạn thay vì xấp xỉ nó.

Có một chi phí thứ ba quyết định nhiều dự án hơn cả hai mức giá: tốc độ lặp. Các giới hạn của Gemini Decision 1 được tài liệu hóa và cố định, nên thay đổi hành vi chỉ là viết lại prompt và chạy lại bộ đánh giá của bạn. Còn Kev's là huấn luyện lại adapter, rẻ về tính toán nhưng không rẻ về quy trình. Với một đội chỉ có một miền và khối lượng lớn, việc huấn luyện lại sẽ đáng công. Với một đội có mười hai miền và không có kỹ sư ML, endpoint được host thắng về giờ công kỹ sư ngay cả ở mức 345 USD mỗi triệu tác vụ.

Nếu quy trình xung quanh quyết định là nơi bạn thực sự dành thời gian

OrcaRouter không cung cấp cả hai mô hình. Kev là trọng số Apache-2.0 do bạn tự chạy, còn Gemini Decision 1 là một endpoint chỉ trả xác suất trên API riêng của Google — cả hai đều không phải đích chat-completions, và chúng tôi không giả vờ ngược lại. Mô hình quyết định trong danh mục của chúng tôi là typesafe/jev-1.14 của TypeSafe, đạt 66.23 trên cùng bảng xếp hạng, dành cho các nhóm muốn có một lệnh chấm điểm trên cùng khóa như mọi thứ khác.

Nửa phần pipeline mà chúng tôi được xây dựng để phục vụ là phần nằm trước bước ra quyết định: tạo câu trả lời ứng viên, viết rubric, tóm tắt ticket trước khi nó được chấm điểm. Đây là khâu bạn thay đổi mô hình thường xuyên nhất và là nơi hợp đồng với nhà cung cấp thứ hai tốn kém nhất, đồng thời là khâu chạy qua một endpoint duy nhất có hơn 200 mô hình, giá niêm yết của nhà cung cấp được chuyển nguyên với mức markup 0%, và tự động chuyển đổi dự phòng khi một nhà cung cấp bị suy giảm hiệu năng. Nếu bạn đang cân nhắc Kev so với một bộ chấm điểm được vận hành dưới dạng dịch vụ, hãy chạy nửa phần soạn thảo qua chúng tôi và giữ quyết định chấm điểm có thể đảo ngược — bằng cách đó, lựa chọn bạn đưa ra hôm nay về một adapter $95 sẽ không trở thành việc phải di chuyển sau này.

Quyết định giữa hai quyết định

Chọn Gemini Decision 1 khi quyết định là một đầu vào và nhiều quy tắc, khi đầu vào là âm thanh hoặc video hoặc PDF, khi một nghìn bước kiểm tra trong một lượt tính phí duy nhất thay đổi mô hình chi phí của bạn, và khi bạn bằng lòng tin vào một phép hiệu chuẩn mà bạn không tự khớp. Hãy chấp nhận rằng bạn đang mua một hộp đen với mức giá đầu vào của phòng thí nghiệm tiên phong mà không có chiết khấu theo lô.

Chọn Kev khi quyết định chỉ gồm một đầu vào và vài câu hỏi được nhập, khi văn bản đủ ngắn để xác thực trong 8,192 token, khi chính sách của bạn đủ cụ thể đến mức một trình đánh giá tổng quát xấp xỉ nó một cách kém cỏi, và khi việc sở hữu artefact quan trọng hơn việc sở hữu endpoint. Hãy chấp nhận rằng giờ đây bạn chịu trách nhiệm về việc hiệu chỉnh, phép tính ngày tháng và độ nhạy theo thứ tự tùy chọn mà tấm thẻ cảnh báo bạn.

Điều mà phép so sánh này không nên làm là tạo ra một bảng xếp hạng. Không có công cụ đo chung, không có bộ tác vụ chung và không có việc bên thứ ba tái tạo lại một trong hai con số. Điều bạn có thể làm trong tuần này là đưa 200 mục đã gán nhãn của riêng bạn qua cả hai và so sánh tỷ lệ đạt cùng các đường cong độ tin cậy — công việc của một buổi sáng sẽ cho bạn biết nhiều hơn bản cập nhật bảng xếp hạng tiếp theo.