Jev so với Kev: Một bản tinh chỉnh trị giá $95 đánh bại Jev trên các phiếu hỗ trợ

Jared Palmer phát hành Kev vào ngày 20 tháng 9 năm 2026, năm ngày sau khi TypeSafe AI ra mắt Jev, và con số quan trọng không nằm trong bảng benchmark. Nó nằm trong README: toàn bộ thứ này tốn khoảng $95 tiền thời gian H100 trên Modal, cộng thêm ba xu cho các lệnh gọi API Jev dùng để tạo dữ liệu đánh giá. Kev là Apache-2.0, có thể tự vận hành, và có ba kích cỡ được xây dựng trên trọng số nền Qwe​n3.5 mở — khoảng 0.8B, 4B và 9B — với bộ chuyển thể LoRA hạng 16 và một pointer head gắn lên phần nền đóng băng thay vì một mô hình quyết định từ đầu. Nó mô phỏng chính xác API quyết định có kiểu của Jev: Choice, Score và Noul, đủ gần để tương thích với SDK Python của chính TypeSafe. Về phần mình, Jev ra mắt ngày 15 tháng 9 năm 2026 với tư cách mô hình System One đóng, chạy dịch vụ của TypeSafe AI, trả về các câu trả lời có kiểu với độ tin cậy đã hiệu chỉnh và hoàn toàn không có văn bản, đồng thời chưa bao giờ công bố kiến trúc, số lượng tham số, năng lực tính toán huấn luyện hay trọng số. Do đó, so sánh này thật ra không hẳn là so sánh mô hình. Đây là phép thử xem bao nhiêu giá trị của Jev vẫn tồn tại khi được tái tạo trong một buổi chiều với cái giá của một chiếc laptop đã qua sử dụng. Cả hai mô hình đều không mới — Jev 1.13 (typesafe/jev-1.13) là bản phát hành ngày 15 tháng 9 và Kev theo sau năm ngày sau — nhưng có một điều về so sánh này đã thay đổi gần đây: vào ngày 24 tháng 9 năm 2026, OrcaRouter đã thêm Jev 1.13 vào danh mục của mình, nên nửa đưa ra quyết định của cặp đôi giờ trả lời trên cùng một khóa với nửa tạo sinh thay vì chỉ thông qua endpoint riêng của nhà cung cấp.

Các benchmark thực sự nói lên điều gì

Điểm đáng chú ý là Kev tiến rất gần, và ở một tác vụ hẹp, nó giành chiến thắng. Trên bộ kiểm thử nguồn mới đã khóa của Kev, Kev-9B đạt 0.837 so với 0.857 của Jev. Trong việc định tuyến phiếu hỗ trợ trên 900 phiếu — bộ scienthoon — Kev-9B đạt 0.952 so với 0.897 của Jev, đây là kết quả đã công bố duy nhất mà bản tái tạo mở vượt qua mô hình mà nó tái tạo. Kev cũng nhỉnh hơn ở một số tác vụ nhận dạng logic. Trên các bộ quyết định SemiF, một bộ có cấu trúc gồm 144 câu hỏi, Jev thắng với tỷ số 0.965 so với 0.917 của Kev-9B.

Những chỗ Kev thua, nó thua thảm hại. Độ chính xác ngoài miền: Kev-8B đạt 79,6% so với 85,7% của Jev. MMLU: 70% so với 90%. MMLU-Pro: 0,515 so với 0,840. Tính toán ngày ở độ chính xác đến ngày: 60% so với 93%. Mô thức này nhất quán — Kev cạnh tranh được ở định tuyến và phân loại hẹp, nơi tập nhãn nhỏ và miền cố định, nhưng nó sụp đổ với bất cứ thứ gì cần kiến thức thế giới hoặc số học nhiều bước, bởi vì một adapter hạng 16 trên một mô hình nền nhỏ đóng băng không phải là nơi kiến thức thế giới trú ngụ.

Mỗi con số trong đó đều đến từ khung đánh giá của chính Kev hoặc từ các trình theo dõi của bên thứ ba, và README của Palmer nói thẳng rằng đây không phải là một so sánh có kiểm soát — dữ liệu huấn luyện của Jev không được công bố, nên không có cách nào để tạo ra một so sánh như thế. README cũng nêu rõ rằng không có đầu ra nào của Jev được dùng để huấn luyện. Cả hai lời miễn trừ trách nhiệm này đều thuộc loại khiến các con số trở nên đáng tin cậy hơn, chứ không phải ít hơn: người công bố so sánh chính là người đang nói cho bạn biết nó không thể chứng minh được điều gì.

Những gì bạn nhận được với $95 mà bạn không thể nhận được từ Jev ở bất kỳ mức giá nào

So sánh chi phí là lúc hai sản phẩm hoàn toàn không còn so sánh được với nhau nữa. Jev có giá 0,042 USD cho mỗi triệu token đầu vào, với đầu ra miễn phí — mức giá trên bảng giá của chính TypeSafe, và cũng là mức giá mà model card của chúng tôi cho typesafe/jev-1.13 ghi — mức giá đó rẻ theo một cách thực sự khó bị đánh bại nếu tính theo từng lần gọi. Đây là một API được lưu trữ, và trang chủ của chính TypeSafe vẫn mô tả nó là đang trong giai đoạn truy cập sớm; đó là cách diễn đạt của chính nhà cung cấp, và danh sách chờ từng nằm đằng sau nó đã không còn — TypeSafe đã gỡ nó vào ngày 21 tháng 9 năm 2026, và thứ mà tài liệu mô hình của họ công bố thay thế hiện nay chính là giới hạn phục vụ: 100.000 token mỗi giây và 40 yêu cầu mỗi giây cho mỗi tài khoản, được điều chỉnh động và có thể thay đổi mà không báo trước. Kev là các trọng số mà bạn tải xuống. Chi phí cận biên của lượt phân loại thứ mười triệu chính là tiền điện của chính bạn.

Có bốn điều suy ra từ đó, và không điều nào trong số chúng liên quan đến điểm benchmark.

• Không có dữ liệu nào rời khỏi hạ tầng của bạn. Jev là một endpoint được lưu trữ; mọi trạng thái bạn gửi đến nó — phiếu hỗ trợ, dòng log, hồ sơ y tế — đều đi đến TypeSafe. Kev chạy trên GPU của chính bạn, điều mà đối với các khối lượng công việc chịu quy định không phải là một sở thích mà là yếu tố quyết định.

• Không giới hạn tốc độ từ bên thứ ba, không truy cập bị hạn chế, không rủi ro bị ngừng hỗ trợ. Tài liệu của chính TypeSafe bảo lưu quyền điều chỉnh những giới hạn đã công bố đó vào bất cứ lúc nào, một điểm khác biệt thực sự so với một checkpoint trên đĩa của chính bạn. Một checkpoint cục bộ không có điều khoản như vậy.

• Bạn có thể tinh chỉnh nó. Kev là một nền tảng để chuyên biệt hóa, và công thức LoRA đã tạo ra nó là công khai. Nếu taxonomy định tuyến của bạn có 40 lớp mà không mô hình tổng quát nào xử lý tốt, bạn có thể huấn luyện trên nhãn của riêng mình — đúng như Palmer đã làm, với chi phí chỉ vài chục đô la thay vì cần cả một đội ML.

• Trần ngữ cảnh thuộc quyền thay đổi của bạn. Ngân sách yêu cầu được ghi nhận của Jev là 64K token, trong đó 32.000 là trạng thái cộng với câu hỏi dài nhất duy nhất, chứ không phải một hạn mức riêng, và các trường Choice có tối đa 255 tùy chọn. Kev kế thừa cửa sổ của Qwen3.5, vốn lớn hơn nhiều, còn giới hạn tùy chọn chỉ là chi tiết triển khai trong ngăn xếp phục vụ của chính bạn, chứ không phải giới hạn của nhà cung cấp.

Điều mà Jev vẫn có mà Kev không có

Tuyên bố về hiệu chuẩn là tuyên bố không chuyển giao một cách trọn vẹn, và đó là trọng tâm trong lời chào hàng của TypeSafe. Jev được huấn luyện bằng một phương pháp mà TypeSafe gọi là RLCD — Học tăng cường cho các Quyết định được Hiệu chuẩn — phương pháp này tối ưu hóa để giá trị độ tin cậy trung thực thay vì để câu trả lời được ưa thích. Mỗi câu trả lời của Jev đều đi kèm với một phân phối xác suất trên các lựa chọn, vì vậy mã của bạn có thể đặt các ngưỡng: hành động tự động ở dải trên cùng, gắn cờ ở giữa, chuyển lên cấp cao hơn ở dưới cùng.

Kev tạo ra cùng dạng thức được định kiểu và cùng các đầu ra xác suất, vì API được thiết kế có chủ đích để tương thích. Việc những xác suất đó có được hiệu chỉnh hay không lại là một câu hỏi khác, và câu trả lời trung thực là chưa ai công bố biểu đồ độ tin cậy cho cả hai mô hình. Một đánh giá hiệu chỉnh riêng đã báo cáo rằng Jev đạt độ chính xác 44.7% với sai số hiệu chỉnh kỳ vọng là 0.325 trên một tác vụ ưu tiên theo chính sách ẩn, điều này cho thấy việc hiệu chỉnh trên Jev thay đổi rõ rệt tùy theo từng tác vụ chứ không phải là một thuộc tính phổ quát — và chính TypeSafe cũng khuyên người dùng nên kiểm tra các ngưỡng độ tin cậy với những ví dụ đã được gán nhãn của riêng họ thay vì tin vào hành vi được công bố.

Điểm khác nữa ở Jev là nó không được huấn luyện trên Qwe​n3.5. Một mô hình 9B với adapter hạng 16 có một trần kiến thức, và khoảng cách MMLU-Pro 0.515 so với 0.840 chính là trần đó được hiển hiện. Nếu quyết định định tuyến của bạn đôi khi đòi hỏi phải biết một thứ là gì, thì kiến trúc lớn hơn chưa được tiết lộ của Jev đang làm công việc mà adapter của Kev không thể.

Độ trễ và hình thái triển khai

Độ trễ đầu-cuối được tài liệu hóa của Jev là 70–500ms, so với 3–329 giây cho các lệnh gọi LLM tiên phong trong so sánh của chính TypeSafe, và việc thêm câu hỏi vào một lệnh gọi hầu như không làm thay đổi con số đó, vì mọi câu hỏi đều được đánh giá song song dựa trên một lần đọc trạng thái dùng chung. Có một đối chứng đo lường được cho tuyên bố của nhà cung cấp đó, và đó là của chúng tôi chứ không phải của TypeSafe: trong suốt bảy ngày mà thẻ mô hình của chúng tôi cho typesafe/jev-1.13 đã phục vụ mô hình, tính từ ngày 24 tháng 9 năm 2026, yêu cầu trung vị mất 151 ms và phân vị thứ 95 là 247 ms. Đó là bản ghi phục vụ của một tuyến, không phải một benchmark. Kev-9B trên H100 sẽ nằm trong cùng bậc độ lớn cho một lượt truyền xuôi, nhưng đây không phải là so sánh cùng loại theo cả hai hướng: một mô hình 9B tự vận hành trên GPU dùng chung khi chịu tải không có cùng độ trễ như một endpoint được lưu trữ, và một endpoint được lưu trữ không giống như một máy chủ trong rack của chính bạn. Điều có thể nói mà không cần rào đón là cả hai đều đủ nhanh để dùng theo từng lượt trong vòng lặp agent, và rằng độ trễ của Kev là một hàm của phần cứng bạn kiểm soát, chứ không phải mức dịch vụ mà bạn được hứa.

Góc nhìn trung thực về bản tái tạo

Việc Kev tồn tại, dù chỉ là vậy, cũng là bằng chứng về Jev, và điều đó đáng được gọi tên. Một mô hình đóng có hành vi có thể được xấp xỉ trong năm ngày với $95, bởi một người, trên các trọng số nền công khai, đang cho bạn biết điều gì đó về việc bao nhiêu lợi thế của nó đến từ kiến trúc và bao nhiêu đến từ dữ liệu huấn luyện và phục vụ. Không vì thế mà suy ra rằng Jev dễ xây dựng — bề mặt API thì dễ sao chép, còn việc hiệu chỉnh thì không. Nhưng điều đó có nghĩa là hào bảo vệ không phải là giao diện, và bất kỳ ai đang đánh giá Jev cho một lộ trình sản xuất nên tính đến khả năng rằng một bản tinh chỉnh của một mô hình nền mở sẽ đưa họ đi phần lớn chặng đường với một phần nhỏ cam kết.

Đó cũng chính là lý lẽ để chưa đặt cược lộ trình sản xuất vào bất kỳ bên nào trong hai bên. Nếu bạn đang đánh giá Jev, tư thế hợp lý là dùng thử mà không cam kết với nó — và kể từ ngày 24 tháng 9 năm 2026, đó là điều bạn có thể làm trên key của chúng tôi: OrcaRouter cung cấp Jev 1.13 dưới dạng typesafe/jev-1.13, được gọi qua cùng endpoint POST /v1/systemone và cùng dạng request không streaming mà nó dùng ở mọi nơi, với context 65.536 token ở mức $0,042 cho mỗi triệu token đầu vào và token đầu ra được tính phí bằng không. Lớp quyết định và lớp sinh giờ nằm trên cùng một tài khoản: hơn 200 mô hình sau một key tương thích OpenAI ở mức giá niêm yết của nhà cung cấp, chuyển tiếp với 0% markup, cùng với failover tự động. Một kiến trúc hai mô hình, trong đó một lớp quyết định rẻ tiền phân loại lưu lượng và một mô hình sinh xử lý phần còn lại, có thể kiểm thử được ở phía chúng tôi mà không cần hợp đồng với nhà cung cấp thứ hai, và nếu thành phần quyết định hóa ra lại bị hiệu chỉnh kém trên dữ liệu của bạn, thì đường failover chính là thứ ngăn điều đó trở thành một sự cố.

Phán quyết

Nếu tác vụ quyết định của bạn hẹp, miền cố định, khối lượng lớn và nhạy cảm về quyền riêng tư, thì Kev là lựa chọn dễ biện minh hơn ở thời điểm hiện tại và khoảng cách không hề nhỏ — bạn sở hữu trọng số, bạn kiểm soát luồng dữ liệu, bạn có thể tinh chỉnh trên nhãn của chính mình, và ở bài toán định tuyến phiếu hỗ trợ, checkpoint 9B đã đánh bại Jev theo chính những con số đã công bố của Jev. Nếu tác vụ quyết định của bạn cần kiến thức thế giới, số học nhiều bước, hoặc một giá trị độ tin cậy mà bạn định tự động hóa dựa vào, thì mô hình lớn hơn chưa được tiết lộ của Jev và quá trình huấn luyện RLCD của nó đang thực sự làm việc, còn adapter của Kev không thể thay thế cho cả hai.

Điều duy nhất mà cả hai so sánh đều không giải quyết được là hiệu chuẩn, vì chưa ai công bố biểu đồ độ tin cậy cho mô hình nào trong hai mô hình. Hãy kiểm tra điều đó trên chính các trường hợp đã gán nhãn của bạn trước khi bạn tự động hóa dựa trên một trong hai — giá trị độ tin cậy là phần của cả hai sản phẩm phải được giành lấy theo từng lần triển khai, còn tốc độ là phần đã trở thành hàng hóa phổ thông.