Thẻ tiêu đề ghi 'Jev: Một mô hình từ chối viết' với phụ đề 'Mô hình quyết định của TypeSafe AI trả về câu trả lời có kiểu thay vì văn bản', ba thẻ có nhãn cho các primitive Choice, Score và Noul, và một khối số liệu hiển thị 777 phán đoán trong chưa đầy 0,7 giây với chi phí $0,042 cho mỗi triệu token đầu vào.
Guides & Insights

Jev từ chối viết dù chỉ một chữ: Mô hình quyết định của TypeSafe AI làm gì, và những gì các cuộc kiểm toán đã phát hiện kể từ đó

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Jev 1.13 (typesafe/jev-1.13) là mô hình đầu tiên từ TypeSafe AI mà một độc giả có khả năng gặp qua bảng chi phí hơn là qua hộp chat, bởi vì không có hộp chat nào cả. Được ra mắt vào ngày 15 tháng 9 năm 2026 bởi Diogo Almeida — một đồng tác giả của bài báo InstructGPT, công trình đã khiến ChatGPT hành xử như một trợ lý — Jev hoàn toàn không sinh văn bản. Nó nhận một mẩu trạng thái (một email, một dòng log, một phiếu hỗ trợ, một khối JSON tọa độ trò chơi) cộng với một danh sách câu hỏi có kiểu, và trả về câu trả lời có kiểu: một lựa chọn từ một tập hợp bạn cung cấp, một điểm số trên một thang đánh giá, hoặc một xác suất có/không, mỗi câu trả lời mang giá trị độ tin cậy riêng. Không văn xuôi, không mã, không giải thích. Lập luận bán hàng của TypeSafe là chính sự hẹp này là sản phẩm, vì nó đạt được tốc độ và mức giá mà một mô hình sinh không thể sánh bằng — nhanh hơn 20 đến 200 lần và rẻ hơn 40 đến 400 lần so với "các LLM tương đương" trong chính tài liệu ra mắt của công ty, ở mức $0.042 mỗi triệu token đầu vào với đầu ra được tính phí bằng 0. Nó đã chính thức khả dụng kể từ ngày 21 tháng 9 năm 2026, khi TypeSafe gỡ bỏ danh sách chờ và bắt đầu tặng cho các tài khoản mới $5 tín dụng — quy đổi của chính nhà cung cấp, trị giá khoảng 120 triệu token đầu vào theo giá niêm yết. Mô hình này có trước tin tức trong bài viết này. OrcaRouter đã thêm typesafe/jev-1.13 vào danh mục của mình vào ngày 24 tháng 9 năm 2026 và giờ định tuyến nó trên cùng một khóa như các mô hình sinh mà nó được thiết kế để đứng cạnh, và đó là thay đổi đáng biết trong hôm nay. Điều thứ hai mà trang này giờ phải tính đến không phải của TypeSafe: RSI-Jev, một dự án mở của bên thứ ba xây dựng các mô hình ra quyết định System One kiểu Jev, với bản phát hành hiện tại là 4B RSI-Jev v6.0-VL, ngày 6 tháng 10 năm 2026. Nó cố ý sao chép định dạng truyền tải của Jev, và dòng giấy phép của chính nó nói rõ rằng nó không trực thuộc TypeSafe AI — nó không phải là Jev của TypeSafe, không phải trọng số của TypeSafe, và không phải cùng một mô hình dưới một cái tên ngắn hơn. Phần cuối của bài viết này nằm ở đúng chỗ của nó, vì đó là câu trả lời sắc bén nhất hiện có cho câu hỏi rằng bao nhiêu phần trong vị thế của Jev là một lợi thế cạnh tranh bền vững.

Con số hữu ích nhất được công bố trong 48 giờ đầu tiên không phải là một trong số đó. Nó đến từ Every, khi trưởng bộ phận đánh giá của công ty này chạy Jev trên 27 bài viết đã xuất bản của Every cùng 10 bài đối chiếu theo phong cách AI, đặt 21 câu hỏi cho cả 37 tài liệu cùng một lúc: 777 phán đoán trong chưa đầy 0,7 giây, với chi phí khoảng một phần tư xu. Một thử nghiệm thứ hai, do CEO của Every thực hiện, đưa 12 đoạn văn tổng hợp — sáu đoạn sạch, sáu đoạn có lỗi được cố ý cài vào — đối chiếu với bốn kiểm tra viết. Jev trả về kết quả ở mức trung vị 0,35 giây mỗi đoạn, so với 8,83 giây đối với Claude Fable 5.1 ở chế độ nỗ lực cao: nhanh hơn khoảng 25 lần với chi phí bằng khoảng 1/580. Nó phát hiện sáu trong số bảy lỗi được cài vào. Claude Fable 5.1 phát hiện cả bảy. Phán quyết của Every là “tốt nhưng chưa hoàn hảo”, và đó là cách đọc trung thực trong một dòng về Jev từ thử nghiệm độc lập đầu tiên được công bố — các tuyên bố về tốc độ và chi phí vẫn đứng vững khi tiếp xúc với bên thứ ba, tuyên bố về độ chính xác thấp hơn một bậc so với mức tiên tiến nhất, và mẫu đủ nhỏ để không ai nên rút ra kết luận sản xuất từ đó — một khoảng cách mà các đánh giá sau này đã phần nào thu hẹp, theo cả hai hướng.

Một lưu ý về loại bằng chứng mà bài viết này đang sử dụng, bởi vì các tầng đã thay đổi nhanh chóng đối với một mô hình mới như vậy. Jev là có thật và có thể gọi được: có một endpoint đã được ghi tài liệu, một SDK Python, một bí danh mô hình, và một mức giá đã được công bố. Việc ra mắt được nhà cung cấp công bố, không phải bị rò rỉ, và không ai phải đoán xem nó có tồn tại hay không. Nhưng mọi tuyên bố về hiệu năng mà TypeSafe đưa ra làm điểm nhấn đều là của chính TypeSafe, kiến trúc chưa được công bố, trọng số chưa được phát hành, và bảng điều khiển benchmark đằng sau tiêu đề 20-200x chỉ là một tập hợp các đánh giá quy trình nội bộ chứ không phải một bảng xếp hạng công khai. Kiểm thử độc lập không còn là mảnh ghép còn thiếu như ngày ra mắt nữa — hiện đã có ít nhất ba đánh giá bên ngoài riêng biệt, bao gồm một lần chạy đăng ký trước và một nghiên cứu được xây dựng riêng để kiểm tra Jev trên dữ liệu đầu vào mà nó không thể đã từng thấy — và chúng đồng ý với nhà cung cấp về tốc độ trong khi kể một câu chuyện phức tạp hơn về độ chính xác và độ hiệu chuẩn. Bài viết này giữ số liệu của nhà cung cấp, số liệu độc lập và các câu hỏi mở tách bạch rõ ràng thay vì lấy trung bình chúng thành một sự đồng thuận không hề tồn tại.

Những gì TypeSafe thực sự đã phát hành

Jev là mô hình đầu tiên trong cái mà TypeSafe gọi là các mô hình System One — cái tên vay mượn từ nửa nhận thức nhanh nhạy, trực giác của Daniel Kahneman, trái ngược với chế độ chậm hơn, có suy xét mà các chatbot mô phỏng. Sự đối lập mà TypeSafe đưa ra là với mô thức tiêu chuẩn: ép một trình tạo văn bản phát ra đầu ra có cấu trúc rồi phân tích cú pháp văn bản đó trở lại thành thứ mà mã có thể tin cậy. Jev bỏ qua hoàn toàn văn bản. Tài liệu của chính TypeSafe khẳng định thẳng thừng: "Các mô hình ngôn ngữ lớn (LLMs) được thiết kế để tạo ra văn bản cho con người đọc. Khi bạn cần một mô hình đưa ra phán đoán mà mã của bạn sẽ tiêu thụ, điều đó tạo ra sự không khớp."

Bề mặt đầu ra là ba nguyên thuỷ, và không có gì khác. Mọi câu hỏi bạn đặt ra đều phải là một trong số đó:

• Lựa chọn — chọn một tùy chọn từ danh sách bạn cung cấp, trả về tùy chọn đã chọn cùng xác suất cho từng ứng viên và một độ tin cậy. Các tùy chọn bị giới hạn ở 255 mỗi trường; vượt quá mức đó, TypeSafe mô tả một mô thức hai giai đoạn là chấm điểm từng ứng viên một cách độc lập rồi sau đó chọn.

• Điểm số — đặt trạng thái lên một thang đánh giá có thứ tự, trả về mức, xác suất cho từng mức và độ tin cậy. Rủi ro rời bỏ trên thang điểm 0-1 là ví dụ trong tài liệu.

• Noul — một từ ghép của “no” và “null” — một tuyên bố có/không duy nhất, trả về xác suất đã hiệu chỉnh rằng nó đúng.

A capture of TypeSafe's own documentation introduction page, showing the sentence 'Jev is TypeSafe's flagship model and the first System One model', a table of the three primitives Choice, Score and Noul with what each returns, and the line that adding questions to a call barely changes the response time.

Điều thú vị không nằm ở bất kỳ một primitive đơn lẻ nào mà ở cách chúng kết hợp với nhau. Cả ba đều có thể được trộn trong một lệnh gọi API duy nhất, và mọi câu hỏi đều được đánh giá song song dựa trên một lần đọc chung cùng một trạng thái. Tài liệu của TypeSafe nói rằng việc thêm câu hỏi “hầu như không thay đổi thời gian phản hồi,” và các bài kiểm thử độc lập xác nhận điều đó trên thực tế — 21 câu hỏi trên 37 tài liệu vẫn nằm trong cùng 0,7 giây. Đó chính là điều khiến giá trên mỗi phán đoán sụp giảm: bạn không trả tiền cho một lần sinh dài hơn, mà trả tiền cho một lượt xử lý.

Phong bao thực tế, như được tài liệu hóa và như những người dùng đầu tiên báo cáo: ngân sách yêu cầu khoảng 64.000 token, trong đó khoảng 32.000 dành cho trạng thái cộng với câu hỏi dài nhất — tài liệu của TypeSafe lưu ý rằng độ chính xác thay đổi khi trạng thái tăng lên; không có đầu vào hình ảnh hay âm thanh khi ra mắt; và hình dạng yêu cầu lẫn phản hồi không theo quy ước chat-completions, nên một client hiện có không thể chỉ trỏ URL gốc của nó vào đó. Quyền truy cập không còn là rào cản vào ngày 21 tháng 9 năm 2026, khi TypeSafe gỡ bỏ danh sách chờ và mở Jev cho bất kỳ ai có tài khoản; tài khoản mới bắt đầu với $5 tín dụng mà nhà cung cấp nói rằng tương đương khoảng 120 triệu token đầu vào theo giá niêm yết. Trang chủ của chính TypeSafe vẫn mô tả Jev là đang trong giai đoạn truy cập sớm, một nhãn mà tài liệu của nó không lặp lại: tài liệu công bố các giới hạn tự điều chỉnh động là 100K token mỗi giây và 40 yêu cầu mỗi giây thay vì một cổng kiểm soát truy cập. Sân chơi trên trình duyệt vẫn ở đó song song với API, và jev-latest vẫn là bí danh của mô hình.

RLCD có nghĩa là đã hiệu chuẩn, không phải là ưu tiên

TypeSafe huấn luyện Jev bằng một phương pháp mà họ gọi là RLCD — Học tăng cường cho các Quyết định được Hiệu chỉnh, theo tài liệu của chính công ty. Từ viết tắt này còn quá mới đến mức các bài đưa tin ban đầu đã mở rộng nó một cách không nhất quán, nên đáng để xác định chính xác nó thực sự đặt tên cho điều gì, bởi vì sự phân biệt ấy chính là toàn bộ luận điểm nghiên cứu.

RLHF tối ưu hóa cho đầu ra được con người ưa thích. RLVR tối ưu hóa cho tính đúng đắn có thể kiểm chứng, kiểu vượt qua ca kiểm thử. RLCD tối ưu hóa cho hiệu chuẩn: một mô hình nói nó tự tin 70% thì nên đúng khoảng 70% số lần. Đó là một mục tiêu khác với việc đúng, và đó là lý do mọi câu trả lời của Jev đều đi kèm một phân phối xác suất thay vì chỉ một câu trả lời. Kiểu thất bại dự kiến là một mô hình biết khi nào nó không biết, để mã của bạn có thể quyết định phải làm gì với điều đó.

Điều đó mang lại cho bạn trên thực tế là một bề mặt điều khiển. Mẫu được tài liệu hóa là ba dải tin cậy — hành động tự động ở dải trên cùng, gắn cờ hoặc xác nhận ở dải giữa, chuyển cho con người ở dải dưới cùng — với các ngưỡng nằm trong mã của bạn thay vì trong mô hình. Việc các dải này có trung thực hay không là một câu hỏi thực nghiệm về dữ liệu của bạn, và đó là câu hỏi mà TypeSafe nói rõ rằng bạn phải tự trả lời, lưu ý rằng các ngưỡng tin cậy tùy thuộc vào từng trường hợp sử dụng và nên được kiểm chứng dựa trên các ví dụ đã gán nhãn của chính bạn. Chỉ dẫn đó là câu quan trọng nhất trong tài liệu, và điều mà tài liệu không chứa là bất kỳ tường thuật bên ngoài nào về việc liệu phương pháp đằng sau những dải đó có làm đúng như tên gọi của nó hay không. Từ tuần này, đã có một phần như vậy, và đó là một bản tái dựng chứ không phải một sự tiết lộ: bài phân tích hậu kỳ RL của RSI-Jev xây dựng một bản tái dựng có kiểm soát gồm bảy nhánh từ những phỏng đoán đã công bố về RLCD — một lát cắt 13,8k câu hỏi, 1.500 bước mỗi nhánh — và công bố điều đã xảy ra với từng nhánh, kể cả những nhánh thất bại. Mọi phần thưởng RL trong đó đều làm hiệu chuẩn thô tệ đi; một head tin cậy hậu nghiệm rẻ đã khôi phục được tất cả, trừ nhánh proper-score; và không có mục tiêu nào cải thiện được thứ tự của độ tin cậy. Nó kết thúc bằng việc liệt kê ba thành phần mà RLCD phải chứa, được diễn đạt như một giả thuyết về cách phương pháp này có thể hoạt động chứ không phải như một tuyên bố về nội bộ của TypeSafe, thứ mà chưa ai ngoài công ty từng thấy. Hãy đọc nó như bằng chứng bên thứ ba đầu tiên đặt cạnh những tuyên bố hiệu chuẩn được sắp bên dưới, chứ không phải như một cái nhìn vào bên trong chúng; nền tảng của chính phương pháp nằm trong bài giải thích RLCD Explained của chúng tôi.

Những con số, được sắp xếp theo người tạo ra chúng

Đây là chỗ mà phần lớn các bài viết về Jev trở nên mơ hồ, nên thật đáng để nói rõ ràng về nguồn gốc. Đây là những gì đến từ nhà cung cấp, những gì đến từ những người kiểm thử độc lập, và những gì đơn giản là chưa biết.

• Do nhà cung cấp báo cáo, chưa được tái lập — những tuyên bố nổi bật về tốc độ và chi phí. Độ trễ đầu-cuối 70-500ms so với 3-329 giây đối với các lệnh gọi LLM tiên tiến; nhanh hơn 20-200 lần và rẻ hơn 40-400 lần; một kết quả quy trình trong trường hợp tốt nhất được quảng cáo là nhanh hơn 193,6 lần và rẻ hơn 444,6 lần. TypeSafe thừa nhận đây là những con số trong trường hợp tốt nhất chứ không phải phổ quát.

• Do nhà cung cấp báo cáo và có thể kiểm chứng trên bảng giá — 0,042 đô la cho mỗi triệu token đầu vào, tức 42 đô la cho mỗi tỷ token, với đầu ra miễn phí. Lý do đầu ra miễn phí nằm ở cơ chế vận hành chứ không phải ở chiêu khuyến mãi: không có giải mã tự hồi quy để đo đếm, nên không có token đầu ra nào để tính tiền. Để hình dung quy mô, cùng tài liệu ra mắt đó đặt mức giá đầu vào điển hình cho các mô hình tiên tiến ở khoảng 0,20 đến 10 đô la mỗi triệu token, với giá đầu ra thường gấp khoảng năm lần giá đầu vào.

Được nhà cung cấp báo cáo, từ một benchmark nội bộ — bảng điều khiển quy trình làm việc của chính TypeSafe, 711 trường hợp trong bốn tác vụ, với các câu trả lời tham chiếu được lấy từ đánh giá trung bình của GPT-6 Astra và Claude Fable 5.1 thay vì đáp án đúng. Trên bảng điều khiển đó, Jev đạt mức tổng hợp 67.8% so với 74.1% của đối thủ so sánh tốt nhất. Chi tiết: sự cố bảo mật 61.7% so với 66.2% của Opus 5; khả năng quan sát dấu vết tác nhân 71.6% so với 76.6%; xử lý hóa đơn 61.8% so với 79.1%; dịch vụ khách hàng 76.0% so với 78.3%. Jev thắng ở cột chi phí và độ trễ trên biểu đồ đó và thua ở cột độ chính xác. Bản thân bảng điều khiển ghi nhận khả năng thiên lệch của hệ thống đánh giá, và TypeSafe đã nói rằng họ cố ý bỏ qua các bảng xếp hạng công khai để thay bằng các đánh giá một lần gắn với các bản cập nhật sản phẩm.

• Được đo lường độc lập, mẫu nhỏ — bài kiểm tra bên ngoài đầu tiên, lần chạy Every được mô tả ở trên: 777 phán đoán trong dưới 0,7 giây với chi phí khoảng một phần tư xu; 1.709 phán đoán qua 11 thí nghiệm với tổng chi phí dưới một xu; nhanh hơn khoảng 25 lần và chi phí bằng 1/580 so với Claude Fable 5.1 trên một tác vụ phân loại 12 đoạn, đồng thời bỏ sót một trong bảy lỗi được cài sẵn mà bên so sánh đã phát hiện. Kết luận của chính Every là họ muốn có một đợt kiểm tra độ chính xác kỹ lưỡng hơn nhiều trước khi đưa nó vào sản xuất — một đợt kiểm tra mà một phần đã đến, ở bên dưới.

• Được đo lường độc lập, đăng ký trước và có quy mô lớn hơn — một nhóm bên ngoài đã công bố đánh giá đăng ký trước vào ngày 20 tháng 9 năm 2026, cố định 21 thí nghiệm và 50 dự đoán trước khi một yêu cầu duy nhất được gửi đi, trên 5.721 lượt gọi. Trên một tập tham chiếu 400 mục, Jev đạt 95,9% zero-shot, so với 77,2% đối với các quy tắc từ khóa viết tay và 66,0% đối với một đường cơ sở TF-IDF có giám sát. Cùng nghiên cứu đó ghi lại kiểu thất bại quan trọng hơn con số tiêu đề: khi các mô tả tiêu chí trong câu hỏi sai, độ chính xác sụp đổ xuống 16,7%, dưới mức sàn ngẫu nhiên 25% cho nhiệm vụ đó. Các tác giả tiết lộ thiên lệch của chính họ theo hướng ngược lại — 18 trong số 21 dự đoán bị bác bỏ của họ đều sai theo cùng một cách, vì họ cứ liên tục dự đoán thất bại và cứ liên tục sai.

• Được đo lường độc lập, ngoài phân phối — một nghiên cứu hiệu chuẩn riêng, công bố ngày 19 tháng 9 năm 2026, đã tạo 900 phiếu hỗ trợ được sinh theo quy tắc mà nhãn của chúng phụ thuộc một phần vào chính sách cấp bậc tài khoản nội bộ không hề xuất hiện trong văn bản, nên không mô hình nào có thể đã ghi nhớ nó, và chạy chúng song song với 3.721 mục chuẩn công khai. Ở nhánh tổng hợp, sai số hiệu chuẩn kỳ vọng của Jev là 0,107, so với mức sàn nhiễu 0,024 mà các tác giả tính cho một mô hình được hiệu chuẩn hoàn hảo — gấp khoảng 4,4 lần mức sàn. Trên các bộ đánh giá chuẩn công khai, cùng nghiên cứu đó đo được từ 0,024 đến 0,032. Khoảng cách giữa hai khoảng đó chính là phát hiện.

• Không rõ — kiến trúc. Không có bài báo nào khi ra mắt, không có số lượng tham số, không công bố compute huấn luyện, không có trọng số. TypeSafe cho biết các chi tiết đang được giữ kín "trong lúc này", có thể sẽ có bài báo sau. Làn sóng tái lập giữa tháng 9 đã không thay đổi điều này: những dự án đó tái dựng hành vi bằng kiến trúc của riêng họ, và không dự án nào trong số đó tiết lộ cách mô hình của TypeSafe hoạt động. Các checkpoint mở mà một dự án bên thứ ba hiện công bố là của chính dự án đó, không phải bản phát hành của TypeSafe, và chúng không thay đổi gì về những câu ở trên — bản tổng kết đầy đủ về những gì nhà cung cấp đã và chưa công bố nằm trong Jev có mã nguồn mở không?.

A single-column scoreboard titled 'Jev - the scoreboard' listing six dimensions: latency 70-500 ms claimed, price $0.042 per million input with output free, accuracy 67.8% on the vendor dashboard, independent test 6 of 7 defects caught, context about 32K tokens with no image input, and weights not released.

Quy luật xuyên suốt các bậc đó rất nhất quán, và đó không phải là quy luật mà tiêu đề 200x gợi ý. Mọi con số độc lập lẫn của nhà cung cấp đều đồng tình rằng Jev rẻ hơn và nhanh hơn một cách đáng kể. Không có con số nào ở đâu, kể cả của chính TypeSafe, cho thấy nó chính xác hơn các mô hình tiên tiến mà nó được định giá để cạnh tranh — trên bảng điều khiển của chính nhà cung cấp, nó nằm quanh mức của một mô hình tầm trung tốt. Điều mà các công trình bên ngoài mới hơn bổ sung là đường nét cho câu chuyện độ chính xác, chứ không phải một tiêu đề mới. Ở những loại tác vụ nó từng thấy trước đây, nó có thể trông rất mạnh: 95,9% zero-shot trên bộ tham chiếu 400 mục của chính nhóm đã đăng ký trước, vượt xa các đường cơ sở từ khóa và TF-IDF mà nó được đo so với. Với đầu vào được tạo ra để khác biệt với mọi thứ nó từng thấy, độ tin cậy của nó mất điểm tựa. Phép so sánh còn đứng vững vẫn không phải là "thông minh như một mô hình tiên tiến với giá bằng một phần trăm" — mà là "gần với phán đoán của một mô hình tầm trung với chi phí chỉ một phần nhỏ của một xu mỗi lần gọi, đủ nhanh để chạy trên từng lượt một."

“zero hallucination” nghĩa là gì và không nghĩa là gì

Tài liệu ra mắt của TypeSafe bao gồm một biểu đồ cho thấy tỷ lệ lỗi gọi công cụ là 0% đối với Jev, so với tỷ lệ khác 0 ở các mô hình đối chứng, và cụm từ "kháng ảo giác" luôn đi kèm với mô hình. Cả hai đều đúng, và cả hai đều hẹp hơn những gì chúng gợi ra khi đọc.

Sự bảo đảm này mang tính cấu trúc. Mọi câu trả lời khả dĩ đều được liệt kê trước khi mô hình chạy — bạn đã cung cấp danh sách lựa chọn, bộ tiêu chí chấm, hoặc phát biểu đúng/sai — nên không có khoảng trống nào để xuất ra một giá trị nằm ngoài kiểu đã khai báo. Một lời gọi công cụ sai định dạng là điều Jev không thể tạo ra. Đó là một thuộc tính kỹ thuật đích thực, và với bất kỳ ai đã dành cả tuần viết logic thử lại xoay quanh các lỗi phân tích cú pháp JSON, nó đáng giá bằng tiền thật.

Đó không phải là một khẳng định về việc đúng hay sai. Một câu trả lời hợp lệ theo schema vẫn có thể sai: Jev có thể tự tin định tuyến một khiếu nại về thanh toán đến hàng đợi kỹ thuật, và đầu ra sẽ hoàn toàn đúng định dạng trong khi vô dụng. Almeida cũng đã nói điều tương tự, thừa nhận rằng hoàn toàn có thể sai một cách tự tin. Cách hữu ích để dung hòa cả hai sự thật là Jev loại bỏ nhóm lỗi đến từ định dạng đầu ra, và không làm gì cả đối với nhóm lỗi đến từ phán đoán. Điều đó có nghĩa là câu hỏi về độ chính xác hoàn toàn là câu hỏi về hiệu chuẩn, và hiệu chuẩn chính xác là thứ bạn phải tự đo lường.

Những đánh giá từ bên ngoài đầu tiên bổ sung một cảnh báo cụ thể về cách bảo đảm cấu trúc đó hoạt động trong môi trường sản xuất. Vì Jev luôn trả về một trong những câu trả lời bạn đã cung cấp, nó không có cách nào để nói “không có mục nào ở trên” trừ khi bạn cho nó một lựa chọn như vậy. Một lần chạy đã đăng ký trước vào tháng 9 đã yêu cầu nó phân loại tài liệu không có danh mục hợp lệ và nhận thấy rằng 0 trong số 30 tin nhắn ngoài phạm vi bị gắn cờ, mỗi tin đều được trả về với độ tin cậy 0,99. Một công thức làm bánh, hoặc một trang chữ cái ngẫu nhiên, được trả về dưới dạng một danh mục với độ tin cậy cao, bởi vì danh mục là thứ mà yêu cầu đã hỏi. Cách khắc phục là một thói quen thiết kế hơn là một cài đặt của mô hình: hãy bao gồm một tùy chọn thoát rõ ràng trong mọi danh sách Choice và một nhánh sai trong mọi tuyên bố Noul, đồng thời coi việc thiếu một trong hai là lỗi trong chính văn bản câu hỏi của bạn.

Cách kiểm chứng tuyên bố hiệu chuẩn trên dữ liệu của riêng bạn

Hiệu chuẩn là một trong số ít thuộc tính mô hình mà bạn có thể kiểm tra đúng cách chỉ với vài trăm ví dụ và không cần hạ tầng ML, và đó là phép kiểm tra duy nhất quan trọng trước khi Jev chạm vào một luồng production. Quy trình rất ngắn.

Hãy lấy vài trăm trường hợp bạn đã có nhãn. Hỏi Jev câu hỏi quan trọng — quyết định định tuyến, điểm rủi ro, kiểm tra khiếm khuyết — và nhóm các câu trả lời theo độ tin cậy mà nó báo cáo. Sau đó kiểm tra xem nhóm độ tin cậy 0,9 có đúng khoảng 90% số lần không, nhóm 0,7 khoảng 70%, v.v. Một mô hình được hiệu chỉnh tốt sẽ vẽ nên một đường chéo. Một mô hình chỉ đơn thuần tự tin sẽ dồn mọi thứ lên trên 0,9 và đúng 70% số lần, và đó chính là hình dạng âm thầm phá hỏng một pipeline tự động.

Cùng phép kiểm tra đó cho bạn biết nên dùng những ngưỡng nào. Nếu nhóm 0,9 thực sự chính xác 90% trên dữ liệu của bạn, bạn có thể tự động hóa nó. Nếu dải ở giữa của bạn nhão nhoét, bạn chuyển nó cho con người hoặc giao nó cho một mô hình sinh và để đường tốn kém xử lý sự mơ hồ. Sự phân tách đó — mô hình rẻ trên phần đa số tự tin, mô hình đắt trên phần còn lại không chắc chắn — chính là kiến trúc thực sự mà Jev đang lập luận, và đó là lý do mô hình được hiểu đúng nhất như một thành phần thay vì một thứ thay thế.

Nghiên cứu ngoài phân phối là câu trả lời bên ngoài đầu tiên cho câu hỏi đó, và nó là một lời cảnh báo hơn là một sự cho phép. Chạy trên 900 phiếu hỗ trợ tổng hợp mà chính sách quyết định vắng mặt trong văn bản, độ tự tin của Jev không còn khớp với độ chính xác của nó: lỗi hiệu chuẩn kỳ vọng 0.107 so với mức nhiễu nền 0.024, khoảng 4.4 lần so với những gì một mô hình được hiệu chuẩn hoàn hảo sẽ đạt được trên cùng tập dữ liệu. Trên ba băng chuẩn công khai, nó là 0.024 đến 0.032 — vì vậy mô hình được hiệu chuẩn tốt trên loại dữ liệu mà nó được xây dựng và đo lường, và ít hơn đáng kể ngay khi tác vụ không quen thuộc. Thành phần điểm cơ bản là yếu nhất trong ba, với độ chính xác 44.7% và xác suất tuyên bố trung bình là 0.74. Chính các tác giả của nghiên cứu yêu cầu độc giả hãy xem xét hướng của kết quả đó chứ không phải độ lớn chính xác, vì một họ tác vụ tổng hợp với n=900 không phải là một quy luật tổng quát. Hướng là phần quan trọng đối với bất kỳ ai viết ngưỡng: hãy chạy kiểm tra phân nhóm ở trên trên nhãn của riêng bạn trước khi bạn tự động hóa một quyết định, bởi vì hiệu chuẩn bạn có thể thấy trên các băng chuẩn công khai không phải là hiệu chuẩn bạn sẽ nhận được trên lưu lượng của mình.

Chi phí là bao nhiêu, được tính toán chi tiết

Cách tính giá đơn giản đến mức dễ suy luận, điều hiếm thấy. Đầu vào là $0,042 mỗi triệu token — mức giá mà TypeSafe công bố, và cũng là mức giá mà danh mục OrcaRouter mang — còn đầu ra miễn phí. Với ngân sách được ghi rõ khoảng 64.000 token đầu vào, một lần gọi có kích thước tối đa tốn chưa đến ba phần mười xu.

Hai con số được báo cáo cho thấy phần nào quy mô. Một người dùng ban đầu đã chạy khoảng 5.000 yêu cầu với chi phí chỉ khoảng 2 đô la. Buổi trình diễn Doom — Jev điều khiển một bot bằng cách dùng mô tả văn bản về trạng thái trò chơi thay vì pixel thô — chạy ở khoảng 10 lệnh gọi mỗi giây với chi phí khoảng 7 đô la một giờ. Và 777 phán quyết của Every trên 37 tài liệu có chi phí xấp xỉ một phần tư xu, và đây chính là con số khiến trường hợp sử dụng thú vị trở nên rõ ràng: ở mức giá đó, việc kiểm tra từng lượt một của một vòng lặp agent không còn là một quyết định về chi phí nữa mà trở thành mặc định.

Đó là lập luận thực sự dành cho Jev. Một lượt kiểm chứng theo từng lượt — lệnh gọi công cụ này có mâu thuẫn với lệnh trước đó không, đầu ra này có nhất quán với ý định đã nêu của người dùng không, điều này có nên dựng cờ cảnh báo không — luôn khả thi về mặt kỹ thuật với một mô hình tiên tiến và phi lý về mặt kinh tế ở quy mô lớn. Với mức 0,042 USD mỗi triệu token và không tính phí đầu ra, cùng lượt kiểm chứng ấy trở nên khả thi về chi phí ở mọi lượt. Giá trị ở đây không nằm ở việc Jev suy nghĩ tốt hơn một mô hình tiên tiến, bởi vì nó không như vậy. Giá trị nằm ở chỗ nó suy nghĩ đủ rẻ và đủ nhanh để được hỏi ý liên tục.

Đáng nói thẳng, vì đó là câu hỏi tiếp theo hiển nhiên: OrcaRouter đã thêm typesafe/jev-1.13 vào danh mục của mình vào ngày 24 tháng 9 năm 2026, và mô hình này đang hoạt động trên thẻ mô hình Jev 1.13 hôm nay — một API cho 200+ mô hình ở mức giá niêm yết của nhà cung cấp được chuyển nguyên với 0% markup, nên việc nhà cung cấp cắt giảm giá sẽ đến phía chúng tôi ngay trong ngày nó được công bố. Hai chi tiết về cách nó được cung cấp, vì đó là những điều người ta hỏi. Các yêu cầu gửi đến POST /v1/systemone, không streaming, với ngữ cảnh 65.536 token; đó không phải là dạng chat-completions, nên Jev nằm trên loại endpoint riêng thay vì bị gộp vào route chat. Và thẻ mô hình công bố cửa sổ phục vụ bảy ngày của chúng tôi, được đo trên lưu lượng qua playground của chúng tôi kể từ ngày 24 tháng 9 thay vì sao chép lại từ nhà cung cấp: p50 151 ms, p95 247 ms, 349 token đầu ra mỗi giây, và tỷ lệ lỗi 0,49% trên 76,2 triệu token. Đó là điều biến kiến trúc hai mô hình mà Jev đề xuất thành một hợp đồng duy nhất thay vì hai. Jev đưa ra quyết định có kiểu, một mô hình sinh xử lý phần cần văn xuôi, mã hoặc giải thích, cả hai nửa đều tính phí trên cùng một khóa theo giá niêm yết của nhà cung cấp, và cơ chế chuyển đổi dự phòng tự động ngăn một thành phần quyết định hóa ra bị hiệu chỉnh tồi trở thành sự cố sản xuất.

A capture of the OrcaRouter models catalogue showing the header '197 models - 15 providers - one API key, one bill', an OpenAI-compatible chat-completions request example, and model cards for DeepSeek V4.1 Flash, OpenAI GPT-6 Astra and Google Gemini 3.8 Flash with their per-million-token input and output prices.

Nơi Jev không phù hợp

Những hạn chế này được nhà cung cấp nêu rõ một cách khác thường, khiến phần này dễ viết một cách trung thực. Jev không thể tạo văn bản tự do. Nó không thể viết mã. Nó không thể duy trì một cuộc trò chuyện. Nó không có giao diện trò chuyện, không có đầu vào hình ảnh, và ngân sách yêu cầu khoảng 64.000 token — khoảng 32.000 trong số đó dành cho trạng thái cộng với câu hỏi đơn dài nhất — thấp hơn một bậc độ lớn so với các mô hình ngữ cảnh dài mà nó đang được so sánh về giá. Các trường lựa chọn giới hạn ở 255 tùy chọn. Và thuộc tính "không ảo giác", như đã nêu ở trên, liên quan đến định dạng đầu ra chứ không phải tính đúng đắn.

Mạng này có mức độ phù hợp khá hẹp. Tốt: phân loại và định tuyến khối lượng lớn, các lượt kiểm tra rào chắn và xác minh, các quyết định nhạy cảm với độ trễ, chấm điểm song song các tập tài liệu lớn, bất cứ đâu mà câu trả lời đúng thực sự là một lựa chọn, một con số trên thang điểm, hoặc một giá trị boolean. Kém: tạo sinh mở dưới bất kỳ hình thức nào, suy luận ngữ cảnh dài, đối thoại nhiều lượt, hoặc bất kỳ tác vụ nào mà câu trả lời đúng là cả một câu. Nếu vấn đề của bạn không thể quy về một câu hỏi có kiểu, thì Jev không phải là một cách rẻ hơn để giải quyết nó — nó hoàn toàn không phải là một cách giải quyết nó.

Cũng có một lời chỉ trích chính đáng về cách định khung này đáng để tiếp tục ghi nhớ. Gọi Jev là một mô hình tiên phong là vay mượn uy tín mà mô hình này chưa giành được: nó không thể viết mã, trò chuyện hay viết nổi một câu, và các biểu đồ so sánh dựa vào những mô hình tiên phong làm đường cơ sở trong khi cột độ chính xác lại kể một câu chuyện khác. Tuyên bố dễ bảo vệ hơn, và là điều mà bằng chứng thực sự ủng hộ, là TypeSafe đã đẩy xa giới hạn về tốc độ và chi phí cho các quyết định có cấu trúc. Đó là một điều đáng kể đã làm được. Đó là một việc khác với việc xây dựng một mô hình sánh ngang với GPT-6 Astra hay Claude Fable 5.1.

Điều gì sẽ thay đổi bức tranh này

Bốn điều sẽ giải quyết được chuyện này, và tuần kể từ khi mô hình mở ra đã làm thay đổi ba trong số đó.

• Một bài báo kiến trúc được công bố hoặc trọng số mở. Vẫn là lỗ hổng lớn nhất. Mọi thứ về cách Jev đạt được tốc độ của nó vẫn là một hộp đen, và tuyên bố rằng đánh giá song song chính là cơ chế — phép loại suy mà Almeida đưa ra là việc thay thế tính toán tuần tự theo cách mà các transformer đã thay thế mạng hồi tiếp — là một khẳng định chứ không phải một kết quả được chứng minh. Làn sóng mã nguồn mở bên dưới tái triển khai hành vi đó; không có dự án nào trong số đó tiết lộ cách mô hình của TypeSafe hoạt động. Cho đến khi thiết kế được công bố, tốc độ là một sự thật còn lời giải thích là tiếp thị.

• Một đánh giá độc lập thứ hai với mẫu lớn hơn. Lần này đã thành công một phần. Đợt chạy được đăng ký trước vào ngày 20 tháng 9 bao gồm 5.721 lượt gọi và một tập tham chiếu gồm 400 mục, tức là một mẫu lớn hơn nhiều so với 12 đoạn trích của Every và được thiết kế tốt hơn hẳn, đồng thời là bằng chứng đơn lẻ mạnh nhất hiện có cho Jev. Đây cũng là đánh giá do chính nhóm tác giả thực hiện, trong một ngày duy nhất, tại một địa điểm duy nhất và chạy trên một phiên bản mô hình duy nhất, và nhóm công bố những giới hạn của chính mình song song với kết quả. Điều nó khẳng định dứt khoát là Jev thực sự giỏi ở việc mà nó được thiết kế để làm; điều nó không khẳng định dứt khoát là nó thể hiện ra sao trên nhiệm vụ của người khác.

• Một cuộc đánh giá hiệu chỉnh trên dữ liệu đầu vào thực tế, lộn xộn. Cái này đã gây tiếng vang, và đây là kết quả khó chịu nhất trong bài viết này. Nghiên cứu ngoài phân phối ở trên là lần đánh giá đầu tiên được chạy trên tài liệu được tạo ra nhằm khiến mô hình thấy xa lạ, và nó phát hiện độ tin cậy tách rời khỏi độ chính xác ở mức xấp xỉ 4,4 lần mức nhiễu nền của một mô hình được hiệu chỉnh hoàn hảo — trong khi cùng mô hình đó trông được hiệu chỉnh tốt trên ba bộ chuẩn đánh giá công khai. Một họ tác vụ tổng hợp với 900 mục không phải là một phán quyết, và chính các tác giả cũng nói vậy. Thế là đủ để chuyển câu hỏi từ "Jev có được hiệu chỉnh không?" sang "được hiệu chỉnh trên cái gì?", mà đó dù sao cũng là câu hỏi hữu ích hơn.

• Một bản tái lập đánh bại Jev theo chính luật chơi của Jev. Vẫn chưa, và làn sóng không dừng lại vào tháng 9. Trong khoảng 48 giờ sau khi ra mắt, ít nhất sáu dự án mở độc lập đã phát hành các mô hình quyết định mang dạng Jev — một cái được xây trên bộ mã hóa 421 triệu tham số, một cái là LoRA trên mô hình 9B, một cái nhỏ đến mức vừa trong vài chục kilobyte — và đến ngày 23 tháng 9, một trong số đó đứng đầu danh sách thịnh hành của một nền tảng lưu trữ mô hình. Mọi so sánh mà các dự án đó công bố đều do chính nhóm đã xây dựng phương án thay thế tự báo cáo, và mỗi bên dùng bộ đánh giá riêng của mình. Các kết quả chỉ về những hướng khác nhau: bản sao thắng ở phân loại tin tức lại thua đậm trong tác vụ ý định 77 lớp, và lần đối đầu trực tiếp độc lập duy nhất chạy trên đầu vào giống hệt từng byte cho thấy Jev dẫn trước ở sáu trong chín bộ kiểm thử. Độ chính xác của chính Jev trên một benchmark duy nhất nay đã được bốn đánh giá khác nhau công bố ở bốn giá trị khác nhau. Cái trụ lại được của làn sóng đó là RSI-Jev, và nó là minh chứng cụ thể, có ngày tháng cho lập luận đó: một dự án mở của bên thứ ba xây dựng các mô hình quyết định System One kiểu Jev, mã nguồn MIT, trọng số Apache-2.0 trên Hugging Face, với dòng giấy phép ghi “Không liên kết với TypeSafe AI.” Bản phát hành của nó trong tuần này là 4B RSI-Jev v6.0-VL, công bố ngày 2026-10-06 và là bản thứ bảy trong một vòng lặp tự cải thiện đã chạy 471 thí nghiệm và chỉ giữ lại rất ít trong số đó: một tháp Qwen3.5-4B-Base với đầu đáp án đã được huấn luyện, một lượt truyền xuôi cho mỗi quyết định, không sinh ra gì cả. Nó dùng chiều sâu thay vì token — các đầu đáp án ở lớp 16, 20 và 32, nên một yêu cầu dừng ở đầu nào đủ tự tin trước tiên, trung vị 23, 27 và 40 ms trên một H200 ở bf16 — và nó nói chính xác định dạng truyền tải của TypeSafe: cùng yêu cầu, cùng ba loại câu hỏi, cùng thống kê độ tự tin, nên bất cứ thứ gì được viết để chạy với Jev đều chạy được với nó mà không cần thay đổi. Trên Decision Index công khai của chính dự án, nó báo cáo 38.38 đến 46.24 trong một bản phát hành, với 0.698 trên tập giữ kín và 0.440 trên MMLU-Pro — những con số của chính nó trên bảng của chính nó, và không có đối đầu trực tiếp độc lập nào giữa nó và Jev 1.13. Đây không phải là bản phát hành trọng số của Jev, nó không làm mô hình của TypeSafe trở nên mở, và TypeSafe không tạo ra cũng không chứng thực nó; các bản phát hành trước đó trên dòng này là các mô hình 2B trên Qwen3.5-2B-Base, và kết quả RL làm nên tên tuổi của dự án là từ v3.0, ngày 2026-09-28 và cách đây ba bản phát hành — bản phát hành đầu tiên mà một giai đoạn RL đánh bại mô hình học có giám sát mà nó tiếp tục từ đó, một phần thưởng tái xếp hạng theo danh sách trên 16 ứng viên đã nâng R@1 của việc tái xếp hạng từ 0.192 lên 0.308 so với chính mô hình cha của nó, tăng 60%, với chi phí bộ kiểm thử là 0.0028. Danh mục của chúng tôi không có id cho RSI-Jev: thứ chúng tôi phục vụ là typesafe/jev-1.13 trên endpoint systemone, và dự án này được chạy từ kho riêng của nó. Bài viết đầy đủ cho người đọc lần đầu nằm trong What Is RSI-Jev?.

Làn sóng đó cho thấy không phải Jev đã bị đánh bại — mà là một mô hình mở có thể được xây dựng để làm đại khái công việc này trong một cuối tuần, đó là một khẳng định khác và bền vững hơn về việc hào bảo vệ nằm ở đâu. Lập trường rút ra sau đó thì hẹp hơn so với một tuần trước, và cụ thể hơn. Jev là một mô hình thật, đã phát hành, rẻ bất thường, hiện mở cho bất kỳ ai có tài khoản, với lợi thế cấu trúc thực sự về độ tin cậy đầu ra, hồ sơ độ chính xác ở khoảng tầm trung theo chính số liệu của nhà cung cấp, và một tuyên bố về hiệu chuẩn đã được kiểm nghiệm độc lập hai lần kể từ khi ra mắt: một lần trên một benchmark lớn, thuận lợi, do chính họ tạo ra, và một lần trên dữ liệu đầu vào xa lạ nơi các điểm tin cậy không giữ được. Hãy coi kết quả thứ hai là kết quả mang tính thông tin hơn. Nếu quy trình của bạn có một bước quy về một câu hỏi gõ vào được hỏi đủ thường xuyên đến mức một mô hình tiên tiến sẽ là lãng phí, thì đây là một trong những cách rẻ nhất để hỏi nó — và giá trị độ tin cậy mà nó trả về vẫn là phần cần kiểm tra trên dữ liệu của chính bạn trước khi bạn tin, chứ không phải tốc độ. Nó cũng có thể kiểm chứng mà không cần tài khoản thứ hai: typesafe/jev-1.13 đang hoạt động trên OrcaRouter bên cạnh các mô hình tạo sinh mà một quy trình kiểu Jev cần.