Điểm chuẩn Kimi K3.1 Pro: Từng điểm số, Ai đã tạo ra nó và Những chỗ bảng vẫn còn để trống

Con số hữu ích nhất trong buổi ra mắt Kimi K3.1 Pro không nằm trên biểu đồ của chính Moonshot. Artificial Analysis, đơn vị tự chạy các đánh giá của mình thay vì trích dẫn bảng số liệu của nhà cung cấp, đo Kimi K3.1 Pro ở mức 55 trên Intelligence Index của mình — đứng thứ tư trong số 215 mô hình cùng lớp, cao hơn GPT-6 Astra ở mức 53 hai điểm và thấp hơn Claude Opus 5.5 ở mức 58 ba điểm. Tài liệu ra mắt của Moonshot lại kể một câu chuyện khác và tâng bốc hơn: 65,7% trên Terminal-Bench 4.0, dẫn trước 7,5 điểm so với mức 58,2% mà họ quy cho Astra. Cả hai con số đều có thật, đều được tạo ra một cách trung thực, và chúng mâu thuẫn với nhau về việc ai đang dẫn trước. Sự bất đồng đó là điều đáng hiểu rõ trước khi bạn chuyển một khối lượng công việc sang mô hình này.

Sau đây là toàn bộ số liệu đã công bố cho Kimi K3.1 Pro, kèm nguồn và thiết lập cho từng dòng, và ghi chú ở bất cứ chỗ nào bảng bị để trống. Đây cũng là cách xử lý mà blog này áp dụng cho các mô hình của Anthropic và OpenAI, vì cùng một lý do: một bảng benchmark là một tuyên bố về harness cũng nhiều như về mô hình.

Số độc lập, đầu tiên

Artificial Analysis đã đánh giá mô hình trên phiên bản 4.3.2 của chỉ số của mình, chỉ số này gộp mười đánh giá thành một con số duy nhất. Bốn số liệu quan trọng đối với người mua là:

• Chỉ số trí tuệ — 55, xếp thứ 4 trong số 215 mô hình. Để tham khảo, mức trung vị trong phân khúc của nó là 27, trong khi GPT-6 Astra (Max) đạt 53 và Claude Opus 5.5 đạt 58 trên cùng phiên bản của chỉ số này.

• Chi phí mỗi tác vụ — 2,11 USD cho mỗi tác vụ Intelligence Index, xếp thứ 85 trong số 113 về chi phí. Mức tương đương của GPT-6 Astra là 3,26 USD. Đây là con số biến giá mỗi token thành chi phí khối lượng công việc, và giá token thấp của mô hình một phần bị bù trừ trở lại bởi tính dài dòng.

• Tính dài dòng — 150 triệu token đầu ra được tạo ra trong lần chạy lập chỉ mục, so với mức trung vị là 87 triệu. Người đánh giá gọi mô hình là "rất dài dòng", và điều này ảnh hưởng trực tiếp: đầu ra là hạng mục tốn kém trên bảng giá của chính mô hình này, ở mức 10 đô la mỗi triệu token.

• Tốc độ — 73,5 token đầu ra mỗi giây trên nhà cung cấp của bên đánh giá, chậm hơn mức trung bình là 82. Trên tuyến riêng của chúng tôi, thời gian trung vị đến token đầu tiên là 7,15 giây, đây là con số quyết định cảm giác của mô hình trong một phiên lập trình tương tác.

Một nhãn trên trang đó đáng để lưu ý: Artificial Analysis liệt kê Kimi K3.1 Pro là mô hình độc quyền, vì tính đến ngày 24 tháng 10, trọng số đã được hứa hẹn nhưng chưa được công bố. Phân loại đó sẽ thay đổi vào ngày 4 tháng 11 nếu Moonshot giữ đúng ngày của mình.

Bảng nhà cung cấp, từng dòng một, kèm theo thiết lập

Moonshot đã công bố một bảng tổng hợp rộng các đánh giá của chính mình cùng với buổi ra mắt, và ở một số chỗ, họ so sánh Kimi K3.1 Pro với Claude Opus 5.5 và GPT-6 Astra trên cùng các hàng. Mọi con số dưới đây đều do nhà cung cấp tự báo cáo, trừ khi hàng đó có ghi khác.

• Terminal-Bench 4.0 — 65,7% cho Kimi K3.1 Pro, so với 66,4% của Claude Opus 5.5 và 58,2% của GPT-6 Astra. Đây là điểm nhấn. Đây cũng là hàng có nhiều lưu ý nhất: con số 66,4% của Anthropic được tạo ra ở mức xhigh effort, cao hơn một bậc so với mặc định; lần chạy của chính Kimi ở mức mặc định của mô hình là max. Hai con số đến từ các bộ khung đánh giá khác nhau.

• Kimi Code Bench 3.0, long-horizon — 61,2% so với 55,95% của Kimi K3. Đây là phép so sánh với phiên bản tiền nhiệm rõ ràng nhất trong đợt ra mắt, và cũng là phép so sánh do nhà cung cấp kiểm soát nhiều nhất: cả benchmark lẫn harness đều thuộc về Moonshot.

• BenchCAD có công cụ — 92.7% cho Kimi K3.1 Pro, so với 96.2% của Claude Opus 5.5 và 95.9% của GPT-6 Astra. Không dùng công cụ, 72.8% so với 73.0% của Opus; Astra không báo cáo con số không dùng công cụ. Đây là hàng mà đối thủ thách thức thua rõ rệt, và nó nằm ngay giữa bài giới thiệu sáng tạo 3D của chính buổi ra mắt.

• Kimi Hallu Bench Hard — tỷ lệ ảo giác ở cấp độ khẳng định là 8,3% khi có công cụ, 5,4% khi không có. Trên cùng benchmark đó, GPT-6 Astra tốt hơn khi có công cụ (5,5 so với 8,3) và tốt hơn khi không có (4,2 so với 5,4); Claude Opus 5.5 kém hơn ở cả hai trường hợp (15,0 và 6,8). Moonshot cũng báo cáo rằng tỷ lệ này đã giảm từ 23,4% trên Kimi K3, và rằng các phản hồi chứa ít nhất một lỗi thực tế hiện chỉ bằng 42,4% tỷ lệ của phiên bản tiền nhiệm.

• Các đánh giá tài chính và kinh doanh, nội bộ — Financial Modeling 57,6 so với 50,4 của K3, Financial Research 70,4 so với 58,8, Business Operation 37 so với 8,9. Chỉ số cuối cùng là mức cải thiện gấp bốn lần trong một tác vụ mà mô hình cũ gần như không hoạt động. Hãy coi các độ lớn này chỉ mang tính định hướng; đây là các bộ đánh giá của chính Moonshot.

• OfficeQA Pro v2 — 64.4, con số mà Moonshot mô tả là tiên tiến nhất. Không có số liệu của nhà cung cấp thứ hai nào xuất hiện trên hàng đó.

• xdev-bench-hard, pass@3 — 81,0% cho mô hình đã phát hành, 90,5% cho một checkpoint được huấn luyện mà không có các biện pháp giảm thiểu rủi ro an ninh mạng của công ty, 33,3% cho Kimi K3. Khoảng cách 9,5 điểm đó chính là cái giá mà Moonshot nói họ đã phải trả để giữ năng lực tấn công mạng ở dưới một ngưỡng.

Nơi bảng vẫn còn trống

Có ba khoảng trống đáng được nêu tên, bởi vì các bài đưa tin về lần ra mắt này phần lớn đều đã bỏ qua chúng.

Điều đầu tiên nằm trong tài liệu API của chính Moonshot. Vào ngày ra mắt, trang quickstart của Kimi K3.1 Pro vẫn mang các chuỗi giữ chỗ nguyên văn — "[xx.x%]" — ở vị trí lẽ ra phải có điểm Terminal-Bench 4.0, Terminal-Bench-Science 0.1 và điểm lập trình nội bộ, trong khi bài đăng tiếp thị lại có các con số hoàn chỉnh. Đó là một pipeline tài liệu đã xuất bản trước khi phần nội dung quảng cáo được xuất bản, không phải là ngụy tạo, nhưng đó là lý do để đọc các con số từ trang blog thay vì từ tài liệu.

Thứ hai là Terminal-Bench-Science 0.1, trong đó Anthropic công bố 58,7% cho Claude Opus 5.5 và tài liệu của Moonshot chỉ nói rằng Kimi K3.1 Pro "cao hơn K3", mà không có con số. Một dòng không có con số ở cả hai phía của một phép so sánh thì không phải là một dòng.

Thứ ba là SWE-bench. Đây là benchmark mà hầu hết các đội vẫn trích dẫn khi nói về coding agent, và bài đăng ra mắt có nhắc đến DeepSWE v1.1 và SWE-Marathon v1.1 trong chú thích cuối trang mà không công bố điểm số. Dù lý do là gì, con số được hỏi nhiều nhất vẫn bị thiếu.

Cách đọc 65.7

Hai yếu tố ảnh hưởng đến điểm Terminal-Bench nhiều hơn cả mô hình: {{1}}phần khung{{/1}} bao quanh nó và {{2}}thiết lập mức nỗ lực suy luận{{/2}}. Bảng Opus 5.5 của chính Anthropic cho thấy cả hai hiệu ứng trong cùng một mô hình — CursorBench 4.0 chuyển từ 57.8% ở mức nỗ lực xhigh xuống 52.5% ở mức medium, trong khi FrontierCode thay đổi 0.2 điểm giữa cùng hai thiết lập. Kimi K3.1 Pro có ba thiết lập và mặc định dùng thiết lập tốn kém nhất, vì vậy một lượt chạy của nhà cung cấp không nêu rõ mức nỗ lực của nó nhiều khả năng là lượt chạy tối đa, dù có nói hay không.

Đó là lý do tại sao chỉ số độc lập và bảng của nhà cung cấp xếp hạng ba mô hình này khác nhau. Trên dòng Terminal-Bench của Moonshot, Kimi vượt Astra 7,5 điểm. Trên chỉ số mười bài đánh giá của Artificial Analysis, Kimi dẫn Astra 2 điểm và kém Opus 3 điểm. Không có thứ tự nào là sai; chúng trả lời những câu hỏi khác nhau bằng những khung kiểm thử khác nhau, và tóm tắt duy nhất có thể bảo vệ được là cả ba mô hình chỉ cách nhau vài điểm về năng lực tổng quát, trong khi giá chênh lệch gấp năm lần giữa mô hình rẻ nhất và đắt nhất.

Làm gì với các con số

Đối với khối lượng công việc mà lượng đầu ra chiếm ưu thế — tạo mã dài, soạn thảo tài liệu, các vòng lặp tác tử ghi nhiều hơn đọc rất nhiều — thì chỉ số độ dài đầu ra là thứ cần dựa vào để lập kế hoạch. Với 150 triệu token mỗi lần chạy chỉ mục so với 60 triệu của Astra, Kimi K3.1 Pro tạo ra lượng đầu ra gấp khoảng 2,5 lần cho một tác vụ, và ngay cả khi giá đầu ra chỉ bằng một phần năm, điều đó vẫn thu hẹp đáng kể lợi thế chi phí. Con số 2,11 đô-la mỗi tác vụ đã tính đến điều đó, đó là lý do con số này là con số lập kế hoạch tốt hơn so với bảng giá.

Đối với một khối lượng công việc mà chỉ một điểm độ chính xác cũng quyết định kết quả, khoảng cách ba điểm so với Claude Opus 5.5 trên chỉ số độc lập chính là con số đáng quan tâm, và không bảng số liệu nào của nhà cung cấp có thể khiến bạn xem nhẹ điều đó.

Kimi K3.1 Pro có thể được gọi thông qua OrcaRouter với giá 2,00 USD cho mỗi triệu token đầu vào và 10,00 USD cho mỗi triệu token đầu ra, với ngữ cảnh 1.048.576 token, tối đa 943.718 token đầu ra và ba định dạng endpoint — Chat Completions, Responses và Messages — trên cùng một khóa như phần còn lại của stack của bạn. Giá niêm yết của nhà cung cấp chính là giá bạn trả, không cộng thêm phụ phí, nghĩa là phép tính ở trên chính là phép tính bạn nhận được. Điều duy nhất trang này không thể cung cấp cho bạn là benchmark của chính bạn: hãy chạy một mẫu lưu lượng thực tế của bạn ở mức effort thấp, cao và tối đa trước khi bạn chọn mặc định, vì thiết lập này làm thay đổi chi phí nhiều hơn việc lựa chọn mô hình.