Một thẻ tiêu đề được tạo cho Inkling 2 Small mang tiêu đề '17B active, lập trình tiên phong', với ba thẻ số liệu hiển thị 594B total / 17B active, FrontierCode 25.4% so với Kimi K3 17.3%, và $0.30 vào / $1.00 ra mỗi 1M, kèm chú thích rằng các số liệu benchmark do nhà cung cấp báo cáo và giá theo Artificial Analysis; logo OrcaRouter nằm trong một dải trắng bên dưới phần hình ảnh.
Guides & Insights

Inkling 2 Small theo kịp trong lập trình với 17B tham số hoạt động — cho đến khi bạn nhìn vào phương sai.

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Hai đường trên biểu đồ ra mắt của Thinking Machines gặp nhau ở cùng một con số. Inkling 2 Small giải được 54,25 trong 69 bài PMPP-Hard chỉ với một lần thử và 64 bài qua bốn lần thử. Claude Opus 5.5 giải được 60 bài chỉ với một lần thử và 64 bài qua bốn lần thử. Ra mắt ngày 5 tháng 11 năm 2026, Inkling 2 Small là một mô hình mixture-of-experts với 594B tổng tham số và 17B tham số hoạt động, và biểu đồ đó là phát biểu rõ ràng nhất về những gì kiến trúc này mang lại và những gì nó không mang lại: trần năng lực của một mô hình tiên phong trong các công việc kỹ thuật khó, mà không có độ tin cậy theo từng lần thử của một mô hình như vậy.

Tuyên bố đang lan truyền thì hẹp hơn và cũng tâng bốc hơn — rằng trên các benchmark lập trình, nó dễ dàng theo kịp những mô hình lớn hơn đáng kể. Tuyên bố đó có thể kiểm chứng dựa trên chính bảng của nhà cung cấp, từng dòng một, và nó đúng ở một số chỗ, sai ở những chỗ khác, và sai một cách thú vị nhất khi đối chiếu với một mô hình nhỏ hơn nó rất nhiều. Bài viết này thực hiện việc đọc từng dòng, rồi đặt ra câu hỏi mà bảng không thể trả lời: việc theo kịp đó tốn bao nhiêu cho mỗi tác vụ khi mô hình thực sự nằm trên hóa đơn của bạn.

Sáu hàng mã hóa, đọc mà không cần phần chú giải.

Tất cả nội dung dưới đây lấy từ bảng đánh giá mà Thinking Machines công bố kèm thông báo. Đây là một bộ khung do nhà cung cấp tự vận hành — công ty nói rõ như vậy, và nói rằng các dòng về lập trình sử dụng kiểm thử đơn vị ẩn cùng các kiểm tra lập trình. Không có nội dung nào ở đây được tái lập độc lập, điều này quan trọng vì chính bảng đó in ra Chỉ số Trí tuệ Artificial Analysis là 30,6 cho Inkling 2 Small, trong khi trang trực tiếp của chính Artificial Analysis in ra 31. Đó là khác biệt do làm tròn, không phải tranh chấp, nhưng nó cho thấy bảng này là ảnh chụp nhanh do phòng lab thực hiện chứ không phải bảng trực tiếp.

So với Kimi K3, mô hình trọng số mở lớn nhất trong phép so sánh, tuyên bố về tốc độ vẫn giữ ở kết quả hòa:

• FrontierCode v2.0 — Inkling 2 Small đạt 25,4% so với Kimi K3 17,3%.

• DeepSWE v1.1 — 72,1% so với 68,5%.

• SWE-bench Pro v2 (Hard) — 86,3% so với 88,2%.

• Vibe Code Bench v1.1 — 81,6% so với 85,0%.

• PostTrainBench v1.2 — 31,9% so với 31,5%.

• Terminal Bench Science v0.1 — 5,7% so với 8,1%.

Mỗi bên ba dòng. Một mô hình chạy 17B tham số mỗi token ngang ngửa với một mô hình lớn hơn nó một bậc độ lớn về lượng compute mà nó tiêu thụ, và làm được điều đó ở hai đầu của phổ lập trình thường tách biệt: một benchmark vá lỗi from-scratch trong FrontierCode và một benchmark agentic quy mô repository trong DeepSWE. DeepSWE mới là cái đáng cân nhắc, vì đó là dòng mà mô hình phải giữ một kế hoạch liền mạch xuyên suốt nhiều lần gọi công cụ thay vì tạo ra một bản diff tốt.

So với DeepSeek V4.1 Flash 1017, cục diện đảo ngược, và đây là phép so sánh quan trọng về mặt thương mại chứ không phải về kiến trúc, vì phân khúc flash của DeepSeek rẻ. Inkling 2 Small kém hơn ở bốn trong năm hạng mục mà cả hai mô hình đều chạy — FrontierCode 25,4% so với 28,5%, DeepSWE 72,1% so với 77,0%, Vibe Code Bench 81,6% so với 87,7%, Terminal Bench Science 5,7% so với 12,9% — và chỉ dẫn trước ở PostTrainBench, 31,9% so với 30,5%. DeepSeek không có mục SWE-bench Pro, điều này thật không may cho Thinking Machines, vì 86,3% là con số lập trình tốt nhất của Inkling 2 Small và đây sẽ là hạng mục đơn lẻ có sức thuyết phục nhất để giành chiến thắng.

A three-column scoreboard titled 'Inkling 2 Small vs Kimi K3 vs Claude Haiku 5.5 — coding rows', listing the same six benchmarks for each column: FrontierCode v2.0 at 25.4, 17.3 and 34.9; DeepSWE v1.1 at 72.1, 68.5 and 59.9; SWE-bench Pro v2 Hard at 86.3, 88.2 and 52.9; Vibe Code Bench v1.1 at 81.6, 85.0 and 90.4; PostTrainBench v1.2 at 31.9, 31.5 and not reported; and Terminal Bench Science v0.1 at 5.7, 8.1 and 20.0, with the highest value in each row set in green. The footer reads that all figures are vendor-reported by Thinking Machines Lab, 5 November 2026, and not independently reproduced.

Mô hình nhỏ hơn chính là mô hình mà nó không theo kịp.

Phép so sánh mà tài liệu ra mắt không đưa lên hàng đầu là Claude Haiku 5.5, và đây chính là điều khiến người mua phải dừng lại suy nghĩ. Haiku là dòng nhỏ, rẻ trong danh mục của Anthropic — không hề giống một mô hình 594B — và nó thắng ba trong năm hạng mục lập trình mà cả hai cùng tham gia: FrontierCode 34,9% so với 25,4%, Vibe Code Bench 90,4% so với 81,6%, và Terminal Bench Science 20,0% so với 5,7%, nơi khoảng cách lên tới hơn ba lần.

Inkling 2 Small thắng áp đảo ở hai hạng mục còn lại: DeepSWE 72,1% so với 59,9% và SWE-bench Pro 86,3% so với 52,9%. Đặt cạnh nhau mà xem, quy luật không hề liên quan đến kích thước. Haiku thắng ở những dòng đánh giá một sản phẩm đầu ra duy nhất — một bản diff, một giao diện UI, một phiên terminal được điều khiển đến khi hoàn tất. Inkling 2 Small thắng ở những dòng mà mô hình phải tiếp tục xử lý một bài toán qua nhiều bước và tự cải thiện câu trả lời của mình. So với Gemini 3.8 Flash thì còn sít sao hơn: Inkling thắng FrontierCode, SWE-bench Pro và Vibe Code Bench, thua DeepSWE với khoảng cách hẹp 72,1% so với 73,8%, và thua Terminal Bench Science nặng nề với 5,7% so với 10,0%.

Có một chi tiết trong thông báo đáng để lưu lại cho bất kỳ ai đọc bảng xếp hạng. Thinking Machines cho biết họ đã thử nghiệm các checkpoint ban đầu của Inkling 2 Small trên OpenCode dưới tên Fledge-Alpha. Bất kỳ điểm số Fledge-Alpha nào bạn thấy trên một bảng xếp hạng lập trình trước khi ra mắt đều là mô hình này, dưới một bí danh, và đó không phải là bản hoàn chỉnh.

Bốn lần thử đổi lấy được gì, và 18,5 phút phải trả giá ra sao

PMPP-Hard gồm 69 nhiệm vụ, bốn lần thử độc lập, ngân sách mười giờ, được chấm điểm theo số nhiệm vụ giải được trung bình. Con số 54,25 của Inkling 2 Small là tốt nhưng không đáng chú ý — nó đứng sau GPT-6 Astra với 63, Kimi K3.1 Pro với 60,5 và Opus 5.5 với 60, đồng thời đứng trước Kimi K3 với 55,75, DeepSeek V4.1 Flash với 55,25, GLM 5.3 với 52,5 và Mistral Large 4 với 50,25.

Điểm Pass@4 của nó là 64, và đó là lúc con số này không còn bình thường nữa. Con số đó ngang bằng với 64 của Opus 5.5 và vượt qua 63 của Astra cùng 63 của Kimi K3.1 Pro. Cho nó bốn lần thử, nó đạt cùng mức trần như những mô hình tốt nhất trong biểu đồ; cho nó một lần, nó kém gần sáu tác vụ. Nếu quy trình làm việc của bạn đã lấy mẫu nhiều lần thử và chọn ra kết quả thắng bằng cách chạy các bài kiểm tra, thì khoảng cách đáng quan tâm là nhỏ. Nếu nó chỉ lấy mẫu một lần rồi phát hành, thì khoảng cách đó là toàn bộ câu chuyện.

Sự bất đối xứng tương tự cũng xuất hiện trong biểu đồ kernel-autoresearch, và ở đó nó không có lợi cho Inkling 2 Small. Mức tăng tốc kernel tốt nhất so với đường cơ sở: Claude Opus 5.5 18,80×, GPT-6 Astra 10,26×, Inkling 2 Small 6,02×, DeepSeek V4.1 Flash 5,66×, GLM 5.3 5,03×, Mistral Large 4 3,43×. Chỉ bằng khoảng một phần ba mức tăng tốc của mô hình tiên phong trên cùng tác vụ, một khoảng cách còn rất xa mới theo kịp.

Rồi còn có yếu tố thời gian thực. Mọi đánh giá được công bố đều được chạy ở effort 0.99 — cài đặt mà Thinking Machines gọi là xhigh — với temperature 1.0. Artificial Analysis, khi kiểm thử endpoint trực tiếp thay vì harness phát triển, đo được 18,5 phút mỗi tác vụ Intelligence Index so với trung vị 7,0 của các mô hình cùng loại, và 154M token đầu ra so với trung vị 89,8M. Chi phí mỗi tác vụ chỉ số là 1,18 USD, xếp thứ 27 trong 29 mô hình trên bảng đó. Tốc độ đầu ra là 135 token mỗi giây với 34,15 giây để có token trả lời đầu tiên, so với trung vị 11,57 giây. Mô hình không chậm trên mỗi token. Nó chậm vì suy nghĩ lâu và viết rất nhiều trong lúc làm.

Nơi con số 17B hoạt động thực sự phát huy tác dụng

Các mô hình mixture-of-experts được tính phí theo tham số hoạt động, và đó chính là toàn bộ lý do thương mại của kiến trúc này. Inkling 2 Small có giá $0.30 mỗi triệu token đầu vào và $1.00 mỗi triệu token đầu ra, với đầu vào được lưu trong bộ nhớ đệm (cached input) được giảm giá 90% xuống $0.03 — giá kết hợp $0.18 mỗi triệu ở tỷ lệ 7:2:1 giữa cache-hit/input/output, theo Artificial Analysis. Mô hình trung vị trên bảng đó tính $0.24 đầu vào và $0.87 đầu ra, vì vậy Inkling 2 Small được định giá như một mô hình tầm trung, không phải như một mô hình 594B.

Cách pha trộn dữ liệu huấn luyện giải thích cho sự nhấn mạnh này. Lập trình chiếm 38,5% các lượt rollout học tăng cường và 65% token — khối lớn nhất duy nhất, và hơn hai phần ba toàn bộ những gì mô hình tạo ra trong quá trình RL. Thị giác chiếm 13,9% các lượt rollout nhưng chỉ 3% token. Dù còn là gì đi nữa, mô hình này đã được huấn luyện hậu kỳ để viết và sửa mã một cách dài hơi.

A screenshot of the Artificial Analysis model page for Inkling 2 Small showing an Intelligence Index of 31 ranked 4 of 29 against a median of 23, 154M output tokens against a median of 89.8M, pricing of $0.30 per million input and $1.00 per million output with a 90% cache discount, $1.18 cost per index task ranked 27 of 29, 21.5 minutes per task against a 7.3-minute median, and a 1M-token context window with text and image input.

Vậy phép tính trung thực là theo mỗi lần thử thành công, không phải theo token. Inkling 2 Small với $1.18 mỗi tác vụ lập chỉ mục và bốn lần thử để đạt mức trần của nó là một lần mua khác với một mô hình có giá gấp đôi mà chỉ cần một lần là tới đó. Không cấu hình nào sai; chúng là những hợp đồng khác nhau với ngân sách độ trễ của bạn.

Những gì bạn có thể gọi hôm nay, và những gì bạn không thể

Inkling 2 Small có sẵn qua Tinker để suy luận và tinh chỉnh, với trọng số đóng và không có nhà cung cấp thứ hai. Thinking Machines cho biết họ dự định công bố toàn bộ trọng số theo Apache 2.0 vào “tuần tới”, sau khi kiểm thử an toàn bên ngoài và red-teaming, và điều đó vẫn chưa xảy ra tính đến ngày 6 tháng 11 năm 2026. Điểm cuối serverless được cung cấp ở ngữ cảnh 256K, hẹp hơn cửa sổ 1M mà mô hình được huấn luyện để xử lý.

Nó không có trên OrcaRouter, và bài viết này sẽ không giả vờ điều ngược lại. Những gì có trên OrcaRouter là phần lớn nhóm so sánh mà bài viết này vừa điểm qua — Kimi K3, DeepSeek V4.1 Flash 1017, GLM-5.3 Flash, Gemini 3.8 Flash, MiMo V2.6 Pro — có thể truy cập bằng một khóa trên hơn 200 mô hình, với giá niêm yết của nhà cung cấp được chuyển nguyên vẹn và không cộng thêm phụ phí. Điều đó quan trọng đúng với mục đích sử dụng mà bài viết này ngụ ý: nếu bạn muốn tìm hiểu liệu một MoE có 17B tham số hoạt động có đủ tốt cho kho mã của bạn hay không, thử nghiệm rẻ nhất là chạy đánh giá của riêng bạn đối với các mô hình ở hai bên nó, trên một hóa đơn, thay vì ký bốn hợp đồng.

A screenshot of the OrcaRouter models catalogue showing the header 228 models, 17 providers, one API key, one bill, the modality and price filters, the how-to-call panel with an OpenAI-compatible chat completions request, and model cards including a cyber model with a 1M context and tools, reasoning and JSON mode tags.

Tự động chuyển đổi dự phòng là nửa còn lại của câu chuyện đó. Một bảng benchmark chẳng nói lên điều gì về việc liệu một lượt chạy agentic dài có sống sót qua một trục trặc nhỏ từ nhà cung cấp ở phút thứ mười bốn hay không, và những mô hình trông gần nhau nhất trên DeepSWE lại chính là những mô hình mà bạn thực sự sẽ chuyển đổi qua lại.

Ba điều sẽ thay đổi cách diễn giải này. Một lần chạy lại độc lập FrontierCode hoặc DeepSWE, vì những con số này là của chính phòng lab và dòng SWE-bench Pro đang đóng vai trò thuyết phục rất lớn. Việc phát hành trọng số, vì Apache 2.0 sẽ khiến mô hình 594B có thể tự vận hành và đưa con số $1.18 mỗi tác vụ vào tầm kiểm soát của bạn. Và bất kỳ bậc nào được công bố dưới xhigh, vì mọi con số trong bài này đều được tạo ra ở mức nỗ lực tối đa — nếu một cài đặt thấp hơn đạt phần lớn độ chính xác chỉ với một phần nhỏ của 154M token, thì bài toán chi phí sẽ tốt hơn và chưa ai chứng minh được điều đó.

Bộ so sánh được đặt trên một phím

Những mô hình mà Inkling 2 Small được đem ra so sánh trong các hàng trên, ngoại trừ hai trường hợp, đều là những mô hình bạn có thể gọi từ một endpoint duy nhất ngay hôm nay. Hai trường hợp ngoại lệ là chính Inkling 2 Small, mô hình chỉ có trên Tinker, và Claude Haiku 5.5, mô hình không nằm trong danh mục OrcaRouter. Phần còn lại của bảng gồm: Kimi K3, mô hình trọng số mở mà Inkling 2 Small hòa với; DeepSeek V4.1 Flash 1017, mô hình giá rẻ mà nó xếp sau ở bốn trong năm hàng; GLM-5.3 Flash, mô hình nhỏ mà nó vượt qua một cách dễ dàng; và Gemini 3.8 Flash, mô hình cỡ trung mà nó ngang ngửa.

Bộ đó mới là bộ đáng để chạy, vì câu hỏi đáng quan tâm đối với một nhóm không phải là liệu một mô hình mixture-of-experts với 17B tham số hoạt động có ấn tượng trên lý thuyết hay không — bảng ở trên đã trả lời điều đó rồi — mà là liệu nó có đánh bại mô hình đang chạy trong production trên đúng repository, bộ kiểm thử hay kernel mà bạn quan tâm hay không. Đó là câu hỏi chỉ có đánh giá của chính bạn mới trả lời được, và trả lời câu hỏi đó trên bốn mô hình với một key rẻ hơn nhiều so với trên bốn nhà cung cấp.

Điều mà bản phát hành chứng minh thì hẹp hơn phản ứng mà nó gợi ra. Một mô hình 594B với 17B tham số hoạt động giờ đây cầm hòa trước mô hình trọng số mở lớn nhất trong lĩnh vực lập trình, thắng hai hạng mục thưởng cho công việc bền bỉ, và thua một mô hình đóng nhỏ ở ba hạng mục chấm điểm một sản phẩm đầu ra duy nhất. Đó là một kết quả thật và không phải kết quả tiên phong. Chi phí để biết khối lượng công việc của bạn nằm ở phía nào của ranh giới là $0.30 và $1.00 mỗi triệu token, 18,5 phút mỗi tác vụ khó, và sự sẵn sàng lấy mẫu nhiều hơn một lần.

So sánh trong bài viết này1

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày