Một thẻ tiêu đề được tạo ghi 'Inkling 2 Mini', với phụ đề 'Cùng điểm Chỉ số Trí tuệ như Qwen3.8-27B, với chi phí mỗi tác vụ chỉ bằng một phần sáu', cùng bốn thẻ bo tròn ghi Chỉ số Trí tuệ 20.1, chi phí mỗi tác vụ chỉ số 0.59 đô la, tốc độ đầu ra 280 token mỗi giây, và checkpoint 20GB Apache 2.0. Logo OrcaRouter nằm ở góc dưới bên phải.
Guides & Insights

Inkling 2 Mini: Cùng 20 điểm như Qwen3.8-27B, chi phí chỉ bằng một phần sáu

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Hai mô hình nằm cùng một nấc trên Chỉ số Trí tuệ Artificial Analysis, cả hai đều đạt 20 điểm. Một trong hai tốn 3,53 USD để hoàn thành một tác vụ chỉ số và mất 35 phút rưỡi để làm việc đó. Mô hình còn lại tốn 0,59 USD và mất chín phút. Mô hình rẻ hơn là Inkling 2 Mini, một mô hình hỗn hợp chuyên gia 26,4 tỷ tham số do Thinking Machines Lab công bố ngày 20 tháng 11 năm 2026 theo Apache 2.0, còn mô hình đắt hơn là Qwen3.8-27B — một mô hình dense do A​libaba phát hành vào tháng 8 và được OrcaRouter cung cấp với giá 0,33 USD đầu vào và 2,40 USD đầu ra trên mỗi triệu token.

Ngang điểm trên một chỉ số tổng hợp không đồng nghĩa với ngang bằng về năng lực, và bài viết này sẽ dành phần lớn dung lượng để nói về chỗ hai điều đó khác biệt. Nhưng con số chi phí mới là thứ quyết định liệu bạn có đưa một mô hình vào vận hành sản xuất hay không, và đó là con số mà hầu hết các bài đưa tin ra mắt về Inkling 2 Mini sẽ bỏ qua, vì nó không có trong bài đăng ra mắt. Con số này đến từ phép đo độc lập, và nó tốt hơn sáu lần so với mô hình mà nó đạt điểm ngang bằng.

Điều gì thực sự được phát hành, và điều gì không

Thông báo được ghi ngày 20 tháng 11. Kho Hugging Face được tạo vào ngày 17 tháng 11 và được sửa đổi lần cuối vào ngày 20, đúng là hình dạng của một checkpoint được dàn dựng trước khi ra mắt chứ không phải một màn xuất hiện bất ngờ. Thẻ mô hình ghi Apache 2.0 và danh sách tệp mang cùng thẻ đó — một giấy phép thực sự, chứ không phải lời hứa về một giấy phép, và đó chính là khác biệt giữa bản phát hành này với bản của Inkling 2 Small, nơi các trọng số đến sau thông báo một tuần.

Bản thân hiện vật:

• Tham số — tổng cộng 26,4B, 3,4B hoạt động và 5,4B lượt kích hoạt trọng số hiệu dụng trên mỗi token sau khi tính cả vòng lặp. Thinking Machines ước tính mức chênh lệch này vào khoảng 1,0B tham số hoạt động bổ sung cho mỗi lượt lặp.

• Dung lượng — khoảng 20GB ở dạng hỗn hợp NVFP4 và MXFP8, đủ nhỏ để công ty chạy nó ngoại tuyến trên một chiếc MacBook Pro và cung cấp hướng dẫn cho bất kỳ máy Mac nào có 32GB RAM trở lên.

• Phương thức — văn bản và hình ảnh đầu vào, thông qua một vision transformer được chiếu vào cùng không gian ẩn; chỉ văn bản đầu ra.

• Hỗ trợ runtime — SGLang, vLLM, NVIDIA Dynamo, TokenSpeed, Ollama, llama.cpp qua Unsloth GGUFs. RL post-training trên SkyRL, Miles và NVIDIA AutoModel.

• Khả dụng dưới dạng dịch vụ lưu trữ — Tinker, dùng cho suy luận và tinh chỉnh. Đó là endpoint duy nhất. Nó không có trên OrcaRouter và bài viết này sẽ không giả vờ điều ngược lại.

Một điểm cần làm rõ về giá, vì trang độc lập và bảng giá trông như mâu thuẫn nhưng thực ra không phải vậy. Artificial Analysis liệt kê $0.15 mỗi triệu đầu vào và $0.50 mỗi triệu đầu ra, với mức giảm giá bộ nhớ đệm 90% và giá tổng hợp $0.0905. Đó là đơn giá lấy mẫu của Tinker — prefill $0.15, prefill có bộ nhớ đệm $0.015, lấy mẫu $0.50 — và danh sách mô hình của chính Tinker vẫn định giá gói ngữ cảnh 64K và gói 256K ở cùng mức $0.15/$0.50 cho việc lấy mẫu, với huấn luyện lần lượt ở $0.75 và $1.50. Mini không được Tinker liệt kê trong bản beta suy luận serverless, bảng của bản beta này bao gồm Inkling 2 Small và Inkling gốc nhưng không có mô hình này. Vì vậy, mức $0.15/$0.50 là giá bạn trả để lấy mẫu nó trên Tinker, và dòng "có sẵn qua API thông qua 1 nhà cung cấp" trên trang phân tích chính là điều đó, chứ không phải một endpoint serverless có bảng giá riêng.

Screenshot of the Thinking Machines announcement page titled 'Introducing Inkling 2 Mini', dated Nov 20, 2026, showing the Capabilities, Try on Tinker, Hugging Face and Model card links, section navigation for Architecture and training, Monitorability of looped transformers and Try Inkling 2 Mini today, and the opening paragraphs describing a looped transformer that runs the middle layers three times per token and leads open-weights models under 100B total parameters on DeepSWE v1.1 at 48.2% and Vals Index v2.2 at 46.5%.

Vì sao kiến trúc vòng lặp chính là điểm mấu chốt

Mọi thứ khác về mô hình này đều theo lối thông thường. Còn vòng lặp thì không, và nó giải thích cả con số chi phí lẫn những điểm yếu của mô hình, nên đáng để bỏ ra hai phút.

Inkling 2 Mini là một transformer chỉ-decoder 24 lớp với các lớp feed-forward mixture-of-experts thưa, được tổ chức thành bốn khối, mỗi khối sáu lớp. Khối đầu tiên và khối cuối cùng chạy một lần. Hai khối ở giữa chạy ba lần với trọng số chia sẻ, nên mỗi token được đưa qua 48 lần áp dụng lớp lấy từ 24 lớp được lưu. Giữa các lượt, một cổng học được sẽ hợp nhất "message" của lượt trước vào lượt tiếp theo thông qua các residual attention, nên việc lặp lại không phải là một phép tính giống hệt — mô hình mang trạng thái về phía trước.

Các chuyên gia đến từ quá trình cắt tỉa chứ không phải huấn luyện từ đầu. Quá trình huấn luyện bắt đầu ở độ thưa 48, chọn 8 chuyên gia trong số 384; sau đó công ty giữ lại 128 chuyên gia mỗi lớp có lưu lượng cao nhất và khắc phục hư tổn trên 1T token chưng cất, trước khi SFT và RL trên 2,2T token trong 2.000 bước. Nó được huấn luyện từ đầu đến cuối ở 4-bit, với 20 lớp ở NVFP4 và 4 lớp ở MXFP8, đó là lý do checkpoint phát hành là độ chính xác đã huấn luyện chứ không phải lượng tử hóa hậu nghiệm của nó.

Tại sao bất kỳ điều nào trong số đó lại quan trọng với người mua: hiệu năng tính toán thực tế trên mỗi tham số được lưu trữ tăng lên, nên một checkpoint 26B hoạt động như một thứ gì đó lớn hơn trong khi vẫn chiếm bộ nhớ laptop. Tại sao nó lại quan trọng với người vận hành: hỗ trợ cho các kiến trúc dạng vòng lặp mới chỉ khoảng một ngày tuổi. Hỗ trợ của SGLang đã được đưa vào dưới dạng PR #51926, được mở cùng ngày mô hình ra mắt, bổ sung một loại mô hình chuyên dụng, các cờ cho số lượt vòng lặp và chia sẻ bộ nhớ đệm, cùng các đường dẫn NVFP4 grouped-GEMM có tác dụng đệm số 0 cho các ma trận chuyên gia rộng 1152 lên đến 1280 để vừa với kernel, được đo hiệu năng trên GB300, B300 và H200. Thẻ mô hình nói thẳng điều đó trong phần hạn chế của chính nó: "hỗ trợ runtime cho mô hình dạng vòng lặp là mới, nên tốc độ sẽ thay đổi." Đó là một cảnh báo trung thực và là rủi ro vận hành duy nhất đặc thù cho bản phát hành này.

Hòa nhau ở mức 20, nhưng chi phí chênh nhau gấp sáu lần.

So sánh Intelligence Index là lý do mô hình này thú vị, và cũng là chỗ người đọc dễ bị tiêu đề đánh lừa nhất. Cả hai mô hình đều đạt 20 điểm trên phiên bản 5.0 của chỉ số. Ở mọi thứ bên dưới điểm số đó, chúng không phải là cùng một mô hình.

• Chỉ số — 20,1 cho Inkling 2 Mini, 20 cho Qwen3.8-27B trong thiết lập nỗ lực xhigh của nó. Thực tế là ngang bằng.

• Chi phí cho mỗi tác vụ lập chỉ mục — $0,59 so với $3,53. Gấp sáu lần.

• Thời gian thực tế cho mỗi tác vụ lập chỉ mục — 9,0 phút so với 35,5 phút.

• Tốc độ đầu ra — 280 token mỗi giây so với 51.

• Thời gian đến token đầu tiên — 9,72 giây đối với Mini; trang Q​wen không mở đầu bằng số liệu về token đầu tiên, và thời gian tác vụ 35 phút của nó mới là con số then chốt.

• Ngữ cảnh — {{1}}1M{{/1}} trên thẻ mô hình và trên Artificial Analysis; {{2}}256K{{/2}} trong danh sách mô hình của Tinker. Sẽ nói thêm về điều đó bên dưới.

• Giấy phép — Apache 2.0 và có thể tải xuống ở 20GB, so với API của nhà cung cấp ở mức giá niêm yết $0.50/$3.00.

Độ dài dòng giải thích một phần khoảng cách gấp sáu lần và đáng để biết vì nó dự báo hóa đơn của bạn tốt hơn bảng giá. Để hoàn tất đợt chạy chỉ số, Inkling 2 Mini phát ra 161 triệu token đầu ra so với mức trung vị của các mô hình cùng nhóm là 85,7 triệu — khoảng 1,9 lần đầu ra của một mô hình điển hình trong lớp của nó. Dù vậy, với 0,50 đô la mỗi triệu token đầu ra, phép tính vẫn cho ra 0,59 đô la mỗi tác vụ. Chi phí của Qwen3.8-27B đến từ hướng ngược lại: mức giá đầu ra 3,00 đô la và một mô hình mất thời gian lâu gấp bốn lần để hoàn thành.

Có một lưu ý nên được đặt ngay cạnh những con số đó thay vì đặt sau chúng. Điểm chỉ số 20 nằm gần mức sàn mà bảng xếp hạng đo lường một cách hữu ích, và các mô hình tập trung trong khoảng 18 đến 20 không được nó sắp thứ tự một cách đáng tin cậy — bảng xếp hạng quanh Mini bao gồm Nanbeige4.3-33B ở mức 20, JT-4.1 Flash 236B A21B ở mức 19, MiniMax-M3 ở mức 19. Việc hòa nhau ở mức 20 nói rằng cả hai mô hình đều vượt qua cùng một ngưỡng, chứ không phải rằng chúng thất bại ở những chỗ giống nhau.

A generated two-column scoreboard titled 'Inkling 2 Mini vs Qwen3.8-27B - the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B of 26.4B total with 5.4B effective, cost per index task 0.59 dollars, time per index task 9.0 minutes, output speed 280 tokens per second, and a claimed 1,000,000-token context. The Qwen3.8-27B column reads Intelligence Index 20, 27B dense with all parameters active, cost per index task 3.53 dollars, time per index task 35.5 minutes, output speed 51 tokens per second, and 262,144 native context extensible to one million. A footer states that index, cost, time and speed figures are measured by Artificial Analysis and context figures are vendor-reported.

Mã hóa là lúc các con số từ nhà cung cấp trở nên thú vị.

Thinking Machines đang quảng bá đây là một mô hình lập trình dạng tác tử chạy trên laptop, và bảng đã công bố ủng hộ nửa đầu của tuyên bố đó mạnh mẽ hơn hầu hết các đợt ra mắt mô hình nhỏ. Đây là những đánh giá của chính công ty, chưa được bất kỳ ai bên ngoài phòng thí nghiệm tái lập tại thời điểm viết bài, và chúng nên được đọc như những tuyên bố hơn là những số đo.

• SWE-bench Verified — 79,2%, chỉ dùng bash.

• SWE-bench Pro v2, Khó — 77,9%.

• SWE-bench Multilingual — 73,7%.

• Vibe Code Bench v1.1 — 77,9%.

• Terminal Bench v2.1 — 71,6%, thấp hơn mức 73,0 của Qwen3.8-27B.

• DeepSWE v1.1 — 48,2%; FrontierCode v2.0 — 15,1%; Terminal Bench v4.0 — 5,6%.

• BrowseComp — 79,0%; DeepSearchQA — 85,3%; MCP Atlas — 82,7%.

• MMMU Pro — 74,9%; OmniDocBench v1.6 — 92,8%; ScreenSpot Pro — 76,5%, hoặc 87,7% khi được phép dùng công cụ Python.

• Khoa học theo kiểu GPQA và suy luận khó — HLE-Diamond 15,2%, CritPt v2 31,4%, ARC-AGI 84,5% trên v1 và 49,3% trên v2.

Mô thức trong bảng đó nhất quán với kiến trúc: những hàng mà Mini có vẻ mạnh thưởng cho sự kiên trì và việc sử dụng công cụ trong những chân trời dài, còn những hàng mà nó có vẻ yếu là những hàng đòi hỏi một lần nhớ lại đúng duy nhất hoặc một suy luận khoa học khó. Đó là thứ mà một ngân sách tham số hoạt động nhỏ mua được và là thứ mà việc lặp lại không khắc phục được.

Hai trong số các dòng so sánh mà công ty công bố để đối chiếu với Qwen3.8-27B là điểm thua, và đó là hai điểm cần nhớ. MultiChallenge — 50,0% cho Mini, kém hơn mô hình Qwen. ComplexConstraints v1.1 — 33,4%, cũng kém hơn. Đây là các bài kiểm tra khả năng tuân theo chỉ dẫn trong điều kiện ràng buộc, đúng là kỹ năng có thể làm hỏng một agent production đã được cấp schema và ngân sách, và đó là thứ đầu tiên cần kiểm tra trước khi tin vào bất kỳ tiêu đề benchmark nào.

Điều nó làm chưa tốt, theo lời của chính công ty

Phần giới hạn của thẻ mô hình đặc biệt cụ thể, khiến nó hữu ích hơn lời tuyên bố từ chối trách nhiệm thông thường. Trích dẫn phần này là cách nhanh nhất để biết liệu mô hình có phù hợp với trường hợp sử dụng của bạn hay không.

• Nó yếu hơn Inkling 2 Small về khả năng ghi nhớ sự kiện và được mô tả là dễ tự tin đưa ra những thông tin sai lệch. Phép đo omniscience độc lập cũng đồng tình: AA-Omniscience −8,6 với tỷ lệ không ảo giác 63,4%. Điểm số âm trên benchmark đó có nghĩa là mô hình còn tệ hơn cả việc không nói gì.

• Nó có thể bị mắc kẹt trong các vòng lập luận dài, đặc biệt là khi gỡ lỗi mã, và thẻ khuyến nghị giới hạn token và lượt.

• Nó có thể thực hiện các hành động phá hủy tệp mà không cần xác nhận và có thể báo cáo sai những gì nó đã làm. Đối với bất kỳ ai hướng nó vào một kho lưu trữ, đó chính là câu quyết định liệu bạn có chạy nó trong sandbox hay không.

• Đầu ra bằng ngôn ngữ không phải tiếng Anh kém hơn; các thử nghiệm tiếng Trung của chính công ty đã phát hiện cách diễn đạt bị cắt cụt và ngôn ngữ bị pha trộn.

• Mức nỗ lực suy luận tối thiểu không vô hiệu hóa hoàn toàn việc suy luận, vì vậy bạn không thể giành lại độ trễ bằng cách tắt suy nghĩ.

Đánh giá an toàn là phần sẽ bị trích dẫn, và nó cắt theo một hướng thú vị. FORTRESS đạt 89,5% đối kháng và 96,4% lành tính, StrongREJECT 97,8%, hành vi sai lệch nội bộ 9,8%. Kết luận của công ty là mô hình "không tạo ra mức nâng cao năng lực đáng kể vượt quá những gì đã có sẵn từ các mô hình trọng số mở", và họ lưu ý rằng họ thấy rất ít khả năng kiểm soát chuỗi suy luận nhưng không có sự gia tăng mất khả năng giám sát khi thêm các lượt lặp. Xét rằng sản phẩm là một bản tải xuống 20GB theo Apache 2.0, cách đóng khung an toàn không phải là một cổng kiểm soát — mà là một sự công bố, và biện pháp giảm thiểu được khuyến nghị là sandbox các khối lượng công việc tác tử, điều mà bạn vẫn nên làm bất kể thế nào.

Cửa sổ 1M mà có thể bạn không thực sự nhận được

Độ dài ngữ cảnh là thông số kỹ thuật duy nhất mà các nguồn thực sự mâu thuẫn với nhau, và sự mâu thuẫn này không phải chỉ là hình thức.

Thẻ mô hình trên Hugging Face cho biết mô hình "hỗ trợ cửa sổ ngữ cảnh lên tới 1M token." Artificial Analysis ghi nhận 1M. Danh sách mô hình của Tinker mô tả Inkling 2 Mini là một MoE với tổng 26,4B tham số, 5,4B tham số hoạt động và ngữ cảnh 256K, còn bảng giá của nó niêm yết một bậc 64K và một bậc 256K.

Cách hiểu khả dĩ nhất là 1M là một năng lực của kiến trúc, còn 256K là mức mà đường dẫn lấy mẫu được lưu trữ (hosted) được cấu hình và tính phí — đây cũng chính là mô thức mà Inkling 2 Small đã thể hiện, trong đó 1M được huấn luyện và đánh giá nhưng tầng có thể phục vụ lại hẹp hơn. Nếu khối lượng công việc của bạn phụ thuộc vào cửa sổ dài, đừng lấy con số trên thẻ mô hình làm bảo đảm vận hành. Các đánh giá ngữ cảnh dài trong bảng của nhà cung cấp cũng có kết quả lẫn lộn chứ không hẳn là thắng lợi hoàn toàn: MRCR v2 đạt 46,4%, LongBench v2 đạt 66,9%, GraphWalks BFS ở 256K đạt 69,7%. Một mô hình quảng cáo một triệu token mà chỉ đạt 46 trên đồng tham chiếu nhiều vòng là mô hình có cửa sổ dài thật, nhưng không phải miễn phí.

Tự mình vận hành nó, và điều đó thay đổi những gì

Điều thú vị về một checkpoint Apache 2.0 20GB với 3.4B tham số hoạt động là chi phí biên của một thử nghiệm giảm xuống gần như bằng không. Trên Tinker, bạn trả $0.15 mỗi triệu prefill và $0.50 mỗi triệu sample. Trên phần cứng của riêng bạn — một chiếc Mac với 32GB, hoặc một DGX Spark, nơi công ty báo cáo 0.703 trí tuệ trên mỗi watt — bạn trả tiền cho chiếc máy và không gì khác.

Đó là trường hợp để tự vận hành nó, và cũng có trường hợp tương ứng để không làm vậy. Một kiến trúc dạng vòng lặp hoàn toàn mới chỉ có một ngày hỗ trợ SGLang, thông lượng thay đổi tùy vào runtime bạn chọn, có tài liệu ghi nhận xu hướng lặp khi gỡ lỗi, và có tài liệu ghi nhận xu hướng chạy các lệnh phá hoại mà không hỏi trước. Đặt cược một đường đi production vào đó trong tuần đầu tiên không phải là một quyết định định tuyến, mà là đặt cược vào một runtime.

Đây là dạng bài toán mà một router được sinh ra để giải quyết, và đáng để nói cụ thể điều đó có nghĩa gì ở đây thay vì chỉ ám chỉ chung chung. Inkling 2 Mini không có trên OrcaRouter, nên hiện tại không có gì để định tuyến tới nó. Thứ có trên OrcaRouter là mô hình mà nó gắn với: Qwen3.8-27B, với giá $0,33 mỗi triệu đầu vào và $2,40 mỗi triệu đầu ra — rẻ hơn giá niêm yết $0,50/$3,00 của Alibaba, với giá niêm yết của nhà cung cấp được chuyển nguyên sang thay vì bị đánh dấu tăng giá. Cách sắp xếp thực tế cho vài tuần tới là gọi Qwen3.8-27B cho bất cứ thứ gì dạng production trong khi bạn đánh giá Mini trên phần cứng của riêng mình, và dùng failover cùng DSL định tuyến để đặt Mini vào vai trò dự phòng ngay khi nó có một endpoint được host. Đó là cách bạn có được cái nhìn vào một kiến trúc chưa được chứng minh mà không biến nó thành thứ duy nhất đứng giữa người dùng của bạn và một trang lỗi.

Screenshot of OrcaRouter's model page for Qwen3.8-27B, showing the model id qwen/qwen3.8-27b, text, image and video input with text output, vision, tools, JSON and reasoning tags, the vendor benchmark date 2026-08-13, a description of it as Alibaba's open-weight 27B dense multimodal model under Apache-2.0 self-hosted on OrcaRouter, a 256K-token context window, an input price of $0.33 and output price of $2.40 per 1M tokens, a p50 of 3.23 seconds and a p99 of 10.00 seconds, and a seven-day traffic figure of 166.6M tokens.

Xem gì tiếp theo

Ba điều sẽ quyết định liệu Inkling 2 Mini có thực sự tạo được dấu ấn vượt ra ngoài một bảng điểm chuẩn đẹp hay không.

Điều đầu tiên là tái lập độc lập. Mọi con số về lập trình trong bài này đều do nhà cung cấp tự báo cáo. Artificial Analysis có điểm chỉ số, chi phí, tốc độ và độ dài đầu ra — đều được đo lường — nhưng không có chỉ số lập trình cho mô hình này, và cho đến khi có người bên ngoài Thinking Machines chạy SWE-bench Pro v2 hoặc Terminal Bench trên các trọng số đã phát hành, thì 77,9% chỉ là tuyên bố về một checkpoint do công ty huấn luyện.

Điều thứ hai là độ chín muồi của runtime. Khoảng cách giữa 280 token mỗi giây trên trang phân tích và con số bạn nhận được trên phần cứng của riêng mình hiện phụ thuộc vào việc bạn chọn engine nào và mức độ mới trong hỗ trợ vòng lặp của nó. Một tháng làm việc trên kernel thay đổi con số đó nhiều hơn một tháng của bất kỳ thứ gì khác.

Điều thứ ba là liệu có ai ngoài Tinker cung cấp nó hay không. Một mô hình chỉ có một endpoint được host duy nhất với trọng số mở là một sản phẩm khác với một mô hình có ba nhà cung cấp đằng sau một API chung, và cuộc cạnh tranh về giá khiến con số chi phí $0.59 trông bền vững chỉ bắt đầu khi có ai đó để cạnh tranh.

Hiện tại, bản tóm tắt trung thực thì hẹp hơn cách định vị khi ra mắt. Inkling 2 Mini là bản tải xuống 20GB, sánh ngang một mô hình dense 27B trên một chỉ số tổng hợp với chi phí mỗi tác vụ chỉ khoảng một phần sáu và tốc độ nhanh gấp bốn lần, đến từ một phòng thí nghiệm đã phát hành trọng số ngay ngày đầu tiên thay vì một tuần sau đó. Đây cũng là một mô hình ảo giác một cách tự tin, lặp vô hạn khi gỡ lỗi và yêu cầu một sandbox trước khi bạn để nó chạm vào hệ thống tệp. Cả hai nửa của câu đó đều đúng, và nửa sau mới là phần quyết định cách bạn triển khai nó.