Một thẻ tiêu đề được tạo ghi 'Inkling 2 Mini', với phụ đề '26.4B tổng cộng, 3.4B hoạt động, khoảng 20GB — lặp qua các lớp giữa', cùng ba nhãn dạng viên thuốc ghi Intelligence Index 20.1, 48 lần áp dụng lớp, và Apache 2.0, phía trên một sơ đồ lớp gồm bốn khối trong đó hai khối giữa được đánh dấu 'chạy 3x' và hai khối ngoài cùng 'chạy 1x'. Logo OrcaRouter nằm ở góc dưới bên phải.
Guides & Insights

Inkling 2 Mini ra mắt ở mức 20: một mô hình 20GB suy nghĩ theo vòng lặp

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Checkpoint khoảng 20GB, và con số đó chính là luận điểm. Inkling 2 Mini là một hỗn hợp chuyên gia 26,4 tỷ tham số với 3,4 tỷ tham số hoạt động trên mỗi token, được Thinking Machines Lab công bố vào ngày 20 tháng 11 năm 2026 theo Apache 2.0 dưới dạng một bản tải xuống duy nhất chạy trên Mac với 32GB bộ nhớ hợp nhất hoặc một NVIDIA DGX Spark. Cùng ngày, Artificial Analysis đã đo thời gian và chấm điểm nó: 20,1 trên Intelligence Index v5.0.1, $0,15 mỗi triệu token đầu vào và $0,50 mỗi triệu token đầu ra, $0,59 để hoàn thành một tác vụ chỉ số, 280 token đầu ra mỗi giây. Phần thú vị không phải là điểm số. Mà là mô hình đạt được điều đó bằng cách chạy cùng mười hai lớp ba lần thay vì lưu trữ nhiều tham số hơn, và đó là điều khiến một checkpoint 26B hành xử như một thứ lớn hơn mà không cần nhiều bộ nhớ hơn mức một chiếc laptop có.

Trộn lẫn hai loại con số này một cách cẩu thả thì bản phát hành trông như một thắng lợi rõ ràng; tách chúng ra thì nó trông như một điều cụ thể hơn, và đó là điều bài viết này cố gắng làm. Chỉ số, chi phí mỗi tác vụ, tốc độ, độ rườm rà và giấy phép là các phép đo và siêu dữ liệu của Artificial Analysis được đọc vào ngày 21 tháng 11 năm 2026. Mỗi dòng về lập trình và suy luận ở phần dưới là bộ khung đánh giá của chính Thinking Machines trên một checkpoint do công ty huấn luyện, và được ghi rõ như vậy ở nơi xuất hiện. Chưa ai bên ngoài phòng thí nghiệm tái lập được những dòng đó.

Thinking Machines đã xuất bản những gì

Bản phát hành này ưu tiên trọng số trước. Kho Hugging Face được tạo vào ngày 17 tháng 11 và được sửa đổi lần cuối vào ngày 20, đúng kiểu một checkpoint được chuẩn bị theo từng giai đoạn chứ không phải một đợt tung ra bất ngờ, và model card ghi ngày phát hành là 20 tháng 11 năm 2026. Có một tình huống tệp giấy phép đáng lưu ý: model card khai báo Apache 2.0 trong metadata và các thẻ của kho cũng ghi như vậy, nên đây là một bản phát hành có giấy phép thoáng chứ không phải kiểu hứa hẹn về một bản phát hành như vậy mà Inkling 2 Small đã đi kèm vào ngày 5 tháng 11.

• Tham số — tổng cộng 26,4B, 3,4B đang hoạt động và 5,4B lượt kích hoạt trọng số hiệu dụng trên mỗi token sau khi đã tính cả vòng lặp; Thinking Machines cho rằng mỗi lượt lặp thêm sẽ có thêm khoảng 1,0B tham số hoạt động.

• Mức chiếm dụng — một checkpoint khoảng 20GB, 20 lớp ở NVFP4 và 4 lớp ở MXFP8, được phát hành với độ chính xác như khi huấn luyện thay vì lượng tử hóa sau đó.

• Các phương thức — văn bản và hình ảnh đầu vào thông qua một vision transformer được chiếu vào không gian ẩn dùng chung, văn bản đầu ra.

• Ngữ cảnh — thẻ mô hình ghi tối đa 1M token, và Artificial Analysis ghi nhận 1M.

• Phục vụ — Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth và llama.cpp GGUFs, Llama App, cùng với Ollama và Exo Labs trên Apple silicon. Có sẵn các công thức huấn luyện hậu kỳ cho Miles và SkyRL.

• Được lưu trữ — Tinker, dùng cho suy luận và tùy chỉnh, kèm một playground. Đó là endpoint riêng của nhà cung cấp và là endpoint duy nhất; Inkling 2 Mini không có trên OrcaRouter, và không có nội dung nào bên dưới ngụ ý khác.

Một mô hình đồng hành được phát hành cùng với nó. TML-d24-varloop-research có cùng kiến trúc, được huấn luyện để chấp nhận từ một đến năm lượt vòng lặp, và nó tồn tại để các nhà nghiên cứu có thể thay đổi độ sâu mà mô hình sản xuất cố định ở mức ba. Nó cũng có trên Hugging Face, và đây là đối tượng mà phần lớn công việc về khả năng giám sát trong bản phát hành này được thực hiện trên đó.

Screenshot of the Thinking Machines announcement page titled 'Introducing Inkling 2 Mini', dated Nov 20, 2026, showing the Capabilities, Architecture and training, Monitorability of looped transformers and Try Inkling 2 Mini today section links, plus the opening paragraphs describing a model small enough to run on a laptop that runs the middle layers three times per token and leads open-weights models under 100B total parameters on DeepSWE v1.1 at 48.2%.

Vòng lặp chính là sản phẩm.

Inkling 2 Mini là một transformer chỉ có decoder gồm 24 lớp với các lớp feed-forward mixture-of-experts thưa, được chia thành bốn khối, mỗi khối sáu lớp. Khối đầu tiên chạy một lần, khối cuối cùng chạy một lần, và hai khối ở giữa — mười hai lớp — chạy ba lần với trọng số dùng chung. Do đó, một token đi qua 48 lần áp dụng lớp được lấy từ 24 lớp trọng số được lưu trữ.

Việc lặp lại không phải là một bản sao. Mỗi lượt đi qua các khối giữa đọc đầu ra của phần mở đầu, và lượt thứ hai cùng lượt thứ ba còn đọc thứ mà Thinking Machines gọi là message: đầu ra của chính các khối giữa từ lượt trước, được hợp nhất qua một cổng học được. Cổng đó bắt đầu bằng việc chặn hoàn toàn message, nên quá trình huấn luyện khởi đầu như một mô hình không lặp thông thường và mức tăng trên message được nâng dần theo thời gian. Đó là một mẹo ổn định huấn luyện, và cũng là lý do vòng lặp có thể được thêm vào giữa chừng thay vì được huấn luyện từ con số không.

Việc chọn những lớp nào để lặp không phải là tùy tiện. Công ty đã đo việc lặp mười hai lớp giữa so với việc lặp mười hai lớp cuối qua 28 đánh giá và thấy rằng phương án giữa thắng ở 27 trong số đó, với mức lợi ích tương đương tính toán là 1,51–1,91× so với 1,24–1,36×. Trực giác mà nó đem lại là các lớp đầu và cuối đang bận dịch giữa token và biểu diễn nội bộ, trong khi các lớp giữa mang phần suy luận trừu tượng được hưởng lợi từ nhiều bước tuần tự hơn.

Các chuyên gia được cắt tỉa thay vì được thiết kế. Quá trình huấn luyện bắt đầu ở độ thưa 48, định tuyến mỗi token tới 8 trong số 384 chuyên gia; tại một thời điểm trong quá trình huấn luyện giữa, công ty giữ lại 128 chuyên gia được dùng nhiều nhất mỗi lớp và khắc phục thiệt hại trên 1T token được chưng cất từ một mô hình Inkling nội bộ lớn hơn, sau đó chạy SFT và một giai đoạn RL tổng cộng 2,2T token qua 2.000 bước. Đó là cùng hỗn hợp hậu huấn luyện như Inkling 2 Small, đó là lý do điểm mạnh của hai mô hình rơi vào cùng những chỗ.

Hai mươi, và cái gì nằm bên dưới nó

Điểm số chính là có thật và được đo độc lập, đồng thời nó cũng gần với ngưỡng sàn mà chỉ số còn phân giải hữu ích. Artificial Analysis xếp 20 là cao hơn đáng kể so với mức trung bình của nhóm so sánh của mô hình trên bảng open-weights, nơi trung vị là 10, nhưng dải ngay quanh 20 rất đông mô hình cách một điểm về mỗi phía, và chỉ số không xếp thứ tự mô hình chi ly đến mức đó. Điểm 20 nghĩa là mô hình vượt qua một ngưỡng, chứ không phải nó đánh bại mọi thứ trong khoảng một điểm quanh nó.

Điều mà điểm số thực sự hỗ trợ là vị thế quan trọng đối với một mô hình cỡ này. Tuyên bố Pareto trong bài đưa tin ra mắt — trí tuệ tiên phong trên mỗi tham số hoạt động — chính là tuyên bố được phần tóm tắt của chính Artificial Analysis hậu thuẫn, khi họ gọi nó là một trong những mô hình dẫn đầu về trí tuệ trong phân khúc kích thước của nó và có giá hợp lý so với các mô hình trọng số mở khác có kích thước tương tự. Nó đạt được điều đó nhờ vòng lặp, thứ mang lại tính toán tuần tự mà không cần mua thêm tham số, và tuyên bố này không còn đúng ngay khi bạn yêu cầu mô hình biết một điều gì đó thay vì suy ra điều gì đó.

Chi phí và tốc độ là hai cột mà bản phát hành này tỏ ra mạnh nhất. Với $0.15 cho đầu vào và $0.50 cho đầu ra, nó được định giá ở đáy của phân khúc suy luận, và $0.59 cho mỗi tác vụ lập chỉ mục chỉ bằng một phần tư chi phí của một mô hình dense 27B trong cùng dải điểm. Nó nhanh theo hai cách thể hiện trong vòng lặp agent: 9.72 giây để có token trả lời đầu tiên và 280 token đầu ra mỗi giây. Điểm yếu bù trừ là tính dài dòng — 161M token đầu ra để hoàn thành lượt chạy lập chỉ mục, so với mức trung vị của các mô hình cùng nhóm là 85.7M, tức khoảng 1.9 lần lượng đầu ra của một mô hình điển hình trong cùng phân khúc. Trên hóa đơn tính theo token thì điều đó không sao. Với ngân sách token cố định, điều đó nghĩa là bạn chỉ nhận được khoảng một nửa số tác vụ.

Screenshot of the Artificial Analysis model page for Inkling 2 Mini, showing it amongst the leading models in intelligence and reasonably priced for its size but very verbose, a score of 20 on the Intelligence Index against a median of 10 for its class, 161M tokens generated during the index run against a 85.7M median, pricing of $0.15 per 1M input and $0.50 per 1M output tokens, $0.59 per index task, 9.0 minutes per task, and a listed 1M-token context window.

Các hàng mã hóa, do nhà cung cấp báo cáo

Bảng mà Thinking Machines công bố là phần mạnh nhất trong lập luận của họ, và nó hoàn toàn là của riêng họ. Đây là những con số chưa được tái lập từ một harness của nhà cung cấp, một số trong đó được chạy bằng scaffold tác nhân của chính công ty thay vì một scaffold trung lập, nên hãy đọc chúng như những tuyên bố về một checkpoint do phòng thí nghiệm huấn luyện.

• SWE-bench Verified — 79,2%, chỉ dùng bash.

• SWE-bench Pro v2, Khó — 77,9%.

• SWE-bench Multilingual — 73,7%.

• DeepSWE v1.1 — 48,2%, so với 42,2% được báo cáo cho Qwen3.8-27B.

• Terminal Bench v2.1 — 71,6%, xếp sau 73,0 của Qwen3.8-27B; trên Terminal Bench v4.0, cả hai đều ghi nhận 5,6%.

• FrontierCode v2.0 — 15,1%, so với 14,9% của Qwen3.8-27B.

• Tìm kiếm tác tử và công cụ — BrowseComp 79,0%, DeepSearchQA 85,3%, MCP Atlas 82,7%, mỗi chỉ số đều cao hơn con số của Qwen3.8-27B trong cùng bảng.

Thị giác và tài liệu — MMMU Pro 74,9%, OmniDocBench v1.6 92,8%, ScreenSpot Pro 76,5% ở dạng thường và 87,7% khi dùng công cụ Python.

• Suy luận — HLE-Diamond 15,2%, CritPt v2 31,4%, ARC-AGI 84,5% trên v1 và 49,3% trên v2, LongBench v2 66,9%.

Hình dạng của bảng đó nhất quán với kiến trúc, và đó là thứ hữu ích nhất trong bản phát hành. Những hàng mà mô hình trông mạnh là những hàng thưởng cho sự kiên trì và việc sử dụng công cụ trong một chân trời dài: tìm kiếm, vá ở quy mô kho mã, phân tích tài liệu. Những hàng mà nó trông bình thường là những hàng cần một lần truy hồi chính xác duy nhất hoặc một suy luận khoa học khó. Việc lặp lại bổ sung các bước tuần tự. Nó không bổ sung các dữ kiện được lưu trữ.

Lặp lại chỉ đem lại lập luận, không đem lại sự thật.

Sự phân biệt đó chính là luận điểm của bản phát hành này, và công ty kiểm chứng nó thay vì chỉ khẳng định suông. Trên AA-Omniscience, bộ đánh giá về tính xác thực, bảng của nhà cung cấp ghi −8.6 cho Inkling 2 Mini với tỷ lệ không ảo giác 63,4%. Điểm âm ở đây nghĩa là mô hình còn tệ hơn cả việc từ chối trả lời: nó tạo ra những sai sót đầy tự tin. Cách diễn đạt của công ty là khoảng trống kiến thức này tương đương với các mô hình khác cùng tổng kích thước, và mô hình bù đắp bằng khả năng tìm kiếm tốt — đúng như các dòng BrowseComp và DeepSearchQA thể hiện, và cũng chính là lý do bản tóm tắt trung thực về mô hình này là "giỏi tìm kiếm, yếu ghi nhớ".

Người bạn đồng hành vòng lặp biến thiên làm rõ luận điểm hơn. Chân trời thời gian không có chuỗi suy luận — một tác vụ có thể hoàn thành với độ tin cậy 50% trong bao lâu mà không cần viết suy luận ra — tăng từ 16 giây ở một lượt lên 37 giây ở ba lượt, rồi chững lại, trong khi suy luận tuần tự trên tác vụ tra cứu N-Hop tiếp tục cải thiện đến mười lượt, gấp đôi độ sâu mà nó được huấn luyện. Lợi ích tập trung ở truy xuất nhiều bước, suy luận toán và khoa học, và công việc tác tử dài hạn. Hỏi đáp kiến thức thực tế kiểu đóng sách hầu như không thay đổi.

Kết quả về khả năng giám sát là phần các nhà nghiên cứu sẽ quan tâm nhất, vì đó là sự phản đối đối với các mô hình lặp. Nếu một mô hình thực hiện nhiều tính toán hơn bên trong một token, thì ít suy luận hơn xuất hiện trong chuỗi suy nghĩ hiển thị, và một trình giám sát chuỗi suy nghĩ sẽ thấy ít hơn. Thinking Machines đo lường điều này và thấy hiệu ứng nhỏ hơn lo ngại ở quy mô này: suy luận của mô hình vòng lặp biến đổi ở năm lượt ngắn hơn một nửa so với ở một lượt (trung bình 1.661 so với 3.703 token) trong khi độ dài câu và tỷ lệ từ trong từ điển không đổi, điều này được hiểu là suy luận trực tiếp hơn chứ không phải suy luận kém rõ ràng hơn. Trên đánh giá tàng hình LinuxArena, Inkling 2 Mini ở mức 3,9% nằm xa dưới mức 20,5% của Qwen3.8-27B. Không điều nào trong số đó là bảo đảm — đây là phép đo đầu tiên trên một lớp kiến trúc mà trước đây chưa ai có trọng số có thể tải xuống, và công ty nói thẳng rằng họ phát hành mô hình một phần để người khác có thể kiểm chứng.

Chi phí để vận hành là bao nhiêu

Tự vận hành là chế độ được quảng bá và phép tính rất đơn giản. Một checkpoint 20GB trên một cỗ máy bạn đã sở hữu không tốn thêm chi phí token cận biên nào cả, và nghiên cứu hiệu quả của chính nhà cung cấp — do các phòng thí nghiệm Hazy Research và Scaling Intelligence của Stanford thực hiện trên bản truy cập sớm, ở MXFP8 và mức nỗ lực suy luận thấp — cho nó ở mức 0,703 trí tuệ mỗi watt trên một DGX Spark, so với 0,430 của Qwen3.6-35B-A3B và 0,159 của Gemma 4 26B-A4B. Đó là một kết quả gần với nhà cung cấp trên một thiết bị duy nhất, không phải phép đo trên cả cụm thiết bị, nhưng hướng đi thì không hề mơ hồ.

Lập luận trung thực chống lại việc tự chạy nó là một kiến trúc lặp chỉ có khoảng một ngày độ trưởng thành phục vụ. SGLang, vLLM và những cái còn lại có liệt kê hỗ trợ, và thẻ mô hình tự cảnh báo bằng chính lời của nó rằng hỗ trợ runtime cho mô hình lặp là mới và tốc độ sẽ thay đổi. Thông lượng bạn đo trên máy của riêng bạn phụ thuộc vào việc bạn chọn engine nào và các kernel của nó mới đến đâu, và điều đó sẽ thay đổi nhanh hơn bất kỳ thứ gì khác về mô hình này.

Ở đây, router không chứng minh được vị trí của mình bằng việc phục vụ Mini — chúng tôi không lưu trữ nó. Mà bằng những gì bạn đặt xung quanh nó. Việc đánh giá một kiến trúc chưa được chứng minh không bao giờ nên là thứ duy nhất đứng giữa người dùng của bạn và một trang lỗi, và cách để sắp xếp điều đó là gọi một mô hình bạn tin cậy cho đường chạy production trong khi Mini chạy bên cạnh.Qwen3.8-Flash có trên OrcaRouter với giá 0,15 đô la mỗi triệu token đầu vào và 0,47 đô la mỗi triệu token đầu ra, đúng giá niêm yết của nhà cung cấp được chuyển qua mà không cộng thêm, và DSL định tuyến cùng cơ chế chuyển đổi dự phòng tự động cho phép bạn đặt Mini phía sau nó ngay khi Mini đạt tới một endpoint mà chúng ta có thể truy cập. Một khóa duy nhất bao quát cả hai phía của thử nghiệm đó, và đó chính là toàn bộ lập luận.

A generated single-column scoreboard titled 'Inkling 2 Mini — the scoreboard', with six rows reading Intelligence Index 20.1, cost per index task $0.59, output speed 280 tokens per second, first token 9.72 seconds, size on disk about 20GB, and licence Apache 2.0, above a footer stating that index, cost and speed are per Artificial Analysis and coding rows are vendor-reported and unreproduced.

Bốn điều cần chú ý

Đầu tiên là việc tái tạo độc lập. Artificial Analysis có chỉ số, chi phí, tốc độ và mức độ dài dòng — được đo lường — nhưng bảng lập trình là của chính phòng thí nghiệm. Cho đến khi có người bên ngoài Thinking Machines chạy SWE-bench Pro v2 hoặc DeepSWE trên các trọng số công khai, 77.9% và 48.2% vẫn chỉ là tuyên bố.

Điều thứ hai là liệu có một endpoint được host xuất hiện ngoài Tinker hay không. Một checkpoint Apache 2.0 20GB đúng là kiểu sản phẩm mà các nhà cung cấp bên thứ ba nhanh chóng tiếp nhận, và cuộc cạnh tranh giá có thể khiến mức $0.59 mỗi tác vụ trông bền vững chỉ bắt đầu khi có người bán thứ hai.

Điều thứ ba là chính vòng lặp. Nếu bản thử nghiệm hoạt động, kỹ thuật này có thể chuyển giao: ba lượt xử lý trên các lớp giữa, một cổng để hợp nhất thông điệp, không cần tham số bổ sung. Mọi công thức mô hình nhỏ trong lĩnh vực đều trở thành ứng viên cho nó, và câu hỏi thú vị không còn là liệu mô hình này có đạt 20 điểm hay không, mà trở thành liệu mô hình tiếp theo có đạt 24 điểm với cùng mức bộ nhớ hay không.

Điều thứ tư là phần mà bản ra mắt không giải quyết. Các mô hình có vòng lặp đưa suy luận ra khỏi chuỗi suy nghĩ hiển thị và vào lượt truyền xuôi. Thinking Machines không phát hiện mất mát đáng kể nào về khả năng giám sát ở 5,4B tham số hoạt động. Chưa ai công bố phép đo tương tự ở 50B. Đó là câu hỏi mà bản phát hành này khiến có thể đặt ra, và là lý do tốt hơn để quan tâm đến một bản tải xuống 20GB so với điểm số.

Với bất kỳ ai đang cân nhắc trong tuần này, ranh giới rất rõ ràng. Nếu bạn muốn một công cụ lập trình tự chủ đủ năng lực, chạy ngoại tuyến trên phần cứng bạn đã sở hữu, đồng thời sẵn sàng cô lập nó trong sandbox và kiểm tra khả năng nhớ sự kiện trước khi tin dùng, thì Inkling 2 Mini là mô hình nhỏ thú vị nhất hiện có, và cái giá để dùng thử chỉ là một lần tải về. Nếu bạn cần một câu trả lời có thể đưa thẳng cho khách hàng mà không có lớp truy xuất nào phía sau, thì đây không phải mẫu mô hình đó, và con số 20 trên bảng chỉ số sẽ không biến nó thành như vậy.