Một thẻ tiêu đề được tạo tự động ghi 'Inkling 2 Mini vs Inkling 2 Small', với phụ đề 'mười một điểm chỉ mục, cách nhau 394GB', bên dưới có hai thẻ bo tròn ghi 'Inkling 2 Mini — 1 tệp, khoảng 20GB' và 'Inkling 2 Small — 36 tệp, 393.5GB', được phân tách bằng một đường chia đánh dấu '11 điểm'. Logo OrcaRouter nằm ở góc dưới bên phải.
Guides & Insights

Inkling 2 Mini vs Inkling 2 Small: 11 điểm cho 394GB

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Hai checkpoint, cùng một dòng mô hình, và một lựa chọn phụ thuộc vào việc bạn sẵn sàng dành bao nhiêu dung lượng đĩa và bộ nhớ cho mười một điểm Index. Inkling 2 Mini là mô hình nhỏ: tổng cộng 26,4 tỷ tham số, 3,4 tỷ tham số hoạt động, một tệp duy nhất khoảng 20GB mà Thinking Machines Lab công bố ngày 20 tháng 11 năm 2026 theo Apache 2.0. Inkling 2 Small là mô hình lớn: tổng cộng 594 tỷ tham số, 17 tỷ tham số hoạt động, 393,5GB trải trên 36 tệp, trọng số được mở vào ngày 12 tháng 11 sau một tuần chỉ được cung cấp hạn chế, bắt đầu từ buổi ra mắt ngày 5 tháng 11. Trên Artificial Analysis Intelligence Index v5.0.1, chỉ số đánh giá độc lập cả hai mô hình, chúng đạt 20,1 và 31. Đó là toàn bộ sự đánh đổi trong một dòng, và điều đó còn nói giảm đi mức độ khác biệt trong cách hai mô hình vận hành.

Những gì sau đây tách biệt hai loại bằng chứng, vì sự khác biệt này quyết định phần lớn các tranh luận về dòng mô hình này. Điểm chỉ số, chi phí cho mỗi tác vụ chỉ số, tốc độ, ngữ cảnh và giấy phép là số liệu của Artificial Analysis và siêu dữ liệu của nhà cung cấp, được đọc vào ngày 21 tháng 11 năm 2026. Mọi tỷ lệ phần trăm điểm chuẩn đều là bảng đánh giá của chính Thinking Machines từ bài đăng ra mắt liên quan, trên một checkpoint do công ty huấn luyện, và được đánh dấu là do nhà cung cấp báo cáo mỗi khi xuất hiện. Cả hai bảng đều chưa được tái lập bên ngoài phòng thí nghiệm.

Mỗi checkpoint thực sự là gì

Hãy bắt đầu với tạo tác, vì các tạo tác không phải là cùng một loại thứ. Inkling 2 Small là một mô hình hỗn hợp chuyên gia phẳng: tổng cộng 594B, 17B hoạt động mỗi token, trọng số được công bố tám ngày sau khi ra mắt dưới dạng 24 mảnh safetensors cùng một biến thể MXFP8 thậm chí còn lớn hơn. Inkling 2 Mini là một hậu duệ đã được cắt tỉa, có vòng lặp — cùng công thức chủ đạo nhưng đã xóa hai phần ba số chuyên gia và thêm một vòng lặp vào các lớp giữa. Nó được phát hành dưới dạng một tệp khoảng 20GB vì được huấn luyện từ đầu đến cuối ở 4-bit và được triển khai ở độ chính xác mà nó được huấn luyện, 20 lớp ở NVFP4 và 4 lớp ở MXFP8, nên không phải chịu tổn thất chuyển đổi nào.

• Tổng số tham số — Inkling 2 Mini 26,4B so với Inkling 2 Small 594B.

Tham số hoạt động — 3,4B so với 17B, với Mini đạt 5,4B kích hoạt trọng số hiệu dụng trên mỗi token khi tính cả ba lượt vòng lặp của nó.

• Tải xuống — khoảng 20GB trong một tệp so với 393.5GB trên 36 tệp, hoặc 622.8GB cho biến thể MXFP8.

• Chỉ số — 20,1 so với 31, cả hai đều trên Intelligence Index v5.0.1.

• Chi phí cho mỗi tác vụ lập chỉ mục — $0,59 so với $1,18.

• Tốc độ đầu ra và token đầu tiên — 280 token mỗi giây ở 9,72 giây so với 118 token mỗi giây ở 39,68 giây.

• Ngữ cảnh — 1M token trên cả hai thẻ mô hình, và 1M được Artificial Analysis ghi nhận cho cả hai. {{1}}Bậc phục vụ của Inkling 2 Small trên Tinker hẹp hơn so với thẻ của nó, và Mini thừa hưởng cùng khoảng cách đó; hãy coi một triệu là năng lực, không phải cam kết vận hành.{{/1}}

Giấy phép — Apache 2.0 ở cả hai. Thẻ của Small khai báo điều đó mà không gửi kèm tệp LICENSE; thẻ của Mini khai báo trong metadata với sự thiếu vắng tương tự. Đáng để biết nếu bộ phận pháp lý của bạn muốn giấy tờ nằm trong cây mã nguồn.

Screenshot of the Artificial Analysis model page for Inkling 2 Small, showing a score of 31 on the Intelligence Index against a median of 23 for its class, 154M tokens generated during the index run against a 104M median, pricing of $0.30 per 1M input and $1.00 per 1M output tokens, $1.18 per index task, 21.2 minutes per task, a 1M-token context window, a 39.68-second time to first token and 118 output tokens per second.

Mười một điểm, và chúng đến từ đâu

Đọc hai bảng của nhà cung cấp cạnh nhau là cách duy nhất để thấy phần năng lực tính toán bổ sung mang lại điều gì, vì chỉ riêng điểm chỉ số thì sẽ che khuất điều đó. Cả hai mô hình đều được cùng một phòng thí nghiệm đánh giá bằng những bộ khung kiểm thử chồng lấn, nên các hàng chỉ tương đối có thể so sánh được với nhau — và chỉ với nhau mà thôi.

• DeepSWE v1.1 — Inkling 2 Small 72,1% so với Inkling 2 Mini 48,2%. Khoảng cách lớn nhất trong khối lập trình.

• SWE-bench Pro v2, Khó — 86,3% so với 77,9%.

• SWE-bench Verified — 79,2% cho Mini, chỉ bash. Bảng công bố ra mắt của chính Small không in cùng một dòng đó, nên đây là benchmark lập trình duy nhất mà hai bài đăng không thể đối chiếu khớp được với nhau.

• Vibe Code Bench v1.1 — 81,6% so với 77,9%.

• FrontierCode v2.0 — 25,4% so với 15,1%. Khoảng cách mười điểm trên bài kiểm chuẩn nơi cả hai đều yếu nhất.

• PMPP-Hard, benchmark tối ưu hóa kernel — 494,27 AUC cho Small so với 455,82 cho Mini, mức này sát nhau hơn so với những gì số lượng tham số gợi ý và là hàng mà bài đăng ra mắt nhắm tới khi nói rằng Mini "tiến gần" tới người anh em lớn hơn của nó.

• BrowseComp — 90,2% so với 79,0%; DeepSearchQA 90,9% so với 85,3%; MCP Atlas 85,0% so với 82,7%. Tìm kiếm và sử dụng công cụ thu hẹp khoảng cách xuống còn một chữ số.

• CritPt v2, full — 55,7% so với 31,4%. Suy luận khoa học là lĩnh vực mà lượng kiến thức lưu trữ bổ sung thể hiện rõ rệt nhất.

• AA-Omniscience — 16,1 với tỷ lệ không ảo giác 73,3% so với −8,6 với 63,4%.

Hàng cuối cùng đó là hàng đáng để ngẫm. Điểm toàn tri âm nghĩa là một mô hình còn tệ hơn cả việc từ chối trả lời, và phần lớn khoảng cách mười một điểm trên chỉ số được trả giá ở đó: mô hình lớn hơn biết các sự kiện, mô hình nhỏ hơn suy ra chúng. Thinking Machines tự nói điều này, bằng những từ ngữ khác, khi giải thích rằng việc lặp lại bổ sung tính toán tuần tự nhưng không bổ sung sự kiện được lưu trữ. Việc cắt tỉa đã cắt đi hai phần ba số chuyên gia; tri thức nằm trong những chuyên gia còn lại.

Cùng công thức, chảo nhỏ hơn

Sự tương đồng trong cùng dòng mô hình không phải là chiêu trò tiếp thị. Cả hai mô hình đều trải qua SFT với hỗn hợp dữ liệu tương tự và một giai đoạn RL tổng cộng 2,2T token trong 2.000 bước, với chưng cất on-policy được dùng để căn chỉnh ở cả hai. Pipeline hậu huấn luyện là cùng một pipeline; điều khác biệt nằm ở những gì được đưa vào pipeline đó.

Lộ trình của Mini đến đó đáng để biết vì nó giải thích một số dòng benchmark. Nó bắt đầu ở độ thưa 48, định tuyến mỗi token đến 8 trong số 384 chuyên gia. Ở một thời điểm trong quá trình huấn luyện giữa chừng, Thinking Machines đã giữ 128 chuyên gia được dùng nhiều nhất mỗi lớp — một đợt cắt giảm hai phần ba — và phục hồi phần mất mát trên 1T token được chưng cất từ một mô hình Inkling nội bộ lớn hơn, huấn luyện những chuyên gia sống sót đảm nhận công việc của các chuyên gia đã bị xóa. Sau đó, nó bổ sung cơ chế lặp: bốn khối gồm sáu lớp, với hai khối ở giữa được chạy ba lần và một cổng học được có nhiệm vụ hợp nhất thông điệp của lượt trước vào lượt kế tiếp, khởi đầu với độ lợi bằng không để việc huấn luyện bắt đầu như một mô hình thông thường.

Hai quyết định mang tính phán đoán trong thiết kế đó rất đáng chú ý. Công ty đã lặp qua mười hai lớp ở giữa thay vì mười hai lớp cuối, sau khi thử nghiệm cả hai trên 28 đánh giá và thấy phương án giữa tốt hơn ở 27 đánh giá, với mức tăng tương đương về điện toán là 1,51–1,91× so với 1,24–1,36×. Và công ty giữ các khối đầu và cuối ở dạng một lượt duy nhất, theo lý thuyết rằng chúng đảm nhận việc chuyển token sang biểu diễn trong khi phần giữa đảm nhận trừu tượng hóa. Đó là lý do Mini có được 48 lượt áp dụng lớp cho mỗi token từ 24 lớp được lưu trữ mà không thêm tham số nào.

Cái giá của thủ thuật đó là ở khía cạnh vận hành. Một MoE phẳng là thứ mà mọi stack suy luận đã phục vụ được hai năm. Một mô hình lặp đã được SGLang và vLLM hỗ trợ gần như ngay từ ngày nó ra mắt, và thẻ mô hình nói thẳng rằng hỗ trợ runtime cho mô hình lặp là mới và tốc độ có thể thay đổi. Nếu bạn đang chọn giữa hai cái này cho một lộ trình sản xuất trong tháng này, cái nhàm chán là cái có kernel trưởng thành.

Phần cứng mới là ranh giới thực sự

Hai checkpoint không cạnh tranh cùng một cỗ máy, và điều đó quyết định nhiều triển khai hơn là điểm số. Mini được chỉ định chạy trên một NVIDIA DGX Spark, bất kỳ thiết bị Apple silicon nào có 32GB trở lên, hoặc một GPU có 32GB VRAM; bản demo của chính công ty có cảnh nó dựng một trình mô phỏng bay chơi được ngoại tuyến trên MacBook Pro ở chế độ máy bay, và một mô phỏng thị trấn với hai mươi tác nhân trên một chiếc laptop. Một nghiên cứu hiệu quả của Stanford chạy trên bản truy cập sớm đặt nó ở mức 0,703 trí tuệ mỗi watt trên DGX Spark ở MXFP8 và nỗ lực suy luận thấp — được đo bởi các nhà nghiên cứu bên ngoài phòng thí nghiệm, trên một thiết bị, đây là tín hiệu độc lập mạnh nhất trong đợt phát hành.

Small cần một node. 393.5GB trọng số không vừa với bất kỳ thứ gì một cá nhân sở hữu, đó là lý do cách tự nhiên để dùng nó là một endpoint được lưu trữ — Tinker, trong trường hợp của nhà cung cấp — và cũng là lý do phép so sánh thú vị với hầu hết độc giả không phải là "tôi tải xuống tệp nào" mà là "cái nào trong số này thậm chí có thể chạy được". Mini trả lời câu hỏi đó bằng một chiếc laptop. Small trả lời nó bằng một ngân sách.

Sự bất đối xứng đó chính là nơi định tuyến phát huy tác dụng, và đáng để nói cụ thể thay vì chỉ nói chung chung. Cả hai mô hình đều không có trên OrcaRouter, nên hiện tại không có gì để định tuyến đến một trong hai.phía dịch vụ được lưu trữ của cùng quyết định đó: những mô hình bạn sẽ gọi cho các khối lượng công việc mà checkpoint 594B thực sự hướng tới, trên một khóa, theo giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí. DSL định tuyến là phần quan trọng ở đây — nó cho phép bạn tách theo tác vụ để cuộc gọi đắt đỏ chỉ xảy ra với những yêu cầu cần đến nó, với chuyển đổi dự phòng tự động khi một nhà cung cấp gặp sự cố, trong khi mô hình cục bộ rẻ xử lý mọi thứ còn lại. Chạy Mini cục bộ và chỉ gọi ra ngoài cho phần đuôi khó có hóa đơn nhỏ hơn so với chạy một trong hai mô hình cho mọi thứ, và đó chính là cách sắp xếp mà bản phát hành này thực sự có thể thực hiện được.

Quyết định, trong ba trường hợp

Nếu bạn đang xây dựng một agent chạy trên máy của lập trình viên hoặc trong một chiếc máy offline duy nhất, Inkling 2 Mini chính là câu trả lời và thực sự không có đối thủ. Bản tải xuống 20GB với 280 token mỗi giây, giấy phép Apache 2.0, cùng bảng kết quả lập trình vượt qua mọi mô hình open-weights cùng kích cỡ trên chính các dòng kết quả do nhà cung cấp công bố. Hãy chạy nó trong sandbox — thẻ mô hình cảnh báo về các hành động hủy tệp và vòng lặp khi gỡ lỗi — và nó sẽ thực hiện công việc agentic quy mô kho mã trên phần cứng bạn đã sở hữu.

Nếu khối lượng công việc của bạn là truy xuất trên một kho tài liệu lớn mà bạn không viết, lợi thế của Small chủ yếu nằm ở các hàng liên quan đến việc nhớ lại nội dung một tài liệu đã nói. CritPt ở mức 55,7% so với 31,4%, omniscience ở mức 16,1 so với −8,6, và tỷ lệ không ảo giác 73,3% so với 63,4% không phải là những khác biệt nhỏ trong môi trường tuân thủ hoặc tài chính, nơi một câu trả lời sai đầy tự tin tốn kém hơn một câu trả lời đúng chậm. Bạn sẽ phải trả tiền cho một node hoặc một endpoint để có được chúng.

Nếu bạn đang chọn cho một khối lượng công việc hỗn hợp, sự phân tách chính là điểm mấu chốt. Điểm yếu của Mini là kiến thức, và kiến thức là thứ duy nhất bạn có thể cung cấp từ bên ngoài — một lớp truy xuất, một công cụ tìm kiếm, một mô hình lớn hơn cho phần đuôi khó. Điểm mạnh của nó là khả năng duy trì tác tử trong tầm dài hạn với mức giá mà không ai khác trong phân khúc 20GB sánh được. Hãy mua mô hình nhỏ, thuê kiến thức, và coi checkpoint 594B là thứ bạn nâng cấp tới chứ không phải thứ bạn chạy.

Screenshot of the Artificial Analysis model page for Inkling 2 Mini, showing a score of 20 on the Intelligence Index against a median of 10, 161M tokens generated during the index run against an 85.7M median, pricing of $0.15 per 1M input and $0.50 per 1M output tokens, $0.59 per index task, 9.0 minutes per task, and a 1M-token context window, alongside the technical specification panel listing the reasoning, input and output modalities, context window, parameter counts and licence.

Một lưu ý áp dụng cho cả ba trường hợp và nên được đặt ở cuối thay vì bị giấu đi. Bảng điểm chuẩn của cả hai mô hình là do chính phòng thí nghiệm thực hiện, và điểm chỉ số là những con số năng lực được đo độc lập duy nhất trong so sánh này. Con số 31 và 20,1 có thể so sánh được; 86,3% và 77,9% có thể so sánh với nhau và không thể so sánh với gì khác. Bất kỳ ai trích các hàng của nhà cung cấp bên cạnh điểm đã công bố của đối thủ là đang so sánh hai bộ khung kiểm thử, không phải hai mô hình.

A generated two-column scoreboard titled 'Inkling 2 Mini vs Inkling 2 Small — the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B, total parameters 26.4B, download about 20GB, cost per index task $0.59, and output speed 280 tokens per second. The Inkling 2 Small column reads Intelligence Index 31, active parameters 17B, total parameters 594B, download 393.5GB, cost per index task $1.18, and output speed 118 tokens per second. A footer states that index, cost and speed are per Artificial Analysis and benchmark percentages are vendor-reported.