Trọng số Inkling 2 Small đã được phát hành: 394 GB, Apache 2.0 và hóa đơn cỡ một node

Bản commit trọng số đầu tiên trong kho lưu trữ Inkling 2 Small được đánh dấu 19:53 UTC ngày 12 tháng 11 năm 2026 — chín giờ trước khi bài viết này được viết. Cho đến lúc đó, mô hình chỉ là một bảng giá và một bảng điểm chuẩn: Thinking Machines Lab đã ra mắt nó vào ngày 5 tháng 11 với trọng số đóng, một endpoint Tinker và ý định đã nêu là sẽ công bố các checkpoint theo Apache 2.0 “vào tuần sau”. Do đó, bản thân mô hình mới chỉ tám ngày tuổi. Điều mới là bạn có thể tải nó xuống, và bản tải xuống không phải là một tệp nhỏ.

Hai kho lưu trữ là công khai. Checkpoint chính có dung lượng 393,5 GB trải trên 36 tệp, trong đó 24 tệp là các phân mảnh safetensors. Biến thể MXFP8 có dung lượng 622,8 GB. Cả hai đều được khai báo là Apache 2.0 trong siêu dữ liệu của thẻ mô hình. Đó là toàn bộ thông báo cho đến nay — thẻ mô hình, các kho lưu trữ và một đoạn cập nhật được nối vào bài đăng ra mắt. Mọi thứ dưới đây được đọc ra từ những nguồn sơ cấp đó cùng với hai cookbook phục vụ đi kèm, và đáng nói thẳng về điều vẫn còn thiếu: hoạt động kiểm thử an toàn bên ngoài, vốn là điều kiện tiên quyết đã được nêu để mở các trọng số này, vẫn chưa được công bố.

Thực ra có gì trong bản tải xuống?

Bắt đầu với kích thước, vì đó là điều đầu tiên quyết định liệu mô hình này có dùng được với bạn hay không. Cách bố trí độ chính xác hỗn hợp giải thích con số gần như khớp hoàn toàn, một dấu hiệu tốt cho thấy các con số được công bố nhất quán với nhau chứ không phải chỉ là nội dung tiếp thị.

• Tách checkpoint — các chuyên gia NVFP4 ở lớp 0 đến 39, các chuyên gia MXFP8 ở lớp 40 đến 47, theo cookbook SGLang.

• Kích thước dự kiến — trung bình 5,33 bit mỗi tham số trên cách chia 40/48 và 8/48 đó cho kết quả 396 GB cho 594B tham số.

• Kích thước đo được — 393,5 GB cho kho lưu trữ chính, bao gồm tokenizer và các tệp cấu hình.

• Kho MXFP8 — 622,8 GB, và chỉ mục safetensors ghi nhận 612,4 tỷ tham số được lưu trữ, so với 383,1 tỷ của kho chính, vì việc đóng gói trọng số expert xuống bốn bit làm giảm số phần tử được đếm chứ không phải mô hình.

Kiến trúc bên dưới là một transformer chỉ-giải mã 48 lớp với khối truyền thẳng mixture-of-experts thưa: 384 chuyên gia được định tuyến, 8 chuyên gia hoạt động mỗi token, độ rộng ẩn 4.608, 48 đầu chú ý trên 8 đầu khóa-giá trị với 128 chiều mỗi đầu, và từ vựng 201.024 token. Cơ chế chú ý mang tính lai chứ không đồng nhất — 40 trong 48 lớp dùng cửa sổ trượt 1.024 token và chỉ 8 lớp là toàn cục, đây chính là nguồn gốc của ngân sách ngữ cảnh dài. Tháp thị giác là một transformer 23 lớp riêng biệt với độ rộng ẩn 1.024 và 16 đầu, đọc các mảng 20×20 pixel với hợp nhất 2×2, vì vậy mỗi token ảnh bao phủ một vùng 40×40 pixel; thẻ yêu cầu ảnh có cạnh từ 40 đến 4.096 pixel.

Ngoài ra còn có một đầu dự đoán đa token được gắn thêm cho giải mã suy đoán — năm lớp, kích thước khối là 8, hạng Markov là 256, và các lớp mục tiêu tại 5, 11, 17, 23, 29, 35, 41 và khối cuối cùng. Đó chính xác là tám lớp chú ý toàn cục, và đây là chi tiết cho thấy đầu nháp đã được thiết kế xoay quanh ngăn xếp lai chứ không phải được thêm vào sau đó. Thinking Machines gọi bộ giải mã thu được là “DSpark.”

Một việc cần lưu ý cho bất kỳ ai mà bước đánh giá pháp lý yêu cầu giấy tờ: giấy phép được khai báo trong metadata của model card là Apache 2.0 và model card có liên kết ra chứng thư tiêu chuẩn, nhưng không có tệp LICENSE, LICENSE.md, LICENSE.txt hay NOTICE nào trong cây thư mục kho lưu trữ. Cả bốn đều không trả về kết quả nào. Khai báo là có thật và rõ ràng; tài liệu mà hầu hết các nhóm pháp lý mong đợi tìm thấy thì không có ở đó.

Danh sách phần cứng, và những điểm nhà cung cấp và cookbook không thống nhất

Thẻ mô hình đưa ra mức sàn VRAM. Các công thức phục vụ đưa ra một cấu trúc liên kết. Chúng không phải là cùng một con số, và khoảng cách giữa chúng là điều thực tế nhất trên trang này.

• NVFP4 chính — ít nhất 500 GB VRAM tổng hợp; ví dụ về card là 2× B300 hoặc 4× H200.

• Biến thể MXFP8 — ít nhất 800 GB; ví dụ là 4× B300 hoặc 8× H200.

• SGLang, cấu trúc liên kết theo từng GPU — GB200, GB300 và B300 ở TP 4 / EP 4; B200 ở TP 4 / EP 4, khuyến nghị TP 8 để dư địa cho KV; H200 với NVFP4 ở TP 8 / EP 8; MI350X và MI355X ở TP 8 / EP 8; Vera Rubin ở TP 4 / EP 4; TPU7x ở 8 / 8 trên một host bốn chip.

• MXFP8 trên B200 hoặc GB200 — TP 8 / EP 8, khoảng 151 GB trọng số mỗi GPU.

• Ràng buộc đằng sau tất cả — mức song song chuyên gia phải bằng mức song song tensor, vì các scale kích hoạt chuyên gia NVFP4 trải trên toàn bộ chiều rộng đầu vào của từng chuyên gia và không thể được chia shard theo song song tensor.

Vì vậy, ví dụ 4× H200 của card đáp ứng mức sàn 500 GB nhưng không phải là một topology mà cookbook xác thực; H200 được liệt kê ở 8-way. Các mức sàn về lưu trữ và bộ nhớ cho bạn biết liệu nó có vừa hay không. Chúng không cho bạn biết liệu nó có chạy hay không, và với checkpoint này, số thứ hai gấp đôi số thứ nhất trên phần cứng mà hầu hết mọi người có. Nếu bạn đang cấp phát, hãy lập kế hoạch theo recipe, không phải theo mức sàn.

Đường dẫn AMD mới có hai ngày và chưa được hợp nhất

Radar đã đưa bài viết này lên đã bắt được pull request hỗ trợ AMD thay vì bản phát hành trọng số, và cách diễn giải trung thực về riêng PR đó là nó thuộc dạng công việc engine — kiểu thứ không phải tin tức. Ở đây nó chỉ quan trọng vì nó được hợp nhất trong cùng tuần với các checkpoint, và vì đây là nhà cung cấp silicon thứ hai có container image.

Pull request này bổ sung hỗ trợ gfx950 cho MI350X và MI355X, được xếp chồng lên bản port Inkling 2 Small cơ sở. Những gì nó thay đổi: các kernel ROCm nằm trong các mô-đun *_hip.py riêng biệt chỉ được truy cập dưới HIP, các nhánh CUDA và NPU không bị động đến, pool KV hợp nhất và prefill toàn đồ thị trở thành mặc định khi khởi chạy, MegaMoE bị từ chối thay vì được thử, và lượng tử hóa quick-reduce bị bỏ qua trừ khi một cờ môi trường cho phép. gfx950 là bắt buộc trừ khi một biến môi trường thứ hai ghi đè lên — nghĩa là các card hạng MI300 bị từ chối khi khởi chạy, và tác giả PR nói gfx942 "chưa từng được chạy".

Các phép đo trong PR, vốn là của chính tác giả và chưa được phản biện: 426 bài kiểm thử đơn vị đạt trên một MI350X, 98.0% trên GSM8K-200 ở mức nỗ lực cân bằng và 97.5% với DSpark ở độ dài chấp nhận 4.04, cùng thời gian trên mỗi token đầu ra tại 2,048 đầu vào và 512 đầu ra là 5.15 ms ở chế độ cân bằng so với 2.10 ms với DSpark. Những con số đó quy đổi thành khoảng 194 và 476 token đầu ra mỗi giây trên một luồng đơn trên tám bộ tăng tốc. Khi bật AITer, các con số độ chính xác chuyển thành 97.5% và 96.5%.

Trạng thái của PR là bản nháp. CI chưa chạy trên đó — job base bị chặn do thiếu label và không có lượt chạy AMD nào được ghi nhận cho commit đang được review — và tất cả code owner được liệt kê vẫn đang chờ review. Hãy coi hỗ trợ MI350X là thứ bạn có thể tự build từ source trong tuần này, chứ không phải thứ bạn có thể mua.

Phục vụ nó có nghĩa là dùng một image dev, chứ không phải một bản phát hành

Cả hai stack lớn đều có hỗ trợ ngay từ ngày đầu và cả hai đều chưa đưa nó vào bản phát hành nào. SGLang nói rõ rằng tính năng hỗ trợ chưa có trong bất kỳ bản phát hành nào và chỉ vào các bản dựng dev-inkling-2-small, với các image riêng cho Hopper và Blackwell, Vera Rubin, MI35x và TPU7x. vLLM yêu cầu bản nightly hoặc mới hơn, hoặc image vllm/vllm-openai:inkling-2-small. Điều đó là bình thường với một mô hình cỡ này và mới như vậy, nhưng nó thay đổi ý nghĩa của "được hỗ trợ": bạn đang theo dõi một nhánh, và một lần rebase có thể làm hỏng triển khai của bạn.

Những chi tiết vận hành thực sự sẽ gây hậu quả:

• Bối cảnh — công thức TP 4 của vLLM giới hạn ở 262.144 token trên một tray; toàn bộ cửa sổ 1.048.576 token cần TP 8 trên hai node. Ở TP 4, một yêu cầu 1M token cần 64,47 GiB bộ nhớ đệm KV, nhiều hơn phần còn lại của một tray.

• Giải mã suy đoán — SGLang xác minh 8 token mỗi bước bằng đầu DSpark đi kèm; phần tương đương của vLLM đặt 7 token suy đoán với cách phác thảo theo xác suất. Công thức cảnh báo rằng tỷ lệ chấp nhận giảm từ 15 đến 25% ở nhiệt độ 1.0 nếu bạn phác thảo một cách tham lam.

• Bộ phân tích cú pháp — suy luận dùng inkling, lệnh gọi công cụ dùng inkling2, và SGLang tự động chọn cả hai khi chưa được thiết lập. Bộ phân tích lệnh gọi công cụ của vLLM là tùy chọn bật, và hướng dẫn nói rằng gọi công cụ chưa được đánh giá chuẩn từ đầu đến cuối, mà chỉ được kiểm thử đơn vị.

• {{1}}Việc phân tách prefill/decode — chỉ được xác thực dưới dạng 1P1D trên một khay GB300 bốn GPU, NVFP4, không dùng MegaMoE, với tỷ lệ bộ nhớ tĩnh bị buộc giảm xuống 0.86 vì giá trị tự động 0.963 bị hết bộ nhớ.{{/1}} {{2}}Cách phân tách này không phù hợp với checkpoint MXFP8.{{/2}}

• Phân tách encoder — chưa có trong các image, và máy chủ ngôn ngữ sẽ dừng nếu không thể kết nối tới encoder hoạt động bình thường nào.

• Dư địa bộ nhớ — trên các linh kiện B200 hoặc GB200 192 GB ở TP 4, dung lượng KV chỉ bằng khoảng một phần ba so với những gì một khay GB300 mang lại, và đây mới là giới hạn thực sự đối với khả năng đồng thời xử lý ngữ cảnh dài, chứ không phải kích thước cửa sổ in trên card.

Cũng có một báo cáo cộng đồng ngay trên thẻ mô hình, từ những giờ đầu sau khi tải lên, có tiêu đề "Thẻ Hopper hiện không tương thích với image vllm." Không thấy phản hồi nào từ người bảo trì và tôi không thể tái hiện lỗi, nên hãy coi đó là một cảnh báo hơn là một phát hiện, và hãy kiểm tra trước khi bạn quyết định dùng một node Hopper. Phía SGLang có liệt kê H200 ở cấu hình 8-way, nên hướng Hopper không bị đóng — chỉ là nó không phải hướng mà công thức của vLLM mô tả.

Chi phí tự vận hành gồm những gì, và vì sao câu trả lời hiếm khi chỉ là giá cả

Lý do để tải xuống 394 GB là kiểm soát, chứ không phải kinh tế đơn vị, và phép tính cho thấy rõ điều đó một cách nhanh chóng.

Trên Tinker, mô hình được niêm yết ở mức 0,30 USD cho mỗi triệu token đầu vào, 0,03 USD cho mỗi triệu token đầu vào được cache và 1,00 USD cho mỗi triệu token đầu ra, với ngữ cảnh 256K. Artificial Analysis đo được 84 token đầu ra mỗi giây và 67,71 giây để có token trả lời đầu tiên, ở mức 1,18 USD mỗi tác vụ chỉ mục và 29,6 phút mỗi tác vụ, so với 154 triệu token đầu ra trên toàn bộ bộ kiểm thử và mức trung vị của các mô hình cùng loại là 89,8 triệu. Con số token đó chính là manh mối: đây là một mô hình suy nghĩ rất lâu trước khi trả lời, và với giá niêm yết cho token đầu ra, một luồng duy nhất chạy hết công suất trong một giờ sẽ tạo ra khoảng 302.000 token, tức khoảng ba mươi xu đầu ra. Để đánh bại một node có giá một đô la một giờ, bạn cần duy trì khoảng bốn luồng hoạt động; để đánh bại một node giá hai mươi đô la một giờ, bạn cần sáu mươi sáu luồng. Rất ít khối lượng công việc đánh giá, và còn ít hơn nữa là các khối lượng công việc agentic, duy trì được mức đồng thời đó với một mô hình có thời gian tới token đầu tiên là 67 giây.

Thay vào đó, khi sở hữu trọng số, bạn mua được: cửa sổ 1M đầy đủ theo điều kiện của chính bạn thay vì ở gói phục vụ 256K của Tinker, không còn danh sách chờ beta trước môi trường production, tinh chỉnh trên stack của riêng bạn, dữ liệu không bao giờ rời khỏi mạng của bạn, và các đợt đánh giá hàng loạt không bị tính phí theo token. Điều bạn đánh đổi: một bản build phát hành hoạt động được, topology tám chiều mà bạn phải mua thay vì thuê, và một stack phục vụ mà giờ đây bạn phải tự duy trì.

Đó là hình hài trung thực của quyết định, và cũng là chỗ một lớp định tuyến phù hợp mà không bị buộc phải giả vờ rằng nó lưu trữ thứ gì đó mà nó không có. Inkling 2 Small không nằm trong danh mục của OrcaRouter — chúng tôi đã kiểm tra danh sách mô hình trực tiếp trong tuần này và không có mục inkling nào trong số 215 — vì vậy đường API cho mô hình này vẫn là nền tảng Tinker riêng của Thinking Machines và, theo cập nhật ra mắt, một số nhà cung cấp suy luận bên thứ ba. Điều mà hơn 200 mô hình chỉ với một khóa mang lại cho bạn là một phương án dự phòng: bạn có thể chạy thử nghiệm tự lưu trữ trên một nút duy nhất và giữ môi trường sản xuất trên các mô hình mà chúng tôi định tuyến, với tính năng chuyển đổi dự phòng tự động nếu thử nghiệm thất bại, và trên các mô hình mà chúng tôi định tuyến giá niêm yết của nhà cung cấp được chuyển qua nguyên vẹn. Khi một máy chủ thứ hai và thứ ba tiếp nhận các checkpoint này, chặng dự phòng không còn mang tính lý thuyết nữa — và sự khóa chặt vào nhà cung cấp vốn là lý do chính để tải xuống 394 GB ngay từ đầu sẽ trở nên yếu hơn.

Vị trí của nó hiện giờ khi đã mở

Điểm số không thay đổi khi các trọng số được công bố; điều thay đổi là giờ đây nó thuộc về một bảng xếp hạng mà trước đó nó bị loại khỏi. Trong bảng xếp hạng trọng số mở của Artificial Analysis, Inkling 2 Small đứng thứ tư trong số 28, với Chỉ số Thông minh là 31, so với trung vị của nhóm so sánh là 24.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 ở mức nỗ lực tối đa — 33.

• GLM-5.3 ở mức nỗ lực tối đa — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro và Ling 3.1 Flash 1019 — mỗi loại 30.

Mistral Large 4 ở mức nỗ lực cao — 26.

• Qwen3.8 27B ở mức xhigh — 20.

Cột đáng chú ý trong danh sách đó không phải là cột đầu bảng. Mọi mô hình xếp trên Inkling 2 Small đều đến từ một phòng thí nghiệm Trung Quốc, và mô hình trọng số mở tốt nhất từ một phòng thí nghiệm không phải Trung Quốc là Mistral Large 4 với 26. Việc mở các trọng số này thu hẹp khoảng cách cụ thể đó từ hai mươi điểm xuống mười lăm điểm và làm thay đổi vị trí dẫn đầu của cột không phải Trung Quốc. Nó không chạm tới ranh giới tiên phong: mô hình mở tốt nhất vẫn cách biệt mười lăm điểm, và các mô hình đóng còn ở xa hơn nữa.

Bảng đánh giá của chính nhà cung cấp dài hơn và tâng bốc hơn, và mọi con số trong đó đều do Thinking Machines chạy trên harness riêng của họ ở mức nỗ lực cao — chưa được tái lập, và do đó là mức trần chứ không phải mức kỳ vọng. Những dòng quan trọng cho công việc agentic: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% và DeepSearchQA 90,9% cả hai đều có compaction, MCP Atlas 85,4% bản đầy đủ và 85,0% bản công khai, HLE 44,1% chỉ văn bản, FrontierCode v2.0 25,4%. Dòng đi theo hướng ngược lại là Terminal Bench Science ở 5,7%, mức thấp về giá trị tuyệt đối và nhất quán với đặc điểm tầm xa, suy xét lâu hơn là một tuyên bố năng lực rộng. Nhà cung cấp ghi 30,6 cho Intelligence Index trong khi bảng trực tuyến hiển thị 31 — khác biệt do thời điểm chụp, không phải tranh chấp.

Điều gì sẽ thay đổi đánh giá này?

Ba điều, theo thứ tự mức độ quan trọng.

Quy trình an toàn lẽ ra phải đóng vai trò điều kiện tiên quyết cho bản phát hành này vẫn chưa được công bố. Bài đăng tháng 7 của Thinking Machines về một con đường an toàn để mở trọng số mô tả bốn tổ chức bên ngoài thực hiện kiểm thử trước triển khai trên Inkling thế hệ đầu tiên, và bài đăng ra mắt ngày 5 tháng 11 gắn bản phát hành này với "kiểm thử an toàn bên ngoài và red-teaming." Bản cập nhật ngày 12 tháng 11 công bố các trọng số chỉ có một câu và một liên kết — đến kho lưu trữ Hugging Face — và không có kết quả đánh giá, không có phát hiện từ red-team và không có sửa đổi nào đối với các điều kiện trước đó. Điều đó không có nghĩa là việc kiểm thử đã không diễn ra. Điều đó có nghĩa là người đọc không thể kiểm chứng, và một tổ chức có chính sách mua sắm yêu cầu bằng chứng sẽ không tìm thấy bằng chứng ở đây.

Hỗ trợ đạt chuẩn phát hành sẽ thay đổi ai có thể áp dụng nó. Hiện tại, lựa chọn là một nhánh dev trong SGLang, một bản nightly trong vLLM, hoặc tự build đường AMD từ mã nguồn dựa trên một bản nháp chưa được hợp nhất. Ngay khi hỗ trợ có mặt trong một bản phát hành được gắn thẻ, mô hình trở thành một quyết định triển khai thay vì một dự án kỹ thuật, và topology tám chiều không còn là một thiết lập nghiên cứu nữa.

Việc tái tạo độc lập ở cài đặt mặc định sẽ cho bạn biết 31 thực sự đáng giá bao nhiêu trên thực tế. Các hàng agentic là những hàng cần chú ý — SWE-bench Pro ở mức 86,3 và DeepSWE ở mức 72,1 là những tuyên bố mạnh mẽ đối với một mô hình có 17B tham số hoạt động, và chúng được tạo ra ở mức nỗ lực tối đa. Các lần chạy của bên thứ ba ở mức nỗ lực mặc định luôn thấp hơn. Câu hỏi là thấp hơn bao nhiêu, và chưa ai bên ngoài Thinking Machines trả lời được điều đó.

Cho đến khi ít nhất một trong số đó thành hiện thực, cách mô tả đúng về Inkling 2 Small lại chính xác một cách bất thường: một checkpoint Apache 2.0 mà bạn có thể tải xuống ngay hôm nay, nhưng không có ngăn xếp phục vụ nào đã phát hành hỗ trợ nó, với những tuyên bố mạnh nhất đến từ chính phòng thí nghiệm đã tạo ra nó, và cổng cấp phép của nó đã mở mà không có giấy tờ lẽ ra phải có trước đó. Đó là một bản phát hành thật và một khoảng trống thật, và khoảng trống chính là phần đáng để theo dõi.