Wagi Inkling 2 Small są już dostępne: 394 GB, Apache 2.0 i rachunek wielkości Node'a

Pierwszy commit z wagami w repozytorium Inkling 2 Small ma datę 19:53 UTC 12 listopada 2026 r. — dziewięć godzin przed napisaniem tego tekstu. Do tego czasu model był cennikiem i tabelą benchmarków: Thinking Machines Lab udostępniło go 5 listopada z zamkniętymi wagami, endpointem Tinker i deklarowanym zamiarem opublikowania checkpointów na licencji Apache 2.0 „w przyszłym tygodniu”. Sam model ma więc osiem dni. Nowością jest to, że można go pobrać, a pobierany plik nie jest mały.

Dwa repozytoria są publiczne. Główny checkpoint ma 393,5 GB w 36 plikach, z których 24 to shardy safetensors. Wariant MXFP8 ma 622,8 GB. Oba są zadeklarowane jako Apache 2.0 w metadanych karty modelu. To wszystko, co dotychczas ogłoszono — karta modelu, repozytoria i jednostronicowa aktualizacja dołączona do wpisu premierowego. Wszystko poniżej odczytano z tych źródeł pierwotnych oraz dwóch cookbooków dotyczących serwowania dostarczonych wraz z nimi, i warto być szczerym co do rzeczy, której wciąż brakuje: zewnętrzne testy bezpieczeństwa, które były deklarowanym warunkiem wstępnym otwarcia tych wag, nie zostały opublikowane.

Co właściwie zawiera plik do pobrania

Zacznij od rozmiaru, ponieważ to pierwsza rzecz, która decyduje o tym, czy ten model jest w ogóle dla ciebie dostępny. Układ mieszanej precyzji wyjaśnia tę liczbę niemal dokładnie, co jest dobrym znakiem, że opublikowane dane są ze sobą spójne, a nie stanowią tekstu marketingowego.

• Podział checkpointu — eksperci NVFP4 w warstwach od 0 do 39, eksperci MXFP8 w warstwach od 40 do 47, zgodnie z cookbookiem SGLang.

• Przewidywany rozmiar — uśrednienie 5,33 bitu na parametr w ramach tego podziału 40/48 i 8/48 daje 396 GB dla 594 mld parametrów.

• Zmierzony rozmiar — 393,5 GB dla głównego repozytorium, łącznie z plikami tokenizera i konfiguracji.

• Repozytorium MXFP8 — 622,8 GB, a indeks safetensors wykazuje 612,4 mld przechowywanych parametrów wobec 383,1 mld w repozytorium głównym, ponieważ pakowanie wag ekspertów do czterech bitów zmniejsza liczbę zliczanych elementów, a nie samego modelu.

Architektura bazowa to 48-warstwowy transformer typu decoder-only z rzadkim blokiem feed-forward mixture-of-experts: 384 ekspertów z routingiem, 8 aktywnych na token, szerokość ukryta 4 608, 48 głowic uwagi na 8 głowicach klucz-wartość po 128 wymiarów każda oraz słownik 201 024 tokenów. Uwaga jest hybrydowa, a nie jednolita — 40 z 48 warstw używa okna przesuwnego o rozmiarze 1 024 tokenów, a tylko 8 warstw jest globalnych, i stąd bierze się budżet długiego kontekstu. Wieża wizyjna to osobny 23-warstwowy transformer o szerokości ukrytej 1 024 i 16 głowicach, czytający plastry 20×20 pikseli z scalaniem 2×2, więc każdy token obrazu obejmuje obszar 40×40 pikseli; karta wymaga obrazów o długości boku od 40 do 4 096 pikseli.

Jest też doczepiona głowica przewidywania wielu tokenów na potrzeby dekodowania spekulatywnego — pięć warstw, rozmiar bloku 8, rząd Markova 256 oraz warstwy docelowe: 5, 11, 17, 23, 29, 35, 41 i końcowy blok. To dokładnie te osiem warstw globalnej uwagi, i to właśnie ten szczegół świadczy o tym, że głowica draftu została zaprojektowana wokół stosu hybrydowego, a nie dodana po fakcie. Thinking Machines nazywa powstały w ten sposób dekoder „DSpark”.

Jedna sprawa porządkowa dla każdego, którego przegląd prawny wymaga dokumentacji: licencja jest zadeklarowana w metadanych karty modelu jako Apache 2.0, a karta linkuje do standardowego aktu licencji, ale w drzewie repozytorium nie ma pliku LICENSE, LICENSE.md, LICENSE.txt ani NOTICE. Wszystkie cztery zwracają pustkę. Deklaracja jest prawdziwa i jednoznaczna; artefaktu, którego większość zespołów prawnych oczekuje, tam nie ma.

Lista sprzętu i miejsca, w których dostawca i podręcznik się nie zgadzają

Karta modelu podaje minimalną ilość VRAM. Przepisy serwowania podają topologię. To nie są te same liczby, a różnica między nimi jest najbardziej praktyczną rzeczą na tej stronie.

• NVFP4 jako podstawowy — co najmniej 500 GB zagregowanej pamięci VRAM; przykłady dla tej karty to 2× B300 lub 4× H200.

• Wariant MXFP8 — co najmniej 800 GB; przykłady to 4× B300 lub 8× H200.

• SGLang, topologia na GPU — GB200, GB300 i B300 przy TP 4 / EP 4; B200 przy TP 4 / EP 4, z zalecanym TP 8 dla zapasu pamięci KV; H200 z NVFP4 przy TP 8 / EP 8; MI350X i MI355X przy TP 8 / EP 8; Vera Rubin przy TP 4 / EP 4; TPU7x przy 8 / 8 na hoście z czterema układami.

• MXFP8 na B200 lub GB200 — TP 8 / EP 8, około 151 GB wag na GPU.

• Ograniczenie leżące u podstaw tego wszystkiego — równoległość ekspertów musi być równa równoległości tensorowej, ponieważ skale aktywacji ekspertów NVFP4 obejmują pełną szerokość wejściową każdego eksperta i nie mogą być shardowane w ramach równoległości tensorowej.

Zatem przykład 4× H200 z karty spełnia dolny próg 500 GB, ale nie jest topologią walidowaną przez cookbook; H200 jest wymieniony w konfiguracji 8-way. Progi dotyczące pamięci masowej i pamięci operacyjnej mówią, czy się to mieści. Nie mówią, czy będzie działać, a w przypadku tego checkpointu druga liczba jest dwukrotnie większa od pierwszej na sprzęcie, który ma większość ludzi. Jeśli planujesz provisionowanie, planuj według receptury, a nie według dolnego progu.

Ścieżka AMD ma dwa dni i nie została scalona

Radar, który wyłowił ten materiał, wychwycił pull request dotyczący wsparcia AMD, a nie publikację wag, a uczciwe ujęcie tego PR samego w sobie polega na tym, że to praca nad silnikiem — coś, co nie jest newsem. Ma to tutaj znaczenie tylko dlatego, że pojawiło się w tym samym tygodniu co checkpointy, i dlatego, że jest to drugi dostawca krzemu z obrazem kontenera.

Pull request dodaje obsługę gfx950 dla MI350X i MI355X, nałożoną na bazową adaptację Inkling 2 Small. Co zmienia: jądra ROCm znajdują się w osobnych modułach *_hip.py osiąganych wyłącznie w ramach HIP, ścieżki CUDA i NPU pozostają nietknięte, ujednolicona pula KV i prefill pełnego grafu stają się domyślnymi ustawieniami uruchamiania, MegaMoE jest odrzucany, a nie próbowany, a kwantyzacja quick-reduce jest ignorowana, chyba że flaga środowiskowa na to pozwala. Wymagane jest gfx950, chyba że druga zmienna środowiskowa to nadpisze — co oznacza, że karty klasy MI300 są odrzucane przy uruchomieniu, a autor PR twierdzi, że gfx942 „nie był uruchamiany”.

Pomiary w PR, pochodzące od samego autora i niepoddane recenzji: 426 testów jednostkowych przechodzi na jednym MI350X, 98,0% na GSM8K-200 przy zrównoważonym wysiłku i 97,5% z DSpark przy długości akceptacji 4,04, a czas na token wyjściowy przy 2048 na wejściu i 512 na wyjściu wynosi 5,15 ms w trybie zrównoważonym wobec 2,10 ms z DSpark. Przekłada się to na około 194 i 476 tokenów wyjściowych na sekundę w pojedynczym strumieniu na ośmiu akceleratorach. Po włączeniu AITer wartości dokładności zmieniają się na 97,5% i 96,5%.

Stan PR-a to szkic. CI nie zostało na nim uruchomione — zadanie bazowe jest zablokowane z powodu brakującej etykiety, a dla przeglądanego commita nie odnotowano żadnego uruchomienia AMD — i wszyscy wymienieni właściciele kodu nadal oczekują na przegląd. Traktuj obsługę MI350X jako coś, co możesz zbudować ze źródeł w tym tygodniu, a nie jako coś, co możesz kupić.

Serwowanie tego oznacza obraz deweloperski, a nie wydanie

Oba główne stosy mają wsparcie day-zero i żaden go jeszcze nie wydał. SGLang mówi wprost, że wsparcie nie znalazło się jeszcze w żadnym wydaniu, i wskazuje na kompilacje dev-inkling-2-small, z osobnymi obrazami dla Hopper i Blackwell, Vera Rubin, MI35x i TPU7x. vLLM wymaga wersji nightly lub nowszej albo obrazu vllm/vllm-openai:inkling-2-small. To normalne w przypadku modelu tej wielkości i tak nowego, ale zmienia znaczenie słowa „wspierany”: śledzisz gałąź, a rebase może zepsuć twoje wdrożenie.

Szczegóły operacyjne, które naprawdę dadzą o sobie znać:

• Kontekst — przepis vLLM dla TP 4 jest ograniczony do 262,144 tokenów na jednej tacy; pełne okno 1,048,576 tokenów wymaga TP 8 w dwóch węzłach. Przy TP 4 pojedyncze żądanie o rozmiarze 1 mln tokenów wymaga 64.47 GiB pamięci podręcznej KV, czyli więcej, niż pozostało na jednej tacy.

• Dekodowanie spekulacyjne — SGLang weryfikuje 8 tokenów na krok za pomocą dołączonej głowicy DSpark; odpowiednik w vLLM ustawia 7 tokenów spekulacyjnych z probabilistycznym szkicowaniem. Przepis ostrzega, że przy temperaturze 1,0 wskaźnik akceptacji spada o 15–25%, jeśli szkice są generowane zachłannie.

• Parsery — rozumowanie używa inkling, wywołania narzędzi używają inkling2, a SGLang automatycznie wybiera oba, gdy nie są ustawione. Parser wywołań narzędzi w vLLM wymaga włączenia, a przepis mówi, że wywoływanie narzędzi nie zostało zbenchmarkowane end-to-end, tylko przetestowane jednostkowo.

• Rozdzielenie prefill/decode — zweryfikowane wyłącznie jako 1P1D na trayu GB300 z czterema GPU, NVFP4, bez MegaMoE, ze statycznym udziałem pamięci wymuszonym na 0,86, ponieważ automatyczna wartość 0,963 powodowała wyczerpanie pamięci. Podział nie mieści się w checkpoincie MXFP8.

• Dysagregacja enkodera — jeszcze nie ma jej w obrazach, a serwer językowy zatrzymuje się, jeśli nie jest osiągalny żaden sprawny enkoder.

• Zapas pamięci — w przypadku układów B200 lub GB200 o pojemności 192 GB przy TP 4 pojemność KV wynosi około jednej trzeciej tego, co zapewnia taca GB300; to właśnie jest rzeczywistym ograniczeniem współbieżności długiego kontekstu, a nie rozmiar okna wydrukowany na karcie.

Na samej karcie modelu jest też jedno zgłoszenie społeczności z pierwszych godzin po przesłaniu, zatytułowane „Karty Hopper nie są obecnie kompatybilne z obrazem vllm”. Nie widać odpowiedzi maintainera i nie udało mi się tego odtworzyć, więc traktuj to jako sygnał ostrzegawczy, a nie ustalenie, i sprawdź przed przypisaniem węzła Hopper. Po stronie SGLang H200 jest wymieniony w trybie 8-way, więc ścieżka Hoppera nie jest zamknięta — po prostu nie jest to ścieżka opisana w przepisie vLLM.

Ile kosztuje self-hosting i dlaczego odpowiedź rzadko sprowadza się do ceny

Powodem pobierania 394 GB jest kontrola, a nie ekonomika jednostkowa, i arytmetyka szybko to pokazuje.

W Tinker model jest wyceniony na 0,30 USD za milion tokenów wejściowych, 0,03 USD za milion tokenów wejściowych z pamięci podręcznej i 1,00 USD za milion tokenów wyjściowych, przy kontekście 256K. Artificial Analysis mierzy 84 tokeny wyjściowe na sekundę i 67,71 sekundy do pierwszego tokena odpowiedzi, przy 1,18 USD za zadanie indeksowe i 29,6 minuty na zadanie, wobec 154 mln tokenów wyjściowych w całym zestawie i mediany 89,8 mln u konkurentów. Ta liczba tokenów jest wymowna: to model, który długo myśli, zanim odpowie, a przy katalogowej cenie wyjścia pojedynczy strumień pracujący na pełnych obrotach przez godzinę wytwarza około 302 000 tokenów, czyli mniej więcej trzydzieści centów wyjścia. Aby pobić węzeł kosztujący dolara za godzinę, trzeba utrzymać zajęte około cztery strumienie; aby pobić węzeł za dwadzieścia dolarów za godzinę, potrzeba sześćdziesięciu sześciu. Niewiele obciążeń ewaluacyjnych, a jeszcze mniej agentowych, utrzymuje taką współbieżność wobec modelu z 67-sekundowym czasem do pierwszego tokena.

Co zyskujesz, posiadając zamiast tego wagi: pełne okno 1M na własnych warunkach, a nie w warstwie serwowania 256K Tinkera, brak listy oczekujących na wersję beta przed produkcją, dostrajanie na własnym stosie, dane, które nigdy nie opuszczają Twojej sieci, oraz przebiegi ewaluacji, które nie są rozliczane za token. Co tracisz: działający build wydania, topologię ośmiokierunkową, którą musisz kupić, a nie wynająć, oraz stos serwowania, który teraz utrzymujesz.

Taki jest uczciwy kształt tej decyzji i to jest również miejsce, w którym warstwa routingu pasuje, nie będąc proszoną o udawanie, że hostuje coś, czego nie hostuje. Inkling 2 Small nie znajduje się w katalogu OrcaRouter — sprawdziliśmy w tym tygodniu bieżącą listę modeli i wśród 215 nie ma żadnego wpisu inkling — więc ścieżka API dla tego modelu pozostaje własną platformą Tinker firmy Thinking Machines i, zgodnie z informacją o premierze, kilkoma zewnętrznymi dostawcami wnioskowania. To, co ponad 200 modeli za jednym kluczem daje ci, to plan awaryjny: możesz przeprowadzić eksperyment z self-hostingiem na jednym węźle i utrzymać produkcję na modelach, które routujemy, z automatycznym przełączaniem awaryjnym, jeśli eksperyment się przewróci, a w przypadku modeli, które routujemy, cena z listy dostawcy jest przekazywana bez zmian. Kiedy drugi i trzeci host przejmie te checkpointy, odnoga awaryjna przestaje być teoretyczna — a przywiązanie do dostawcy, które jest głównym argumentem za pobraniem 394 GB w pierwszej kolejności, słabnie.

Gdzie teraz się znajduje, skoro jest otwarte

Wynik nie zmienił się, gdy opublikowano wagi; zmieniło się to, że należy teraz do tabeli liderów, z której wcześniej był wykluczony. W rankingu modeli otwartych Artificial Analysis Inkling 2 Small zajmuje czwarte miejsce na 28 przy Intelligence Index wynoszącym 31, wobec mediany 24 w zestawie porównawczym.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 przy maksymalnym wysiłku — 33.

• GLM-5.3 przy maksymalnym wysiłku — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro i Ling 3.1 Flash 1019 — po 30 sztuk.

• Mistral Large 4 przy wysokim wysiłku — 26.

• Qwen3.8 27B przy xhigh — 20.

Ciekawa kolumna na tej liście to nie szczyt. Każdy model powyżej Inkling 2 Small pochodzi z chińskiego laboratorium, a najlepszym modelem z otwartymi wagami spoza Chin był Mistral Large 4 z wynikiem 26. Udostępnienie tych wag zmniejsza tę konkretną lukę z dwudziestu punktów do piętnastu i przesuwa szczyt kolumny modeli niechińskich. Nie dotyka jednak czołówki: najlepszy otwarty model ma piętnaście punktów przewagi, a modele zamknięte są jeszcze dalej.

Własna tabela ewaluacyjna dostawcy jest dłuższa i bardziej pochlebna, a każda podana w niej liczba została uzyskana przez Thinking Machines na ich własnym harnessie przy wysokim wysiłku — bez reprodukcji, a zatem stanowi górny pułap, a nie oczekiwanie. Wiersze istotne dla pracy agentowej: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% i DeepSearchQA 90,9% oba z kompakcją, MCP Atlas 85,4% pełny i 85,0% publiczny, HLE 44,1% tylko tekst, FrontierCode v2.0 25,4%. Wiersz, który działa w przeciwnym kierunku, to Terminal Bench Science na poziomie 5,7%, co jest niskie w wartościach bezwzględnych i spójne z profilem długiego horyzontu i długiego namysłu, a nie z szerokim twierdzeniem o zdolnościach. Dostawca podaje 30,6 dla Intelligence Index, podczas gdy bieżąca tablica pokazuje 31 — różnica migawki, nie spór.

Co mogłoby zmienić tę ocenę?

Trzy rzeczy, w kolejności ich znaczenia.

Proces bezpieczeństwa, który miał warunkować tę publikację, nie został opublikowany. Lipcowy wpis Thinking Machines o bezpiecznej drodze do otwartych wag opisuje cztery zewnętrzne organizacje przeprowadzające testy przedwdrożeniowe na pierwszej generacji Inkling, a wpis o premierze z 5 listopada wiązał tę publikację z „zewnętrznymi testami bezpieczeństwa i red-teamingu”. Aktualizacja z 12 listopada ogłaszająca udostępnienie wag zawiera jedno zdanie i jeden link — do repozytorium Hugging Face — oraz żadnych wyników oceny, żadnych ustaleń red-teamingu ani żadnej rewizji wcześniejszych warunków. Nie oznacza to, że testy się nie odbyły. Oznacza to, że czytelnik nie może tego sprawdzić, a organizacja z polityką zakupową, która wymaga dowodów, nie znajdzie ich tutaj.

Wsparcie na poziomie wydania produkcyjnego zmieniłoby to, kto może je wdrożyć. Obecnie wybór to gałąź deweloperska w SGLang, kompilacja nightly w vLLM albo budowanie ścieżki AMD ze źródeł na podstawie niezmergowanej wersji roboczej. W momencie, gdy wsparcie trafi do wydania oznaczonego tagiem, model staje się decyzją wdrożeniową, a nie projektem inżynierskim, a topologia ośmiokierunkowa przestaje być konfiguracją badawczą.

Niezależne odtworzenie przy ustawieniach domyślnych powiedziałoby ci, ile 31 jest warte w praktyce. To na wiersze agentowe warto uważać — SWE-bench Pro z wynikiem 86,3 i DeepSWE z 72,1 to mocne deklaracje jak na model z 17 mld aktywnych parametrów, a uzyskano je przy maksymalnym poziomie wysiłku. Uruchomienia stron trzecich przy domyślnym poziomie wysiłku zawsze wypadają niżej. Pytanie tylko, o ile, a jeszcze nikt spoza Thinking Machines nie odpowiedział na nie.

Dopóki przynajmniej jedno z nich nie wejdzie do obiegu, poprawny opis Inkling 2 Small jest niezwykle precyzyjny: checkpoint na licencji Apache 2.0, który można pobrać już dziś, którego nie obsługuje żaden wydany stos do serwowania, którego najmocniejsze twierdzenia pochodzą z laboratorium, które go stworzyło, i którego brama licencyjna otworzyła się bez dokumentacji, która miała ją poprzedzać. To prawdziwe wydanie i prawdziwa luka, a to luka jest tym, na co warto patrzeć.