De gewichten van Inkling 2 Small zijn beschikbaar: 394 GB, Apache 2.0 en een rekening ter grootte van een node

De eerste gewichtcommit in de Inkling 2 Small-repository is gestempeld op 19:53 UTC op 12 november 2026 — negen uur voordat dit werd geschreven. Tot dan was het model een prijskaart en een benchmarktabel: Thinking Machines Lab lanceerde het op 5 november met gesloten gewichten, een Tinker-endpoint en de uitgesproken intentie om de checkpoints "volgende week" onder Apache 2.0 te publiceren. Het model zelf is dus acht dagen oud. Wat nieuw is, is dat je het kunt downloaden, en de download is geen klein bestand.

Twee repositories zijn openbaar. Het primaire checkpoint is 393,5 GB verdeeld over 36 bestanden, waarvan 24 safetensors-shards. De MXFP8-variant is 622,8 GB. Beide worden in de metadata van de modelkaart als Apache 2.0 aangeduid. Dat is tot nu toe de hele aankondiging: de modelkaart, de repositories en een update van één alinea die aan het lanceringsbericht is toegevoegd. Alles hieronder is afgelezen van die primaire bronnen plus de twee serving-cookbooks die daarmee zijn meegeleverd, en het is de moeite waard om ronduit te zijn over wat er nog ontbreekt: de externe veiligheidstests die de gestelde voorwaarde vormden voor het openstellen van deze weights zijn niet gepubliceerd.

Wat zit er eigenlijk in de download?

Begin met de grootte, want dat is het eerste dat bepaalt of dit model überhaupt voor jou beschikbaar is. De mixed-precision-indeling verklaart het getal bijna exact, wat een goed teken is dat de gepubliceerde cijfers met elkaar in overeenstemming zijn in plaats van marketingtekst.

• Checkpointopsplitsing — NVFP4-experts in lagen 0 tot en met 39, MXFP8-experts in lagen 40 tot en met 47, volgens het SGLang-kookboek.

• Voorspelde grootte — een gemiddelde van 5,33 bits per parameter over die verdeling van 40/48 en 8/48 geeft 396 GB voor 594 miljard parameters.

Gemeten grootte — 393,5 GB voor de primaire repository, inclusief tokenizer- en configuratiebestanden.

• MXFP8-repository — 622,8 GB, en de safetensors-index telt 612,4 miljard opgeslagen parameters tegenover 383,1 miljard in de primaire repository, omdat het verpakken van expertgewichten in vier bits het aantal getelde elementen verlaagt, niet het model.

De onderliggende architectuur is een decoder-only transformer met 48 lagen en een sparse feed-forwardblok met een mengsel van experts: 384 gerouteerde experts, 8 actief per token, 4.608 verborgen breedte, 48 attention heads over 8 key-value-heads van elk 128 dimensies, en een vocabulaire van 201.024 tokens. Attention is hybride in plaats van uniform — 40 van de 48 lagen gebruiken een sliding window van 1.024 tokens en slechts 8 zijn globaal, en daar komt het lange-contextbudget vandaan. De vision tower is een afzonderlijke transformer met 23 lagen, 1.024 verborgen breedte en 16 heads, die patches van 20×20 pixels leest met een 2×2-merge, zodat elk beeldtoken een gebied van 40×40 pixels beslaat; de kaart vraagt om afbeeldingen tussen 40 en 4.096 pixels per zijde.

Er is ook een multi-token-prediction-head aangebracht voor speculatieve decoding — vijf lagen, een blokgrootte van 8, een Markov-rang van 256, en doellagen op 5, 11, 17, 23, 29, 35, 41 en het laatste blok. Dat zijn precies de acht global-attention-lagen, en dat detail verraadt dat de draft-head rond de hybride stack is ontworpen en er niet achteraf aan is toegevoegd. Thinking Machines noemt de resulterende decoder "DSpark".

Eén huishoudelijk punt voor iedereen wiens juridische toets om documentatie vraagt: de licentie wordt in de metadata van de modelkaart aangegeven als Apache 2.0 en de kaart linkt naar de standaard akte, maar er is geen LICENSE-, LICENSE.md-, LICENSE.txt- of NOTICE-bestand in de repositorystructuur. Alle vier leveren niets op. De verklaring is echt en ze is ondubbelzinnig; het artefact dat de meeste juridische teams verwachten aan te treffen, is er niet.

De hardwarelijst, en waar de leverancier en het kookboek van mening verschillen

De modelkaart geeft een VRAM-ondergrens. De serveerrecepten geven een topologie. Dat zijn niet hetzelfde getal, en de kloof ertussen is het meest praktische ding op deze pagina.

• NVFP4 primair — ten minste 500 GB geaggregeerd VRAM; de voorbeelden van de kaart zijn 2× B300 of 4× H200.

• MXFP8-variant — ten minste 800 GB; voorbeelden zijn 4× B300 of 8× H200.

• SGLang, per-GPU-topologie — GB200, GB300 en B300 bij TP 4 / EP 4; B200 bij TP 4 / EP 4, waarbij TP 8 wordt aanbevolen voor KV-headroom; H200 met NVFP4 bij TP 8 / EP 8; MI350X en MI355X bij TP 8 / EP 8; Vera Rubin bij TP 4 / EP 4; TPU7x bij 8 / 8 op een host met vier chips.

• MXFP8 op B200 of GB200 — TP 8 / EP 8, ongeveer 151 GB aan gewichten per GPU.

• De beperking die hieraan ten grondslag ligt: expert-parallelisme moet gelijk zijn aan tensor-parallelisme, omdat de activeringsschalen van NVFP4-experts de volledige invoerbreedte van elke expert beslaan en niet tensor-parallel geshard kunnen worden.

Dus het 4× H200-voorbeeld op de kaart voldoet aan de ondergrens van 500 GB, maar is geen topologie die het kookboek valideert; H200 staat vermeld als 8-way. Ondergrenzen voor opslag en geheugen vertellen je of het past. Ze vertellen je niet of het draait, en voor dit checkpoint is het tweede getal twee keer het eerste op de hardware die de meeste mensen hebben. Als je aan het provisioneren bent, plan dan volgens het recept, niet volgens de ondergrens.

Het AMD-pad is twee dagen oud en nog niet samengevoegd.

De radar die dit stuk boven water haalde, pikte de AMD-support-pullrequest op in plaats van de weight-release, en de eerlijke framing van die PR op zichzelf is dat het engine-werk is — het soort werk dat geen nieuws is. Het is hier alleen van belang omdat het in dezelfde week landde als de checkpoints, en omdat het de tweede silicon vendor met een containerimage is.

De pull request voegt gfx950-ondersteuning toe voor MI350X en MI355X, bovenop de basis-Inkling 2 Small-port. Wat er verandert: de ROCm-kernels staan in afzonderlijke *_hip.py-modules die alleen onder HIP worden gebruikt, CUDA- en NPU-paden blijven ongewijzigd, de uniforme KV-pool en full-graph-prefill worden standaard bij het starten, MegaMoE wordt geweigerd in plaats van geprobeerd, en quick-reduce-kwantificatie wordt genegeerd tenzij een omgevingsvlag dit toestaat. gfx950 is vereist tenzij een tweede omgevingsvariabele dit overschrijft — wat betekent dat kaarten uit de MI300-klasse bij het starten worden geweigerd, en de PR-auteur zegt dat gfx942 "niet is gedraaid."

De metingen in de PR, die van de auteur zelf zijn en niet zijn gereviewd: 426 unit tests geslaagd op één MI350X, 98,0% op GSM8K-200 bij gebalanceerde inspanning en 97,5% met DSpark bij een acceptatielengte van 4,04, en tijd per outputtoken bij 2.048 in en 512 uit van 5,15 ms in gebalanceerde modus tegen 2,10 ms met DSpark. Die komen neer op ongeveer 194 en 476 outputtokens per seconde op één stream over acht acceleratoren. Met AITer ingeschakeld verschuiven de nauwkeurigheidscijfers naar 97,5% en 96,5%.

De status van de PR is concept. CI is er nog niet op uitgevoerd — de basistaak is geblokkeerd door een ontbrekend label en er is geen AMD-run geregistreerd voor de commit die wordt beoordeeld — en alle vermelde code owners wachten nog op beoordeling. Beschouw MI350X-ondersteuning als iets dat je deze week vanuit de broncode kunt bouwen, niet als iets dat je kunt kopen.

Het serveren ervan betekent een dev-image, niet een release

Beide grote stacks hebben ondersteuning vanaf dag één en geen van beide heeft die al uitgebracht. SGLang zegt ronduit dat de ondersteuning nog in geen enkele release zit en verwijst naar dev-inkling-2-small-builds, met aparte images voor Hopper en Blackwell, Vera Rubin, MI35x en TPU7x. vLLM vraagt om een nightly of nieuwer, of de image vllm/vllm-openai:inkling-2-small. Dat is normaal voor een model van deze omvang en zo nieuw, maar het verandert wat "ondersteund" betekent: je volgt een branch, en een rebase kan je deployment kapotmaken.

De operationele details die je echt gaan opbreken:

• Context — Het TP 4-recept van vLLM is beperkt tot 262.144 tokens op één tray; het volledige venster van 1.048.576 tokens vereist TP 8 over twee nodes. Bij TP 4 vereist één enkel verzoek van 1M tokens 64,47 GiB aan KV-cache, wat meer is dan er in een tray over is.

• Speculatieve decoding — SGLang verifieert 8 tokens per stap met de meegeleverde DSpark-head; het equivalent bij vLLM stelt 7 speculatieve tokens in met probabilistische drafting. Het recept waarschuwt dat de acceptatie met 15 tot 25% daalt bij een temperatuur van 1,0 als je hebzuchtig draft.

Parsers — redenering gebruikt inkling, tool-aanroepen gebruiken inkling2, en SGLang selecteert beide automatisch wanneer ze niet zijn ingesteld. De tool-call-parser van vLLM is opt-in en het recept zegt dat tool calling niet end-to-end is gebenchmarkt, alleen unit-getest.

• Prefill/decode-disaggregatie — alleen gevalideerd als 1P1D op een GB300-tray met vier GPU's, NVFP4, geen MegaMoE, waarbij de statische geheugenfractie naar 0,86 moest worden verlaagd omdat bij de automatische waarde van 0,963 het geheugen opraakte. De opsplitsing past niet bij het MXFP8-checkpoint.

• Encoder-disaggregatie — nog niet in de images, en de language server stopt als er geen gezonde encoder bereikbaar is.

• Geheugenreserve — op 192 GB B200- of GB200-onderdelen bij TP 4 is de KV-capaciteit ongeveer een derde van wat een GB300-tray je biedt, wat de werkelijke beperking vormt voor gelijktijdigheid bij lange contexten, en niet de venstergrootte die op de kaart staat afgedrukt.

Er is ook één melding uit de community op de modelkaart zelf, uit de eerste uren na de upload, met de titel "Hopper-kaarten zijn momenteel niet compatibel met de vllm-image." Er is geen antwoord van een maintainer zichtbaar en ik kon het niet reproduceren, dus behandel het als een signaal in plaats van een bevinding, en controleer het voordat je een Hopper-node commit. Aan de SGLang-kant wordt H200 wel bij 8-way vermeld, dus het Hopper-pad is niet afgesloten — het is alleen niet het pad dat het recept van vLLM beschrijft.

Wat selfhosting kost, en waarom het antwoord zelden om de prijs draait

De reden om 394 GB te downloaden is controle, niet unit economics, en de rekensom maakt dat snel duidelijk.

Op Tinker noteert het model $0,30 per miljoen inputtokens, $0,03 per miljoen gecachete input en $1,00 per miljoen output, bij een context van 256K. Artificial Analysis meet 84 outputtokens per seconde en 67,71 seconden tot de eerste antwoordtoken, bij $1,18 per indextaak en 29,6 minuten per taak, tegenover 154M outputtokens over de hele suite en een mediane waarde van 89,8M bij vergelijkbare modellen. Dat tokenaantal is veelzeggend: dit is een model dat lang nadenkt voordat het antwoordt, en tegen de lijstprijs voor output levert één stream die een uur lang op volle toeren draait ongeveer 302.000 tokens op, oftewel ruwweg dertig cent aan output. Om een node te verslaan die een dollar per uur kost, moet je ongeveer vier streams bezig houden; om een node van twintig dollar per uur te verslaan, heb je er zesenzestig nodig. Zeer weinig evaluatieworkloads, en nog minder agentische, houden die gelijktijdigheid vol tegen een model met een tijd tot de eerste token van 67 seconden.

Wat je in plaats daarvan koopt door de gewichten te bezitten: het volledige venster van 1M op je eigen voorwaarden in plaats van bij Tinkers 256K-servicelaag, geen bètawachtlijst vóór productie, fine-tuning op je eigen stack, data die je netwerk nooit verlaat, en eval-sweeps die niet per token worden afgerekend. Wat je opgeeft: een werkende releasebuild, de achtvoudige topologie die je moet kopen in plaats van huren, en een servingstack die je nu zelf onderhoudt.

Dat is de eerlijke vorm van de beslissing, en het is ook waar een routeringslaag past zonder dat er van hem wordt gevraagd te doen alsof hij host wat hij niet host. Inkling 2 Small staat niet in de OrcaRouter-catalogus — we hebben deze week de live modellenlijst gecontroleerd en er staat geen inkling-vermelding tussen de 215 — dus het API-pad voor dit model blijft Thinking Machines' eigen Tinker-platform en, volgens de lanceringsupdate, verschillende externe inference-providers. Wat meer dan 200 modellen achter één sleutel je wel geeft, is een fallback: je kunt het selfhost-experiment op één node draaien en productie op modellen houden die we wel routeren, met automatische failover als het experiment omvalt, en bij de modellen die we wel routeren wordt de lijstprijs van de provider ongewijzigd doorgegeven. Wanneer een tweede en derde host deze checkpoints oppikt, is het failover-been niet langer theoretisch — en de vendor lock die het belangrijkste argument is om in de eerste plaats 394 GB te downloaden, wordt zwakker.

Waar het nu staat, nu het open is

De score veranderde niet toen de gewichten uitkwamen; wat veranderde, is dat hij nu op een ranglijst staat waarvan hij eerder was uitgesloten. Op de open-weightsranglijst van Artificial Analysis staat Inkling 2 Small vierde van 28 met een Intelligence Index van 31, tegen een mediaan van 24 voor de vergelijkingsset.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 met maximale inspanning — 33.

• GLM-5.3 met maximale inspanning — 32.

• Inkling 2 Small — 31.

MiMo-V2.6-Pro en Ling 3.1 Flash 1019 — 30 per stuk.

• Mistral Large 4 met hoge inspanning — 26.

• Qwen3.8 27B op xhigh — 20.

De interessante kolom in die lijst is niet de bovenste. Elk model boven Inkling 2 Small is afkomstig van een Chinees lab, en het beste open-weightsmodel van een niet-Chinees lab was Mistral Large 4 met 26. Het openen van deze gewichten dicht die specifieke kloof van twintig punten naar vijftien en verschuift de top van de niet-Chinese kolom. Het raakt de frontier niet: het beste open model heeft vijftien punten voorsprong, en gesloten modellen liggen nog verder weg.

De eigen evaluatietabel van de leverancier is langer en flatterender, en elk cijfer erin is door Thinking Machines op zijn eigen harness met hoge inspanning gedraaid — niet gereproduceerd en dus een plafond in plaats van een verwachting. De rijen die ertoe doen voor agentisch werk: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% en DeepSearchQA 90,9%, beide met compactie, MCP Atlas 85,4% volledig en 85,0% publiek, HLE 44,1% alleen tekst, FrontierCode v2.0 25,4%. De rij die de andere kant op wijst, is Terminal Bench Science met 5,7%, wat in absolute zin laag is en consistent met het profiel van lange horizon en lange beraadslaging in plaats van een brede capaciteitsclaim. De leverancier vermeldt 30,6 voor de Intelligence Index, waar het livebord 31 toont — een verschil in momentopname, geen geschil.

Wat zou deze beoordeling veranderen?

Drie dingen, in volgorde van hoe belangrijk ze zijn.

Het veiligheidsproces dat als goedkeuringspoort voor deze release had moeten dienen, is niet gepubliceerd. Thinking Machines' blogpost van juli over een veilige weg naar open weights beschrijft vier externe organisaties die pre-deploymenttests uitvoeren op de eerste generatie Inkling, en de lanceringspost van 5 november koppelde deze release aan "externe veiligheidstests en red-teaming." De update van 12 november waarin de weights worden aangekondigd, bevat één zin en één link — naar de Hugging Face-repository — en geen evaluatieresultaten, geen red-teambevindingen en geen herziening van de eerdere voorwaarden. Dat betekent niet dat de tests niet hebben plaatsgevonden. Het betekent dat een lezer het niet kan controleren, en dat een organisatie met een inkoopbeleid dat om het bewijs vraagt, het hier niet zal vinden.

Ondersteuning van releasekwaliteit zou veranderen wie het kan adopteren. Op dit moment is de keuze een dev-branch in SGLang, een nightly-build in vLLM, of het AMD-pad vanaf de broncode bouwen op basis van een niet-samengevoegde draft. Zodra de ondersteuning in een getagde release terechtkomt, wordt het model een implementatiebeslissing in plaats van een engineeringproject, en is de achtvoudige topologie geen onderzoeksopstelling meer.

Een onafhankelijke reproductie met de standaardinstellingen zou je vertellen wat 31 in de praktijk waard is. De agentische rijen zijn degenen om in de gaten te houden — SWE-bench Pro op 86,3 en DeepSWE op 72,1 zijn sterke claims voor een model met 17B actieve parameters, en ze zijn geproduceerd met maximale inzet. Runs van derden met de standaardinzet vallen altijd lager uit. De vraag is hoeveel lager, en niemand buiten Thinking Machines heeft daar nog antwoord op gegeven.

Totdat ten minste één daarvan beschikbaar is, is de juiste beschrijving van Inkling 2 Small ongewoon precies: een Apache 2.0-checkpoint dat je vandaag kunt downloaden, dat door geen enkele uitgebrachte servingstack wordt ondersteund, waarvan de sterkste claims afkomstig zijn van het lab dat hem heeft gemaakt, en waarvan de licentiegate openging zonder het papierwerk dat eraan vooraf had moeten gaan. Dat is een echte release en een echte leemte, en die leemte is het deel dat het volgen waard is.