I pesi di Inkling 2 Small sono disponibili: 394 GB, Apache 2.0 e una bolletta da nodo.

Il primo commit dei pesi nel repository Inkling 2 Small è datato 19:53 UTC del 12 novembre 2026 — nove ore prima della stesura di questo testo. Fino ad allora il modello era un listino prezzi e una tabella di benchmark: Thinking Machines Lab lo ha lanciato il 5 novembre con pesi chiusi, un endpoint Tinker e l'intenzione dichiarata di pubblicare i checkpoint con licenza Apache 2.0 «la settimana successiva». Il modello stesso ha quindi otto giorni. La novità è che ora è possibile scaricarlo, e il download non è un file di piccole dimensioni.

Due repository sono pubblici. Il checkpoint principale occupa 393,5 GB su 36 file, 24 dei quali sono shard safetensors. La variante MXFP8 è di 622,8 GB. Entrambi sono dichiarati Apache 2.0 nei metadati della scheda del modello. Questo è tutto l'annuncio finora: la scheda del modello, i repository e un aggiornamento di un paragrafo aggiunto al post di lancio. Tutto ciò che segue è ricavato da quelle fonti primarie più i due cookbook di serving forniti insieme a esse, e vale la pena essere schietti su ciò che manca ancora: i test di sicurezza esterni, che erano la precondizione dichiarata per aprire questi pesi, non sono stati pubblicati.

Cosa c'è effettivamente nel download

Partiamo dalle dimensioni, perché sono la prima cosa che determina se questo modello ti è disponibile. La disposizione a precisione mista spiega il numero quasi esattamente, il che è un buon segno che i dati pubblicati siano coerenti tra loro e non semplice materiale di marketing.

Suddivisione del checkpoint — esperti NVFP4 nei layer da 0 a 39, esperti MXFP8 nei layer da 40 a 47, secondo la cookbook di SGLang.

• Dimensione prevista: una media di 5,33 bit per parametro su quella suddivisione 40/48 e 8/48 dà 396 GB per 594 miliardi di parametri.

Dimensione misurata — 393,5 GB per il repository principale, inclusi tokenizer e file di configurazione.

• Repository MXFP8 — 622,8 GB, e l'indice safetensors conta 612,4B parametri memorizzati rispetto ai 383,1B del repository principale, perché il packing dei pesi degli esperti a quattro bit riduce il numero di elementi conteggiati anziché il modello.

L'architettura sottostante è un transformer decoder-only a 48 livelli con un blocco feed-forward sparse mixture-of-experts: 384 esperti instradati, 8 attivi per token, ampiezza nascosta 4.608, 48 teste di attenzione su 8 teste key-value da 128 dimensioni ciascuna e un vocabolario di 201.024 token. L'attenzione è ibrida anziché uniforme — 40 dei 48 livelli usano una finestra scorrevole di 1.024 token e solo 8 sono globali, ed è da qui che deriva il budget per il contesto lungo. La torre visiva è un transformer separato a 23 livelli con ampiezza nascosta 1.024 e 16 teste, che legge patch da 20×20 pixel con un merge 2×2, quindi ogni token immagine copre una regione di 40×40 pixel; la scheda richiede immagini tra 40 e 4.096 pixel per lato.

C'è anche una testa di previsione multi-token aggiunta per la decodifica speculativa — cinque livelli, una dimensione del blocco pari a 8, un rango di Markov di 256 e livelli target a 5, 11, 17, 23, 29, 35, 41 e il blocco finale. Questi sono precisamente gli otto livelli di attenzione globale, ed è il dettaglio che ti dice che la testa di bozza è stata progettata attorno allo stack ibrido anziché aggiunta in seguito. Thinking Machines chiama il decoder risultante "DSpark".

Un punto di ordine per chiunque abbia una revisione legale che richieda documentazione: la licenza è dichiarata nei metadati della model card come Apache 2.0 e la card rimanda all'atto standard, ma non c'è alcun file LICENSE, LICENSE.md, LICENSE.txt o NOTICE nell'albero del repository. Tutti e quattro non restituiscono nulla. La dichiarazione è reale e inequivocabile; l'artefatto che la maggior parte dei team legali si aspetta di trovare non c'è.

L'elenco dell'hardware e dove il fornitore e il ricettario non concordano

La scheda del modello indica una soglia minima di VRAM. Le ricette di serving indicano una topologia. Non sono lo stesso numero, e il divario tra i due è la cosa più pratica di questa pagina.

• NVFP4 primario — almeno 500 GB di VRAM aggregata; gli esempi della scheda sono 2× B300 o 4× H200.

• Variante MXFP8 — almeno 800 GB; esempi: 4× B300 oppure 8× H200.

• SGLang, topologia per GPU — GB200, GB300 e B300 con TP 4 / EP 4; B200 con TP 4 / EP 4, con TP 8 consigliato per il margine di KV; H200 con NVFP4 con TP 8 / EP 8; MI350X e MI355X con TP 8 / EP 8; Vera Rubin con TP 4 / EP 4; TPU7x a 8 / 8 su un host a quattro chip.

• MXFP8 su B200 o GB200 — TP 8 / EP 8, circa 151 GB di pesi per GPU.

• Il vincolo alla base di tutto ciò — il parallelismo degli esperti deve essere uguale al parallelismo tensoriale, perché le scale di attivazione degli esperti NVFP4 coprono l'intera larghezza di input di ciascun esperto e non possono essere shardate tramite parallelismo tensoriale.

Quindi l'esempio 4× H200 della scheda soddisfa la soglia minima di 500 GB ma non è una topologia che il cookbook convalida; H200 è elencato a 8 vie. Le soglie minime di archiviazione e memoria ti dicono se rientra. Non ti dicono se funziona e, per questo checkpoint, sull'hardware che la maggior parte delle persone ha il secondo numero è il doppio del primo. Se stai effettuando il provisioning, pianifica in base alla ricetta, non alla soglia minima.

Il percorso AMD ha due giorni e non è stato unito

Il radar che ha fatto emergere questo articolo ha intercettato la pull request di supporto per AMD anziché il rilascio dei pesi, e l'inquadramento onesto di quella PR di per sé è che si tratta di lavoro sul motore — il genere di cosa che non fa notizia. Qui conta solo perché è arrivata nella stessa settimana dei checkpoint, e perché è il secondo fornitore di silicio con un'immagine container.

La pull request aggiunge il supporto per gfx950 a MI350X e MI355X, basandosi sul port di base di Inkling 2 Small. Cosa cambia: i kernel ROCm risiedono in moduli separati *_hip.py raggiunti solo in ambito HIP, i percorsi CUDA e NPU restano invariati, il pool KV unificato e il prefill a grafo completo diventano impostazioni predefinite all'avvio, MegaMoE viene rifiutato anziché tentato, e la quantizzazione quick-reduce viene ignorata a meno che un flag d'ambiente lo consenta. gfx950 è richiesto a meno che una seconda variabile d'ambiente lo sovrascriva — il che significa che le schede della classe MI300 vengono rifiutate all'avvio, e l'autore della PR afferma che gfx942 "non è stato eseguito".

Le misurazioni nella PR, che sono dell'autore e non revisionate: 426 test unitari superati su un MI350X, 98,0% su GSM8K-200 con impegno bilanciato e 97,5% con DSpark a una lunghezza di accettazione di 4,04, e tempo per token di output con 2.048 in input e 512 in output di 5,15 ms con configurazione bilanciata rispetto a 2,10 ms con DSpark. Questi corrispondono a circa 194 e 476 token di output al secondo su un singolo stream attraverso otto acceleratori. Con AITer abilitato i valori di accuratezza passano a 97,5% e 96,5%.

Lo stato della PR è bozza. La CI non è stata eseguita su di essa — il job di base è bloccato a causa di un'etichetta mancante e non risulta alcuna esecuzione AMD registrata sul commit in revisione — e tutti i code owner elencati sono ancora in attesa di revisione. Considera il supporto a MI350X come qualcosa che puoi compilare dai sorgenti questa settimana, non come qualcosa che puoi acquistare.

Servirlo implica un'immagine di sviluppo, non un rilascio

Entrambi i principali stack hanno il supporto dal giorno zero e nessuno dei due lo ha ancora rilasciato. SGLang dice chiaramente che il supporto non è ancora presente in nessuna release e rimanda alle build dev-inkling-2-small, con immagini separate per Hopper e Blackwell, Vera Rubin, MI35x e TPU7x. vLLM richiede una nightly o una versione più recente, oppure l'immagine vllm/vllm-openai:inkling-2-small. È normale per un modello di queste dimensioni e così nuovo, ma cambia cosa significa "supportato": stai seguendo un branch, e un rebase può rompere il deployment.

I dettagli operativi che si faranno davvero sentire:

• Contesto — la configurazione TP 4 di vLLM è limitata a 262.144 token su un singolo tray; la finestra completa da 1.048.576 token richiede TP 8 su due nodi. Con TP 4, una singola richiesta da 1M di token richiede 64,47 GiB di cache KV, più di quanto rimanga disponibile in un tray.

• Decodifica speculativa — SGLang verifica 8 token per passo con l'head DSpark incluso; l'equivalente di vLLM imposta 7 token speculativi con generazione probabilistica delle bozze. La ricetta avverte che il tasso di accettazione scende del 15-25% a temperatura 1,0 se si generano le bozze in modo greedy.

• Parser — il reasoning usa inkling, le chiamate agli strumenti usano inkling2 e SGLang seleziona entrambi automaticamente quando non sono impostati. Il parser delle chiamate agli strumenti di vLLM è opt-in e la ricetta afferma che il tool calling non è stato sottoposto a benchmark end-to-end, ma solo testato unitariamente.

• Disaggregazione prefill/decode: convalidata solo come 1P1D su un tray GB300 con quattro GPU, NVFP4, senza MegaMoE, con la frazione di memoria statica forzata a 0,86 perché il valore automatico di 0,963 esauriva la memoria. La suddivisione non entra nel checkpoint MXFP8.

• Disaggregazione dell'encoder — non ancora presente nelle immagini, e il language server si arresta se non è raggiungibile alcun encoder sano.

• Margine di memoria — su moduli B200 o GB200 da 192 GB con TP 4, la capacità KV è pari a circa un terzo di quella offerta da un tray GB300, ed è questo il vero limite alla concorrenza su contesti lunghi, più che la dimensione della finestra indicata sulla scheda.

C'è anche una segnalazione della community direttamente sulla model card, risalente alle prime ore dopo il caricamento, intitolata "Le schede Hopper non sono attualmente compatibili con l'immagine vllm". Non è visibile alcuna risposta da parte dei manutentori e non sono riuscito a riprodurla, quindi trattala come un avviso più che come un riscontro, e verifica prima di impegnare un nodo Hopper. Dal lato SGLang, H200 è effettivamente elencato in configurazione 8-way, quindi il percorso Hopper non è chiuso — semplicemente non è il percorso descritto dalla ricetta di vLLM.

Quanto costa il self-hosting, e perché la risposta raramente è il prezzo

La ragione per scaricare 394 GB è il controllo, non l'economia unitaria, e l'aritmetica lo chiarisce rapidamente.

Su Tinker il modello è listato a $0,30 per milione di token di input, $0,03 per milione di input in cache e $1,00 per milione di output, con contesto 256K. Artificial Analysis misura 84 token di output al secondo e 67,71 secondi al primo token di risposta, a $1,18 per attività dell'indice e 29,6 minuti per attività, rispetto a 154M token di output sull'intera suite e una mediana dei pari di 89,8M. Quel conteggio di token è il segnale rivelatore: questo è un modello che ragiona a lungo prima di rispondere, e al prezzo di listino dell'output un singolo flusso a pieno regime per un'ora produce circa 302.000 token, ovvero all'incirca trenta centesimi di output. Per battere un nodo che costa un dollaro all'ora devi tenere occupati circa quattro flussi; per battere un nodo da venti dollari all'ora ne servono sessantasei. Ben pochi carichi di lavoro di valutazione, e ancora meno quelli agentici, sostengono quel livello di concorrenza contro un modello con un tempo al primo token di 67 secondi.

Cosa ottieni possedendo i pesi invece: la finestra completa da 1M alle tue condizioni anziché al livello di servizio da 256K di Tinker, nessuna lista d'attesa beta davanti alla produzione, il fine-tuning sul tuo stack, dati che non lasciano mai la tua rete e sweep di valutazione non misurati per token. A cosa rinunci: a una build di rilascio funzionante, alla topologia a otto vie che devi acquistare anziché noleggiare e a uno stack di serving che ora devi mantenere.

Questa è la forma onesta della decisione, ed è anche il punto in cui uno strato di routing trova posto senza che gli si chieda di fingere di ospitare qualcosa che non ospita. Inkling 2 Small non è nel catalogo OrcaRouter — abbiamo controllato l'elenco dei modelli live questa settimana e non c'è alcuna voce inkling tra i 215 — quindi il percorso API per questo modello resta la piattaforma Tinker di Thinking Machines stessa e, come da aggiornamento sul lancio, diversi fornitori di inferenza di terze parti. Ciò che più di 200 modelli dietro un'unica chiave ti offre davvero è un fallback: puoi eseguire l'esperimento self-host su un singolo nodo e mantenere la produzione sui modelli che instradiamo, con failover automatico se l'esperimento cade, e sui modelli che instradiamo il prezzo di listino del provider viene trasferito invariato. Quando un secondo e un terzo host iniziano a supportare questi checkpoint, il ramo di failover smette di essere teorico — e il vendor lock, che è il principale argomento a favore del download di 394 GB in primo luogo, si indebolisce.

Dove si trova ora che è aperto

Il punteggio non è cambiato quando i pesi sono stati rilasciati; ciò che è cambiato è che ora appartiene a una classifica da cui era precedentemente escluso. Nella classifica open-weights di Artificial Analysis, Inkling 2 Small è quarto su 28 con un Intelligence Index di 31, rispetto a una mediana del set di confronto di 24.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 con il massimo impegno — 33.

• GLM-5.3 con il massimo impegno — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro e Ling 3.1 Flash 1019 — 30 ciascuno.

• Mistral Large 4 con impegno elevato — 26.

• Qwen3.8 27B con xhigh — 20.

La colonna interessante in quell’elenco non è quella in cima. Ogni modello sopra Inkling 2 Small proviene da un laboratorio cinese, e il miglior modello open-weights di un laboratorio non cinese era Mistral Large 4 a 26. Aprire questi pesi riduce quel particolare divario da venti punti a quindici e sposta la cima della colonna non cinese. Non tocca la frontiera: il miglior modello aperto è quindici punti avanti, e i modelli chiusi si trovano ancora più distanti.

La tabella di valutazione del fornitore stesso è più lunga e più lusinghiera, e ogni cifra in essa è stata ottenuta da Thinking Machines sul proprio harness ad alto sforzo — non replicata, e quindi un tetto massimo piuttosto che un'aspettativa. Le righe che contano per il lavoro agentico: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% e DeepSearchQA 90,9%, entrambi con compattazione, MCP Atlas 85,4% completo e 85,0% pubblico, HLE 44,1% solo testo, FrontierCode v2.0 25,4%. La riga che va nella direzione opposta è Terminal Bench Science al 5,7%, valore basso in termini assoluti e coerente con il profilo a lungo orizzonte e lunga deliberazione, più che con un'ampia rivendicazione di capacità. Il fornitore riporta 30,6 per l'Intelligence Index, mentre la classifica live mostra 31: una differenza di snapshot, non una contestazione.

Cosa cambierebbe questa valutazione?

Tre cose, in ordine di quanto contano.

Il processo di sicurezza che avrebbe dovuto autorizzare questo rilascio non è stato pubblicato. Il post di luglio di Thinking Machines su un percorso sicuro verso i pesi aperti descrive quattro organizzazioni esterne che eseguono test pre-distribuzione sulla prima generazione di Inkling, e il post di lancio del 5 novembre collegava questo rilascio a "test di sicurezza esterni e red-teaming". L'aggiornamento del 12 novembre che annuncia i pesi contiene una frase e un link — al repository Hugging Face — e nessun risultato di valutazione, nessun risultato del red team e nessuna revisione delle condizioni precedenti. Questo non significa che i test non siano stati eseguiti. Significa che un lettore non può verificarli, e un'organizzazione con una politica di approvvigionamento che richiede le prove non le troverà qui.

Un supporto di livello release cambierebbe chi può adottarlo. Al momento la scelta è un branch di sviluppo in SGLang, una build nightly in vLLM, oppure compilare il percorso AMD dai sorgenti a partire da una bozza non ancora integrata. Nel momento in cui il supporto arriva in una release con tag, il modello diventa una decisione di deployment invece che un progetto di ingegneria, e la topologia a otto vie smette di essere un setup di ricerca.

La riproduzione indipendente con le impostazioni predefinite ti direbbe quanto vale davvero il 31 in pratica. Le righe agentiche sono quelle da tenere d'occhio — SWE-bench Pro a 86,3 e DeepSWE a 72,1 sono affermazioni forti per un modello con 17B parametri attivi, e sono state ottenute con il massimo sforzo. Le esecuzioni di terze parti con lo sforzo predefinito si attestano sempre più in basso. La domanda è di quanto, e nessuno al di fuori di Thinking Machines ha ancora risposto.

Finché almeno uno di questi elementi non si concretizza, la descrizione corretta di Inkling 2 Small è insolitamente precisa: un checkpoint Apache 2.0 che puoi scaricare oggi, che nessuno stack di serving rilasciato supporta, i cui punti di forza maggiori provengono dal laboratorio che lo ha creato e il cui via libera della licenza è stato dato senza la documentazione che avrebbe dovuto precederlo. È un rilascio reale e una lacuna reale, e la lacuna è la parte che vale la pena tenere d'occhio.