Una card del titolo generata per Inkling 2 Small intitolata "17B active, frontier coding", con tre schede statistiche che riportano 594B totali / 17B attivi, FrontierCode 25,4% contro Kimi K3 17,3%, e $0,30 in / $1,00 out per 1M, con una nota che le cifre del benchmark sono dichiarate dal fornitore e i prezzi sono quelli di Artificial Analysis; il logo OrcaRouter si trova in una striscia bianca sotto l'illustrazione.
Guides & Insights

Inkling 2 Small tiene il passo nel coding con 17B parametri attivi — finché non guardi la varianza

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Due linee sul grafico di lancio di Thinking Machines si incontrano sullo stesso numero. Inkling 2 Small risolve 54,25 attività PMPP-Hard su 69 in un singolo tentativo e 64 su quattro. Claude Opus 5.5 ne risolve 60 in un singolo tentativo e 64 su quattro. Rilasciato il 5 novembre 2026, Inkling 2 Small è un modello mixture-of-experts con 594B parametri totali e 17B attivi, e quel grafico è la dichiarazione più chiara di cosa l'architettura offre e di cosa non offre: il tetto di un modello frontier nel duro lavoro ingegneristico, senza l'affidabilità per tentativo di un modello frontier.

L'affermazione che circola è più ristretta e più lusinghiera: che nei benchmark di programmazione tiene facilmente il passo con modelli significativamente più grandi. Questa affermazione è verificabile riga per riga contro la tabella dello stesso fornitore, e regge in alcuni punti, fallisce in altri e fallisce nel modo più interessante contro un modello molto più piccolo di esso. Questo articolo fa la lettura riga per riga, poi pone la domanda a cui la tabella non può rispondere: quanto costa quell'andatura per attività una volta che il modello è davvero sulla tua fattura.

Sei righe di codifica, da leggere senza la glossa

Tutto ciò che segue proviene dalla tabella di valutazione che Thinking Machines ha pubblicato insieme all'annuncio. Si tratta di un harness gestito dal fornitore: l'azienda lo dichiara e afferma che le righe relative al coding usano test unitari nascosti e controlli programmatici. Niente di quanto riportato qui è stato riprodotto in modo indipendente, e questo è importante perché la stessa tabella riporta un Artificial Analysis Intelligence Index di 30.6 per Inkling 2 Small, mentre la pagina live di Artificial Analysis riporta 31. Si tratta di una differenza di arrotondamento, non di una disputa, ma indica che la tabella è un'istantanea scattata dal laboratorio anziché una board live.

Contro Kimi K3, il più grande modello open-weights del confronto, l'affermazione sul ritmo regge fino al pareggio:

• FrontierCode v2.0 — Inkling 2 Small 25,4% vs Kimi K3 17,3%.

• DeepSWE v1.1 — 72,1% vs 68,5%.

• SWE-bench Pro v2 (Hard) — 86,3% vs 88,2%.

• Vibe Code Bench v1.1 — 81,6% vs 85,0%.

• PostTrainBench v1.2 — 31,9% vs 31,5%.

• Terminal Bench Science v0.1 — 5,7% vs 8,1%.

Tre righe ciascuno. Un modello che esegue 17B parametri per token pareggia un modello di un ordine di grandezza più grande sul calcolo che consuma, e lo fa ai due estremi dello spettro della programmazione che di solito restano separati: un benchmark di patch da zero in FrontierCode e uno agentico su scala repository in DeepSWE. DeepSWE è quello da pesare, perché è la riga in cui un modello deve tenere insieme un piano attraverso molte chiamate agli strumenti invece di produrre un singolo buon diff.

Rispetto a DeepSeek V4.1 Flash 1017, il quadro si ribalta, ed è il confronto che conta commercialmente più che architetturalmente, perché il tier flash di DeepSeek è economico. Inkling 2 Small è indietro su quattro delle cinque righe eseguite da entrambi i modelli — FrontierCode 25,4% contro 28,5%, DeepSWE 72,1% contro 77,0%, Vibe Code Bench 81,6% contro 87,7%, Terminal Bench Science 5,7% contro 12,9% — ed è avanti solo su PostTrainBench, 31,9% contro 30,5%. DeepSeek non ha una voce per SWE-bench Pro, il che è sfortunato per Thinking Machines, dato che 86,3% è il miglior numero di coding di Inkling 2 Small e sarebbe stata la singola riga più convincente da vincere.

A three-column scoreboard titled 'Inkling 2 Small vs Kimi K3 vs Claude Haiku 5.5 — coding rows', listing the same six benchmarks for each column: FrontierCode v2.0 at 25.4, 17.3 and 34.9; DeepSWE v1.1 at 72.1, 68.5 and 59.9; SWE-bench Pro v2 Hard at 86.3, 88.2 and 52.9; Vibe Code Bench v1.1 at 81.6, 85.0 and 90.4; PostTrainBench v1.2 at 31.9, 31.5 and not reported; and Terminal Bench Science v0.1 at 5.7, 8.1 and 20.0, with the highest value in each row set in green. The footer reads that all figures are vendor-reported by Thinking Machines Lab, 5 November 2026, and not independently reproduced.

Il modello più piccolo è quello con cui non tiene il passo.

Il confronto che il materiale di lancio non mette in apertura è Claude Haiku 5.5, ed è quello che dovrebbe far riflettere un acquirente. Haiku è il livello piccolo ed economico della gamma Anthropic — nulla a che vedere con un modello da 594B — e vince tre delle cinque righe di coding che i due condividono: FrontierCode 34,9% contro 25,4%, Vibe Code Bench 90,4% contro 81,6%, e Terminal Bench Science 20,0% contro 5,7%, dove il divario è più che triplo.

Inkling 2 Small batte decisamente gli altri due: DeepSWE 72,1% contro 59,9% e SWE-bench Pro 86,3% contro 52,9%. Letti insieme, questi dati non riguardano affatto la dimensione. Haiku vince le righe che valutano un singolo artefatto prodotto: un diff, una UI, una sessione di terminale portata a termine. Inkling 2 Small vince le righe in cui il modello deve continuare a lavorare su un problema per molti passaggi e migliorare la propria risposta. Contro Gemini 3.8 Flash il distacco è ancora più ridotto: Inkling si aggiudica FrontierCode, SWE-bench Pro e Vibe Code Bench, perde DeepSWE di stretta misura 72,1% contro 73,8% e perde nettamente Terminal Bench Science 5,7% contro 10,0%.

Un dettaglio dell'annuncio vale la pena metterlo da parte per chiunque legga le classifiche. Thinking Machines afferma di aver testato checkpoint preliminari di Inkling 2 Small su OpenCode con il nome Fledge-Alpha. Qualsiasi punteggio Fledge-Alpha abbiate visto su una classifica di programmazione prima del lancio era questo modello, sotto pseudonimo, e non era la versione definitiva.

Che cosa si ottiene con quattro tentativi e che cosa costa 18,5 minuti

PMPP-Hard comprende 69 task, quattro tentativi indipendenti, un budget di dieci ore, e il punteggio è la media dei task risolti. Il 54,25 di Inkling 2 Small è buono ma non eccezionale: si colloca dietro GPT-6 Astra a 63, Kimi K3.1 Pro a 60,5 e Opus 5.5 a 60, e davanti a Kimi K3 a 55,75, DeepSeek V4.1 Flash a 55,25, GLM 5.3 a 52,5 e Mistral Large 4 a 50,25.

Il suo Pass@4 di 64 è il punto in cui il numero smette di essere ordinario. Quel valore pareggia il 64 di Opus 5.5 e supera il 63 di Astra e il 63 di Kimi K3.1 Pro. Con quattro tentativi raggiunge lo stesso tetto dei migliori modelli del grafico; con uno solo resta indietro di quasi sei attività. Se il tuo flusso di lavoro campiona già diversi tentativi e sceglie un vincitore eseguendo i test, il divario che conta è piccolo. Se campiona una sola volta e rilascia, il divario è tutta la storia.

La stessa asimmetria emerge nel grafico dell'autoricerca sul kernel, e lì non favorisce Inkling 2 Small. Miglior speedup del kernel rispetto alla baseline: Claude Opus 5.5 18,80×, GPT-6 Astra 10,26×, Inkling 2 Small 6,02×, DeepSeek V4.1 Flash 5,66×, GLM 5.3 5,03×, Mistral Large 4 3,43×. Circa un terzo dello speedup della frontiera sullo stesso compito, il che è molto lontano dal tenere il passo.

Poi c’è il tempo effettivo. Ogni valutazione pubblicata è stata eseguita con effort 0,99 — l’impostazione che Thinking Machines chiama xhigh — a temperatura 1,0. Artificial Analysis, testando l’endpoint live anziché l’harness di sviluppo, misura 18,5 minuti per attività dell’Intelligence Index contro una mediana dei pari di 7,0, e 154M token di output contro una mediana di 89,8M. Il costo per attività dell’indice è di $1,18, posizionandosi al 27º posto su 29 modelli in quella classifica. La velocità di output è di 135 token al secondo, con 34,15 secondi al primo token della risposta, contro una mediana di 11,57 secondi. Il modello non è lento per token. È lento perché pensa a lungo e scrive moltissimo mentre lo fa.

Dove il numero di 17B attivi ripaga davvero

I modelli mixture-of-experts vengono fatturati in base ai parametri attivi, ed è tutta qui la giustificazione commerciale di questa architettura. Inkling 2 Small è prezzato a 0,30 $ per milione di token di input e 1,00 $ per milione di token di output, con l'input in cache scontato del 90% a 0,03 $ — un costo misto di 0,18 $ per milione con un rapporto cache-hit/input/output di 7:2:1, secondo Artificial Analysis. Il modello mediano su quella classifica addebita 0,24 $ in input e 0,87 $ in output, quindi Inkling 2 Small ha un prezzo da modello di fascia media, non da modello da 594B.

La miscela di addestramento spiega l’enfasi. La programmazione rappresentava il 38,5% dei rollout di reinforcement learning e il 65% dei token — il blocco più grande in assoluto, e più di due terzi di tutto ciò che il modello ha generato durante il RL. La visione era il 13,9% dei rollout ma il 3% dei token. Qualunque altra cosa sia questo modello, è stato post-addestrato per scrivere e correggere codice a lungo.

A screenshot of the Artificial Analysis model page for Inkling 2 Small showing an Intelligence Index of 31 ranked 4 of 29 against a median of 23, 154M output tokens against a median of 89.8M, pricing of $0.30 per million input and $1.00 per million output with a 90% cache discount, $1.18 cost per index task ranked 27 of 29, 21.5 minutes per task against a 7.3-minute median, and a 1M-token context window with text and image input.

Quindi l'aritmetica onesta è per tentativo riuscito, non per token. Inkling 2 Small a 1,18 $ per attività di indicizzazione e quattro tentativi per raggiungere il suo limite massimo è un acquisto diverso da un modello al doppio del prezzo che ci arriva in un solo tentativo. Nessuna delle due configurazioni è sbagliata; sono contratti diversi rispetto al tuo budget di latenza.

Cosa puoi chiamare oggi, e cosa non puoi

Inkling 2 Small è disponibile tramite Tinker per inferenza e fine-tuning, con pesi chiusi e nessun secondo fornitore. Thinking Machines afferma di voler pubblicare i pesi completi con licenza Apache 2.0 "la prossima settimana", dopo test di sicurezza esterni e red-teaming, e ciò non è avvenuto al 6 novembre 2026. L'endpoint serverless viene erogato con una finestra di contesto di 256K, più stretta della finestra da 1M che il modello è stato addestrato a gestire.

Non è su OrcaRouter, e questo articolo non fingerà il contrario. Quello che è su OrcaRouter è gran parte del set di confronto appena esaminato in questo articolo — Kimi K3, DeepSeek V4.1 Flash 1017, GLM-5.3 Flash, Gemini 3.8 Flash, MiMo V2.6 Pro — raggiungibili con una sola chiave tra più di 200 modelli, con il prezzo di listino del provider passato senza modifiche e nessun ricarico aggiunto. Questo è importante proprio per l'uso che questo articolo sottintende: se vuoi scoprire se un MoE con 17B attivi è sufficientemente buono per il tuo repository, l'esperimento più economico è eseguire la tua valutazione sui modelli ai due lati, su un'unica fattura, invece di firmare quattro contratti.

A screenshot of the OrcaRouter models catalogue showing the header 228 models, 17 providers, one API key, one bill, the modality and price filters, the how-to-call panel with an OpenAI-compatible chat completions request, and model cards including a cyber model with a 1M context and tools, reasoning and JSON mode tags.

Il failover automatico è l'altra metà della questione. Una tabella di benchmark non dice nulla sulla capacità di una lunga esecuzione agentica di sopravvivere a un intoppo del provider al quattordicesimo minuto, e i modelli che su DeepSWE sembrano più vicini sono proprio quelli tra cui si finirebbe effettivamente per passare dall'uno all'altro.

Tre cose cambierebbero questa interpretazione. Una riesecuzione indipendente di FrontierCode o DeepSWE, perché questi numeri sono del laboratorio stesso e la riga SWE-bench Pro contribuisce molto a persuadere. Il rilascio dei pesi, perché Apache 2.0 renderebbe il modello da 594B ospitabile autonomamente e metterebbe sotto il tuo controllo la cifra di 1,18 $ per attività. E qualsiasi livello pubblicato sotto xhigh, perché ogni numero in questo articolo è stato prodotto al massimo sforzo — se un'impostazione inferiore ottiene gran parte dell'accuratezza con una frazione dei 154M token, il caso economico migliora e nessuno l'ha ancora dimostrato.

Il set di confronto su un tasto

I modelli con cui Inkling 2 Small viene confrontato nelle righe sopra sono, con due eccezioni, modelli che oggi puoi chiamare da un unico endpoint. Le due eccezioni sono Inkling 2 Small stesso, disponibile solo su Tinker, e Claude Haiku 5.5, che non è nel catalogo OrcaRouter. Il resto della tabella è: Kimi K3, il modello open-weights con cui Inkling 2 Small pareggia; DeepSeek V4.1 Flash 1017, il modello economico su cui è in svantaggio in quattro righe su cinque; GLM-5.3 Flash, il modello piccolo che batte con facilità; e Gemini 3.8 Flash, il modello di fascia media con cui è sostanzialmente alla pari.

Quel set è quello che vale la pena eseguire, perché la domanda interessante per un team non è se un modello mixture-of-experts con 17B attivi sia impressionante in astratto — la tabella sopra risponde già a questo — ma se batte il modello già in produzione sullo specifico repository, suite di test o kernel che ti interessa. È una domanda a cui solo la tua valutazione può rispondere, ed è molto più economico rispondere su quattro modelli con una sola chiave che su quattro fornitori.

Ciò che il lancio stabilisce è più ristretto di quanto suggerisca la reazione. Un modello da 594B con 17B parametri attivi ora ottiene un pareggio contro il più grande modello open-weights nel coding, vince le due righe che premiano il lavoro continuativo e perde contro un piccolo modello chiuso nelle tre che valutano un singolo artefatto. È un risultato reale e non è un risultato di frontiera. Il costo per scoprire da quale lato della linea si colloca il tuo carico di lavoro è di $0.30 e $1.00 per milione di token, 18.5 minuti per attività difficile e la disponibilità a campionare più di una volta.

Confrontati in questo articolo1

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno