Een gegenereerde titelkaart voor Inkling 2 Small met als kop '17B actief, frontier-coding', met drie statistiekkaarten die 594B totaal / 17B actief tonen, FrontierCode 25,4% vs Kimi K3 17,3%, en $0,30 in / $1,00 uit per 1M, met een voetnoot dat benchmarkcijfers door de leverancier zijn gerapporteerd en prijzen volgens Artificial Analysis zijn; het OrcaRouter-logo staat in een witte strook onder de artwork.
Guides & Insights

Inkling 2 Small houdt bij het coderen gelijke tred met 17B actieve parameters — tot je naar de variantie kijkt.

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Twee lijnen op de lanceringsgrafiek van Thinking Machines komen bij hetzelfde getal samen. {{1}}Inkling 2 Small{{/1}} lost {{2}}54,25{{/2}} van de {{3}}69{{/3}} {{4}}PMPP-Hard{{/4}}-taken op in één poging en {{5}}64{{/5}} over vier pogingen. {{6}}Claude Opus 5.5{{/6}} lost {{7}}60{{/7}} op in één poging en {{8}}64{{/8}} over vier pogingen. Uitgebracht op {{9}}5 november 2026{{/9}} is {{10}}Inkling 2 Small{{/10}} een mixture-of-expertsmodel met {{11}}594B{{/11}} totale parameters en {{12}}17B{{/12}} actieve parameters, en die grafiek is de helderste uitspraak over wat de architectuur oplevert en wat niet: het plafond van een frontiermodel op moeilijk technisch werk, zonder de betrouwbaarheid per poging van een frontiermodel.

De bewering die de ronde doet, is beperkter en vleiender — dat het bij codingbenchmarks gemakkelijk gelijke tred houdt met aanzienlijk grotere modellen. Die bewering is rij voor rij toetsbaar aan de eigen tabel van de leverancier, en ze houdt op sommige punten stand, faalt op andere, en faalt het meest interessant tegen een model dat veel kleiner is dan hetzelf. Dit stuk doet het rij voor rij lezen en stelt vervolgens de vraag die de tabel niet kan beantwoorden: wat die gelijke tred per taak kost zodra het model daadwerkelijk op je factuur staat.

Zes coderingsrijen, gelezen zonder de glos.

Alles hieronder komt uit de evaluatietabel die Thinking Machines bij de aankondiging heeft gepubliceerd. Het is een door de leverancier gerunde harness — het bedrijf zegt dat zelf, en zegt dat de coderingsrijen gebruikmaken van verborgen unit tests en programmatische controles. Niets hiervan is onafhankelijk gereproduceerd, wat van belang is omdat dezelfde tabel een Artificial Analysis Intelligence Index van 30,6 voor Inkling 2 Small vermeldt, terwijl de eigen livepagina van Artificial Analysis 31 vermeldt. Dat is een afrondingsverschil, geen geschil, maar het laat zien dat de tabel een momentopname is die door het lab is gemaakt en geen live scorebord.

Tegenover Kimi K3, het grootste open-weightsmodel in de vergelijking, houdt de snelheidsclaim stand tot een gelijkspel:

• FrontierCode v2.0 — Inkling 2 Small 25,4% vs Kimi K3 17,3%.

• DeepSWE v1.1 — 72,1% tegen 68,5%.

SWE-bench Pro v2 (Moeilijk) — 86,3% vs 88,2%.

Vibe Code Bench v1.1 — 81,6% vs 85,0%.

• PostTrainBench v1.2 — 31,9% vs. 31,5%.

• Terminal Bench Science v0.1 — 5,7% vs 8,1%.

Drie rijen per stuk. Een model dat 17B parameters per token draait, evenaart een model dat een orde van grootte groter is qua verbruikte rekenkracht, en doet dat aan de twee uiteinden van het codingspectrum die gewoonlijk gescheiden zijn: een from-scratch patchbenchmark in FrontierCode en een agentische benchmark op repositoryschaal in DeepSWE. DeepSWE is degene waar het op aankomt, want dat is de rij waarin een model een plan over vele tool-aanroepen heen coherent moet houden in plaats van één goede diff te produceren.

Tegen DeepSeek V4.1 Flash 1017 keert het beeld om, en dit is de vergelijking die commercieel telt in plaats van architecturaal, omdat de flash-tier van DeepSeek goedkoop is. Inkling 2 Small blijft achter op vier van de vijf rijen die beide modellen hebben gedraaid — FrontierCode 25,4% tegen 28,5%, DeepSWE 72,1% tegen 77,0%, Vibe Code Bench 81,6% tegen 87,7%, Terminal Bench Science 5,7% tegen 12,9% — en is alleen voor op PostTrainBench, 31,9% tegen 30,5%. DeepSeek heeft geen SWE-bench Pro-resultaat, wat jammer is voor Thinking Machines, aangezien 86,3% het beste codeercijfer van Inkling 2 Small is en dit de meest overtuigende afzonderlijke rij zou zijn geweest om te winnen.

A three-column scoreboard titled 'Inkling 2 Small vs Kimi K3 vs Claude Haiku 5.5 — coding rows', listing the same six benchmarks for each column: FrontierCode v2.0 at 25.4, 17.3 and 34.9; DeepSWE v1.1 at 72.1, 68.5 and 59.9; SWE-bench Pro v2 Hard at 86.3, 88.2 and 52.9; Vibe Code Bench v1.1 at 81.6, 85.0 and 90.4; PostTrainBench v1.2 at 31.9, 31.5 and not reported; and Terminal Bench Science v0.1 at 5.7, 8.1 and 20.0, with the highest value in each row set in green. The footer reads that all figures are vendor-reported by Thinking Machines Lab, 5 November 2026, and not independently reproduced.

Het kleinere model is het model waarmee het geen gelijke tred houdt.

De vergelijking die het lanceermateriaal niet vooropstelt, is Claude Haiku 5.5, en juist die zou een koper moeten doen aarzelen. Haiku is de kleine, goedkope tier in Anthropics assortiment — niets zoals een 594B-model — en wint drie van de vijf coding-rijen die beide modellen delen: FrontierCode 34,9% tegen 25,4%, Vibe Code Bench 90,4% tegen 81,6%, en Terminal Bench Science 20,0% tegen 5,7%, waar het verschil meer dan drievoudig is.

Inkling 2 Small wint de andere twee overtuigend: DeepSWE 72,1% tegen 59,9% en SWE-bench Pro 86,3% tegen 52,9%. Samen gelezen gaat het patroon helemaal niet over grootte. Haiku wint de rijen die één geproduceerd artefact beoordelen — een diff, een UI, een terminalsessie die tot voltooiing wordt gebracht. Inkling 2 Small wint de rijen waar het model vele stappen lang aan een probleem moet blijven werken en zijn eigen antwoord moet verbeteren. Tegenover Gemini 3.8 Flash ligt het nog dichter bij elkaar: Inkling wint FrontierCode, SWE-bench Pro en Vibe Code Bench, verliest DeepSWE nipt met 72,1% tegen 73,8%, en verliest Terminal Bench Science zwaar met 5,7% tegen 10,0%.

Eén detail uit de aankondiging is het waard om te onthouden voor iedereen die leaderboards leest. Thinking Machines zegt dat het vroege checkpoints van Inkling 2 Small op OpenCode heeft getest onder de naam Fledge-Alpha. Elke Fledge-Alpha-score die je vóór de lancering op een codeerleaderboard zag, was dit model, onder een pseudoniem, en het was niet het definitieve model.

Wat vier pogingen opleveren, en wat 18,5 minuten kost

PMPP-Hard bestaat uit 69 taken, vier onafhankelijke pogingen, een tijdsbudget van tien uur, en wordt gescoord als het gemiddelde aantal opgeloste taken. De 54,25 van Inkling 2 Small is goed, maar niet opmerkelijk: het staat achter GPT-6 Astra met 63, Kimi K3.1 Pro met 60,5 en Opus 5.5 met 60, en voor Kimi K3 met 55,75, DeepSeek V4.1 Flash met 55,25, GLM 5.3 met 52,5 en Mistral Large 4 met 50,25.

Bij zijn Pass@4 van 64 houdt het getal op gewoon te zijn. Dat cijfer evenaart de 64 van Opus 5.5 en verslaat de 63 van Astra en de 63 van Kimi K3.1 Pro. Geef het vier pogingen en het bereikt hetzelfde plafond als de beste modellen in de grafiek; geef het er één en het loopt bijna zes taken achter. Als je workflow al meerdere pogingen genereert en een winnaar kiest door de tests uit te voeren, is de kloof die ertoe doet klein. Als hij één poging doet en meteen uitrolt, is de kloof het hele verhaal.

Dezelfde asymmetrie komt naar voren in de kernel-autoresearch-grafiek, en daar valt ze niet in het voordeel van Inkling 2 Small uit. Beste kernelversnelling ten opzichte van de baseline: Claude Opus 5.5 18,80×, GPT-6 Astra 10,26×, Inkling 2 Small 6,02×, DeepSeek V4.1 Flash 5,66×, GLM 5.3 5,03×, Mistral Large 4 3,43×. Ruwweg een derde van de versnelling die de frontier op dezelfde taak realiseert; dat is verre van gelijke tred houden.

Dan is er nog de kloktijd. Elke gepubliceerde evaluatie werd uitgevoerd met effort 0,99 — de instelling die Thinking Machines xhigh noemt — bij temperatuur 1,0. Artificial Analysis, dat de live-endpoint test in plaats van de ontwikkelharness, meet 18,5 minuten per Intelligence Index-taak tegen een mediaan van 7,0 bij vergelijkbare modellen, en 154M outputtokens tegen een mediaan van 89,8M. De kosten per indextaak bedragen $1,18, waarmee het 27e van de 29 modellen op die ranglijst staat. De outputsnelheid is 135 tokens per seconde, met 34,15 seconden tot het eerste antwoordtoken, tegen een mediaan van 11,57 seconden. Het model is niet langzaam per token. Het is langzaam omdat het lang nadenkt en ondertussen heel veel schrijft.

Waar het actieve aantal van 17B daadwerkelijk loont

Mixture-of-experts-modellen worden gefactureerd op basis van actieve parameters, en dat is het hele commerciële argument voor deze architectuur. Inkling 2 Small kost $0,30 per miljoen invoertokens en $1,00 per miljoen output, waarbij gecachte input met 90% korting naar $0,03 gaat — een blended tarief van $0,18 per miljoen bij een verhouding van 7:2:1 tussen cachehits, invoer en output, volgens Artificial Analysis. Het mediane model op die ranglijst rekent $0,24 voor invoer en $0,87 voor uitvoer, dus Inkling 2 Small is geprijsd als een middenklassemodel, niet als een 594B-model.

De trainingsmix verklaart de nadruk. Coderen was goed voor 38,5% van de reinforcement-learning-rollouts en 65% van de tokens — het grootste afzonderlijke blok, en meer dan twee derde van alles wat het model tijdens RL genereerde. Vision was goed voor 13,9% van de rollouts, maar slechts 3% van de tokens. Wat dit model ook verder is, het is via post-training getraind om uitgebreid code te schrijven en te repareren.

A screenshot of the Artificial Analysis model page for Inkling 2 Small showing an Intelligence Index of 31 ranked 4 of 29 against a median of 23, 154M output tokens against a median of 89.8M, pricing of $0.30 per million input and $1.00 per million output with a 90% cache discount, $1.18 cost per index task ranked 27 of 29, 21.5 minutes per task against a 7.3-minute median, and a 1M-token context window with text and image input.

Dus de eerlijke rekensom is per geslaagde poging, niet per token. Inkling 2 Small tegen $1,18 per indextaak en vier pogingen om zijn plafond te bereiken is een andere aankoop dan een model tegen het dubbele van de prijs dat er in één keer komt. Geen van beide configuraties is fout; het zijn verschillende contracten met je latentiebudget.

Wat je vandaag kunt noemen, en wat niet

Inkling 2 Small is beschikbaar via Tinker voor inferentie en fine-tuning, met gesloten gewichten en zonder tweede aanbieder. Thinking Machines zegt dat het van plan is de volledige gewichten onder Apache 2.0 "volgende week" te publiceren, na externe veiligheidstests en red-teaming, en dat is per 6 november 2026 nog niet gebeurd. Het serverloze endpoint wordt aangeboden met een context van 256K, kleiner dan het venster van 1M dat het model is getraind om aan te kunnen.

Het staat niet op OrcaRouter, en dit stuk zal niet doen alsof dat wel zo is. Wat wél op OrcaRouter staat, is het grootste deel van de vergelijkingsset die dit artikel zojuist heeft doorgenomen — Kimi K3, DeepSeek V4.1 Flash 1017, GLM-5.3 Flash, Gemini 3.8 Flash, MiMo V2.6 Pro — bereikbaar met één sleutel via meer dan 200 modellen, met de lijstprijs van de provider ongewijzigd doorgegeven en zonder extra opslag. Dat is precies van belang voor het gebruik dat dit artikel impliceert: als je wilt uitzoeken of een MoE met 17B actieve parameters goed genoeg is voor jouw repository, is het goedkoopste experiment je eigen evaluatie uitvoeren op de modellen aan weerszijden ervan, op één factuur, in plaats van vier contracten te ondertekenen.

A screenshot of the OrcaRouter models catalogue showing the header 228 models, 17 providers, one API key, one bill, the modality and price filters, the how-to-call panel with an OpenAI-compatible chat completions request, and model cards including a cyber model with a 1M context and tools, reasoning and JSON mode tags.

Automatische failover is de andere helft daarvan. Een benchmarktabel zegt niets over of een lange agentische run een hapering bij een provider op minuut veertien overleeft, en de modellen die op DeepSWE het dichtst bij elkaar liggen, zijn juist de modellen waartussen je in de praktijk zou wisselen.

Drie dingen zouden deze interpretatie veranderen. Een onafhankelijke herhaling van FrontierCode of DeepSWE, omdat deze cijfers van het lab zelf zijn en de SWE-bench Pro-regel veel overtuigingswerk verricht. De release van de gewichten, omdat Apache 2.0 het 594B-model zelf hostbaar zou maken en het cijfer van $1.18 per taak onder jouw controle zou brengen. En elk gepubliceerd niveau onder xhigh, omdat elk cijfer in dit stuk bij maximale inspanning tot stand kwam — als een lagere instelling het grootste deel van de nauwkeurigheid haalt met een fractie van de 154M tokens, verbetert het kostenplaatje en dat heeft nog niemand aangetoond.

De vergelijkingsset op één toets

De modellen waarmee Inkling 2 Small in de bovenstaande rijen wordt vergeleken, zijn op twee uitzonderingen na modellen die je vandaag via één endpoint kunt aanroepen. De twee uitzonderingen zijn Inkling 2 Small zelf, dat alleen via Tinker beschikbaar is, en Claude Haiku 5.5, dat niet in de OrcaRouter-catalogus staat. De rest van de tabel is: Kimi K3, het open-weightmodel waarmee Inkling 2 Small gelijkspeelt; DeepSeek V4.1 Flash 1017, het goedkope model waarop het in vier van de vijf rijen achterblijft; GLM-5.3 Flash, het kleine model dat het ruim verslaat; en Gemini 3.8 Flash, het middelgrote model waarmee het gelijk opgaat.

Die set is het draaien waard, want de interessante vraag voor een team is niet of een 17B-actief mixture-of-experts-model op zichzelf indrukwekkend is — dat beantwoordt de tabel hierboven al — maar of het beter presteert dan het model dat al in productie draait op de specifieke repository, testsuite of kernel die jij belangrijk vindt. Dat is een vraag die alleen je eigen eval kan beantwoorden, en het is veel goedkoper om die te beantwoorden voor vier modellen op één key dan voor vier leveranciers.

Wat de lancering vaststelt, is beperkter dan de reactie erop doet vermoeden. Een model van 594B met 17B actieve parameters speelt nu gelijk tegen het grootste open-weightsmodel bij programmeren, wint de twee rijen die aanhoudend werk belonen, en verliest van een klein gesloten model op de drie die een enkel artefact beoordelen. Dat is een echt resultaat, en het is geen frontierresultaat. De kosten om erachter te komen aan welke kant van de lijn je werklast ligt, zijn $0.30 en $1.00 per miljoen tokens, 18,5 minuten per moeilijke taak, en de bereidheid om meer dan eens te samplen.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt