Inkling-Small: Das Modell in Viertelgröße, das sein eigenes Flaggschiff schlägt – und dem Index immer noch hinterherhinkt

Thinking Machines Lab verbrachte die zwei Wochen nach der Veröffentlichung seines ersten Open-Weight-Modells damit, ein etwa ein Viertel so großes Modell zu bauen, und auf der eigenen Bewertungstabelle des Labors gewinnt das kleinere. Inkling-Small erzielt 80,2% bei SWE-bench Verified gegenüber Inklings 77,6%, 89,5% bei GPQA Diamond gegenüber 87,2%, 64,7% bei Terminal-Bench 2.1 gegenüber 63,8% und 31,6% bei Humanity's Last Exam gegenüber 29,7% — von 276B Gesamtparametern mit 12B aktiven statt 975B mit 41B. Von den wichtigsten Kennzahlen, die die beiden Modellkarten gemeinsam haben, hält das 975B-Flaggschiff genau eine: AIME 2026, um 1,6 Punkte.

Dann testete Artificial Analysis beide unabhängig und bewertete Inkling-Small mit 40 auf seinem Intelligence Index, im Vergleich zu Inklings 41 — das kleinere Modell einen Punkt zurück. Beide Ergebnisse sind real, und der Abstand zwischen ihnen ist das Nützlichste an diesem Launch. Alles unten trennt, was Thinking Machines über sein eigenes Modell berichtet, von dem, was jemand anderes gemessen hat: die Herstellerzahlen stammen aus der Ankündigung und den beiden Hugging-Face-Modellkarten, die unabhängigen Zahlen aus Artificial Analysis' eigenen Läufen und die Preis- und Kontextzahlen aus den Live-Endpunktdaten von OpenRouter, geprüft an dem Tag, als dies geschrieben wurde. Wo diese drei voneinander abweichen — und bei der Kontextlänge tun sie das — sagen wir es, statt die schmeichelhafte Zahl zu wählen.

Was am 30. Juli tatsächlich veröffentlicht wurde

Inkling-Small ist ein sparse Mixture-of-Experts-Transformer: insgesamt 276B Parameter, 12B aktiv pro Token, 42 Schichten, wobei jedes Token an 6 von 256 Experten weitergeleitet wird, plus 2 gemeinsame Experten, die auf alles feuern. Die Aufmerksamkeit wechselt zwischen lokalen und globalen Schichten. Die Gewichte sind auf Hugging Face unter Apache 2.0 ohne kommerzielle Einschränkungen verfügbar, es lässt sich über die Tinker-API von Thinking Machines feinabstimmen, und man kann im Tinker Playground in Text, Bild und Audio mit ihm sprechen. Das Labor gibt an, dass es auf NVIDIA GB300 NVL72-Systemen trainiert wurde.

Multimodalität ist nativer Bestandteil und nicht nachträglich angebaut, und die Modellkarte ist ungewöhnlich präzise darüber, wie das funktioniert. Es gibt keinen separaten Bild- oder Audio-Encoder: Audio liegt als dMel-Spektrogramme vor, Bilder als 40×40-Pixel-Patches, die durch ein vierschichtiges hMLP geschickt werden, und beide werden direkt in denselben Token-Stream wie Text eingebettet. Die Eingabe besteht aus Text, Bildern und Audio; die Ausgabe ist nur Text, was man deutlich sagen sollte, denn „multimodal“ wird oft genug als „es kann sprechen“ gelesen, um einem einen schlechten Nachmittag zu bescheren. Der Denkaufwand wird über einen Regler mit fünf Stufen eingestellt — minimal, niedrig, mittel, hoch, xhoch — sodass dieselben Gewichte günstig oder mit voller Kraft laufen können.

Der interessante Teil des Rezepts ist das Post-Training. Inkling-Small wurde on-policy mit dem vollständigen Inkling als Lehrer destilliert und erhielt dann etwa zwei weitere Wochen Reinforcement Learning, das auf agentische Codierung skaliert wurde. Diese Reihenfolge erklärt die Form der Ergebnisse: Der Schüler erbte die allgemeine Kompetenz seines Lehrers und erhielt dann zusätzliches Training genau auf der Achse, auf der es den Lehrer jetzt übertrifft.

Die Anzeigetafel Thinking Machines veröffentlichte

Hersteller-Benchmarks sind Marketing, bis sie jemand reproduziert. Lesen Sie diesen Abschnitt also als das, was das Labor behauptet, nicht als das, was verifiziert wurde. Es ist dennoch eine breite Sammlung, und zwar in einer für das Flaggschiff unvorteilhaften Richtung.

Über die vier gemeinsamen Zahlen hinaus vervollständigt die Karte das restliche Bild – alle eigenen Läufe von Thinking Machines:

• Agentisches Arbeiten — 1269 Elo bei GDPval-AA v2, einem Benchmark für realistische wirtschaftliche Aufgaben statt Rätseln.

• Charts and documents — 77.4% on CharXiv RQ, rising to 81.3% when the model is allowed to write and run Python. That 3.9-point jump is a useful hint that tool access buys more on visual-reasoning work than prompt engineering does.

• Vision — 74,0 % bei MMMU Pro, knapp über Inklings 73,5 %.

• Audio — 90,1 % VoiceBench und 77,0 % MMAU, beide knapp unter den 91,4 % und 77,2 % des Flaggschiffs. Audio ist einer der beiden Bereiche, in denen die Verkleinerung eindeutig etwas gekostet hat.

• Sicherheit — 98,4 % bei StrongREJECT und 96,9 % bei harmlosen FORTRESS-Prompts, aber 71,6 % bei adversarialen FORTRESS-Prompts, während das Flaggschiff 78,0 % erreicht. Das ist der andere Preis: ein Rückgang um 6,4 Punkte bei der adversarischen Robustheit, was mehr zählt als jeder Coding-Gewinn, wenn das Modell hinter einem öffentlichen Textfeld sitzen soll.

• Prognose — 61.3 ± 0.46 Brier Index auf ForecastBench ohne Suchzugriff, und 0.1238 ± 0.0086 Brier Score auf Prophet Arena. Überhaupt Fehlerbalken anzugeben ist mehr Disziplin, als die meisten Launch-Posts aufbringen.

Eine Lücke: Die Karte des Flaggschiffs weist 54,3 % bei SWE-bench Pro aus, dem schwereren Geschwister von SWE-bench Verified. Die Karte von Inkling-Small weist kein SWE-bench Pro aus. Angesichts dessen, wie laut die Verified-Zahl beworben wird, ist ihr Fehlen die Zahl, die wir am liebsten ausgefüllt sehen würden.

Was der unabhängige Index stattdessen sagt

Artificial Analysis stuft Inkling-Small auf Version 4.1 seines Intelligence Index mit 40 ein, einen Punkt unter Inkling mit 41. Der Index ist ein Verbund aus neun Bewertungen – GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience und AA-LCR – und diese Liste erklärt den Großteil des scheinbaren Widerspruchs. Nur zwei der neun überschneiden sich mit der Denk-Demonstration auf der Karte von Thinking Machines. Der Rest ist auf agentische Werkzeugnutzung, Abruf über lange Kontexte und Halluzinationsresistenz ausgerichtet, und ein Modell kann die Benchmarks gewinnen, die ein Labor zu veröffentlichen wählt, während es die verliert, die ein Dritter auszuführen wählt. Keine der beiden Parteien lügt; sie messen unterschiedliche Dinge.

Es gibt auch ein Detail im Kleingedruckten, das mehr wert ist als die Ein-Punkt-Schlagzeile: Artificial Analysis listet den Eintrag des Flaggschiffs als Inkling (xhigh) — seine höchste Denkaufwand-Einstellung — während die Inkling-Small-Zeile keinen Suffix für den Denkaufwand trägt. Der Ein-Punkt-Vorsprung des Flaggschiffs wurde also bei voll aufgedrehtem Reasoning aufgezeichnet. Wenn ein Abgleich des Denkaufwands diesen Vergleich auch nur geringfügig verschieben würde, würde damit auch das letzte Argument für das größere Modell allein aufgrund der Leistungsfähigkeit verschwinden.

Wo die unabhängigen Daten überhaupt nicht nahe beieinanderliegen, sind Geschwindigkeit und Kosten, und hier begünstigt es das kleine Modell mit Abständen, die keine Benchmark-Tabelle darstellt.

• Ausgabegeschwindigkeit — 133 Tokens pro Sekunde gegenüber 80 für Inkling (xhigh). Artificial Analysis stuft Inkling-Small auf Platz 7 von 101 Modellen seiner Klasse in puncto Geschwindigkeit ein, gegenüber einem Klassenmedian von 66.

• Zeit bis zum ersten Token — 1,63 s gegenüber 1,84 s. Ein echter, aber geringfügiger Vorteil.

• Mischpreis pro 1M Tokens — 0,22 $ gegenüber 0,72 $ bei ihrer Gewichtung. Etwa ein Drittel der Kosten, für einen Indexpunkt weniger.

• Intelligenzrang — #15 von 101, bei einem Klassenmedian von 25. Komfortabel über dem Durchschnitt, aber weit entfernt von der Spitze.

• Ausführlichkeit — und hier ist der Haken. Es hat 130M Ausgabe-Tokens verbraucht, um durch den Index zu kommen, gegenüber einem Median von 100M. Die eigene Zusammenfassung von Artificial Analysis bezeichnet es als „bemerkenswert schnell, jedoch etwas ausführlich“. Es denkt etwa 30 % mehr als üblich, was stillschweigend einen Teil des Pro-Token-Rabatts auffrisst.

Eine kleine buchhalterische Anmerkung, da jeder, der Quellen vergleicht, darüber stolpern wird: Artificial Analysis listet die Parameteranzahl als 266B insgesamt, während die Ankündigung, beide Modellkarten und OpenRouter 276B angeben. Wir haben durchgehend 276B verwendet. Es ändert keine Schlussfolgerung, aber es ist die Art von Diskrepanz, die man kennen sollte, bevor man eine Zahl in einem Designdokument zitiert.

Was Sie heute tatsächlich mieten können – und das ist nicht das, was das Datenblatt sagt.

Die Lücke zwischen einer Ankündigung offener Gewichte und einem nutzbaren Endpoint ist genau der Punkt, an dem die meiste Berichterstattung über einen Launch aufhört, genauer hinzusehen. Thinking Machines wirbt mit einem Kontextfenster von bis zu 1M Token, und Artificial Analysis listet ebenfalls 1M auf. Auf OpenRouter begrenzen beide Anbieter, die derzeit Inkling-Small bereitstellen, es auf 524.288 Token — also die Hälfte des beworbenen Werts. Das ist weniger ein Widerspruch als vielmehr ein Unterschied zwischen dem, was die Architektur unterstützt, und dem, was tatsächlich in Produktion aufgesetzt wurde. Zum Vergleich: Das Flaggschiff Inkling hat durchaus einen Endpoint mit vollen 1.048.576 Token, allerdings begrenzt derselbe Endpoint die Completions auf 32.768 Token.

Der Rest des Live-Bildes, entnommen aus den Endpunktdaten von OpenRouter:

• Two providers, two prices — $0.45 per 1M input and $1.20 per 1M output from one, $0.50 and $1.20 from the other. Artificial Analysis lists Thinking Machines' own first-party rate lower still at $0.30 and $1.20, with cached input at $0.06. Third-party hosting is charging a 50–67% premium on input for the same weights.

• Prompt-Caching — 0,10 $ pro 1M gecachte Eingabe-Tokens über OpenRouter, gegenüber 0,17 $ für das Flaggschiff.

• Die Numeriken, die Sie mieten, sind nicht die Numeriken, die benchmarkiert wurden — die Model Card listet BF16 und NVFP4 auf. Der günstigere Endpunkt liefert fp8; der andere deklariert überhaupt keine Quantisierung. Die Benchmark-Ergebnisse des Anbieters wurden nicht an einem fp8-Serving dieser Gewichte gemessen, und Quantisierungseffekte bei langen agentischen Läufen sind genau die Art von Sache, die ein Vorsprung von 0,9 Punkten im Terminal-Bench nicht überleben kann. Falls Sie eine Zahl reproduzieren, geben Sie an, welchen Endpunkt Sie verwendet haben.

• Die Feature-Abdeckung ist je nach Anbieter ungleichmäßig — beide Endpunkte bieten Reasoning und reasoning_effort, sodass der fünfstufige Denkregler funktioniert. Aber nur einer bewirbt Tool-Calling und Logprobs, und keiner bewirbt derzeit response_format, der Parameter für strukturierte Ausgabe/JSON-Modus. Das Flaggschiff Inkling hat einen Endpunkt, der das tut. Wenn Ihre Pipeline von schema-erzwungenem JSON abhängt, ist dies das Detail, das Sie am ersten Tag beißen wird, und es ist eine Anbieterbeschränkung und keine Modelleinschränkung.

• Completion-Obergrenze — 262.144 Token auf dem fp8-Endpunkt; der andere gibt keine Obergrenze an.

Der Kostenfall auf Grundlage gemessener Token-Anzahlen

Preise pro Million Tokens sind ein schlechtes Mittel, um Reasoning-Modelle zu vergleichen, denn die entscheidende Variable ist, wie viele Tokens sie beim Denken verbrauchen. Artificial Analysis veröffentlicht die tatsächlichen Ausgaben, was ein viel besseres Instrument ist: Inkling-Small den vollständigen Intelligence Index durchlaufen zu lassen, verbrauchte etwa 130 Millionen Ausgabe-Tokens und kostete $192.37, was etwa $0.07 pro Aufgabe bei ihrem gewichteten Durchschnitt ergibt.

Vergleichen Sie das mit derselben Messung für Modelle, die tatsächlich eingesetzt werden: DeepSeek V4 Flash für $0,03 pro Aufgabe, gpt-oss-120b für $0,08, Gemini 3.6 Flash für $0,56, GLM-5.2 für $0,57, Kimi K3 für $0,86, GPT-5.6 Sol für $1,23, Claude Opus 5 für $2,34, Claude Fable 5 für $3,15. Inkling-Small ist das zweitgünstigste Modell in dieser Gruppe und etwa 18-mal günstiger pro Aufgabe als GPT-5.6 Sol, das 59 erreicht, während Inkling-Small auf 40 kommt.

Es gibt auch eine einfachere Möglichkeit zu sehen, warum der Preis genau dort gefallen ist. Die aktiven Parameter sanken von 41B auf 12B, also um den Faktor 3,4. Der Ausgabepreis fiel von 4,05 $ auf 1,20 $ pro Million, also um den Faktor 3,375. Der Mietpreis eines Sparse-MoE ist im Wesentlichen nur seine Berechnung pro Token, und Thinking Machines hat dementsprechend abgerechnet, anstatt den Preis an Benchmarks auszurichten.

Ein praktischer Hinweis, wenn Sie diesen Vergleich selbst durchführen: Inkling-Small ist heute nicht im OrcaRouter-Katalog enthalten, daher würden Sie es über seine eigenen Endpunkte mieten. Die geschlossenen Modelle, gegen die Sie es messen würden — GPT-5.6 Sol, Claude Opus 5, Gemini 3.6 Flash und der Rest dieser Liste — sind auf OrcaRouter über einen einzigen Schlüssel erhältlich bei 0 % Aufschlag, was bedeutet, dass Sie den Listenpreis jedes Anbieters zahlen, ohne dass etwas hinzukommt. Das ist speziell für ein Kostenmodell wichtig: Die Zahl, die Sie in die Tabelle eintragen, ist die Zahl, die abgerechnet wird, und wenn ein Anbieter Preise senkt, wirkt sich das noch am selben Tag auf unserer Seite aus, statt erst nach einer Neuverhandlung. Automatisches Failover zwischen den Anbietern deckt die andere Hälfte einer Evaluation ab, nämlich wenn der Baseline-Arm mitten im Lauf ausfällt und Ihre Zahlen unbemerkt verfälscht.

Wo es tatsächlich unter den Open-Weight-Modellen steht

Gemessen am Flaggschiff wirkt Inkling-Small wie ein Triumph. Gemessen am Feld wirkt es wie ein solides Open-Weights-Modell im Mittelfeld, und die Startberichterstattung hat die zweite Lesart größtenteils übersprungen.

Im Artificial Analysis Intelligence Index gehören zu den Modellen, die vor beiden Inklings liegen: Claude Opus 5 mit 61, Claude Fable 5 mit 60, GPT-5.6 Sol mit 59, Kimi K3 mit 57, Grok 4.5 mit 54, GLM-5.2 und Muse Spark 1.1 mit 51 sowie Gemini 3.6 Flash mit 50. Das ist erwartbar – das sind Spitzensysteme, die meisten davon geschlossen, einige davon enorm.

Dasjenige, das tatsächlich eine Entscheidung ändern sollte, ist DeepSeek V4 Flash, das mit 284B Gesamtparametern und 13B aktiven Parametern 50 Punkte erreicht gegenüber Inkling-Smalls 40 — praktisch dieselbe Größenklasse und dasselbe Open-Weight-Schnäppchen, zu weniger als der Hälfte der Kosten pro Aufgabe. Wenn Sie das günstigste leistungsfähige Open-Weight-Modell suchen, zeigen die unabhängigen Zahlen dorthin, nicht hierher. Außerdem ist es, anders als Inkling-Small, über OrcaRouter verfügbar, sodass das Testen dieser Alternative mit Ihrer eigenen Arbeitslast nur eine Änderung des Modellstrings ist und keine Beschaffungsübung.

Was Inkling-Small hat, was DeepSeek V4 Flash nicht hat, sind native Audio- und Bildeingaben in denselben Gewichten, ein fünfstufiger Denkregler und Tinker-Feintuning aus dem Labor, das es trainiert hat. Das sind echte Unterscheidungsmerkmale für einen multimodalen Agenten, und sie sind der ehrliche Grund, es zu wählen – nicht der Index-Score.

Wer sollte umziehen, und wer sollte bleiben?

Die Entscheidung teilt sich sauber auf, was ungewöhnlich genug ist, um es ausdrücklich zu erwähnen.

• Wechseln Sie von Inkling zu Inkling-Small, wenn Sie Coding-Agenten ausführen. Die Zahlen des Anbieters sprechen für das kleine Modell bei SWE-bench Verified und Terminal-Bench, das zusätzliche agentische RL ist der dokumentierte Grund, und es kostet etwa ein Drittel so viel und liefert Token 1.66× schneller. 3.3× für einen Indexpunkt zu zahlen, der bei maximaler Denkanstrengung gemessen wird, ist schwer zu vertreten.

• Wechseln Sie, wenn die Kosten pro Reasoning-Aufgabe der begrenzende Faktor sind und Sie mit 40 im Index leben können. $0.07 pro Aufgabe bei einer Cache-Trefferrate von $0.06 pro Million auf dem Erstanbieter-Endpunkt ist eine aggressive Preisgestaltung für ein Modell mit nativer Audio- und Bildunterstützung.

• Wechseln Sie, wenn Sie feinabstimmen. Ein 276B/12B-Modell ist dramatisch günstiger anzupassen und bereitzustellen als 975B/41B, und Tinker unterstützt beide.

• Bleiben Sie bei Inkling, wenn Sie lange Audiodateien benötigen. Dies ist die stärkste Regression in der Version, und sie ist in den Modellkarten versteckt: Das Flaggschiff empfiehlt Audioeingaben unter 20 Minuten, während die Karte von Inkling-Small empfiehlt: unter 2 Minuten. Eine zehnfache Reduzierung. Wenn Sie Besprechungen transkribiert oder über Besprechungen nachgedacht haben, ist das kleine Modell zu keinem Preis ein direkter Ersatz.

• Bleiben Sie, wenn Sie von einem gehosteten Endpunkt Kontext über 512K hinaus benötigen, oder Vervollständigungen, die länger als 262K Tokens sind. Heute hat nur das Flaggschiff einen Endpunkt, der die volle Million bedient.

• Bleiben Sie, wenn Sie schema-erzwungenes JSON benötigen, ohne eine eigene Validierungs- und Wiederholungsschleife zu schreiben, bis ein Anbieter response_format für das kleine Modell bereitstellt.

• Bleiben Sie, wenn adversarial robustness von tragender Bedeutung ist. 71.6% gegenüber 78.0% bei FORTRESS adversarial ist die falsche Richtung für alles, was benutzerorientiert ist, und es ist die eigene Zahl des Labors.

Drei Fragen, die die Startberichterstattung offen ließ

Ist Inkling-Small nur ein destilliertes Inkling?

Teilweise, und der Teil, der es nicht ist, ist der Teil, der zählt. On-Policy-Destillation mit Inkling als Lehrer war eine Stufe des Post-Trainings, daher wird ein Großteil der allgemeinen Fähigkeiten tatsächlich vererbt. Aber dies ist ein separat architekturiertes Modell – 42 Ebenen gegenüber den 66 des Flaggschiffs, mit derselben Routing-Topologie von 6 aktiven Experten aus 256 plus 2 gemeinsamen, was bedeutet, dass die Experten selbst schmaler sind statt weniger. Und es erhielt etwa zwei Wochen agentisches Coding-RL, das der Lehrer nie bekam. Diese letzte Stufe ist der Grund, warum ein destillierter Schüler seinen Lehrer bei Coding-Benchmarks übertrifft, was sonst nicht passieren sollte.

Kann ich es realistisch selbst hosten?

Nur auf ernsthafter Hardware. 276B Parameter entsprechen grob 276 GB Gewichten bei 8-bit und etwa 552 GB bei BF16, bevor überhaupt ein KV-Cache berücksichtigt wird – in beiden Fällen ein Multi-GPU-Knoten, keine Workstation. Der Vorteil von sparse MoE liegt in den Inferenzkosten, nicht im Speicherbedarf; man speichert alle 276B und rechnet mit 12B. Die Karte nennt SGLang, vLLM, TokenSpeed, Unsloth und Hugging Face Transformers als unterstützte Serving-Pfade und listet BF16- und NVFP4-Numeriken. Beachte außerdem, dass beide gehosteten Endpunkte heute eine quantisierte Version ausliefern, sodass sich „das gleiche Modell“ selbst gehostet mit BF16 nicht identisch zu der API verhalten wird, die du getestet hast.

Hat der 975B Inkling noch einen Grund zu existieren?

Drei, und alle sind eng begrenzt: der vollständige 1M-Token-Kontext, Audioeingaben länger als zwei Minuten und besseres adversariales Sicherheitsverhalten. Bemerkenswerterweise steht „es ist intelligenter“ nicht mit Sicherheit auf dieser Liste – ein Indexpunkt bei maximaler Denkanstrengung gegenüber einer Reihe von Anbieter-Benchmarks, bei denen das kleinere Modell meist gewinnt, ist kein Fähigkeitsargument. Zwei Wochen nach der Einführung eines 975B-Flaggschiffs hat Thinking Machines das Modell veröffentlicht, das es schwer macht, das Flaggschiff zu empfehlen. Das ist entweder ungewöhnliche Offenheit oder ungewöhnliche Geschwindigkeit, und in beiden Fällen ist es ein gutes Zeichen für das Labor.

Was als Nächstes ansehen

Drei Dinge werden entscheiden, wie sich dieses Release im Laufe der Zeit bewährt. Ob ein Endpunkt auftaucht, der den beworbenen 1M-Kontext ausliefert, was den klarsten verbleibenden Vorteil des Flaggschiffs beseitigen würde. Ob jemand einen aufwandsgleichen unabhängigen Vergleich der beiden Modelle veröffentlicht, der einzige Weg, um zu wissen, ob dieser eine Indexpunkt real ist. Und ob die 2-Minuten-Audio-Empfehlung eine Trainingsbeschränkung oder eine Serving-Voreinstellung ist – denn wenn Letzteres der Fall ist, verdampft der mit Abstand wichtigste Grund, bei dem größeren Modell zu bleiben. Bis dahin lautet die ehrliche Zusammenfassung, dass Thinking Machines ein Modell ausgeliefert hat, das ein Drittel des Preises kostet, zwei Drittel schneller ist, beim Codieren auf Basis der eigenen Evidenz besser abschneidet, bei unabhängigen Gesamtwertungen leicht zurückliegt und klar hinter einem gleich großen Konkurrenten liegt, den die meiste Berichterstattung nicht erwähnt hat.