Eine generierte Titelkarte mit der Aufschrift „Inkling 2 Mini“, mit dem Untertitel „26,4B gesamt, 3,4B aktiv, etwa 20 GB — Schleifen der mittleren Schichten“, mit drei Pills mit der Aufschrift Intelligence Index 20.1, 48 Layer-Anwendungen und Apache 2.0, über einem Schichtdiagramm mit vier Blöcken, in dem die beiden mittleren Blöcke mit „run 3x“ und die beiden äußeren mit „run 1x“ markiert sind. Das OrcaRouter-Logo befindet sich unten rechts.
Guides & Insights

Inkling 2 Mini erscheint mit 20: Ein 20-GB-Modell, das in Schleifen denkt

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Der Checkpoint ist etwa 20 GB groß, und das ist das Argument. Inkling 2 Mini ist ein Mixture-of-Experts-Modell mit 26,4 Milliarden Parametern, von denen 3,4 Milliarden pro Token aktiv sind, veröffentlicht von Thinking Machines Lab am 20. November 2026 unter Apache 2.0 als einzelner Download, der auf einem Mac mit 32 GB Unified Memory oder einer einzelnen NVIDIA DGX Spark läuft. Am selben Tag hat Artificial Analysis es zeitlich gemessen und bewertet: 20,1 auf dem Intelligence Index v5.0.1, 0,15 $ pro Million Eingabetoken und 0,50 $ pro Million Ausgabetoken, 0,59 $ für das Abschließen einer Indexaufgabe, 280 Ausgabetoken pro Sekunde. Das Interessante ist nicht die Punktzahl. Es ist, dass das Modell sie erreicht, indem es dieselben zwölf Schichten dreimal durchläuft, statt mehr Parameter zu speichern, was einen 26B-Checkpoint sich wie etwas Größeres verhalten lässt, ohne mehr Speicher zu benötigen, als ein Laptop hat.

Vermischt man die beiden Arten von Zahlen sorglos, wirkt die Veröffentlichung wie ein klarer Sieg; hält man sie auseinander, wirkt sie wie etwas Spezifischeres, was dieser Beitrag zu leisten versucht. Der Index, die Kosten pro Aufgabe, die Geschwindigkeit, die Ausführlichkeit und die Lizenz sind Messungen und Metadaten von Artificial Analysis, abgelesen am 21. November 2026. Jede Codierungs- und Reasoning-Zeile weiter unten stammt aus dem eigenen Harness von Thinking Machines auf einem vom Unternehmen trainierten Checkpoint und sagt dies dort, wo sie erscheint. Niemand außerhalb des Labors hat diese Zeilen reproduziert.

Was Thinking Machines veröffentlicht hat

Die Veröffentlichung ist gewichte-zuerst angelegt. Das Hugging-Face-Repository wurde am 17. November erstellt und zuletzt am 20. November geändert, was eher wie ein gestaffelter Checkpoint aussieht als wie eine Überraschungsveröffentlichung, und die Modellkarte nennt den 20. November 2026 als Veröffentlichungsdatum. Es gibt eine echte Lizenzdatei-Situation, die erwähnenswert ist: Die Karte erklärt in ihren Metadaten Apache 2.0, und die Repository-Tags tragen dasselbe, sodass dies eine permissive Veröffentlichung ist und nicht das bloße Versprechen einer solchen, mit dem Inkling 2 Small am 5. November an den Start ging.

• Parameter — 26,4 Mrd. insgesamt, 3,4 Mrd. aktiv und 5,4 Mrd. effektive Gewichtsaktivierungen pro Token, sobald das Looping berücksichtigt wird; Thinking Machines veranschlagt jede zusätzliche Loop-Runde mit ungefähr 1,0 Mrd. zusätzlichen aktiven Parametern.

• Speicherbedarf — ein Checkpoint von etwa 20 GB, 20 Schichten in NVFP4 und 4 in MXFP8, ausgeliefert in der Präzision, in der er trainiert wurde, statt im Nachhinein quantisiert zu werden.

• Modalitäten — Text und Bilder als Eingabe über einen Vision Transformer, in den gemeinsamen verborgenen Raum projiziert, Text als Ausgabe.

• Kontext — die Modellkarte gibt bis zu 1 Mio. Token an, und Artificial Analysis verzeichnet 1 Mio.

• Serving — Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth und llama.cpp-GGUFs, Llama App sowie Ollama und Exo Labs auf Apple Silicon. Post-Training-Rezepte gibt es für Miles und SkyRL.

• Gehostet — Tinker, für Inferenz und Anpassung, mit einem Playground. Das ist der eigene Endpoint des Anbieters und der einzige; Inkling 2 Mini ist nicht auf OrcaRouter, und nichts im Folgenden legt etwas anderes nahe.

Ein Begleitmodell wird zusammen damit ausgeliefert. TML-d24-varloop-research ist dieselbe Architektur, trainiert darauf, zwischen einem und fünf Loop-Durchläufen zu akzeptieren, und es existiert, damit Forschende die Tiefe variieren können, die das Produktionsmodell auf drei festlegt. Es ist ebenfalls auf Hugging Face verfügbar, und es ist der Gegenstand, an dem der Großteil der Überwachbarkeitsarbeit in diesem Release durchgeführt wurde.

Screenshot of the Thinking Machines announcement page titled 'Introducing Inkling 2 Mini', dated Nov 20, 2026, showing the Capabilities, Architecture and training, Monitorability of looped transformers and Try Inkling 2 Mini today section links, plus the opening paragraphs describing a model small enough to run on a laptop that runs the middle layers three times per token and leads open-weights models under 100B total parameters on DeepSWE v1.1 at 48.2%.

Die Schleife ist das Produkt.

Inkling 2 Mini ist ein 24-schichtiger Decoder-only-Transformer mit spärlichen Mixture-of-Experts-Feed-Forward-Schichten, unterteilt in vier Blöcke zu je sechs Schichten. Der erste Block wird einmal ausgeführt, der letzte Block einmal, und die beiden mittleren Blöcke – zwölf Schichten – werden dreimal mit gemeinsam genutzten Gewichten ausgeführt. Ein Token durchläuft daher 48 Schichtanwendungen, die aus 24 gespeicherten Gewichtsschichten stammen.

Die Wiederholung ist keine Kopie. Jeder Durchlauf durch die mittleren Blöcke liest die Ausgabe des Preludes, und der zweite und dritte Durchlauf lesen zusätzlich das, was Thinking Machines die Message nennt: die eigene Ausgabe der mittleren Blöcke aus dem vorherigen Durchlauf, zusammengeführt über ein gelerntes Gate. Dieses Gate beginnt damit, die Message vollständig zu blockieren, sodass das Training als gewöhnliches nicht-schleifendes Modell beginnt und die Verstärkung der Message mit der Zeit erhöht wird. Das ist ein Trick zur Trainingsstabilität und zugleich der Grund, warum die Schleife mitten im Lauf hinzugefügt werden kann, statt von null an trainiert zu werden.

Welche Schichten wiederholt werden, war nicht willkürlich. Das Unternehmen hat gemessen, wie sich die Wiederholung der mittleren zwölf Schichten gegenüber der Wiederholung der letzten zwölf Schichten über 28 Evaluierungen hinweg verhält, und stellte fest, dass die mittleren bei 27 davon gewannen, mit einem rechenäquivalenten Zugewinn von 1,51–1,91× gegenüber 1,24–1,36×. Die Intuition dahinter ist, dass frühe und späte Schichten damit beschäftigt sind, zwischen Tokens und internen Repräsentationen zu übersetzen, während die mittleren die abstrakte Schlussfolgerungsfähigkeit tragen, die von mehr seriellen Schritten profitiert.

Die Experten wurden beschnitten, nicht entworfen. Das Training begann bei einer Sparsity von 48, wobei jedes Token an 8 von 384 Experten weitergeleitet wurde; an einem Punkt während des Midtrainings behielt das Unternehmen die 128 meistgenutzten Experten pro Layer und reparierte die Schäden mit 1T Tokens, die aus einem größeren internen Inkling-Modell destilliert wurden, und führte dann SFT und eine RL-Phase durch, die insgesamt 2,2T Tokens über 2.000 Schritte umfassten. Das ist derselbe Post-Training-Mix wie bei Inkling 2 Small, weshalb die Stärken der beiden Modelle an denselben Stellen liegen.

Zwanzig, und was darunter sitzt

Der an der Spitze genannte Wert ist real und unabhängig gemessen, und er liegt außerdem nahe an der Untergrenze dessen, was der Index sinnvoll auflösen kann. Artificial Analysis ordnet 20 als deutlich über dem Durchschnitt für die Vergleichsklasse des Modells im Open-Weights-Board ein, wo der Median bei 10 liegt, doch das Band unmittelbar um 20 ist dicht besetzt mit Modellen jeweils einen Punkt darüber und darunter, und der Index ordnet Modelle nicht so fein. Ein Wert von 20 bedeutet, dass das Modell eine Hürde nimmt, nicht, dass es alles innerhalb eines Punktes davon schlägt.

Was der Score stützt, ist die Positionierung, die bei einem Modell dieser Größe zählt. Die Pareto-Aussage in der Berichterstattung zum Launch – Frontier-Intelligenz pro aktivem Parameter – ist diejenige, die Artificial Analysis' eigene Zusammenfassung stützt: Sie bezeichnet es als eines der führenden Modelle in Sachen Intelligenz für seine Größenklasse und als angemessen bepreist im Vergleich zu anderen Open-Weights-Modellen ähnlicher Größe. Das erreicht es wegen der Schleife, die serielle Rechenleistung erkauft, ohne Parameter zu erkaufen, und die Aussage hält nicht mehr stand, sobald man vom Modell verlangt, etwas zu wissen, statt etwas abzuleiten.

Die Kosten- und Geschwindigkeitsspalten sind die Bereiche, in denen das Release am stärksten aussieht. Mit 0,15 $ Eingabe und 0,50 $ Ausgabe ist es am unteren Ende der Reasoning-Stufe bepreist, und 0,59 $ pro Index-Aufgabe sind ein Viertel dessen, was ein dichtes 27B-Modell im selben Score-Bereich kostet. Es ist schnell in den beiden Punkten, die in einer Agent-Schleife sichtbar werden: 9,72 Sekunden bis zum ersten Antwort-Token und 280 Ausgabe-Tokens pro Sekunde. Die kompensierende Schwäche ist die Ausführlichkeit – 161 Mio. Ausgabe-Tokens, um den Index-Lauf abzuschließen, gegenüber einem Peer-Median von 85,7 Mio., also rund das 1,9-Fache der Ausgabe eines typischen Modells seiner Klasse. Bei einer Abrechnung pro Token ist das in Ordnung. Bei einem festen Token-Budget bekommt man etwa halb so viele Aufgaben.

Screenshot of the Artificial Analysis model page for Inkling 2 Mini, showing it amongst the leading models in intelligence and reasonably priced for its size but very verbose, a score of 20 on the Intelligence Index against a median of 10 for its class, 161M tokens generated during the index run against a 85.7M median, pricing of $0.15 per 1M input and $0.50 per 1M output tokens, $0.59 per index task, 9.0 minutes per task, and a listed 1M-token context window.

Kodierungszeilen, vom Anbieter gemeldet

Die Tabelle, die Thinking Machines veröffentlicht hat, ist der stärkste Teil der Argumentation des Unternehmens – und stammt vollständig aus dessen eigener Quelle. Es handelt sich um nicht reproduzierte Zahlen aus einem Anbieter-Harness, von denen mehrere mit dem unternehmenseigenen Agenten-Scaffold statt mit einem neutralen ausgeführt wurden; man sollte sie daher als Behauptungen über einen Checkpoint lesen, den das Labor trainiert hat.

• SWE-bench Verified — 79.2 %, nur Bash.

• SWE-bench Pro v2, Schwer — 77,9 %.

• SWE-bench Multilingual — 73,7 %.

• DeepSWE v1.1 — 48,2 % gegenüber 42,2 %, die für Qwen3.8-27B gemeldet wurden.

• Terminal Bench v2.1 — 71,6 %, hinter den 73,0 von Qwen3.8-27B; auf Terminal Bench v4.0 weisen beide 5,6 % aus.

• FrontierCode v2.0 — 15,1 %, gegenüber 14,9 % für Qwen3.8-27B.

• Agentische Suche und Tools — BrowseComp 79,0 %, DeepSearchQA 85,3 %, MCP Atlas 82,7 %, jeweils vor dem Wert von Qwen3.8-27B in derselben Tabelle.

• Vision und Dokumente — MMMU Pro 74,9 %, OmniDocBench v1.6 92,8 %, ScreenSpot Pro 76,5 % ohne Hilfsmittel und 87,7 % mit Python-Tooling.

• Schlussfolgern — HLE-Diamond 15,2 %, CritPt v2 31,4 %, ARC-AGI 84,5 % bei v1 und 49,3 % bei v2, LongBench v2 66,9 %.

Die Form dieser Tabelle passt zur Architektur und ist das Nützlichste am Release. Die Zeilen, in denen das Modell stark wirkt, sind diejenigen, die Ausdauer und Tool-Nutzung über einen langen Horizont belohnen: Suche, Patchen im Repository-Maßstab, Dokumentenparsing. Die Zeilen, in denen es gewöhnlich wirkt, sind diejenigen, die einen einzelnen korrekten Recall oder eine schwierige wissenschaftliche Inferenz erfordern. Looping fügt serielle Schritte hinzu. Es fügt keine gespeicherten Fakten hinzu.

Looping erkauft Reasoning, nicht Fakten.

Diese Unterscheidung ist die These des Releases selbst, und das Unternehmen testet sie, statt sie nur zu behaupten. In AA-Omniscience, dem Factuality-Benchmark, zeigt die Anbietertabelle −8,6 für Inkling 2 Mini bei einer Nicht-Halluzinationsrate von 63,4 %. Ein negativer Wert bedeutet dort, dass das Modell schlechter ist als eine Antwort zu verweigern: Es erzeugt selbstsichere Fehler. Die Einordnung des Unternehmens ist, dass die Wissenslücke mit anderen Modellen derselben Gesamtgröße vergleichbar ist und dass das Modell dies durch gutes Suchen ausgleicht – genau das zeigen die Zeilen zu BrowseComp und DeepSearchQA, und genau deshalb lautet die ehrliche Zusammenfassung dieses Modells „gut im Finden, schwach im Erinnern“.

Der Begleiter mit variabler Schleife macht den Punkt deutlicher. Sein Zeithorizont ohne Gedankenkette – wie lange eine Aufgabe bei 50 % Zuverlässigkeit abgeschlossen werden kann, ohne dass Reasoning niedergeschrieben wird – steigt von 16 Sekunden bei einem Durchlauf auf 37 Sekunden bei drei Durchläufen und flacht dann ab, während serielles Schlussfolgern bei einer N-Hop-Lookup-Aufgabe bis zu zehn Durchläufen immer besser wird – doppelt so tief, wie es trainiert wurde. Die Zugewinne konzentrieren sich auf Multi-Hop-Retrieval, mathematisches und naturwissenschaftliches Schlussfolgern sowie langfristige agentische Arbeit. Closed-Book-Fakten-QA bewegt sich kaum.

Das Ergebnis zur Überwachbarkeit ist der Teil, der Forschende am meisten interessieren dürfte, denn er ist der Einwand gegen Schleifenmodelle. Wenn ein Modell innerhalb eines Tokens mehr Berechnung ausführt, erscheint im sichtbaren Gedankengang weniger Schlussfolgern, und ein Monitor für Gedankengänge sieht weniger. Thinking Machines misst dies und stellt fest, dass der Effekt in diesem Maßstab kleiner ist als befürchtet: Das Schlussfolgern des Modells mit variabler Schleifenzahl war bei fünf Durchläufen weniger als halb so lang wie bei einem Durchlauf (durchschnittlich 1.661 gegenüber 3.703 Tokens), während Satzlänge und Anteil an Wörterbuchwörtern unverändert blieben, was eher als direkteres Schlussfolgern denn als weniger lesbares Schlussfolgern zu lesen ist. In seiner LinuxArena-Stealth-Evaluierung liegt Inkling 2 Mini mit 3,9 % weit unter den 20,5 % von Qwen3.8-27B. Nichts davon ist eine Garantie – es ist eine erste Messung an einer Architekturklasse, für die es zuvor keine herunterladbaren Gewichte gab, und das Unternehmen sagt offen, dass es das Modell teilweise veröffentlicht habe, damit andere es nachprüfen können.

Was der Betrieb kostet

Self-Hosting ist der beworbene Modus, und die Rechnung ist einfach. Ein 20-GB-Checkpoint auf einer Maschine, die Sie bereits besitzen, verursacht keinerlei marginale Token-Kosten, und die eigene Effizienzstudie des Anbieters – durchgeführt von Stanfords Hazy-Research- und Scaling-Intelligence-Laboren auf Early-Access-Basis, bei MXFP8 und geringem Reasoning-Aufwand – beziffert sie auf einem DGX Spark mit 0,703 Intelligenz pro Watt gegenüber 0,430 für Qwen3.6-35B-A3B und 0,159 für Gemma 4 26B-A4B. Das ist ein anbieternahes Ergebnis auf einem einzelnen Gerät, keine Flottenmessung, aber die Richtung ist nicht subtil.

Das ehrliche Argument gegen den Eigenbetrieb ist, dass eine geloopte Architektur ungefähr einen Tag Serving-Reife hat. SGLang, vLLM und die übrigen führen Support auf, und die Model Card warnt mit eigenen Worten, dass die Runtime-Unterstützung für geloopte Modelle neu ist und die Geschwindigkeit schwankt. Der Durchsatz, den du auf deiner eigenen Maschine misst, hängt davon ab, welche Engine du gewählt hast und wie aktuell ihre Kernel sind – und das wird sich schneller ändern als alles andere an diesem Modell.

Ein Router rechtfertigt seinen Platz hier nicht dadurch, dass er Mini bereitstellt – wir hosten es nicht. Er rechtfertigt ihn durch das, was man um es herum aufbaut. Eine Evaluierung einer unerprobten Architektur sollte niemals das Einzige sein, was zwischen Ihren Nutzern und einer Fehlerseite steht, und das lässt sich so einrichten, dass man für den Produktionspfad ein Modell aufruft, dem man vertraut, während Mini daneben läuft. Qwen3.8-Flash ist bei OrcaRouter für 0,15 US-Dollar pro Million Eingabe-Token und 0,47 US-Dollar pro Million Ausgabe-Token verfügbar; der Listenpreis des Anbieters wird ohne Aufschlag weitergegeben, und die Routing-DSL sowie das automatische Failover ermöglichen es Ihnen, Mini dahinterzuschalten, sobald Mini einen Endpunkt erreicht, den wir erreichen können. Ein Schlüssel deckt beide Seiten dieses Experiments ab – und das ist das ganze Argument.

A generated single-column scoreboard titled 'Inkling 2 Mini — the scoreboard', with six rows reading Intelligence Index 20.1, cost per index task $0.59, output speed 280 tokens per second, first token 9.72 seconds, size on disk about 20GB, and licence Apache 2.0, above a footer stating that index, cost and speed are per Artificial Analysis and coding rows are vendor-reported and unreproduced.

Vier Dinge, auf die man achten sollte

Das erste ist die unabhängige Reproduktion. Artificial Analysis hat den Index, die Kosten, die Geschwindigkeit und die Ausführlichkeit — gemessen —, aber die Coding-Tabelle stammt vom Labor. Solange niemand außerhalb von Thinking Machines SWE-bench Pro v2 oder DeepSWE auf den öffentlichen Gewichten laufen lässt, sind 77,9 % und 48,2 % bloße Behauptungen.

Das Zweite ist, ob ein gehosteter Endpunkt über Tinker hinaus auftaucht. Ein 20-GB-Apache-2.0-Checkpoint ist genau die Art von Artefakt, die Drittanbieter schnell aufgreifen, und der Preiswettbewerb, der 0,59 $ pro Aufgabe dauerhaft erscheinen lassen würde, beginnt erst, wenn es einen zweiten Anbieter gibt.

Das Dritte ist die Schleife selbst. Wenn der Pilot funktioniert, ist die Technik übertragbar: drei Durchläufe über die mittleren Schichten, ein Gate zum Zusammenführen der Nachricht, keine zusätzlichen Parameter. Jedes Rezept für kleine Modelle in diesem Bereich wird zu einem Kandidaten dafür, und die interessante Frage ist nicht mehr, ob dieses Modell 20 erzielt, sondern ob das nächste bei gleichem Speicher 24 erzielt.

Der vierte Punkt ist der Teil, den die Markteinführung nicht klärt. Schleifenmodelle verlagern das Reasoning aus der sichtbaren Gedankenkette in den Forward Pass. Thinking Machines fand bei 5,4 Mrd. aktiven Parametern keinen nennenswerten Verlust an Überwachbarkeit. Niemand hat dieselbe Messung bei 50 Mrd. aktiven Parametern veröffentlicht. Das ist die Frage, die diese Veröffentlichung stellbar macht, und sie ist ein besserer Grund, sich für einen 20-GB-Download zu interessieren, als die Punktzahl.

Für alle, die diese Woche entscheiden: Die Trennlinie ist klar. Wenn Sie einen kompetenten agentischen Coder wollen, der offline auf Hardware läuft, die Sie bereits besitzen, und bereit sind, ihn in einer Sandbox zu betreiben und sein Faktenwissen zu testen, bevor Sie ihm vertrauen, dann ist Inkling 2 Mini das derzeit interessanteste kleine Modell, und der Preis für einen Versuch ist ein Download. Wenn Sie eine Antwort brauchen, die Sie einem Kunden präsentieren können, ohne dass dahinter eine Retrieval-Schicht steht, dann ist dies nicht dieses Modell, und die 20 im Index wird es nicht dazu machen.