Die Gewichte von Inkling 2 Small sind verfügbar: 394 GB, Apache 2.0 und eine Rechnung in Node-Größe.

Der erste Gewichts-Commit im Repository von Inkling 2 Small trägt den Zeitstempel 19:53 UTC am 12. November 2026 – neun Stunden, bevor dieser Text geschrieben wurde. Bis dahin war das Modell eine Preisliste und eine Benchmark-Tabelle: Thinking Machines Lab hatte es am 5. November mit geschlossenen Gewichten, einem Tinker-Endpunkt und der erklärten Absicht gestartet, die Checkpoints „nächste Woche“ unter Apache 2.0 zu veröffentlichen. Das Modell selbst ist daher acht Tage alt. Neu ist, dass es sich herunterladen lässt, und der Download ist keine kleine Datei.

Zwei Repositories sind öffentlich. Der primäre Checkpoint umfasst 393,5 GB über 36 Dateien, 24 davon Safetensors-Shards. Die MXFP8-Variante umfasst 622,8 GB. Beide sind in den Metadaten der Modellkarte als Apache 2.0 deklariert. Das ist bislang die gesamte Ankündigung – die Modellkarte, die Repositories und ein einabsätziges Update, das dem Launch-Post angehängt wurde. Alles im Folgenden stammt aus diesen Primärquellen sowie den beiden Serving-Cookbooks, die zusammen mit ihnen ausgeliefert wurden, und es lohnt sich, deutlich zu sagen, was immer noch fehlt: Die externe Sicherheitsprüfung, die die erklärte Voraussetzung für die Freigabe dieser Gewichte war, ist nicht veröffentlicht worden.

Was ist eigentlich im Download enthalten?

Beginnen Sie mit der Größe, denn sie ist das Erste, was entscheidet, ob dieses Modell für Sie überhaupt verfügbar ist. Das Mixed-Precision-Layout erklärt die Zahl nahezu exakt, was ein gutes Zeichen dafür ist, dass die veröffentlichten Angaben miteinander konsistent sind und nicht bloß Marketingtexte.

• Checkpoint-Aufteilung – NVFP4-Experten in den Schichten 0 bis 39, MXFP8-Experten in den Schichten 40 bis 47, gemäß dem SGLang-Cookbook.

• Voraussichtliche Größe — bei durchschnittlich 5,33 Bit pro Parameter über diese Aufteilung von 40/48 und 8/48 ergibt sich 396 GB für 594B Parameter.

• Gemessene Größe — 393,5 GB für das primäre Repository, einschließlich Tokenizer- und Konfigurationsdateien.

• MXFP8-Repository — 622,8 GB, und der Safetensors-Index zählt 612,4 Mrd. gespeicherte Parameter gegenüber 383,1 Mrd. des primären Repositorys, weil das Packen von Expertengewichten auf vier Bit die Anzahl der gezählten Elemente verringert und nicht das Modell.

Die zugrunde liegende Architektur ist ein 48-schichtiger Decoder-only-Transformer mit einem spärlichen Mixture-of-Experts-Feed-Forward-Block: 384 geroutete Experten, 8 pro Token aktiv, 4.608 Hidden-Breite, 48 Attention-Heads über 8 Key-Value-Heads mit je 128 Dimensionen und ein Vokabular von 201.024 Token. Die Attention ist hybrid statt uniform – 40 der 48 Schichten verwenden ein gleitendes Fenster von 1.024 Token, und nur 8 sind global, woraus sich das Long-Context-Budget ergibt. Der Vision-Tower ist ein separater 23-schichtiger Transformer mit 1.024 Hidden-Breite und 16 Heads, der 20×20-Pixel-Patches mit einer 2×2-Zusammenführung liest, sodass jedes Bild-Token einen 40×40-Pixel-Bereich abdeckt; die Karte verlangt Bilder mit einer Seitenlänge zwischen 40 und 4.096 Pixeln.

Außerdem ist ein Multi-Token-Prediction-Head für spekulatives Decoding angeflanscht – fünf Layer, eine Blockgröße von 8, ein Markov-Rang von 256 und Ziel-Layer bei 5, 11, 17, 23, 29, 35, 41 und dem finalen Block. Das sind genau die acht Global-Attention-Layer, und dieses Detail verrät, dass der Draft-Head um den Hybrid-Stack herum entworfen und nicht nachträglich hinzugefügt wurde. Thinking Machines nennt den resultierenden Decoder „DSpark“.

Eine Formalie für alle, deren rechtliche Prüfung Unterlagen verlangt: Die Lizenz ist in den Metadaten der Modellkarte als Apache 2.0 angegeben, und die Karte verlinkt auf die Standard-Lizenzurkunde, aber im Repository-Baum gibt es keine Datei LICENSE, LICENSE.md, LICENSE.txt oder NOTICE. Alle vier liefern nichts. Die Erklärung ist echt und eindeutig; das Artefakt, das die meisten Rechtsteams zu finden erwarten, ist nicht vorhanden.

Die Hardwareliste – und wo Hersteller und Kochbuch voneinander abweichen

Die Modellkarte nennt eine VRAM-Untergrenze. Die Serving-Rezepte geben eine Topologie an. Sie sind nicht dieselbe Zahl, und die Lücke zwischen ihnen ist das Praktischste auf dieser Seite.

• NVFP4 primär — mindestens 500 GB aggregierter VRAM; die Beispiele der Karte sind 2× B300 oder 4× H200.

• MXFP8-Variante — mindestens 800 GB; Beispiele sind 4× B300 oder 8× H200.

• SGLang, Topologie pro GPU — GB200, GB300 und B300 mit TP 4 / EP 4; B200 mit TP 4 / EP 4, wobei TP 8 für KV-Headroom empfohlen wird; H200 mit NVFP4 bei TP 8 / EP 8; MI350X und MI355X bei TP 8 / EP 8; Vera Rubin bei TP 4 / EP 4; TPU7x bei 8 / 8 auf einem Vier-Chip-Host.

• MXFP8 auf B200 oder GB200 — TP 8 / EP 8, etwa 151 GB Gewichte pro GPU.

• Die Einschränkung hinter all dem – Expertenparallelität muss der Tensorparallelität entsprechen, weil die NVFP4-Aktivierungsskalen der Experten die gesamte Eingangsbreite jedes Experts umfassen und nicht tensorparallel aufgeteilt werden können.

Das 4×-H200-Beispiel der Karte erfüllt zwar die Untergrenze von 500 GB, ist aber keine Topologie, die das Cookbook validiert; H200 ist mit 8-fach aufgeführt. Die Mindestwerte für Speicher und Arbeitsspeicher sagen Ihnen, ob es passt. Sie sagen Ihnen nicht, ob es läuft, und bei diesem Checkpoint ist die zweite Zahl auf der Hardware, die die meisten Leute haben, doppelt so hoch wie die erste. Wenn Sie provisionieren, planen Sie nach dem Rezept, nicht nach der Untergrenze.

Der AMD-Pfad ist zwei Tage alt und noch nicht gemergt.

Das Radar, das diesen Beitrag zutage förderte, erwischte den AMD-Support-Pull-Request und nicht das Weight-Release, und die ehrliche Einordnung dieses PR für sich genommen lautet, dass er Engine-Arbeit ist – die Art von Sache, die keine Nachricht ist. Hier ist er nur deshalb von Bedeutung, weil er in derselben Woche landete wie die Checkpoints und weil er der zweite Siliziumhersteller mit einem Container-Image ist.

Der Pull Request fügt gfx950-Unterstützung für MI350X und MI355X hinzu, aufbauend auf dem Basis-Port von Inkling 2 Small. Was er ändert: Die ROCm-Kernel liegen in separaten *_hip.py-Modulen, die nur unter HIP erreicht werden, CUDA- und NPU-Pfade bleiben unberührt, der einheitliche KV-Pool und Full-Graph-Prefill werden zu Start-Standardwerten, MegaMoE wird abgelehnt statt versucht, und die Quick-Reduce-Quantisierung wird ignoriert, sofern kein Umgebungsflag sie zulässt. gfx950 ist erforderlich, sofern nicht eine zweite Umgebungsvariable es überschreibt — das heißt, MI300-Karten werden beim Start abgelehnt, und der PR-Autor sagt, gfx942 „wurde nicht ausgeführt“.

Die Messungen im PR, die vom Autor selbst stammen und nicht überprüft wurden: 426 Unit-Tests bestehen auf einem MI350X, 98,0 % bei GSM8K-200 mit ausgewogenem Aufwand und 97,5 % mit DSpark bei einer Akzeptanzlänge von 4,04, und die Zeit pro Ausgabetoken bei 2.048 Eingabe- und 512 Ausgabetoken beträgt 5,15 ms im ausgewogenen Modus gegenüber 2,10 ms mit DSpark. Diese entsprechen ungefähr 194 bzw. 476 Ausgabetoken pro Sekunde auf einem einzelnen Stream über acht Beschleuniger. Mit aktiviertem AITer verschieben sich die Genauigkeitswerte auf 97,5 % und 96,5 %.

Der Status des PR ist Entwurf. CI wurde darauf nicht ausgeführt – der Basis-Job ist wegen eines fehlenden Labels blockiert, und für den zu prüfenden Commit ist kein AMD-Lauf verzeichnet – und alle aufgeführten Code-Owner warten noch auf Review. Betrachten Sie MI350X-Unterstützung als etwas, das Sie diese Woche aus dem Quellcode bauen können, nicht als etwas, das Sie kaufen können.

Es bereitzustellen bedeutet ein Dev-Image, kein Release.

Beide großen Stacks bieten Day-Zero-Support, und keiner davon hat ihn bereits ausgeliefert. SGLang sagt klar, dass die Unterstützung noch in keinem Release enthalten ist, und verweist auf dev-inkling-2-small-Builds, mit separaten Images für Hopper und Blackwell, Vera Rubin, MI35x und TPU7x. vLLM verlangt einen Nightly-Build oder neuer bzw. das Image vllm/vllm-openai:inkling-2-small. Das ist normal für ein Modell dieser Größe und so neu, aber es ändert, was „supported“ bedeutet: Du folgst einem Branch, und ein Rebase kann dein Deployment brechen.

Die operativen Details, die wirklich wehtun werden:

Kontext — vLLMs TP-4-Rezept ist auf einem Tray auf 262.144 Tokens begrenzt; das vollständige Fenster von 1.048.576 Tokens erfordert TP 8 über zwei Knoten hinweg. Bei TP 4 benötigt eine einzelne Anfrage mit 1 Mio. Tokens 64,47 GiB KV-Cache, was mehr ist, als auf einem Tray übrig bleibt.

Spekulative Dekodierung — SGLang verifiziert 8 Token pro Schritt mit dem mitgelieferten DSpark-Kopf; das vLLM-Äquivalent setzt 7 spekulative Token mit probabilistischem Drafting. Die Anleitung warnt, dass die Akzeptanzrate bei Temperatur 1,0 um 15 bis 25 % sinkt, wenn man greedy draftet.

• Parser – Reasoning verwendet inkling, Tool-Aufrufe verwenden inkling2, und SGLang wählt beide automatisch aus, wenn sie nicht gesetzt sind. Der Tool-Call-Parser von vLLM ist Opt-in, und laut Anleitung wurde Tool Calling nicht durchgängig gebenchmarkt, sondern nur mit Unit-Tests geprüft.

• Prefill/Decode-Disaggregation – nur als 1P1D auf einem GB300-Tray mit vier GPUs validiert, NVFP4, kein MegaMoE, wobei der statische Speicheranteil auf 0,86 zwangsweise reduziert werden musste, weil beim automatischen Wert 0,963 der Speicher ausging. Die Aufteilung passt nicht zum MXFP8-Checkpoint.

• Encoder-Disaggregation – noch nicht in den Images enthalten, und der Language Server stoppt, wenn kein fehlerfreier Encoder erreichbar ist.

• Speicherspielraum — bei 192-GB-B200- oder GB200-Einheiten mit TP 4 beträgt die KV-Kapazität etwa ein Drittel dessen, was ein GB300-Tray liefert; das ist die eigentliche Grenze für Nebenläufigkeit bei langem Kontext und nicht die auf der Karte angegebene Fenstergröße.

Außerdem gibt es einen Community-Bericht direkt auf der Model Card, aus den ersten Stunden nach dem Upload, mit dem Titel „Hopper-Karten derzeit nicht mit dem vllm-Image kompatibel“. Es ist keine Antwort eines Maintainers sichtbar, und ich konnte ihn nicht reproduzieren; behandle ihn daher als Hinweis statt als Befund, und prüfe es, bevor du einen Hopper-Knoten committest. Auf der SGLang-Seite wird H200 mit 8-fach aufgeführt, der Hopper-Pfad ist also nicht geschlossen – er ist nur nicht der Pfad, den das Rezept von vLLM beschreibt.

Was Self-Hosting kostet – und warum die Antwort selten der Preis ist

Der Grund für den Download von 394 GB ist Kontrolle, nicht die Unit Economics, und die Rechnung macht das schnell deutlich.

Auf Tinker ist das Modell mit 0,30 $ pro Million Eingabe-Token, 0,03 $ pro Million gecachter Eingabe und 1,00 $ pro Million Ausgabe bei 256K Kontext gelistet. Artificial Analysis misst 84 Ausgabe-Token pro Sekunde und 67,71 Sekunden bis zum ersten Antwort-Token, bei 1,18 $ pro Index-Aufgabe und 29,6 Minuten pro Aufgabe, gegenüber 154 Mio. Ausgabe-Token über die gesamte Suite und einem Peer-Median von 89,8 Mio. Diese Tokenzahl ist der entscheidende Hinweis: Dies ist ein Modell, das ausführlich nachdenkt, bevor es antwortet, und bei Listenpreisen für die Ausgabe erzeugt ein einzelner Stream, der eine Stunde lang mit voller Leistung läuft, etwa 302.000 Token, also rund dreißig Cent Ausgabe. Um einen Node zu schlagen, der einen Dollar pro Stunde kostet, müssen etwa vier Streams ausgelastet gehalten werden; um einen Node für zwanzig Dollar pro Stunde zu schlagen, braucht man sechsundsechzig. Nur sehr wenige Evaluations-Workloads – und noch weniger agentische – halten diese Parallelität gegenüber einem Modell mit einer Zeit bis zum ersten Token von 67 Sekunden durch.

Was Sie stattdessen bekommen, wenn Sie die Gewichte besitzen: das volle 1M-Fenster zu Ihren eigenen Bedingungen statt auf Tinkers 256K-Serving-Tier, keine Beta-Warteliste vor der Produktion, Fine-Tuning auf Ihrem eigenen Stack, Daten, die Ihr Netzwerk nie verlassen, und Eval-Sweeps, die nicht pro Token abgerechnet werden. Was Sie aufgeben: einen funktionierenden Release-Build, die Acht-Wege-Topologie, die Sie kaufen statt mieten müssen, und einen Serving-Stack, den Sie jetzt selbst warten.

Das ist die ehrliche Form der Entscheidung, und genau hier passt eine Routing-Schicht hinein, ohne vorgeben zu müssen, etwas zu hosten, das sie nicht hostet. Inkling 2 Small ist nicht im OrcaRouter-Katalog – wir haben diese Woche die Live-Modellliste geprüft, und unter 215 Einträgen gibt es keinen Inkling-Eintrag –, daher bleibt der API-Pfad für dieses Modell die eigene Tinker-Plattform von Thinking Machines und, laut Launch-Update, mehrere Inferenzanbieter von Drittanbietern. Was mehr als 200 Modelle hinter einem einzigen Schlüssel Ihnen bietet, ist ein Fallback: Sie können das Self-Host-Experiment auf einem einzelnen Knoten ausführen und die Produktion auf Modellen halten, die wir tatsächlich routen, mit automatischem Failover, falls das Experiment scheitert, und bei den Modellen, die wir routen, wird der Listenpreis des Anbieters unverändert weitergegeben. Wenn ein zweiter und ein dritter Host diese Checkpoints übernimmt, ist der Failover-Pfad nicht mehr theoretisch – und die Anbieterbindung, die überhaupt das Hauptargument für das Herunterladen von 394 GB ist, wird schwächer.

Wo es jetzt sitzt, da es offen ist

Die Punktzahl änderte sich nicht, als die Gewichte veröffentlicht wurden; geändert hat sich, dass sie nun zu einem Leaderboard gehört, von dem sie zuvor ausgeschlossen war. Im Open-Weights-Ranking von Artificial Analysis liegt Inkling 2 Small mit einem Intelligence Index von 31 auf Platz vier von 28 – gegenüber einem Median von 24 im Vergleichsset.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 bei maximalem Aufwand — 33.

• GLM-5.3 mit maximalem Aufwand — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro und Ling 3.1 Flash 1019 — je 30.

• Mistral Large 4 bei hohem Aufwand — 26.

• Qwen3.8 27B bei xhigh — 20.

Die interessante Spalte in dieser Liste ist nicht die oberste. Jedes Modell über Inkling 2 Small stammt aus einem chinesischen Labor, und das beste Open-Weights-Modell aus einem nicht-chinesischen Labor war Mistral Large 4 mit 26. Das Öffnen dieser Gewichte schließt diese besondere Lücke von zwanzig Punkten auf fünfzehn und verschiebt die Spitze der nicht-chinesischen Spalte. Es berührt nicht die Frontier: Das beste offene Modell liegt fünfzehn Punkte vorn, und geschlossene Modelle stehen noch weiter außen.

Die eigene Bewertungstabelle des Anbieters ist länger und schmeichelhafter, und jede darin enthaltene Zahl wurde von Thinking Machines auf seinem eigenen Harness mit hohem Aufwand erzeugt – nicht reproduziert und daher eine Obergrenze statt einer Erwartung. Die für agentische Arbeit relevanten Zeilen: SWE-bench Pro v2 Hard 86,3 %, DeepSWE v1.1 72,1 %, Vibe Code Bench v1.1 81,6 %, BrowseComp 90,2 % und DeepSearchQA 90,9 %, beide mit Compaction, MCP Atlas 85,4 % voll und 85,0 % öffentlich, HLE 44,1 % nur Text, FrontierCode v2.0 25,4 %. Die Zeile, die in die andere Richtung ausschlägt, ist Terminal Bench Science mit 5,7 %, was in absoluten Zahlen niedrig ist und eher zum Profil langer Horizonte und langer Deliberation passt als zu einer allgemeinen Fähigkeitsaussage. Der Anbieter gibt für den Intelligence Index 30,6 an, während das Live-Board 31 zeigt – ein Unterschied aufgrund des Erfassungszeitpunkts, kein Streitpunkt.

Was würde diese Einschätzung ändern?

Drei Dinge, nach Wichtigkeit geordnet.

Der Sicherheitsprozess, der für diesen Release als Freigabebedingung dienen sollte, wurde nicht veröffentlicht. {{1}}Der Juli-Beitrag von Thinking Machines über einen sicheren Weg zu offenen Gewichten{{/1}} beschreibt vier externe Organisationen, die Pre-Deployment-Tests am Inkling der ersten Generation durchführen, und der {{2}}Launch-Beitrag vom 5. November{{/2}} verknüpfte diesen Release mit „externen Sicherheitstests und Red-Teaming“. Das {{3}}Update vom 12. November, das die Gewichte ankündigt{{/3}}, enthält einen Satz und einen Link — zum Repository von Hugging Face — und keine Evaluierungsergebnisse, keine Red-Team-Befunde und keine Überarbeitung der früheren Bedingungen. Das bedeutet nicht, dass die Tests nicht stattgefunden haben. Es bedeutet, dass ein Leser das nicht überprüfen kann und dass eine Organisation mit einer Beschaffungsrichtlinie, die Belege verlangt, sie hier nicht finden wird.

Release-tauglicher Support würde ändern, wer es übernehmen kann. Derzeit besteht die Wahl zwischen einem Dev-Branch in SGLang, einem Nightly in vLLM oder dem Bauen des AMD-Pfads aus dem Quellcode anhand eines nicht zusammengeführten Entwurfs. Sobald Support in einem getaggten Release landet, wird das Modell zu einer Deployment-Entscheidung statt zu einem Engineering-Projekt, und die Acht-Wege-Topologie ist kein Forschungssetup mehr.

Eine unabhängige Reproduktion mit Standardeinstellungen würde Ihnen zeigen, was 31 in der Praxis wert ist. Die agentischen Zeilen sind die, auf die man achten sollte – SWE-bench Pro mit 86,3 und DeepSWE mit 72,1 sind starke Behauptungen für ein Modell mit 17B aktiven Parametern, und sie wurden mit maximalem Aufwand erzeugt. Läufe von Dritten mit Standardaufwand fallen immer niedriger aus. Die Frage ist, um wie viel, und niemand außerhalb von Thinking Machines hat sie bisher beantwortet.

Bis mindestens einer dieser Punkte eintritt, ist die korrekte Beschreibung von Inkling 2 Small ungewöhnlich präzise: ein Apache-2.0-Checkpoint, den man heute herunterladen kann, den kein veröffentlichter Serving-Stack unterstützt, dessen stärkste Aussagen vom Labor stammen, das ihn erstellt hat, und dessen Lizenz-Gate sich ohne den Papierkram öffnete, der eigentlich davor hätte kommen sollen. Das ist ein echtes Release und eine echte Lücke, und die Lücke ist der Teil, den es zu beobachten lohnt.