InternLumina-U2 Preview: Ein 16B-Diffusionsmodell für Bild, Video und 3D — Gewichte folgen noch

Am 1. September 2026 um 04:03 UTC erstellte das Shanghai AI Laboratory das GitHub-Repository InternLumina-U2. Dreizehn Minuten später registrierte dieselbe Organisation ein gleichnamiges Repository auf Hugging Face. Es gab keinen Launch-Post, keine Model Card und keinerlei Ankündigung — nur den Inferenzcode für InternLumina-U2, ein Mixture-of-Experts-Modell mit 16B Parametern (1B aktiv), das das Labor als ein Modell anpreist, das Bildverständnis, Text-zu-Bild-Generierung, Bildbearbeitung, Videoverständnis und 3D-Verständnis über eine einzige diskrete Token-Schnittstelle abdeckt. Der Code ist echt und öffentlich; das Modell selbst ist es noch nicht. Die Gewichte sind mit „coming soon“ markiert, das Hugging-Face-Repository ist ein leerer Platzhalter, und der versprochene technische Bericht ist nicht erschienen. Was am 1. September still veröffentlicht wurde, ist dennoch das vollständigste öffentliche Bild dieses Modells, das es irgendwo gibt.

Wenn du zum ersten Mal von InternLumina-U2 hörst, ist genau das der Punkt. Die Veröffentlichung wurde nicht angekündigt, und es scheint noch keine unabhängige Berichterstattung zu geben – genau in Beiträgen, die frühe Signale aufgreifen, taucht ein Modell wie dieses zuerst auf, noch vor dem Launch-Post und manchmal vor den Gewichten. Alles, was unten folgt, stammt aus dem GitHub-Repository, der Projektseite und dem Hugging-Face-Stub, den das Labor selbst am 1. September veröffentlicht hat, und alles, was über diese Quellen hinausgeht, ist ausdrücklich als Rückschluss gekennzeichnet.

Was wurde tatsächlich am 1. September veröffentlicht?

Das GitHub-Repository InternLM/InternLumina-U2 wurde am 1. September 2026 erstellt und verzeichnete an diesem Tag drei Commits: den Init-Commit, einen Commit, der den Modelllink als „coming soon“ und die Benchmark-Ergebnisse als „preliminary“ markierte, sowie eine Navigationskorrektur. Das Repository ist unter Apache-2.0 lizenziert und enthält eine README mit dem Titel „Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding, Image Generation and Editing“, eine englische und eine chinesische Version, eine vollständige Inferenz-Umgebung und eine Roadmap. Eine erwähnenswerte Besonderheit: Der eigene Newseintrag des Repositorys trägt den Stempel „[2026-08]“, doch der Init-Commit und beide Zeitstempel des Repositorys sind auf den 1. September 2026 datiert. Als tatsächliches Veröffentlichungsdatum ist also Anfang September anzusehen, nicht August. Das unten aufgeführte Repository ist die gesamte öffentliche Veröffentlichung: Jede Datei, die im Verzeichnisbaum sichtbar ist, gehört zu dem, was ausgeliefert wurde, und anderswo existiert bisher nichts Weiteres.

• GitHub — InternLM/InternLumina-U2, erstellt am 01.09.2026 unter Apache-2.0, mit Inferenzcode für Text, Text-zu-Bild, Bildverständnis, Bildbearbeitung, Videoverständnis und 3D-Verständnis.

• Hugging Face — internlm/InternLumina-U2, erstellt am 2026-09-01, enthält derzeit nur eine .gitattributes-Datei und eine 28-Byte-README, deren gesamter Inhalt der Apache-2.0-Lizenzheader ist. Keine Gewichte, keine Config, keine Tokenizer-Dateien.

• Projektseite — internlm.github.io/InternLumina-U2, mit Architekturdiagrammen, einer vorläufigen Benchmarktabelle und Platzhalter-Demos; der technische Bericht ist mit „coming soon“ gekennzeichnet.

Der Inferenzcode ist als ein einzelnes Treiber-Skript organisiert, mit einem Abschnitt pro Aufgabe: Texterzeugung, Text-zu-Bild mit bis zu 1024×1024 und konfigurierbarem CFG und Zeitschritten, Bildverständnis für natürliche Bilder und dichte Diagramme, anweisungsbasierte Bildbearbeitung mit einem optionalen Dual-CFG-Modus, Videoverständnis über 64 abgetastete Frames und 3D-Verständnis über GLB/GLTF-Assets, die vor der Tokenisierung über eine gebündelte Blender-Pipeline in 64 Farb- und Tiefenansichten gerendert werden. Diese Aufgabenbreite ist die eigentliche Design-These des Modells, und es lohnt sich, kurz innezuhalten, bevor man sich eingehend mit der Architektur befasst.

Ein Modell, sechs Aufgaben, ein Token-Vokabular

InternLumina-U2 gehört zu einer sich schnell entwickelnden Forschungsrichtung, die darauf setzt, dass Sprache und Vision sich eine einzige Schnittstelle für diskrete Token teilen sollten, anstatt in getrennten Stacks für Verständnis und Generierung zu existieren. Die eigene frühere Arbeit des Labors in diese Richtung — Lumina-DiMOO, das auf der WAIC 2025 vorgestellte vereinheitlichte diskrete Diffusionsmodell — wird zusammen mit LLaDA2.0-Uni, Show-o2 und MMaDA zu den wegweisenden Systemen gezählt, auf denen InternLumina-U2 aufbaut und die es zu übertreffen beansprucht. Die spezifische Wette von InternLumina-U2 besteht darin, dass der Engpass für diese vereinheitlichten Modelle nicht die Architektur ist, sondern das visuelle Vokabular: Ein einzelnes Codebook begrenzt, wie viele Informationen ein visuelles Token tragen kann, während diskret-kontinuierliche Hybride, die Verständnis und Generierung auf verschiedene Repräsentationen aufteilen, das Modell dennoch dazu zwingen, zwei Stacks zu betreiben.

Die Antwort von InternLumina-U2 ist vollständig diskrete Multi-Codebook-Modellierung. Die visuelle Seite verwendet den AToken-Tokenizer von Apple, der jede visuelle Position mit acht komplementären Codebooks beschreibt — ein Versuch, lokale Textur, eingebetteten Text, Geometrie und hochfrequente Details zu erhalten, ohne die Sequenzlänge aufzublähen. Auf der Eingabeseite behält jedes der acht Codebooks sein eigenes Embedding, und die acht Embeddings pro Position werden konkateniert und in ein einzelnes Backbone-Token projiziert. Auf der Ausgabeseite ist die Vorhersage räumlich parallel, aber in der Codebook-Tiefe autoregressiv: Das Diffusions-Backbone entrauscht viele maskierte räumliche Positionen parallel, und ein autoregressiver Multi-Codebook-Head sagt daraufhin die acht Codes jeder Position nacheinander voraus.

• Scale — 16B Parameter insgesamt, 1B aktiv (16B-A1B), ein sparse MoE.

• Sprach-Backbone — das Diffusions-Sprachmodell LLaDA-2.0 MoE, dessen Block-Diffusions-Ziel durch gemeinsames Multi-Task-Training auf visuelle Aufgaben erweitert wird (Herstellerbeschreibung).

• Visuelle Darstellung — vollständig diskrete 8-Codebook-Tokens des AToken-Tokenizers von Apple.

• Hardware — angepasst sowohl an NVIDIA-GPUs als auch an Huawei-Ascend-NPUs für Training, Evaluierung und Inferenz, mit numerischer Angleichung auf Operatorebene zwischen den Backends.

Was das in der Praxis bringt, wenn die Behauptungen stimmen, ist der älteste Traum des multimodalen Bereichs: ein einziger Satz von Gewichten, der ein Bild lesen, es bearbeiten, aus Text ein neues zeichnen, Fragen zu einem Video beantworten und ein 3D-Objekt beschreiben kann – wobei sich Verständnis und Generierung über dieselbe Schnittstelle gegenseitig verstärken, anstatt aus spezialisierten Modellen zusammengestückelt zu werden. Das ist auch die Behauptung, die am ehesten einen skeptischen Blick verdient, denn sie ist am schwersten wahr zu machen.

Die Zahlen, so wie sie nun einmal sind

Jeder Benchmark, den InternLumina-U2 vorweist, stammt vom Hersteller selbst, ist vorläufig und unvollständig. Das README und die Projektseite sagen es selbst: „Vorläufige, unvollständige Ergebnisse. Vollständige Vergleichstabellen erscheinen im kommenden technischen Bericht.“ Es gibt keine unabhängige Bewertung, da die Gewichte nicht öffentlich sind. Behandeln Sie die folgenden Zahlen als eigene Behauptungen des Labors, nicht als verifizierte Ergebnisse.

• Diagramm-/Dokumentverständnis — ChartQA 86,52, CharXiv-DQ 83,65 (vom Anbieter gemeldet).

• Visuelles mathematisches Denken — MathVision 33.22, DynaMath 56.37; das Labor gibt an, es übertreffe das reine Verständnis-InternVL3-8B bei beiden.

• Halluzinationsrobustheit — HallusionBench 62.15.

• Videoverständnis — VideoMME 51.26, MVBench 59.74, MLVU 57.03 (Projektseite).

• 3D-Verständnis — 3D MM-Vet 41,8.

• Text-zu-Bild — DPG-Bench 87.10, TIIF-Bench Short/Long 84.60/85.95, GenEval 0.81 (Projektseite).

• Bildbearbeitung — ImgEdit 3.83.

Die Vergleichserzählung ist der Punkt, an dem ein ehrlicher Leser langsamer werden sollte. Die README behauptet, InternLumina-U2 übertreffe vereinheitlichte Modelle wie InternVL-U, LLaDA2.0-Uni, Show-o2 und Lumina-DiMOO bei Benchmarks für feinkörniges Verständnis und Generierung – doch die eigene Tabelle der Projektseite zeigt InternLumina-U2 mit 0,81 bei GenEval gegenüber 0,89 für LLaDA2.0-Uni, das Modell liegt also bei mindestens einer zentralen Generierungsmetrik hinter mindestens einem Wettbewerber. Ein paar günstige Zahlen aus einer unvollständigen Tabelle herauszupicken ist genau das, was der Hinweis auf die „vollständigen Vergleichstabellen im technischen Bericht“ abmildern soll. Die Zahlen sind ein Richtungssignal aus dem Labor, nicht mehr.

Was real ist gegenüber dem, was versprochen wird.

Der Umfang der Veröffentlichung ist ungewöhnlich explizit, und das ist für alle relevant, die entscheiden möchten, ob sie das heute schon ausprobieren können. Mitgeliefert: der Inferenzcode. Nicht mitgeliefert: die Gewichte, der Trainingscode (in einem separaten Repository angekündigt), der Ascend-Trainings- und Inferenz-Stack und der technische Bericht. Das Hugging-Face-Repository, das später das Modell enthalten soll, ist ein Stub – der folgende Screenshot zeigt den gesamten aktuellen Inhalt der Seite, die ein Leser erreicht, wenn er im README auf den Link „Model (coming soon)“ klickt.

Selbst der veröffentlichte Code kann noch keine Ausgabe erzeugen. Der Inferenz-Treiber erwartet ein aufgeteiltes Hugging-Face-Checkpoint-Verzeichnis und die AToken-Tokenizer-Gewichte an einem bestimmten Pfad — keines von beidem ist im Repository enthalten — was heute heruntergeladen werden kann, ist also eine Spezifikation dafür, wie das Modell laufen wird, kein laufendes Modell. Und wenn die Gewichte schließlich eintreffen, wird Self-Hosting keine Routine-Pip-Installation sein. Das Modell verwendet eine Block-Diffusion-Generate-API statt der standardmäßigen Generate-Schnittstelle von Transformers, der AToken-Tokenizer erfordert FlashAttention, der Code benötigt beim Import eine sichtbare GPU, der Root-Driver ist ein Single-Process-Programm, und die 3D-Pipeline erwartet Blender 4.5 für die Asset-Kodierung. Das ist ein echtes Deployment-Projekt, kein Wochenend-Experiment — genau die Art von Reibung, die eine Routing-Ebene für die meisten Teams abfangen soll.

Wenn die Gewichte landen, behandle es als das unerprobte Modell, das es ist.

Niemand kann InternLumina-U2 heute ausführen, und kein Anbieter kann es bereitstellen, weil es keine öffentlichen Gewichte gibt. Das wird sich irgendwann ändern – die Apache-2.0-Lizenzierung und das aggressive Open-Sourcing-Muster des Labs im Jahr 2026 (der „Open Everything“-Vorstoß von ArchSpace, InternVL3.5, die Intern-S2-Wissenschaftsmodelle) machen eine Veröffentlichung der Gewichte eher wahrscheinlich als hypothetisch. Wenn es so weit ist, besteht der rationale erste Schritt nicht darin, eine Produktionspipeline auf ein Diffusionsmodell zu setzen, das gerade erst veröffentlicht wurde, ungewöhnliche Serving-Anforderungen aufweist und über keinerlei unabhängige Evaluierungen verfügt. Er besteht darin, es auf einem Testpfad parallel zu dem Modell laufen zu lassen, dem man bereits vertraut, mit automatischem Failover auf das bewährte Modell, sobald sich das neue danebenbenimmt. Genau dafür ist eine Routing-Ebene gedacht: eine API für 200+ Modelle, Listenpreise der Anbieter, die ohne Aufschlag durchgereicht werden, und ein Failover, das „das Neue ausprobieren“ zu einer Routing-Regel macht statt zu einer Migration. OrcaRouter ist genau dafür eingerichtet – und um das klarzustellen: Wir routen InternLumina-U2 nicht und können es auch nicht, weil die Gewichte nicht veröffentlicht sind. In diesem Abschnitt geht es um den Workflow für ihre Veröffentlichung, nicht um die Behauptung, dass das Modell heute irgendwo verfügbar ist.

Was als Nächstes ansehen

Vier Ereignisse würden InternLumina-U2 vom Vorabzugang zur Realität bringen, in grober Reihenfolge ihrer Wahrscheinlichkeit. Erstens die Befüllung des Hugging-Face-Repositorys: Wenn in diesem Stub safetensors-Dateien, eine Config und die Gewichte des AToken-Tokenizers erscheinen, ist das der Moment, in dem das Modell tatsächlich existiert. Zweitens der technische Bericht, der die vollständigen Vergleichstabellen enthalten soll und die oben genannten unvollständigen Herstellerzahlen in etwas Überprüfbares verwandeln würde. Drittens das Repository mit dem Trainingscode und der Ascend-Stack, die für alle wichtig sind, die das Modell feinabstimmen oder auf Nicht-NVIDIA-Hardware ausführen möchten. Viertens eine erste unabhängige Evaluierung – ein Arena-Elo, ein reproduzierter ChartQA- oder GenEval-Lauf –, die das Versprechen „ein Modell, sechs Aufgaben“ ohne die Auswahlverzerrung des Labors testet. Dass der Code am 1. September öffentlich ist, bedeutet, dass die Architektur bereits bekannt ist; dass die Gewichte fehlen, bedeutet, dass alles über die tatsächliche Qualität weiterhin nur eine Behauptung ist. Beobachten Sie eher das Modell-Repository als den Ankündigungs-Feed – die interessanten Teile sind bereits öffentlich, und das Modell selbst ist wahrscheinlich nicht weit entfernt.