Realtime-Venus: Ant Groups Vollduplex-9B ohne Launch ausgeliefert

Am 12. September 2026 erschien auf arXiv ein technischer Bericht, der Realtime-Venus beschreibt, ein Vollduplex-Interaktionssystem, das aus zwei separat trainierten 9B-Modellen aufgebaut ist – Realtime-Venus-Omni für audiovisuelle Interaktion und Realtime-Venus-Audio für gesprochene Interaktion – und dem Venus Team bei Ant Group in Zusammenarbeit mit der Tsinghua-Universität zugeschrieben wird. Innerhalb weniger Tage enthielt ein Apache-2.0-Repository unter inclusionAI/Realtime-Venus auf Hugging Face beide Checkpoints als herunterladbare BF16-safetensors, zusammen mit einer Projektseite und einem begleitenden GitHub-Repository. Was nicht erschien, ist der bemerkenswerte Teil: kein Launch-Post, keine Produktseite, keine API, keine Preisliste und nichts auf den eigenen Plattformen von Ant Group, das ankündigt, dass irgendetwas davon existiert. Dies ist ein Release, das alles außer der Ankündigung ausgeliefert hat, was die Trennung der gesicherten Fakten von den Behauptungen zur eigentlichen Aufgabe macht.

Was ist eigentlich auf der Festplatte?

Das Repository ist kein Stub. Es enthält zwei Modellverzeichnisse, jeweils mit geshardeten safetensors-Gewichten, einer Konfiguration und dem benutzerdefinierten Hugging Face Transformers-Code, den Sie laut Karte mit trust_remote_code=True laden sollen. Es gibt eine Requirements-Datei, einen Assets-Ordner mit den Token-zu-Waveform-Ressourcen und einer Referenzstimme sowie eine Apache-2.0-Lizenz auf der obersten Ebene. Die Karte dokumentiert die Installation für Python 3.10 mit CUDA und FFmpeg sowie sowohl einen ModelScope-Spiegel als auch einen Hugging Face-Downloadpfad. Die Gewichte sind echt, der Code ist vorhanden, und nichts hindert Sie daran, es heute herunterzuladen.

Zwei Abwesenheiten sind ebenso aufschlussreich wie die Inhalte. Die erste ist, dass das Repository unmissverständlich angibt, von keinem Inferenzanbieter bereitgestellt zu werden – es gibt keinen gehosteten Endpunkt, keine serverlose Option, keine Drittanbieter-Plattform, die es trägt. Die zweite ist, dass Downloads überhaupt nicht erfasst werden, was bedeutet, dass es kein öffentliches Signal dafür gibt, wie viele Personen es heruntergeladen haben. Ein Modell kann auf Hugging Face als übernommen oder ignoriert erscheinen; dieses ist auf diese Weise nicht lesbar.

Die beiden Checkpoints und was sie voneinander trennt

Beide sind 9B, beide haben ein gemeinsames Streaming-Backbone, und der Unterschied zwischen ihnen liegt darin, was sie wahrnehmen können.

• Realtime-Venus-Omni — der audiovisuelle Checkpoint. Ein SigLIP2-Visual-Encoder für Streaming-Frames, ein Whisper-Medium-Audio-Encoder und ein Qwen3-8B-Sprach-Backbone. Akzeptiert Video oder Bilder, Audio und Text; gibt Text und optional eine Sprachwellenform zurück.

• Realtime-Venus-Audio — dasselbe Backbone, bei dem Vision zur Ladezeit abgeschaltet ist. Audio und Text hinein, Text und Sprache hinaus. Es existiert für den Fall, dass die Kamera irrelevant ist und Sie den geringeren Speicherbedarf und den einfacheren Weg wünschen.

• Gemeinsame Spezifikation — 40.960-Token-Kontext bei beiden, BF16-Gewichte bei beiden, Sprache als diskrete S3-Tokens generiert, dekodiert von einem Streaming-Flow-Matching-Decoder, anstatt eines separaten Text-to-Speech-Modells, das am Ende angeflanscht wird.

• Herkunft — die Modellkarte gibt an, dass der Omni-Checkpoint von MiniCPM-o 4.5 abgeleitet wurde, dem 9B-Omnimodal-Modell, das OpenBMB früher im Jahr 2026 als Open Source veröffentlichte. Das ist keine Fußnote. Es bedeutet, dass der Beitrag von Ant Group aus dem Post-Training, der Laufzeitumgebung und dem Delegationsdesign besteht, die auf das Streaming-Backbone eines anderen aufgesetzt wurden, was eine andere und spezifischere Behauptung ist als „ein neues 9B-Omni-Modell“.

Die eine wirklich neue Idee: Delegation als erstklassiges Stream-Ereignis

Jedes Vollduplexsystem im Jahr 2026 muss denselben Widerspruch lösen. Gesprächssteuerung läuft mit einer Granularität von Millisekunden bis zu einer Sekunde. Tool-Aufrufe, Retrieval und anspruchsvolles Schlussfolgern dauern Sekunden bis Dutzende von Sekunden. Ein Modell, das innehält, um nachzudenken, ist nicht mehr vollduplex; ein Modell, das nie innehält, kann kein Tool verwenden.

Realtime-Venus antwortet mit einer Dual-Loop-Laufzeit. Die Interaktionsschleife läuft in festen Ein-Sekunden-Blöcken, nimmt kontinuierlich Audio- und Videomerkmale auf, aktualisiert den Gesprächszustand und entscheidet, ob zugehört oder gesprochen wird, während Text und synchronisierte Sprache gestreamt werden. Sie pausiert nicht, wenn Hintergrundarbeit läuft. Die zweite Schleife ist ein Scheduler, den das Paper Realtime-Venus-Harness nennt: Wenn das Frontend entscheidet, dass eine Aufgabe das überschreitet, was es inline erledigen kann, sendet es eine asynchrone Delegation über private Marker, die in seine eigene verborgene Sequenz eingebettet sind, und der Harness führt die Aufgabe im Hintergrund aus und integriert das Ergebnis wieder in den laufenden Dialog.

Das Detail, das daraus mehr als ein Diagramm macht, ist das, was das Paper als kausale Aufgabenerfassung bezeichnet – die delegierte Aufgabe wird gegen einen isolierten Snapshot des Gesprächszustands ausgeführt, sodass eine lang laufende Hintergrundaufgabe nicht dadurch korrumpiert werden kann, dass das Gespräch weiterläuft, während sie ausgeführt wird. Das ist der Fehlermodus, der die meisten „Delegieren und Weiterreden“-Designs in der Praxis scheitern lässt, und es ist das Interessanteste im Bericht.

Der Harness steckt nicht in den Gewichten. Er lebt im GitHub-Repository als separate Komponente, was bedeutet, dass der Teil, der die Architektur unverwechselbar macht, der Teil ist, den man selbst zusammenbauen und dem man selbst vertrauen müsste.

Die Zahlen – und wem genau sie gehören

Jede der unten aufgeführten Zahlen stammt aus dem technischen Bericht und der Modellkarte. Nichts davon wurde von jemandem außerhalb der Autoren reproduziert, kein Dritter hat eine Evaluierung veröffentlicht, und es gibt keinen Leaderboard-Eintrag, an dem man sie überprüfen könnte. Betrachten Sie sie als die eigenen Messungen der Autoren.

• Video-Benchmarks, Realtime-Venus-Omni — Bestwert bei sechs der acht Benchmarks, die der Bericht verwendet, darunter StreamingBench 70,2, OVO-Bench 64,7 und Daily-Omni 81,3.

• Audio-Benchmarks, Realtime-Venus-Audio — MMAU 78,0, MMAU-Pro 63,2, Llama Questions 83,8, Speech CMMLU 67,8 und eine Punktzahl von 4,81 bei VoiceBench AlpacaEval, die der Bericht als mit dem besten Vergleichswert übereinstimmend beschreibt.

• Full-Duplex-Bench v1.5 — Reaktion auf 75 % der Nutzerunterbrechungen, mit Fortsetzungsraten von 97 % bei Backchannel-Signalen, 88 % bei an andere gerichtete Sprache und 86 % bei Hintergrundsprache. Der Bericht gibt an, dass dies Gemini 3.1 Live und GPT-4o bei allen drei Fortsetzungsmetriken übertrifft.

Der Daily-Omni-Wert ist derjenige, bei dem man innehalten sollte. MiniCPM-o 4.5, das Modell, von dem dieser Checkpoint abgeleitet ist, meldet 80,2 im selben Benchmark. Realtime-Venus-Omni meldet 81,3. Wenn beide Zahlen Bestand haben, beläuft sich die Verbesserung durch einen umfangreichen Post-Training- und Laufzeitaufwand auf ungefähr einen Punkt in einem Benchmark, in dem das Basismodell bereits stark war – ein realistisches Ergebnis für diese Art von Arbeit und eine weit weniger dramatische Geschichte als die Schlagzeile „Bestwerte in sechs von acht“.

Was ist nicht etabliert?

Die Liste der offenen Fragen ist länger als die Liste der geklärten, und das ist der ehrliche Zustand eines sechs Tage alten Modells.

• Es gibt keine unabhängige Bewertung. Keine Arena-Platzierung, keine Reproduktion durch Dritte, keine einzige externe Gruppe, die eine Zahl veröffentlicht hat.

• Keine Latenzangabe in Millisekunden. Der Bericht beschreibt einen Interaktionstakt von einer Sekunde, und die Karte dokumentiert Streaming-Aufrufe pro Sekunde, doch es gibt keine veröffentlichte Angabe zur Time-to-First-Audio – und genau nach dieser Kennzahl wird in dieser Kategorie tatsächlich gekauft.

• Keine API und kein Preis, und keine Aussage, dass eines von beidem in Aussicht steht. Ob es sich um ein Produkt in Wartestellung oder um ein Forschungsartefakt handelt, das ein Download bleiben wird, ist wirklich unbekannt.

• Keine erklärte Absicht seitens des Anbieters. Das Fehlen einer Ankündigung ist kein Beleg für eine Strategie des stillen Marktstarts; es ist ebenso vereinbar mit einem Repository, das für ein Paper veröffentlicht wurde und für nichts weiter.

• Keine Produktionsbelege für das Harness. Es ist die tragende Komponente der Architektur und zugleich die am schlechtesten dokumentierte.

Warum die stille Route immer wieder passiert

Dies ist das zweite Mal in diesem Jahr, dass die Modellarbeit von Ant Group über ein Repository statt über einen Launch an die Öffentlichkeit gelangt. UI-Venus-2-9B, der GUI-Agent des Labors, erschien Ende August 2026 auf Hugging Face – ohne Paper, ohne Projektseite und ohne Ankündigung – und seitdem ist ein Bericht hinzugekommen. Realtime-Venus kam in umgekehrter Reihenfolge: zuerst der Bericht, das Repository parallel dazu, die Ankündigung weiterhin zurückgehalten.

Dieses Muster ist nicht auf Ant Group beschränkt. Insbesondere chinesische Labore haben Forschungsartefakte und Consumer-Deployments in die Welt gebracht, während sie die an Entwickler gerichtete Ankündigung auf später verschoben oder ganz übersprungen haben. Für alle, die das Feld verfolgen, ist das unbequem, denn das übliche Signal — ein Launch-Post, eine Preisliste, eine Dokumentationsseite — ist genau der Teil, der fehlt. Das Artefakt ist jetzt die Ankündigung, und es sorgfältig zu lesen ist der einzige Weg, um zu wissen, was ausgeliefert wurde.

Wenn du es ausführen wolltest

Die Karte ist ungewöhnlich praktisch für ein so neues Release. Das Laden ist Standard: AutoModel.from_pretrained auf dem lokalen Checkpoint-Verzeichnis mit vertrauenswürdigem Remote-Code, SDPA-Attention und bfloat16. In das Vollduplex-Streaming gelangt man mit einem einzigen Aufruf, der das Modell in den Duplexmodus schaltet, wonach die dokumentierte Schleife eine Sekunde streaming_prefill gefolgt von streaming_generate umfasst, wiederholt. Der Langvideo-Speicher wird mit einem auf vierzig gesetzten Memory-Minutes-Parameter aktiviert und als trainingsfrei beschrieben, was für eine Fähigkeit, die normalerweise Fine-Tuning erfordert, bemerkenswert ist. Zwei Einschränkungen werden dokumentiert statt entdeckt: eine Frame-Obergrenze, die lange Videos stillschweigend abschneidet, sofern nicht eine Konstante vor dem Importieren der Utilities erhöht wird, und eine CJK-Schriftartanforderung für nicht-lateinische Untertitel, die in Duplexvideos gerendert werden.

Was die Karte nicht liefert, ist eine Hardware-Untergrenze. Ein 9B-Modell in BF16 bringt schon rund achtzehn Gigabyte Gewichte mit, bevor überhaupt Aktivierungsspeicher hinzukommt, was Echtzeit-Duplex-Inferenz auf eine ernstzunehmende GPU beschränkt und außer Reichweite des Laptop-Einsatzes rückt, für den die MiniCPM-o-Familie, von der es abstammt, teilweise konzipiert war.

Hier gibt es eine Naht, die es wert ist, benannt zu werden, denn genau hier passt ein Router tatsächlich hin. Realtime-Venus delegiert seine schwere Arbeit – Retrieval, komplexes Reasoning, Business-API-Aufrufe – an ein Hintergrundmodell aus. Dieser delegierte Abschnitt ist gewöhnliche Textinferenz, und er entscheidet darüber, ob Ihr Konversations-Frontend nützlich oder bloß flüssig ist. OrcaRouter enthält nichts von Realtime-Venus; die Duplex-Schicht hier ist ein selbst gehosteter Download, und wir bieten sie nicht an. Das Reasoning, das sie weitergibt, ist der Teil, den wir abdecken: fast 200 Modelle hinter einem Schlüssel zum Listenpreis des Anbieters ohne Aufschlag, automatisches Failover, wenn ein Upstream einen schlechten Tag hat, eine Routing-DSL, die mehrere Modelle zu einem einzigen Aufruf zusammensetzt, und Modell-Fusion für die Fälle, in denen das Urteilsvermögen eines einzelnen Modells nicht ausreicht. Der Delegationsmarker ist die Entscheidung des Frontends; welches Modell darauf antwortet, ist eine Konfigurationsentscheidung, und diese Entscheidung außerhalb der Gewichte zu halten, ist genau das, was Ihnen erlaubt, sie zu ändern, ohne irgendetwas neu zu trainieren.

Was würde es klären

Drei Dinge würden Realtime-Venus von einem Paper mit Gewichten zu einem Modell machen, das jeder evaluieren kann. Eine unabhängige Gruppe, die die Fortsetzungszahlen des Full-Duplex-Bench reproduziert, denn 97 % bei Backchannels ist ein außergewöhnlicher Wert, und außergewöhnliche Werte brauchen einen zweiten Leser. Eine veröffentlichte Latenzangabe, denn Voll-Duplex-Systeme stehen und fallen mit der Time-to-First-Audio, und dieses hat kein Ziel genannt. Und eine Dokumentation für das Harness, denn das asynchrone Delegations-Design ist der einzige Teil dieser Veröffentlichung, der wirklich neu ist, und im Moment ist es der Teil, über den man lesen kann, aber den man nicht ohne Weiteres übernehmen kann.

Bis dahin ist die zutreffende Beschreibung eng und unspektakulär, und genau deshalb lohnt es sich, sie aufzuschreiben: eine echte Apache-2.0-Veröffentlichung von zwei 9B-Full-Duplex-Checkpoints, aufgebaut auf einem offenen Backbone, mit starken, selbst gemeldeten Benchmarks, ohne unabhängige Überprüfung, ohne API und ohne Ankündigung. Alles oberhalb dieser Linie ist eine Schlussfolgerung.