NVIDIA NemotronLabs VoiceChat 11B: Das Full-Duplex-Sprachmodell, das NVIDIA ohne Ankündigung veröffentlicht hat

Zwei Modellkarten befinden sich im selben Hugging-Face-Repository und widersprechen sich gegenseitig. Die auf der Seite angezeigte Karte nennt das Modell NVIDIA NemotronLabs VoiceChat 11B, gibt als Veröffentlichungsdatum den 3. August 2026 an und listet 11B Parameter auf. Die zweite, eine Datei namens overview.md, die niemand sieht, es sei denn, man öffnet den Reiter „Files“, bezeichnet dasselbe Modell als 12B, datiert die Veröffentlichung auf den 16. Juli, enthält einen Benchmark-Abschnitt, den die öffentliche Karte auslässt, und hat immer noch das Wort TODO an der Stelle, an der eine Ergebnisbeschreibung hingehört. Keine der beiden Karten wurde von einem Launch-Post, einer Pressenotiz, einem technischen Bericht oder einem Tweet von NVIDIA begleitet.

Was sich darin befindet, ist allerdings kein Platzhalter, sondern ein 44-GB-Checkpoint, der gleichzeitig zuhört und spricht: ein einziger Stack, der Mikrofon-Audio aufnimmt und synthetisierte Sprache ausgibt, ohne das übliche Durchschleifen von Spracherkennung über ein Sprachmodell zu Text-to-Speech. Er basiert auf dem Nemotron Nano 9B v2-Backbone und kann mitten im Satz Tools aufrufen, während er weiter spricht. NVIDIA behauptet, er sei das erste offene Vollduplex-Modell, das das kann.

Alles untenstehende wird direkt aus diesem Repository gelesen — die beiden Karten, config.json, und der Tensor-Index in der Gewichtsdatei, den wir selbst geparst haben, um die 11B-gegen-12B-Frage zu klären. Jede Leistungszahl, die NVIDIA für dieses Modell veröffentlicht, ist NVIDIAs eigene, von NVIDIA gemessen und nicht reproduziert. Genau eine unabhängige Messung dieser Modelllinie existiert öffentlich, von Artificial Analysis, und sie ist unter einem anderen Namen und einer anderen Parameteranzahl abgelegt — was sich als das Interessanteste an der Veröffentlichung herausstellt.

Was ist eigentlich im Repository?

Das Repository wurde am 29. Juli 2026 erstellt und zuletzt am 4. August bearbeitet. Es enthält siebzehn Dateien: die beiden konkurrierenden Modellkarten, eine Lizenz, eine config.json, eine 44,4 GB große model.safetensors, ein Architekturdiagramm, ein RNN-T-Tokenizer-Verzeichnis, vier kurze Policy-Notizen zu Bias, Sicherheit, Privatsphäre und Erklärbarkeit und drei .wav-Dateien — eine Turn-Taking-Demo, eine Barge-in-Demo und eine Tool-Calling-Demo — als Audio-Player oben auf der Karte eingebettet, sodass man das Modell hört, bevor man darüber liest.

Mehrere Dinge fehlen, und sie sind wichtiger als die Dateiliste.

• Es gibt kein Paper für dieses Modell.Die Karte führt fünf an: VoiceBench, Full-Duplex-Bench 1.0, Full-Duplex-Bench v3, SALM-Duplex, Audio Flamingo 3, plus NVIDIAs eigenen PersonaPlex-Preprint. Keiner davon ist ein NemotronLabs-VoiceChat-Technikbericht. Die Architektur wird in etwa drei Absätzen und einem Diagramm beschrieben, und das ist die gesamte öffentliche Darstellung davon, wie es gebaut wurde.

• Es gibt keine Möglichkeit, es aufzurufen. Die Hugging-Face-Seite stellt klar fest, dass das Modell „von keinem Inference Provider bereitgestellt wird“. Es gibt keinen gehosteten Endpunkt, weder von NVIDIA noch von irgendjemand anderem. Der einzige offene Community-Thread im Repository ist ein Nutzer, der NVIDIA bittet, ein handler.py hinzuzufügen, damit der Checkpoint auf Hugging Face Inference Endpoints bereitgestellt werden kann — jemand, der versucht hat, es auf die einfache Weise auszuführen, und festgestellt hat, dass es keinen gibt.

• Es gibt weder pipeline_tag noch library_name. Deshalb hat die Seite kein Inference-Widget und keine Task-Bezeichnung, und das ist ein Symptom des tieferliegenden Problems: config.json ist keine Transformers-Config. Es ist eine 32-KB-NeMo-Trainingsconfig, mit einem AdamW-Block, einem Lernratenplan, Dataloader-Bucket-Bins und einem Validierungssplit. Sie können AutoModel.from_pretrained nicht darauf anwenden. Sie klonen einen bestimmten Branch des NVIDIA-Speech-Repository — nemotron-labs-voicechat — erstellen eine Conda-Umgebung, die auf Python 3.12, PyTorch 2.10 und Transformers 4.56 gepinnt ist, kompilieren causal-conv1d und mamba-ssm ohne Build-Isolation, und führen ihr Skript aus.

Der Download-Zähler spiegelt das alles wider. 107 Likes gegenüber 80 Downloads im ersten Monat des Modells sind das Kennzeichen einer Veröffentlichung, die Leute mit einem Lesezeichen versehen und nicht ausgeführt haben.

Wir haben die Parameter gezählt, und 11B gewinnt

Eine safetensors-Datei enthält einen JSON-Header, der jeden Tensor mit seiner Form und seinem Datentyp auflistet, daher ist die Parameteranzahl keine Geschmacksfrage. Wir haben den Header extrahiert und aufsummiert: 11.095 Millionen Parameter auf 1.626 float32-Tensoren, die 44,38 GB belegen. Die gerenderte Karte ist also korrekt und overview.md ist veraltet – dies ist ein 11B-Modell, und die 12B-Angabe ist ein Überbleibsel.

Der Modellbaum von Hugging Face erklärt, wo sich eine 12B eingeschlichen haben könnte. Die gezeichnete Abstammungslinie verläuft von Nemotron Nano 12B v2 Base über Nemotron Nano 12B v2 zu Nemotron Nano 9B v2 und erst dann zu diesem Modell. NVIDIAs eigene Text-Backbone-Familie enthält sowohl eine 12B als auch eine 9B, wobei die 9B der beschnittene Nachkomme der 12B ist und VoiceChat auf der 9B aufbaut. Eine Karte, die früher in dieser Kette erstellt wurde, hätte natürlicherweise die größere Zahl getragen.

Der Header teilt sich auch sauber entlang der beiden Hälften der Architektur:

• Verständnis-Seite — 10,098 Mrd. Davon sind 7,714 Mrd. der Nemotron Nano v2 Transformer-Stack, 0,609 Mrd. der Sprach-Encoder, und drei separate 131.072 × 4.480 Matrizen beanspruchen jeweils 0,587 Mrd.

• Sprechseite — 0,997B. Ein 28-schichtiger, 1.152 breiter Text-to-Speech-Backbone mit 0,595B, ein 0,159B-Ausgabekopf mit Gauß-Mischung und ein neuronales Audio-Codec, dessen Encoder und Decoder jeweils 0,092B umfassen.

Zwei praktische Konsequenzen ergeben sich aus dem dtype. Die erste ist, dass der 44-GB-Download kein großes Modell ist, sondern ein gewöhnliches Modell, das in float32 ausgeliefert wird; konvertiert man es in bfloat16, sind die Gewichte ungefähr 22 GB groß. Die zweite ist, dass NVIDIAs angegebene Untergrenze einer 80-GB-GPU eine Folge dieser Wahl ist und nicht der Modellgröße, und jeder mit einer 48-GB-Karte, der bereit ist, den Checkpoint selbst zu konvertieren, ist nicht offensichtlich ausgesperrt – obwohl niemand einen bestätigten Lauf mit diesem Speicherbedarf veröffentlicht hat, also betrachte es als Rechenaufgabe, nicht als Versprechen.

Wie es gleichzeitig zuhört und spricht

„Full duplex“ ist der eigentliche Sinn des Releases, und die Konfiguration zeigt, wie es gekauft wird. Drei Designentscheidungen erledigen die Arbeit.

• Der Sprach-Encoder kann nicht vorausschauen. Es ist ein 24-schichtiger Conformer mit 8 Aufmerksamkeitsköpfen. Sein Aufmerksamkeitskontext beträgt [70, 0] — siebzig Frames linken Kontexts und null Frames rechten Kontexts. Ein herkömmlicher Erkenner schaut auf Audio nach dem aktuellen Moment, um zu disambiguieren, was er gerade gehört hat; diesem ist es verboten, dies zu tun, was Genauigkeit kostet und die Fähigkeit erkauft, eine Entscheidung in dem Moment auszugeben, in dem ein Frame eintrifft.

• Alles ist auf 80 ms quantisiert. Die Framelänge in der Konfiguration beträgt 0,08 Sekunden, was der 80-ms-Chunkgröße entspricht, die NVIDIA an anderer Stelle für diese Arbeitsrichtung beschrieben hat. Das Modell entscheidet alle 80 ms, ob es weiter zuhören oder mit dem Sprechen beginnen soll. Genau dieser Takt sorgt dafür, dass sich Barge-in unmittelbar anfühlt und nicht nur höflich.

• Tool-Aufrufe kommen aus ihrem eigenen Mund. Denken Sie an diese drei gleich geformten Matrizen mit 131.072 Vokabeln. Eine ist das Eingabe-Embedding, eine ist der normale Sprachmodell-Head – und die dritte heißt function_head. Der „separate Ausgabekanal für Tool-Aufruf-Skripte“ in der Prosa der Model-Card ist buchstäblich eine dritte Ausgabeprojektion mit einer Breite von 587 Millionen Parametern, die parallel zur Sprachgenerierung läuft. Das ist der architektonische Grund, warum das Modell einen Tool-Aufruf absetzen kann, ohne das Gespräch zu unterbrechen, und es ist eine echte Design-Entscheidung und keine Prompt-Konvention.

Nachgelagert sagt der Text-to-Speech-Decoder Codes für einen residual-vektorquantisierten Codec mit 31 Quantisierern und Downsampling-Raten von 7, 7 und 9 voraus – eine 441-fache Reduktion, die die Audio-Token-Rate auf 50 Frames pro Sekunde bei 22,05 kHz bringt. Der Eingang beträgt 16 kHz. Es gibt außerdem einen RNN-T-Decoder und ein Joint-Network im Checkpoint, weshalb die deklarierten Ausgaben des Modells ein Transkript des Benutzers neben seinem eigenen Text und Audio: Die Transkription ist ein echter Erkennungskopf, kein Nebenprodukt. Die Standardstimme heißt Aria, und ein Drei-Sekunden-Referenzclip konditioniert den Sprecher.

Ein weiteres Detail aus der Konfiguration ist erwähnenswert, da es eine angegebene Einschränkung bestätigt: Der Trainings-Dataloader begrenzt Äußerungen auf 142,39 Sekunden. Die Warnung auf der Modellkarte, dass das Modell nicht mehr als einen zweiminütigen Audiokontext aufnehmen kann, ist in der Datenpipeline sichtbar, die ihn erzeugt hat.

Die Ergebnisse und wer sie tatsächlich gemessen hat

NVIDIAs wichtigste Behauptungen betreffen Latenz und Rang. Bei Full-Duplex-Bench 1.0 meldet es 448 ms für einen flüssigen Sprecherwechsel und 480 ms für die Wortabgabe bei Unterbrechung, mit einer Übernahmerate von 0,82 bei flüssigem Sprecherwechsel und 1,0 bei Nutzerunterbrechung sowie einem GPT-4o-Judge-Score von 4,33 bei der Unterbrechungsbehandlung. Es beansprucht Platz 2 unter den offenen Full-Duplex-Modellen auf VoiceBench und Platz 2 unter den offenen Modellen auf Full-Duplex-Bench. Alle diese Angaben stammen aus NVIDIAs eigenen Durchläufen.

Stellt man sie der Außenwelt gegenüber, tun sich zwei Lücken auf.

• Beim Speech Reasoning liegt die Herstellerangabe etwa acht Punkte höher. Die ungerenderte overview.md berichtet 37.0% bei Big Bench Audio. Artificial Analysis hat diese Linie unabhängig gemessen bei 29.2%. Derselbe Benchmark, dieselbe Familie, eine Lücke, die groß genug ist, um die Position des Modells im Ranking zu verändern.

• Bei VoiceBench ist die Herstellerangabe zu bescheiden. Die Karte beansprucht Platz 2 unter den offenen Vollduplex-Modellen; die öffentliche VoiceBench-Bestenliste führt dieses Modell mit 58,10, was die Spitzenposition im Bereich der offenen Vollduplex-Modelle ist, vor Freeze-Omni bei 55,20 und Moshi bei 29,51. NVIDIAs eigener Kartenentwurf gibt für sich selbst 55,1 an — unter dem Wert, den die Bestenliste jetzt listet.

Es gibt auch eine kleinere Besonderheit: NVIDIAs eigene Vergleichstabelle bewertet ihre Konkurrenten großzügiger als Artificial Analysis. Die Entwurfskarte setzt Freeze-Omni bei 33,4 % und PersonaPlex 7B bei 19,1 % auf Big Bench Audio; Artificial Analysis misst 33,9 % und 12,6 %. Die Reihenfolge der Mitbewerber bleibt in beiden Fällen erhalten, was beruhigend ist, aber es erinnert daran, dass die Testumgebung eines Anbieters und eine unabhängige nicht dieselben Zahlen liefern, selbst für Dritte.

Das Diagramm macht die ehrliche Schlagzeile unvermeidbar. Bei offenen Vollduplex-Modellen ist dies ein echter Schritt nach vorn – es übertrifft PersonaPlex beim Denken auf Basis von Spracheingaben um mehr als das Doppelte und lässt Moshi in einer völlig anderen Kategorie zurück. Gemessen an dem, was man kaufen kann, kommt es nicht annähernd heran: Step-Audio R1.1 bei 96 %, der Voice Agent von Grok 4.5 und Gemini 2.5 Flash (Thinking) bei 92 %, Nova 2.0 Sonic bei 87 %. Das ist eine Lücke von etwa drei zu eins beim Denken auf Basis von Spracheingaben.

Am klarsten sieht man, was Vollduplex derzeit kostet, in NVIDIAs eigenem Katalog. Auf VoiceBench erreicht NVIDIA Nemotron 3 Nano Omni 30B A3B – ein größeres Modell, das nicht vollduplexfähig ist – 89,39 Punkte, gegenüber 58,10 für VoiceChat. Rund dreißig Punkte Assistenzqualität sind der Preis für die Unterbrechungsverarbeitung und das Turn-Taking unter 500 ms, zumindest in dieser Generation. Wenn Ihr Produkt kein Modell benötigt, das mitten im Wort unterbrochen werden kann, zahlen Sie viel für eine Funktion, die Sie nicht nutzen werden.

Tool-Calling ist das Herzstück, aber auch der schwächste Teil.

"Erstes offenes Voll-Duplex-Modell, das Tool-Calling unterstützt" – das ist die Behauptung, auf der die Veröffentlichung beruht, und die Zahlen darunter sind ungleichmäßig. Bei einer gesprochenen Konvertierung von BFCL-v3 berichtet NVIDIA einen Durchschnitt von 56,1 %: 58,5 % einfach, 62,5 % mehrfach, 42,5 % parallel, 27,5 % parallel-mehrfach und 89,6 % beim korrekten Ablehnen irrelevanter Anrufe. Bei Full-Duplex-Bench v3 ist die Aufteilung noch deutlicher.

• Werkzeugauswahl — 82,5%. Die richtige Funktion aus der Liste auszuwählen, die NVIDIA fairerweise als konkurrenzfähig mit Spitzenmodellen beschreibt.

• Argumentgenauigkeit — 44.2%. Die Parameter dieser Funktion korrekt aus dem ableiten, was der Benutzer gesagt hat.

• Pass@1 — 33%.Den gesamten Aufruf beim ersten Versuch korrekt ausführen.

Ein Modell, das um zwei Drittel zuverlässiger weiß, welches Werkzeug es möchte, als dass es die Argumente des Werkzeugs ausfüllen kann, ist ein Modell, das selbstbewusst das Wetter für die falsche Stadt nachschlagen wird. In einem Textagenten würde man das mit einer Validierungsschicht und einem erneuten Versuch abfangen; in einem Live-Sprachanruf ist der erneute Versuch hörbar, und die Karte vermerkt, dass das Modell einen fehlgeschlagenen Anruf überhaupt nicht erneut versuchen soll – es wird angewiesen, dem Benutzer zu sagen, dass die API ein Problem hat.

Die operativen Einschränkungen rund um das Ganze sind eng gesteckt, und NVIDIA listet sie ohne große Beschönigung auf: maximal fünf Tools pro Sitzung, bevor die Qualität nachlässt, keine zuverlässigen gleichzeitigen Multi-Tool-Aufrufe, keine Möglichkeit für den Benutzer, während der Ausführung eines Tools zu unterbrechen, und eine Tendenz in gemischter Konversation, aus dem eigenen Wissen zu antworten, anstatt das Tool aufzurufen, das es hätte aufrufen sollen. Lange Tool-Antworten bringen den Agenten ins Stocken – genau das soll die Funktion „On-Hold-Nachricht“ überdecken: Man schreibt vorab einen Satz, den der Agent in dem Moment spricht, in dem ein Aufruf ausgelöst wird, damit die Stille etwas enthält.

Eine Eigenheit, die jemanden einen Nachmittag kosten wird: System-Prompts und Tool-Antworten müssen ausschließlich ASCII sein. Keine Gedankenstriche, keine typografischen Anführungszeichen, keine Gradzeichen, kein Emoji. Die Tool-Ausgabe muss in einfache, sprachfreundliche ASCII-Sätze umgewandelt werden, bevor sie das Modell erreicht, was bedeutet, dass eine JSON-API-Antwort nicht roh durchgereicht werden kann.

Was es kostet, es zu betreiben, und die Lizenz, die dich stoppt

Beginnen wir mit der Hardware. NVIDIAs Branch-Dokumentation verlangt eine GPU mit mindestens 80 GB Speicher, was auf eine H100 oder H200 hindeutet, und die getestete Konfiguration ist eine H100 mit vLLM. On-Demand-H100-Kapazität kostet bei den gängigen GPU-Clouds etwa 2–3 Dollar pro Stunde, sodass eine durchgehend laufende Instanz bei etwa 1.500–2.200 Dollar pro Monat liegt – bevor Sie auch nur Anwendungscode geschrieben, jemanden für den Betrieb eingestellt oder eine zweite gleichzeitige Konversation bedient haben.

Nun der Vergleich. Artificial Analysis normalisiert die Preise für gehostete Sprach-zu-Sprach-Dienste auf Kosten pro Stunde Audioeingabe, und die aktuelle Spanne reicht von etwa 1,42 $/Stunde am günstigen Ende bis zu 10,75 $/Stunde für die teuerste Premium-Stufe, wobei eine angesehene Option im mittleren Marktsegment wie Grok Voice Think Fast 2.0 bei 4,80 $/Stunde liegt – das sind 0,08 $ pro Audiominute.

Lesen Sie diese beiden Absätze zusammen, und das Argument für Self-Hosting ist schwächer, als es aussieht. Eine dedizierte H100 ist nur billiger als ein mittelpreisiger gehosteter Endpunkt, wenn Sie sie wirklich auslasten, und sie ist teurer als das günstige Ende des gehosteten Marktes, fast unabhängig von der Auslastung – während Sie auch die Ingenieursarbeit, den Bereitschaftsdienst und ein Modell übernehmen, das 29,2 % erreicht, während die gehosteten Optionen 87–96 % erreichen.

Und dann ist da die Mauer. Die Lizenz ist das OpenMDW License Agreement v1.1, und die Karte gibt in ihrem eigenen Blockzitat an, dass das Modell „nur für Forschungszwecke bestimmt" ist. Der Code auf dem GitHub-Branch ist Apache-2.0; die Gewichte nicht. Du kannst es herunterladen, studieren, feinabstimmen, benchmarken und darüber schreiben. Du kannst es nicht bei Kunden einsetzen. Jedes wirtschaftliche Argument oben ist daher rein akademisch für ein Unternehmen, das versucht, ein Sprachprodukt auf den Markt zu bringen — die Frage war nie, ob die GPU-Mathematik funktionierte.

Eben deshalb werden wir das Offensichtliche klar und deutlich aussprechen: NemotronLabs VoiceChat 11B ist nicht über OrcaRouter anrufbar, weil es über gar nichts anrufbar ist. Was ein einziger Schlüssel Ihnen allerdings verschafft, ist die Basislinie, an der es gemessen werden sollte – die gehosteten Sprach- und Audiomodelle liegen hinter einer einzigen API mit 0 % Aufschlag, was bedeutet, dass wir den Listenpreis des Anbieters unverändert weitergeben. Wenn ein Anbieter also seinen Audiotarif senkt, zahlen Sie den niedrigeren Betrag noch am selben Tag und nicht erst nach einem Vertragszyklus. Wenn Sie einen Sprachagenten kalkulieren, ist dieser Minutenpreis die Zahl, die eine 80-GB-GPU schlagen muss, und es lohnt sich, ihn genau zu kennen, bevor Sie sich für ein Rack entscheiden.

Das Namensproblem: 11B, 12B, NemotronLabs, Nemotron 3

Hier ist der Großteil der frühen Berichterstattung schiefgelaufen, daher lohnt es sich, vorsichtig zu sein, was als gesichert gilt und was nicht.

Vier von NVIDIAs eigenen Kanälen beschreiben diese Arbeit unter drei verschiedenen Bezeichnungen. Hugging Face veröffentlicht „NVIDIA NemotronLabs VoiceChat 11B“ mit offenen Gewichten und einer Lizenz nur für Forschungszwecke. NVIDIAs Entwicklerblog beschrieb im März 2026 „Nemotron 3 VoiceChat“ als ein Full-Duplex-Modell mit 12B Parametern im Early Access, das auf unter 300 ms Ende-zu-Ende-Latenz bei 80-ms-Blöcken abzielt und über ein Early-Access-Programm verfügt, das Referenzcontainer, Benchmark-Ergebnisse und einen Fine-Tuning-Pfad bietet und „offene, einsehbare Gewichte für den Unternehmenseinsatz“ verspricht. Sowohl das öffentliche VoiceBench-Leaderboard als auch Artificial Analysis führen ihre Einträge als „Nemotron 3 VoiceChat (V1)“, 12B auf.

Was bekannt ist: Die Architekturbeschreibungen stimmen Komponente für Komponente überein — Fast-Conformer-Encoder, Nemotron-Nano-v2-9B-Backbone, NVIDIA-Text-to-Speech-Decoder, separater Tool-Aufrufkanal, 80-ms-Frames, ein einheitlicher Stack. Die ungerenderte Karte im Hugging-Face-Repo verwendet die 12B-Zahl, die auch die anderen Oberflächen verwenden. Es ist dieselbe Arbeitsrichtung, und die Einträge von Drittanbietern messen mit ziemlicher Sicherheit diese Familie.

Was ist nichtbestätigt: dass der Checkpoint, den man heute herunterladen kann, Bit für Bit dem entspricht, was Artificial Analysis und VoiceBench evaluiert haben, oder was das Early-Access-Programm bereitstellt. Zwei Details sprechen gegen diese Annahme. Die Parameterzahlen weichen ab: 11,095 Mrd. gemessen gegenüber 12 Mrd. wie eingereicht. Und die Latenzziele weichen stark voneinander ab — das Enterprise-Versprechen des Blogs liegt bei unter 300 ms Ende-zu-Ende, während die ausgelieferte Karte bei Full-Duplex-Bench 448 ms und 480 ms aufweist. Das könnten verschiedene Messpunkte desselben Modells sein oder verschiedene Modelle. NVIDIA hat es nicht gesagt, weil NVIDIA zu dieser Veröffentlichung überhaupt nichts gesagt hat.

Das praktische Fazit: Wenn Sie eine Zahl für dieses Modell zitieren, geben Sie an, von welcher Oberfläche sie stammt. Berichterstattung, die Artificial Analysis' 29.2% der Hugging-Face-Modellkarte oder NVIDIAs 37.0% einem unabhängigen Test zuschreibt, hat zwei Dinge vermischt, die NVIDIA selbst in getrennten Dokumenten mit unterschiedlichen Parameteranzahlen führt.

Wo es bricht

Der Abschnitt zu den Einschränkungen der Entwurfskarte ist ungewöhnlich offen, und der GitHub-Branch fügt mehr hinzu. Gesammelt:

• Nur Englisch, und keine mehrsprachige Roadmap im Repo.

• Zwei-Minuten-Gedächtnis. Gespräche, die über ein Zwei-Minuten-Audiofenster hinausgehen, werden möglicherweise nicht gespeichert – eine harte Obergrenze für Support-Anrufe oder alles, das sich merken muss, was vor vier Minuten vereinbart wurde.

• Dümmer als sein eigenes Rückgrat. NVIDIA gibt an, dass es möglicherweise hinter Nemotron Nano 9B v2 zurückbleibt, nämlich bei Wissen, Befolgung von Anweisungen und Sicherheit, weil es für natürliche Konversation optimiert wurde. Es wurde nicht explizit für Reasoning oder Alignment trainiert; mehrschrittiges Denken und Arithmetik werden als Schwachstellen genannt.

• Kein zuverlässiges Backchanneling. Das „mm-hm“, das signalisiert, dass ein Mensch noch zuhört, wird nicht systematisch behandelt.

• Es unterbricht Sie mitten im Satz. Die Branch-Notizen führen das Unterbrechen des Benutzers bei einer Pause mitten im Satz und „unkontrollierte Fortsetzung / Selbstgespräch“ unter den bekannten Fehlermodi auf — die direkten Kosten eines Encoders ohne Rechtskontext.

• Nur ruhige Räume. Ausdrücklich ungeeignet für laute oder hallige Umgebungen, insbesondere bei Hintergrundsprache. Das schließt die meisten Callcenter-Flächen und die meisten Autos aus.

Wer sollte das eigentlich herunterladen?

Forschende, die an Duplex-Sprachmodellierung arbeiten, profitieren hier am meisten und sollten umsteigen: Ein offener 11B-Checkpoint mit einem funktionierenden Tool-Calling-Kanal, trainiert auf etwa 550.000 Stunden gemischten echten und synthetischen Audiodaten, ist ein weitaus besserer Ausgangspunkt als eine Neuimplementierung auf Grundlage des SALM-Duplex-Papers. Die Forschungslizenz stellt für diese Arbeit keine Einschränkung dar.

Teams, die Sprachagenten entwickeln, sollten die Karte lesen und den Download überspringen. Nichts, was du aus einem 44-GB-float32-Checkpoint lernst, den du nicht ausliefern kannst, wird deine Architektur verändern. Die ehrliche Lehre aus den Benchmarks ist, dass End-to-End-Vollduplex bei dem, was Nutzer am meisten bemerken – nämlich ob der Assistent sie verstanden hat – noch nicht mit einem guten gehosteten Modell mithalten kann. In der Zwischenzeit ist es der sinnvollste Schritt, gegen einen gehosteten Endpoint zu entwickeln und den Wechsel günstig zu halten: Ein Schlüssel für über 200 Modelle mit automatischem Failover bedeutet, dass ein Provider-Vorfall deine Telefonleitung nicht mitten im Anruf lahmlegt, und es bedeutet, dass der Umstieg auf ein offenes Vollduplex-Modell später nur eine Konfigurationsänderung ist, kein Neuschreiben.

Unternehmen, denen es speziell darauf ankommt, sollten sich für den frühen Zugang zu Nemotron 3 VoiceChat bewerben, anstatt auf den Hugging-Face-Gewichten aufzubauen. In diesem Programm sind die einsatzfähige Lizenz, die Referenzcontainer und die Unter-300-ms-Angabe enthalten. Der öffentliche Checkpoint ist eine Forschungsvorschau derselben Idee, veröffentlicht ohne die Unterlagen, die eine Nutzung ermöglichen würden.

Drei Fragen, die diesem Repo immer wieder gestellt werden.

Darf ich es kommerziell nutzen, wenn ich es stark feintune? Nein. OpenMDW v1.1 und die auf der Modellkarte angegebene Erklärung „nur für Forschungszwecke“ regeln die Gewichte und alles, was daraus abgeleitet wird; die Apache-2.0-Lizenz im GitHub-Branch deckt den Inferenzcode ab, nicht den Checkpoint. Fine-Tuning ist keine Lizenzwäsche. Wenn Sie kommerzielle Rechte benötigen, ist das Early-Access-Programm der Weg, den NVIDIA tatsächlich dafür eingerichtet hat.

Ist das dasselbe Modell wie das auf den Leaderboards? Gleiche Familie, mit hoher Wahrscheinlichkeit; identisches Artefakt, unbestätigt. Die Einträge auf dem Leaderboard und bei Artificial Analysis sind als „Nemotron 3 VoiceChat (V1)“ mit 12B aufgeführt, der herunterladbare Checkpoint misst 11,095B, und NVIDIA hat nichts veröffentlicht, was die beiden in Einklang bringt. Verwenden Sie die Leaderboard-Zahlen als die beste verfügbare unabhängige Einschätzung der Abstammung, nicht als verifizierte Messung der Datei auf Hugging Face.

Läuft es auf etwas Kleinerem als einer 80-GB-Karte?Wahrscheinlich, mit etwas Aufwand, und niemand hat einen Beweis veröffentlicht. Die Gewichte sind float32, also sollte eine bfloat16-Konvertierung die Parameter von etwa 44 GB auf etwa 22 GB reduzieren, was auf einer 48-GB-Karte echte Reserven lässt, bevor man den KV-Cache, den Codec und die Streaming-Puffer berücksichtigt. Aber der unterstützte Weg ist vLLM auf einer H100 mit 80 GB, das Deployment-Container ist dafür gebaut, und die einzige getestete Konfiguration, die NVIDIA angibt, ist diese. Kalkulieren Sie Zeit ein, nicht nur VRAM.

Was zu sehen

Drei Dinge würden jeweils die Bewertung dieser Veröffentlichung verändern. Ein technischer Bericht oder auch nur eine Modellkarte, die aufhört, sich selbst zu widersprechen, würde uns sagen, ob der 11B-Checkpoint das Artefakt ist, das die Leaderboards gemessen haben. Eine unabhängige Reproduktion der Latenz — jemand außerhalb von NVIDIA, der den 448-ms-Sprechwechsel auf eigener Hardware bestätigt — würde die attraktivste Behauptung der Veröffentlichung von einer Marketing-Aussage in eine Tatsache verwandeln. Und eine kommerzielle Lizenz oder ein gehosteter Endpunkt von irgendwem würde das von einer Kuriosität am Rande eines Papers zu einer echten Option für die vielen Teams machen, die bereitwillig etwas Reasoning-Qualität gegen einen Sprachagenten eintauschen würden, der unterbrochen werden kann.

Bis einer davon eintrifft, ist die zutreffende Beschreibung eng gefasst, aber durchaus bemerkenswert: NVIDIA hat den stärksten bisher gemessenen Open-Full-Duplex-Sprach-Checkpoint veröffentlicht, ihm den ersten funktionierenden Tool-Calling-Kanal in dieser Kategorie gegeben, ihn so lizenziert, dass niemand ihn ausliefern kann, und hat nicht erwähnt, dass all das geschehen ist.