Eine Titelkarte mit der Überschrift „WeMM-Video-4B“ und dem Untertitel „Tencents audiovisuelles Modell, auf Hugging Face ohne Ankündigungspost“, drei Karten mit dem Text „Name auf der Karte 4B / 5,61B tatsächliche Parameter“, „Repositories 18 / in 19 Minuten erstellt“ und „Hosting-Preis: keiner / nur Self-Hosting“ sowie eine Fußzeile mit dem Text „Angaben aus dem Hugging-Face-Repo und arXiv 2611.26409; keine unabhängigen Benchmarks.“
Engineering & Research

WeMM-Video-4B: Tencents leises 5,6B-Audio-Visuell-Modell

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Die Datei mit der Bezeichnung WeMM-Video-4B wiegt 10,45 GiB, und bei zwei Bytes pro BF16-Parameter ergibt das 5,61 Milliarden Parameter – nicht vier Milliarden. Die eigenen safetensors-Metadaten von Tencent sagen dasselbe: 5.611.746.312 Parameter. Das „4B“ im Namen steht für das Sprach-Backbone, nicht für den Checkpoint. Dieser kleine Rechenfehler ist der richtige Einstieg in die WeMM-Video-Familie, denn fast alles Interessante an diesem Release ist eine Lücke zwischen der Bezeichnung und der Sache: eine in vier Größen veröffentlichte Familie ohne Launch-Post, eine Benchmark-Suite, die Qwen3-Omni-30B-A3B-Instruct und MiniCPM-o-4.5-9B bei Video schlägt, bei Audio aber gegen Qwen3.5-Omni-Flash verliert, und ein 256K-Positionsembedding, das jede ausgelieferte Konfiguration freiwillig auf 8.192 Token kürzt. Die Gewichte sind echt, das Paper ist öffentlich, und noch hat niemand etwas davon heruntergeladen.

Was folgt, trennt drei Dinge, die die Hugging-Face-Karten der Familie vermengen: was im Repository messbar ist, was nur Tencents eigene Evaluierung berichtet und was von niemandem außerhalb von WeChat Vision bestätigt wurde.

Die Datei namens 4B enthält 5,61 Milliarden Parameter.

Hugging Face verzeichnet pro Repository eine Gesamtparameterzahl, und bei den vier WeMM-Video-Basis-Checkpoints liegen sie durchgängig etwa 1,2 bis 1,6 Milliarden über der Größe im Namen.

• WeMM-Video-2B — 3,28 Mrd. insgesamt gegenüber einer „2B“-Angabe.

• WeMM-Video-4B — 5,61 Mrd. insgesamt gegenüber einer „4B“-Bezeichnung.

• WeMM-Video-9B — 10,49 Mrd. insgesamt gegenüber einer „9B“-Kennzeichnung.

• WeMM-Video-35BA3B — 36,18 Mrd. insgesamt gegenüber einer „35B-A3B“-Kennzeichnung, wobei davon nur drei Milliarden pro Token aktiv sind.

Das Lesen des Safetensors-Index des 4B-Modells macht den Überschuss sichtbar. Von seinen 1.268 Tensoren entfallen auf das Sprachmodell 4,21B Parameter, auf den Audio-Stack 1,07B und auf den Vision-Tower 0,33B. Rund neunzehn Prozent des Checkpoints sind Ohren. Das Paper bestätigt, dass die Namenskonvention absichtlich gewählt ist: Die drei dichten Modelle bauen auf Qwen3.5-2B, Qwen3.5-4B und Qwen3.5-9B auf, das Mixture-of-Experts-Modell auf Qwen3.6-35B-A3B.

Das ist wichtig für alle, die ein Deployment dimensionieren. Ein „4B“-Modell, das Platz für 5,61B Parameter benötigt – 10,45 GiB in BF16, bevor irgendein KV-Cache oder eine Aktivierung hinzukommt – landet in einer anderen Hardware-Klasse, als die Zahl auf dem Datenblatt vermuten lässt.

Achtzehn Repos, neunzehn Minuten, keine Ankündigung

Die Familie wurde nicht nach und nach veröffentlicht. Die Erstellungszeitstempel auf Hugging Face verorten alle achtzehn Repositories – vier Größen mal fünf Präzisionen – in einem Zeitfenster von 08:53:50 bis 08:59:06 UTC am 17. November 2026, etwa vierzehn Sekunden auseinander, was die Signatur eines Upload-Skripts ist und nicht die eines Menschen, der auf „Veröffentlichen“ klickt. Das GitHub-Repository Tencent/WeMM-Video wurde am selben Tag um 02:29:33 UTC erstellt, wobei sein substanzieller erster Commit am 19. November eintraf und README-Überarbeitungen bis in den 20. November andauerten.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

Das Paper folgte am 19. November: arXiv 2611.26409, „WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding“, zwölf Autorinnen und Autoren, eingereicht um 16:58 UTC. Es ist ein vollständiger technischer Bericht mit sieben Ergebnistabellen und einem Link zu einer Evaluations- und Reproduktionspipeline. Das ist also kein undokumentierter Release — sondern ein dokumentierter, den niemand angekündigt hat. Wir konnten weder einen Tencent-Blogbeitrag noch eine Launch-Seite von WeChat Vision noch eine Pressemitteilung noch eine kostenpflichtige Stufe finden, die auf die Modellfamilie verweist; die Model Cards, das GitHub-README und das arXiv-Paper sind die gesamte öffentliche Dokumentation, und sie wurden füreinander verfasst.

Die Rezeptionszahlen erzählen dieselbe Geschichte. Zum Zeitpunkt des Verfassens verzeichnete jeder der vier Basis-Checkpoints null Downloads, und die achtzehn Repositories zusammen hatten drei Likes gesammelt. Weder Artificial Analysis noch LMArena führt ein WeMM-Modell auf. Nichts davon ist ein Beleg für Qualität – es ist ein Beleg für Distribution, und es ist der Grund, warum ein 4B-Checkpoint, der bei mehreren Video-Benchmarks ein 30B-Modell übertrifft, keine unabhängige Zahl zugeordnet bekommt.

Was ist im Checkpoint?

Abgesehen von der Familien-Einordnung ist das 4B ein Standard-Drei-Turm-Omni-Stack mit einer ungewöhnlichen Backbone-Entscheidung.

• Sprachturm — 32 Schichten, Hidden-Size 2.560, 16 Attention-Heads gegenüber 4 Key-Value-Heads, Head-Dimension 256, Vokabular 248.320. Das Backbone ist hybrid: eine Full-Attention-Schicht in jedem vierten Block, wobei die anderen drei lineare Attention verwenden, weshalb jedes Serving-Rezept im Repository ein float32-SSM-Cache-Flag enthält.

• Vision-Tower — 24 Blöcke bei Hidden Size 1.024, Patch-Größe 16, räumlicher Zusammenführung 2, zeitlicher Patch-Größe 2 und Projektion auf 2.560. Er ist der native Encoder des Backbones, beibehalten statt ausgetauscht, und das Paper friert ihn ab der zweiten Pre-Training-Phase ein, weil er „bereits ausreichend starke visuelle Repräsentationen bereitstellt“.

• Audio-Turm — im Whisper-Stil, mit 32 Encoder- und 32 Decoder-Schichten bei einer Breite von 1.280, mit einem Q-Former auf Fensterebene, der 0,1-Sekunden-Fenster zu 10 Audio-Tokens pro Sekunde komprimiert. Audio kommt mit 16 kHz in 30-Sekunden-Blöcken an. Dies ist der Teil, der aus Qwen2.5-Omni initialisiert wurde, und mit 1,07 Mrd. Parametern ist er die größte einzelne Lücke zwischen dem Namen und der Datei.

• Fusion — visuelle und auditive Tokens verschränken sich in chronologischer Reihenfolge mit expliziten textuellen Zeitstempeln, anstatt in getrennten Streams zusammengefasst zu werden.

• Modi — ein Instruct-Modus für direkte Antworten und ein Thinking-Modus, der vor der Antwort einen Reasoning-Trace ausgibt, umgeschaltet auf Chat-Template-Ebene mit enable_thinking.

• Lizenz — Apache 2.0 für die gesamte Sammlung, wobei die Lizenzdatei von Tencent Komponenten von Drittanbietern ausnimmt, die „weiterhin den jeweiligen ursprünglichen Bedingungen unterliegen“. Die Ausnahme ist in der Modellkarte nicht einzeln aufgeführt.

256K in der Konfiguration, 8K im Serving-Befehl

Die Textkonfiguration gibt max_position_embeddings mit 262,144 an. Jeder Serving-Befehl, den T​encent veröffentlicht – sowohl die beiden vLLM-Profile als auch die beiden SGLang-Profile – übergibt max-model-len 8192 oder context-length 8192. Die 256K-Angabe ist eine architektonische Reserve, keine unterstützte Konfiguration, und nichts im Repository erklärt, wie man sie erreicht.

Das Frame-Budget hat dieselbe Form. Die eigenen Standardwerte des Prozessors sind großzügig: 2 Frames pro Sekunde, bis zu 128 Frames, 25.165.824 Gesamtpixel. Das vLLM-Rezept überschreibt alle drei nach unten — fps 2, max_frames 16, total_pixels 262144. Sechzehn Frames erhält man, wenn man den Befehl kopiert. Ein Clip, der mit 16 Frames gesampelt wird, ist eine andere Eingabe als ein Clip, der mit 128 gesampelt wird, und das Paper gibt nicht an, welches Sampling seine Video-Evaluierungen verwendet haben.

• Medienlimits pro Anfrage, wie ausgeliefert — vier Bilder, zwei Videos, zwei Audiodateien.

• Kontext, wie ausgeliefert — 8.192 Token, wobei Audio 10 Token pro Sekunde verbraucht, bevor überhaupt Videobilder gezählt werden.

Für ein 4B-Modell sind diese beiden Zahlen die entscheidende Einschränkung für echte Arbeit. Achtausend Token entsprechen etwa dreizehn Minuten Audio und sonst nichts; ein Video mit Tonspur beansprucht das Budget für beide Streams gleichzeitig. Die unten aufgeführten Long-Video-Benchmarks wurden unter Bedingungen ausgeführt, die das Repository nicht beschreibt.

Die Benchmarks sind die eigenen der Autoren.

Jede Zahl in diesem Artikel stammt aus dem technischen Bericht zu WeMM-Video. Das Paper sagt es unverblümt – „Für bestehende Modelle berichten wir offizielle Ergebnisse, sofern verfügbar, andernfalls unsere eigenen Evaluierungen“ – und keine dritte Partei hat irgendetwas davon reproduziert. Außerdem wechselt der Modus zwischen den Tabellen, was mehr ins Gewicht fällt als sonst, weil Thinking nicht kostenlos ist: Die Videotabellen berichten Thinking für 2B, 4B und 9B, die Audiotabelle berichtet Instruct, weil die Autoren Standard-Audio-Benchmarks als „direkt wahrnehmungsbezogene“ Aufgaben eingestuft haben, und die Bild- und Texttabellen kehren zu Thinking zurück. Eine 4B-Zeile in der Audiotabelle mit einer Konkurrenzzeile in der Videotabelle zu vergleichen, ist kein Vergleich.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Mit diesem Vorbehalt ist die omni-modale Video-Tabelle der Punkt, an dem das 4B seine Dateigröße rechtfertigt.

Wo 4B einen 30B schlägt

Tabelle 2 der Arbeit stellt WeMM-Video-4B gegen Qwen3-Omni-30B-A3B-Instruct und MiniCPM-o-4.5-9B bei kombinierten audio-visuellen Benchmarks gegenüber, alle im Thinking-Modus. Das 4B-Modell gewinnt die meisten davon – gegen ein Modell, das siebenmal so groß ist.

• Video-MME mit Audio — WeMM-Video-4B 83,9, Qwen3-Omni-30B-A3B-Instruct 77,3, MiniCPM-o-4.5-9B 69,2.

• Video-MME v2 mit Audio — 48,1 gegenüber 36,3 und 28,1, der größte Vorsprung in der Tabelle.

• Daily-Omni — 82,5 gegenüber 70,7 und 80,2.

• WorldSense — 60,3 gegenüber 54,0 und 55,7.

• OmniVideoBench — 49,7 gegenüber 45,4 und 37,2.

Die Tabelle für stille Videos ist noch stärker, und sie sollte den Ausschlag für einen Kauf geben. Ohne Tonspur und nur auf Sehen getestet: Video-MME 75,7 gegen 70,5 und 70,4, LVBench 65,3 gegen 50,2 und 50,9, LongVideoBench 74,8 gegen 63,5 und 66,0, EgoSchema 74,2 gegen 66,4 und 60,4. Ein Vorsprung von 15 Punkten bei LVBench mit 4B ist kein Rundungsartefakt; das Verständnis langer Videos ist genau der Bereich, in dem kleine Omni-Modelle historisch zusammengebrochen sind.

Die Bild- und Textzeilen sind wettbewerbsfähig statt dominant. MMMU 78,4 gegenüber 76,9 von Qwen3.5-Omni-Flash, MathVista 85,2 gegenüber 82,9, DocVQA 96,5 gegenüber 95,3, IFEval 91,3 gegenüber 85,2. Das sind die Zeilen, die ein Leser am ehesten tatsächlich braucht, und sie halten stand.

Wo es verliert und wogegen

Die Verluste sind konkret und es lohnt sich, sie zu benennen, denn eine Tabelle, die nur die Gewinne zeigt, ist genau das, was dieser Blog vermeiden will.

• Audio, im Vergleich zu einem proprietären Flash-Modell — Qwen3.5-Omni-Flash erzielt 80,4 bei MMAU und 74,0 bei MMAR gegenüber 75,2 und 67,3 von WeMM-Video-4B. Der einzige Audio-Sieg des 4B-Modells ist MMAU-Pro mit 68,1 gegenüber 64,8.

• Video, in den Randbereichen — Video-Holmes 58,8 gegenüber 64,3 von MiniCPM-o-4.5-9B und FutureOmni 50,9 gegenüber 55,1 für Qwen3-Omni-30B-A3B-Instruct und 56,1 für MiniCPM. Zwei Benchmarks, bei denen ein kleinerer oder älterer Wettbewerber klar gewinnt.

• Bild und Text — MMMU-Pro 64,7 gegenüber 68,2, OCRBench 85,7 gegenüber 89,1, GPQA 73,2 gegenüber 76,4, MMLU-Pro 78,3 gegenüber 79,9. Zwischen einem und sechs Punkten hinter einem auf Serving ausgerichteten proprietären Modell – für einen 5,61B-Checkpoint ein respektabler Rückstand.

Die Interpretation ist, dass WeMM-Video-4B für gemeinsames audio-visuelles Video abgestimmt wurde und sich überall sonst behauptete. Wenn Ihre Aufgabe darin besteht, zu beschreiben, was in einem Clip passiert, und zusammenzufassen, was darüber gesagt wird, sind die Zahlen gut. Wenn Ihre Aufgabe dichtes OCR oder Textschlussfolgern auf Hochschulniveau ist, ist derselbe Checkpoint ein Kompromiss.

Es auszuführen bedeutet, die eigene Laufzeitumgebung zu patchen.

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Weder vLLM noch SGLang unterstützen diese Architektur upstream. Eine Suche im vLLM-Issue-Tracker findet keine WeMM-Video-Anfrage, und das Repository liefert stattdessen ein patch-Verzeichnis: Quellcode-Overlays mit SHA-256-Manifesten für vier exakte Upstream-Releases – vLLM 0.18.0 und 0.31.0, SGLang 0.5.16 und 0.5.19 –, jeweils fest an eine bestimmte Kombination aus PyTorch, Transformers und CUDA 12.9 gebunden, wobei Python 3.12 und FFmpeg erforderlich sind und TorchCodec CUDA 12 NPP im Linker-Pfad benötigt. SGLang kompiliert CUDA-Kernel außerdem beim ersten Einsatz, daher gehören eine C++-Toolchain und Ninja zur Installation.

Der GGUF-Weg ist ebenfalls keine Abkürzung. Er ist ein Bündel aus drei Dateien – eine 4,90 GiB große Sprachdatei, ein 0,63 GiB großer Vision-Projektor und eine 2,00 GiB große Audiodatei –, gebaut für eine „WeMM native runtime“, die du aus dem Repository kompilierst, nicht für llama.cpp oder Ollama. Das eigene Manifest von Tencent bezeichnet den Export als exported_unvalidated, und die begleitende Scope-Datei nennt quantized_candidate_not_validated. Das ist eine ungewöhnlich freimütige Kennzeichnung, und man sollte sie wörtlich nehmen: Das Q4_K_M-Bundle wird angeboten, nicht verbürgt.

Was Tencent tatsächlich als validiert angibt, ist eng gefasst: Ein gepatchtes vLLM lud den Checkpoint auf einer H20 und absolvierte Generierungsprüfungen für Text, Bild, Audio und Video mit Tonspur, und der lokale Checkpoint bestand ein direktes Laden mit Transformers sowie einen CPU-Test zur Textgenerierung. Keine Angaben zu Durchsatz, Latenz, Speicherbedarf oder Nebenläufigkeit. Für ein Modell, dessen Verkaufsargument Video ist, ist „es hat generiert“ das Minimum dessen, was eine Deployment-Entscheidung benötigt.

OrcaRouter stellt WeMM-Video-4B nicht bereit. Sein Katalog führt überhaupt keinen WeMM-Checkpoint, daher gibt es keinen gehosteten Preis zu nennen und keinen Endpoint, auf den man verweisen könnte; heute ist dies eine Self-Host-Aufgabe mit einem Patch, der auf die Inference-Engine von jemand anderem angewendet wird. Für die rein visuelle Hälfte der Arbeit gibt es offene Alternativen auf der Plattform — Qwen3-VL-235B-A22B-Thinking und Qwen3-VL-8B-Thinking verarbeiten beide Bilder und Videoframes — erreichbar über einen OpenAI-kompatiblen Schlüssel, wobei es für die Audio-Hälfte kein WeMM-Äquivalent gibt. Falls ein kompatibler Host tatsächlich beginnt, diese Gewichte bereitzustellen, wird der Listenpreis des Anbieters mit 0 % Aufschlag durchgereicht, aber das ist eine Bedingung, keine gegenwärtige Tatsache.

Was ist noch unbestätigt

Vier Dinge, die ein Käufer normalerweise bei einem Launch bekommen würde und hier nicht bekommen kann.

• Preis. Es gibt keinen. Kein gehosteter Endpunkt, kein Preis pro Token, keine Partnerliste. Die einzigen Kosten sind die GPU, die Sie bereits besitzen.

• Unabhängige Bewertung. Kein Eintrag bei Artificial Analysis, keine Einreichung bei der Arena, keine Reproduktion durch Dritte. Die Evaluierungs-Pipeline ist öffentlich – das ist das Nächstbeste und nicht dasselbe.

• Evaluierungsbedingungen. Die für die Benchmark-Läufe verwendeten Frame-Anzahlen, Pixel-Budgets und Kontextlängen werden im Paper nicht angegeben, und das mitgelieferte Rezept verwendet 16 Frames, während der Prozessor standardmäßig 128 verwendet.

• Die Sonderregelung für Drittanbieterlizenzen. Tencent gibt an, dass die Komponenten innerhalb der Sammlung unter ihren ursprünglichen Bedingungen verbleiben, führt sie aber nicht einzeln auf. Der Audio-Stack stammt von Qwen2.5-Omni ab, das Backbone von Q​wen3.5 – beide Apache 2.0, was eher beruhigend als ausschlaggebend ist.

Nichts davon ist ein Grund, die Veröffentlichung abzutun. Es ist ein Grund, die Familie als das zu behandeln, was sie sichtbar ist: achtzehn Repositories und ein technischer Bericht, die in einem Zeitfenster von neunzehn Minuten online gestellt wurden, wobei der Ankündigungsschritt übersprungen wurde. Die Dokumentation ist besser als bei den meisten angekündigten Starts. Die Verbreitung ist null.

Für ein Team, das gemeinsames audio-visuelles Verständnis auf Hardware benötigt, die es selbst kontrolliert, ist WeMM-Video-4B der interessanteste kleine Checkpoint, der diesen Monat veröffentlicht wurde, und die Videowerte rechtfertigen den Aufwand für das Patchen. Für alle, die bis Freitag einen Endpoint brauchen, lautet die ehrliche Antwort: Das ist noch keiner – die Gewichte existieren, die Laufzeitumgebung ist ein Source-Overlay, und die einzigen Benchmarks stammen von den Autoren. Achten Sie auf die erste unabhängige Reproduktion, einen vLLM-Upstream-Merge oder einen Hosting-Preis. Was auch immer zuerst kommt, wird Ihnen mehr sagen als eine weitere Zeile in Tabelle 2.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt