Hero-Titelkarte mit der Aufschrift „WeMM-Video-2B“, Untertitel „ohne Ankündigung veröffentlicht“, mit vier Badges: „2B dicht, 3,28B gesamt“, „Video + Audio + Bild + Text als Eingabe“, „Apache 2.0, vier Quantisierungen“, „null Downloads auf dem Hub“.
Engineering & Research

WeMM-Video-2B: Ein 2B-Omni-Modal-Modell, das niemand angekündigt hat

Autor

Gideon Frost

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Es gibt keinen Launch-Post. Es gibt keine Modellkarte auf einer Produktseite, keine Warteliste, keine Preistabelle, keinen Benchmark-Tweet von einem T​encent-Manager. Was existiert, ist ein Hugging-Face-Repository, das am 17. November 2026 um 08:58 UTC erstellt wurde, und ein GitHub-Repo, dessen erster Commit sechseinhalb Stunden zuvor einging, und beide beschreiben WeMM-Video-2B als den dichten 2B-Checkpoint in einer Familie chinesisch-englischer omni-modaler Videomodelle von WeChat Vision bei T​encent. Sechs Tage später hat das Repo zwei Likes, null Downloads und vier quantisierte Geschwister, die innerhalb von elf Minuten nach den Basisgewichten erstellt wurden. Der ehrliche erste Satz eines jeden Textes über dieses Modell ist also ein Satz über seine Verpackung: es ist öffentlich, es ist herunterladbar, und niemand hat ein Wort darüber gesagt.

Diese Lücke sollte man ernst nehmen, statt sie als Nachrichtenflaute abzutun. Eine Modellfamilie, die innerhalb derselben Woche Gewichte, ein Paper, vier Quantisierungsformate, gepatchte vLLM- und SGLang-Rezepte, eine native C++-Runtime und eine Docker-Compose-Datei ausliefert, ist kein Forschungsdatenauswurf, dessen Ankündigung jemand vergessen hat — sie ist ein Release, das vorbereitet und dann ohne die Marketingebene veröffentlicht wurde. Das Folgende trennt, was die Artefakte belegen, von dem, was nur T​encent bestätigen kann, und es ist bewusst nicht daran interessiert, zu entscheiden, ob das Modell gut ist.

Was das Repository tatsächlich enthält

Der Basis-Checkpoint ist tencent/WeMM-Video-2B, Apache 2.0, 6,12 GiB BF16-Safetensors über zwei Shards verteilt. Die Indexdatei meldet insgesamt 3.283.624.264 Parameter, was etwas verrät, das der Name nicht tut: „2B“ ist das Sprachmodell, nicht das System. Das Text-Backbone ist ein Decoder aus der Qwen3.5-Familie — 24 Schichten, Hidden-Size 2048, 8 Attention-Heads gegenüber 2 KV-Heads, ein Vokabular von 248.320 Tokens und eine maximale Positions-Embedding von 262.144 Tokens — mit einem hybriden Attention-Layout, das nach jeweils drei Linear-Attention-Schichten eine vollständige Attention-Schicht setzt. Davor sitzen ein 24-schichtiger Vision-Transformer mit Hidden-Size 1024 und ein Audio-Stack aus einem 32-schichtigen Whisper-Encoder, der einen zweischichtigen Q-Former mit einer Hidden-Size von 4104 speist. Die übrigen Parameter stecken in diesen beiden Encodern.

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

Diese Architektur beantwortet die Frage, die der Name aufwirft. Dies ist kein Videogenerator. Sie nimmt Video entgegen – Frames plus optional die Originaltonspur – und gibt Text aus. Die Token-IDs der Konfiguration selbst bestätigen es: ein Video-Token, ein Audio-Token, ein Bild-Token und ein Sprachmodell, das generiert. Wenn Sie in der Hoffnung gekommen sind, einen weiteren Eintrag im Text-to-Video-Wettlauf zu finden, wird das Repository Sie schon beim ersten Blick auf das Pipeline-Tag enttäuschen, das image-text-to-text lautet.

• Größen innerhalb der Familie – 2B, 4B, 9B als dichte Modelle und ein 35B-A3B-Mixture-of-Experts, alle gemeinsam am 17. November veröffentlicht.

• Quantisierungen für das 2B-Modell — FP8 Block128, AWQ W4A16, GGUF Q4_K_M und NVFP4 W4A16, jeweils in einem eigenen Repository, jeweils innerhalb von elf Minuten nach den Basisgewichten erstellt.

• Serving-Pfade — Transformers 5.2.0, gepatchtes vLLM 0.18.0 oder 0.31.0, gepatchtes SGLang 0.5.16 oder 0.5.19 und eine native Runtime für den GGUF-Build, die auf CPU oder CUDA läuft.

• Eingabegrenzen in den mitgelieferten Rezepten – bis zu vier Bilder, zwei Videos und zwei Audioelemente pro Anfrage, bei einer Kontextlänge von 8.192 Token.

• Lizenz — Apache 2.0 für die Gewichte, mit einer separaten Datei mit Drittanbieterhinweisen, die Komponenten von LAVIS, vLLM und SGLang abdeckt.

Das Detail mit dem gepatchten Serving ist das, was dies von einem typischen Open-Weights-Release unterscheidet. T​encent hat kein Repository ausgeliefert, das nur „in der Theorie funktioniert“; es hat Overlay-Patches für bestimmte vLLM- und SGLang-Versionen, fixierte Abhängigkeitsdateien, auf CUDA 12.9 getaggte Docker-Images und eine Validierungsnotiz geliefert, laut der der Checkpoint geladen wurde und die Generierung auf L20- und H20-Hardware über Text, Bild, Audio und Video mit Tonspur hinweg abgeschlossen hat. Ob diese Patches außerhalb von T​encents eigenem Cluster Bestand haben, ist genau die Art von Frage, die eine Woche von Fremden beantwortet, die sie laufen lassen – und diese Woche hat noch nicht stattgefunden.

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

Was die Arbeit behauptet, und wer sie geprüft hat

Der technische Bericht ist arXiv 2611.26409, datiert auf den 19. November 2026 – zwei Tage nachdem die Gewichte erschienen – und es ist ein Paper zur Modellfamilie, kein 2B-Paper. Zwölf Autoren, an erster Stelle Changli Tang, an letzter Stelle Jing Lyu, alle unter dem Banner von WeChat Vision.

Die zentrale Behauptung betrifft das Modell 35B-A3B, nicht das 2B: dass es einen neuen Open-Source-Stand der Technik in der omnimodalen Videobewertung etabliert, Qwen3.5-Omni-Flash und Seed2.0-Mini-0428 deutlich übertrifft und die Lücke zu Gemini-3.0-Flash verringert. Eine zweite Behauptung betrifft tatsächlich das Modell im Titel dieses Artikels: dass WeMM-Video-9B das größere Open-Source-Modell Qwen3-Omni-30B-A3B-Instruct übertrifft. Das 2B erscheint in der Familienbeschreibung und im Model Zoo, aber die Argumentation des Papers wird von seinem größten Geschwister getragen.

Jede einzelne dieser Zahlen ist eine Angabe des Anbieters. Es gibt keinen Eintrag bei Artificial Analysis, kein LMArena-Ergebnis, keine unabhängige Reproduktion und – zum Zeitpunkt dieses Textes – keinerlei Drittanbieter-Bewertung für irgendein Mitglied der Familie. In dem Paper heißt es, die Modelle seien anhand von mehr als 120 Benchmarks evaluiert worden; es sagt nicht, wer sie durchgeführt hat, und die Antwort lautet T​encent. Das ist keine Anschuldigung, sondern der normale Zustand einer sechs Tage alten Veröffentlichung. Aber es bedeutet, dass die korrekte Beschreibung der Position des 35B-A3B „T​encent meldet, dass es führt“ lautet und nicht „es führt“.

Ein weiterer Vorbehalt ist struktureller und nicht redaktioneller Natur. Eine Benchmark-Suite aus 120 Aufgaben, ausgewählt und gewichtet von dem Labor, das das Modell trainiert hat, ist eine Messung der Passung – sie sagt Ihnen, dass das Modell gut in den Dingen ist, die seine Autoren zu messen gedachten. Sie sagt Ihnen nicht, dass es gut in den Dingen ist, die Sie brauchen. Die Kluft zwischen diesen beiden Aussagen ist der Punkt, an dem die meisten Fehler bei der Modellauswahl gemacht werden, und kein noch so intensives Tabellenlesen schließt sie.

Die vier Modi – und warum der Audiopfad entscheidend ist

Die Inferenz-API bietet fünf Anfrageformen, und die interessante ist die letzte. Text und Bild sind unspektakulär. Audio allein ist unspektakulär. Videoframes allein sind der Standardfall für multimodales Video. Video mit seinem Original-Soundtrack ist dasjenige, das ändert, wozu das Modell aufgefordert werden kann, und es ist ein separater Inhaltstyp in der Serving-API statt eines impliziten Verhaltens.

In der Praxis bedeutet das, dass man dem Modell einen Clip geben und es in einem einzigen Aufruf bitten kann, zu beschreiben, was auf dem Bildschirm zu sehen ist, und zusammenzufassen, was gesagt wird, und dann eine Antwort erhält, die beides widerspiegelt. Die Beispiele in der Model Card selbst machen genau das – englische Sprache aus einer Apollo-11-Aufnahme transkribieren und dann dieselbe MP4 mit und ohne Tonspur beschreiben. Ob das gemeinsame Reasoning besser ist als ein Videomodell und ein Sprachmodell nebeneinander laufen zu lassen und die Ausgaben zusammenzuführen, ist eine empirische Frage, und es ist die mit Abstand nützlichste Sache, die ein unabhängiger Evaluator testen könnte.

Die andere erwähnenswerte Designentscheidung ist das Chat-Template mit zwei Modi. Die Übergabe von enable_thinking=False liefert eine direkte Antwort; enable_thinking=True liefert eine Denkspur vor der Antwort. Das ist ein Regler für den Kompromiss zwischen Latenz und Qualität, der als Template-Flag statt als zwei Checkpoints ausgeliefert wird, was für ein 2B-Modell eine vernünftige Wahl ist – man bezahlt nicht für einen zweiten Satz Gewichte, um das zweite Verhalten zu erhalten.

Es ausführen und der ehrliche Stand der Verfügbarkeit

Der Schnellstartpfad besteht aus einer Python-3.12-Umgebung, einer NVIDIA-GPU, einem Treiber, der mit CUDA 12.9 kompatibel ist, und FFmpeg. Installieren Sie Torch 2.10.0, TorchVision 0.25.0 und TorchCodec 0.10.0 aus dem CUDA-12.9-Index und dann Transformers 5.2.0, Accelerate, Pillow, Librosa, SoundFile, SciPy und Requests. Das Modell lädt über AutoModelForImageTextToText mit trust_remote_code=True – die Architektur ist benutzerdefiniert, daher ist dieses Flag tragend und nicht dekorativ, und die Karte weist Sie richtigerweise darauf hin, den benutzerdefinierten Code zu lesen, bevor Sie es aktivieren.

Wenn du einen Server statt eines Skripts willst, pinnt das vLLM-Rezept einen gepatchten 0.18.0-Build fest und übergibt --no-enable-prefix-caching zusammen mit --mamba-ssm-cache-dtype float32, eine Kombination, die dir sagt, dass die hybriden Linear-Attention-Schichten noch keinen funktionierenden Prefix-Cache haben. Das ist eine echte Durchsatzbeschränkung für Chat-Workloads, und es ist die Art von Detail, die erst auftaucht, wenn jemand tatsächlich versucht hat, das Ganze als Server bereitzustellen.

Was in jedem Dokument fehlt, ist ein Preis. Es gibt keinen von Tencent gehosteten Endpoint für WeMM-Video-2B, keinen Preis pro Token, kein Managed Deployment. Sie laden die Gewichte herunter, und die GPU gehört Ihnen. Auf der OrcaRouter-Seite lautet die ehrliche Aussage genauso: Wir bieten WeMM-Video-2B nicht an. Was wir von T​encent tatsächlich im Angebot haben, ist die Hunyuan-Textreihe — tencent/hy4, tencent/hy4-flash und die Preview-Builds — über einen OpenAI-kompatiblen Endpoint zum Listenpreis des Anbieters mit 0 % Aufschlag, was nützlich ist, wenn Ihre Pipeline ein Textmodell aus demselben Labor benötigt, und nutzlos, wenn sie dieses hier braucht. Zwei verschiedene Produkte, ein Anbietername – und sie miteinander zu verwechseln, wäre der Fehler, der in der Eile leicht passiert.

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

Von der Neugier zur Empfehlung

Drei Dinge, geordnet danach, wie stark sie etwas bewirken würden.

Das erste ist eine unabhängige Bewertung auf einem Benchmark, den Tencent nicht ausgewählt hat. Jeder Blind-Arena-Lauf – Videoverständnis, audiovisuelle QA, was auch immer am nächsten kommt – würde sofort zeigen, ob die behauptete Position der Familie den Kontakt mit einem neutralen Prompt-Set übersteht. Bis es das gibt, ist der „neue Open-Source-State-of-the-Art“ des 35B-A3B eine Behauptung über eine Tabelle in einem PDF.

Das zweite ist ein Serving-Bericht von außerhalb Tencent. Die Patches sind spezifisch, die Hardware ist spezifisch, und der Validierungshinweis umfasst zwei GPU-Modelle. Ob dies sauber auf einem H100-Knoten, einem A100-Knoten oder einer gemieteten 4090 läuft, ist unbekannt, und die Antwort wird entscheiden, ob es sich bei dem 2B um ein Wochenendprojekt oder ein Forschungsartefakt handelt.

Das dritte ist eine Anbieterankündigung – irgendeine Anbieterankündigung. Ein Blogbeitrag, eine Modellkarte auf einer Tencent-Produktseite, eine Preisstufe. Derzeit ist die Veröffentlichung nur für Leute lesbar, die Repository-Zeitstempel lesen, und das siebentägige Fenster, in dem das gilt, schließt sich. Wenn Tencent nichts veröffentlicht, ist die wahrscheinlichste Lesart, dass diese Gewichte dazu dienen, das Paper und das 35B-Modell zu stützen, und dass das 2B ein praktischer Checkpoint statt ein Produkt ist.

Was der ehrliche Kern der Sache ist. WeMM-Video-2B ist ein echtes, herunterladbares Omni-Modal-Modell unter Apache-2.0, das niemand angekündigt, niemand heruntergeladen und niemand unabhängig getestet hat. Wenn Ihre Arbeit gemeinsames audio-visuelles Verständnis umfasst und Sie eine freie GPU und einen Nachmittag übrig haben, kostet es nur den Download, herauszufinden, was es leistet. Wenn Ihre Arbeit darin besteht, nächsten Monat etwas auszuliefern, sind die Kosten, das herauszufinden, höher, und das Verantwortungsvolle ist, auf die Zahlen von jemand anderem zu warten.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt