WeVisOne-VL-2B: Tencent hat ein Wahrnehmungsmodell ausgeliefert und niemandem davon erzählt

Die folgenreichste Zeile in der Modellkarte von WeVisOne-VL-2B handelt nicht vom Modell. Sie handelt von einer Datei namens mask_decoder.pt, mit 9.511.460 Parametern, die in einem einzigen nüchternen Satz als „eine erforderliche Kernkomponente, kein optionales Zusatzmodul“ beschrieben wird. Alles daran, wie sich Tencents neues Wahrnehmungsmodell verhält – ob man eine Box, einen Punkt, eine binäre Maske oder eine kontinuierliche Alpha-Matte bekommt –, läuft über diesen Decoder. Und das Modell, zu dem er gehört, kam fast ohne jedes Aufhebens daher: Die Gewichte für WeVisOne-VL-2B wurden am 22. Oktober 2026 um 09:47 UTC auf Hugging Face hochgeladen, ein GitHub-Repository erschien fünfzig Minuten früher, ein Paper wurde am selben Tag veröffentlicht, und Tencent hat weder einen Launch-Post noch eine Ankündigung dazu veröffentlicht.

Was das für Leserinnen und Leser bedeutet, ist eng begrenzt, aber nützlich. Das ist kein Produkt, für das man sich anmelden kann. Es ist eine Forschungsveröffentlichung zum Herunterladen, mit einem Paper, das Zahlen nennt, die die Model Card nicht wiederholt, und einer Reihe von Einschränkungen, die die Karte deutlicher benennt, als die meisten Anbieter es tun würden. Im Folgenden steht, was sich anhand des Repositorys überprüfen lässt, was im Paper behauptet wird und was noch niemand verifiziert hat.

Was veröffentlicht wurde – und die Zeitstempel, die zeigen, wie leise es geschah.

Jedes Datum hier stammt von einem öffentlichen Zeitstempel und nicht von einer Pressemitteilung, denn es gibt keine Pressemitteilung:

• Hugging Face — tencent/WeVisOne-VL-2B wurde am 2026-10-22 um 09:47:50 UTC erstellt. Das 4B-Geschwistermodell wurde vierundzwanzig Sekunden später erstellt, was typisch für einen Upload einer Organisation aussieht, wenn die Dateien in einem Batch hochgeladen werden.

• GitHub — Tencent/WeVisOne-VL wurde am selben Morgen um 08:58:16 UTC erstellt. Zum Zeitpunkt dieses Schreibens enthält es einen einzigen Commit, „Initial public release of WeVisOne-VL“, mit Zeitstempel 2026-10-23 08:14 UTC, und 46 Sterne.

• Paper — arXiv 2610.31329, „WeVisOne-VL: Unified Visual Perception from Objects to Pixels“, v1 eingereicht am 22. Oktober 2026, von Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li und Jing Lyu, alle bei WeChat Vision, Tencent Inc.

• Projektseite — tencent.github.io/WeVisOne-VL ist online, mit einer Demo, einem Methodenabschnitt und Ergebnistabellen. Es ist eine Forschungsseite, keine Produktseite: keine Preisangaben, keine API, keine Registrierung.

Die Karte selbst zeigte bei der Überprüfung drei Likes und eine auf dem 4B. Der Download-Zähler stand auf null, was meist nur bedeutet, dass der Zähler hinterherhinkt; die ehrliche Zusammenfassung lautet, dass fast niemand außerhalb des Labors das bisher angefasst hat, und jeder in dieser Woche veröffentlichte Artikel – auch dieser – arbeitet mit dem Paper und dem Repository statt mit Ergebnissen.

Ein Detail, das erwähnt werden sollte, weil es bei der Beschaffung zur Sprache kommen wird: Die Modellkarte gewährt Apache 2.0 für „von Tencent verfassten Code in diesem Repository“. Die GitHub-API meldet die Repository-Lizenz als „Other“ ohne SPDX-Kennung. Diese beiden Aussagen stehen nicht zwangsläufig im Widerspruch – Komponenten von Drittanbietern behalten ihre eigenen Bedingungen, und die Modellkarte sagt das auch –, aber es bedeutet, dass sich ein Blick in die Lizenzdatei lohnt, bevor dies irgendwo in die Nähe eines Produkts gelangt.

Die Architektur ist eine Wette auf Tokens, nicht auf ein größeres Modell.

WeVisOne-VL-2B basiert auf Qwen3-VL, hat etwa 2 Milliarden Parameter und macht etwas für ein Vision-Language-Modell leicht Ungewöhnliches: Es trennt das Finden vom Zeichnen.

Die Sprachseite übernimmt das Auffinden. Sie verfügt über eigene Koordinaten-Tokens, <0> bis <1000>, die normalisierte Boxen und Punkte kodieren, sodass eine Detektion buchstäblich eine Sequenz von Tokens ist, die das Modell im selben Stream wie seinen Text ausgibt. Wenn ein gesuchtes Ziel fehlt, gibt sie None zurück, statt eine Box zu erfinden. Für dichte Aufgaben gibt sie ein weiteres spezielles Token aus, <OBJ> mit der Token-ID 152678, unmittelbar nach jeder vorhergesagten Box — ein Marker, der besagt: „Diese Instanz setzt sich unten fort.“

Die Pixel-Seite übernimmt das Zeichnen. mask_decoder.pt liest den verborgenen Zustand an jedem <OBJ>, kombiniert ihn mit einem Fourier-kodierten Box-Prior und erzeugt die eigentliche Maske. Dieser hat drei Stufen: einen visuellen Feature-Adapter über mehrstufige ViT-Features von Qwen3-VL vor dem Merging; einen boxgeführten Query-Decoder mit sechs deformierbaren Cross-Attention-Blöcken; und einen Dense-Prediction-Head, der um das herum aufgebaut ist, was Tencent als FullCanvasAlphaCascadeHead bezeichnet und der bei S/4, S/2 und S/1 verfeinert, um kontinuierliche Alpha-Mattes in voller Auflösung mit Schrittweite 1 auszugeben.

Die Designentscheidung, auf die es ankommt, ist die letzte. Die meisten grounded VLMs liefern eine binäre Maske oder ein Polygon. Eine Alpha-Matte ist eine weichkantige, pixelweise Opazitätskarte – genau das, was man braucht, um eine Person ohne Lichthof um ihr Haar auf einen neuen Hintergrund zu komponieren. Das ist ein anderer Ausgabetyp als bei der Segmentierung, und das ist der Grund, warum dieses Modell als separate Veröffentlichung existiert und nicht als Fine-Tuning eines allgemeinen VLM.

Was das Papier behauptet – und was die Karte Ihnen nicht verrät

Die Modellkarte enthält keine Benchmark-Tabelle. Keine Kontextlänge, keine Durchsatzwerte, keine Angabe zur Anzahl der Trainings-Tokens, keine Hardware-Anforderungen, keinen Preis. Was die Karte liefert, sind die Schnittstelle, die Architektur, der vorgesehene Verwendungszweck und die Einschränkungen.

Das Paper ist der Ort, an dem die Zahlen stehen – verteilt über sieben Aufgabentabellen und das, was Tencent als mehr als dreißig Benchmarks beschreibt. Alle folgenden Ergebnisse stammen von den Autoren selbst, wurden von den Autoren ausgeführt und von niemandem unabhängig reproduziert:

• Detektion — mittlerer F1-Wert von 55,2 auf COCO, 53,3 auf LVIS, 61,4 auf Dense200 und 40,4 auf VisDrone. Die Qwen3-VL-2B-Baseline erzielt in derselben Tabelle 45,2, 40,8, 10,0 und 23,1. Die Dense200-Lücke ist die auffälligste: das Sechsfache der Baseline – bei einem Benchmark für dicht gedrängte Szenen.

• Ablehnung — auf RefCOCOg gibt das 2B eine Ablehnungsrate von 50,2 für Abfragen nach nicht vorhandenen Objekten an. Die beiden spezialisierten Grounding-Modelle in derselben Tabelle, Rex-Omni-3B und LocateAnything-3B, geben 0,5 und 0,6 an. Sagen zu können, dass etwas „nicht da“ ist, macht den größten Teil dessen aus, was ein Wahrnehmungssystem von einer Demo unterscheidet.

• Zählen — 90,9 und 88,1 Exact-Match auf den Validierungs- und Test-Splits von PixMo-Count, aber nur 27,5 und 26,9 bei CLOC, 29,5 und 32,4 bei KubriCount und 47,9 bei CountQA. Die Streuung über die Zähl-Datensätze hinweg ist das Ehrlichste im Paper: Zählen ist keine einzelne Fähigkeit, und dieses Modell ist bei einigen davon gut.

• OCR — mittlerer F1-Wert von 30,5 auf HierText, 42,6 auf ICDAR2015, 42,5 auf TotalText und 62,1 auf SROIE. Dies sind lokalisierungsbewusste F1-Werte bei einem IoU-Schwellenwert von 0,5, keine Transkriptionsgenauigkeit, daher sind sie nicht mit der OCRBench-Zahl vergleichbar, die für Consumer-VLMs zitiert wird.

• Segmentierung — 79,7 kumulativer IoU auf dem RefCOCO-Validierungsdatensatz, 73,1 auf dem RefCOCO+-Validierungsdatensatz, 74,4 auf dem RefCOCOg-Validierungsdatensatz und 60,9 auf dem ReasonSeg-Validierungsdatensatz. Das Paper stellt ausdrücklich klar, dass die Werte der RefCOCO-Familie cIoU und die ReasonSeg-Werte gIoU sind.

• Matting — bei P3M-500-NP mit einem Box-Prompt eine mittlere absolute Abweichung von 6,6 gegenüber 15,4 für SAM2-Matting. Bei AM-2K 5,7 gegenüber 12,1. Beim schwierigeren WeRefMat-Referring-Split 15,8 gegenüber 23,0 für eine Qwen3-VL-8B-plus-SAM2-Matting-Pipeline. Bei allen diesen Werten ist niedriger besser.

Eine interne Inkonsistenz sollte man kennen, bevor man das 4B zitiert: Das kleinere Modell schlägt das größere beim P3M-500-NP-Matting tatsächlich, 6,6 gegen 7,3 MAD. Tencent erklärt nicht, warum, und es erinnert daran, dass diese Tabellen auf einzelnen Läufen beruhen und keine endgültigen Ranglisten sind.

Wo die Beweislage dünn ist

Der Abschnitt der Arbeit zu ihren eigenen Einschränkungen ist ungewöhnlich direkt und sollte prägen, wie Sie alles oben lesen. Darin heißt es, die begrenzte Menge an allgemeinen Trainingsdaten „könne die allgemeinen Fähigkeiten im Vergleich zum Basismodell beeinträchtigen“. Anders gesagt: Das Fine-Tuning, das dieses Modell gut in der Wahrnehmung gemacht hat, hat es möglicherweise zu einem schlechteren allgemeinen Assistenten gemacht. Nichts in der Arbeit testet das – es gibt keinen MMMU-, keinen MMBench-, keinen DocVQA- und keinen Captioning-Benchmark, nirgends in den sieben Tabellen.

Die anderen drei Einschränkungen sind architektonischer Natur und lassen sich nicht durch Prompting beheben. Das Modell erzeugt strukturierte Ausgaben ohne Gedankenkette, um die Inferenzeffizienz zu erhöhen; es ist Single-Turn; und der Pixel-Decoder lehnt Videoraster ab. Tencent merkt außerdem an, dass Benchmark-Prompts „klar, wohlgeformt und eindeutig“ seien, während echte Nutzeranweisungen oft vage sind – ein offenes Eingeständnis, dass die Evaluierungsumgebung das Modell schmeichelt.

Und die praktischen Lücken sind die, auf die ein Entwickler zuerst stößt. Es gibt keine veröffentlichte Kontextlänge. Die Trainingsphasen des Papers verwendeten 4.096 und 8.192 Tokens, und die Inferenz begrenzt jedes Bild auf 1.960 visuelle Tokens beim Greedy-Decoding, aber nichts davon ist ein angegebenes Deployment-Kontextfenster. Es gibt kein GGUF, keinen quantisierten Build, keinen ONNX-Export und keine Erwähnung von Apple Silicon. Es gibt keinen gehosteten Endpunkt von Tencent und keinen Inferenzanbieter, der es anbietet.

Es ausführen, wenn du möchtest

Der unterstützte Weg ist das eigene Paket von Tencent. Installieren Sie es aus dem GitHub-Repository, laden Sie dann den Checkpoint anhand seines Namens und rufen Sie predict mit einem Bild, einer Aufgabe, einer Abfrage und einer Temperatur auf. Die Karte zeigt außerdem einen Transformers-Weg über eine Image-Text-to-Text-Pipeline und listet vLLM, SGLang, Docker, Colab und Kaggle als Bereitstellungswege auf.

Zwei Dinge werden jedem zum Verhängnis, der nur überfliegt. Erstens: mask_decoder.pt ist nicht optional – lade es zusammen mit den Gewichten herunter, sonst haben die Dense-Tasks nichts zum Ausführen. Zweitens ist der Standard Greedy-Decoding bei Temperatur null, und die Karte empfiehlt, es dabei zu belassen; dies ist ein Modell, das strukturierte Koordinaten ausgibt, und Sampling ist dabei nicht von Vorteil.

Dies ist auch der Punkt, an dem eine Routing-Schicht wirklich relevant ist, und es lohnt sich, präzise zu sein, was das hier bedeutet. OrcaRouter bedient WeVisOne-VL-2B nicht – es ist nicht in unserem Katalog, und wir werden nicht so tun, als wäre es anders. Wobei ein Router hilft, ist der Vergleich drumherum: Wenn Sie ein selbst gehostetes Wahrnehmungsmodell gegen gehostete Allzweck-Visionsmodelle evaluieren, stehen diese gehosteten Modelle hinter einem API-Schlüssel zum Listenpreis des Anbieters ohne Aufschlag, sodass der Aufbau einer Testumgebung nicht bedeutet, drei Verträge zu unterzeichnen. Automatisches Failover hält die gehostete Seite dieser Testumgebung am Laufen, während Ihre GPU-Box beschäftigt ist, und die Routing-DSL ermöglicht es Ihnen, einen selbst gehosteten Aufruf und einen gehosteten Aufruf hinter einem einzigen Endpunkt zu platzieren, während Sie entscheiden, welcher einen Platz in der Produktion verdient.

Was würde dies von einem Repository in eine Geschichte verwandeln?

Drei Dinge, von denen noch keines existiert. Ein unabhängiger Lauf ist der große Punkt: Jede oben genannte Zahl stammt von Tencent, auf Tencents eigenem Harness, und die Ablehnungsraten und Matting-Deltas sind genau die Art von Behauptungen, die sich verschieben, wenn jemand anderes sie selbst ausführt. Eine Ankündigung ist das Zweite – Repository, Paper und Projektseite stammen alle aus erster Hand, aber keines davon ist ein Launch, und ein ordentlicher Write-up würde wahrscheinlich Trainingsdetails enthalten, die das Paper komprimiert. Framework-Unterstützung ist das Dritte: Die Karte führt vLLM und SGLang auf, aber ein gemergter Kernel oder eine offizielle Checkpoint-Konvertierung ist eine andere Stufe der Verbindlichkeit als eine Zeile in einer Deployment-Tabelle.

Bis eines davon erscheint, lautet die zutreffende Beschreibung von WeVisOne-VL-2B so: Es ist ein 2B-Wahrnehmungsmodell mit einer cleveren Schnittstelle – Koordinaten als Tokens, Instanzen als Marker, Pixel als separater Decoder –, das gegenüber seinem eigenen Basismodell große Zugewinne bei Detektion, Zurückweisung und Matting meldet, überhaupt keine Zahlen zur allgemeinen Leistungsfähigkeit veröffentlicht und von niemandem über eine API aufgerufen werden kann. Wenn Sie eine Person aus einem Foto ausschneiden und dabei ihre Haare erhalten müssen, ist diese Kombination interessant genug zum Herunterladen. Wenn Sie einen Vision-Assistenten brauchen, der Fragen zu einem Bild beantwortet, ist dies nicht die Datei, die Sie suchen, und das Paper ist offen genug, das auch zu sagen.