Eine generierte Titelkarte mit der Dachzeile „Forschungsveröffentlichung – nicht angekündigt“ über der Schlagzeile VideoJev, mit dem Untertitel „Ein Videomodell, das mit einer Zahl antwortet, nicht mit einem Satz – es bewertet Kandidatenintervalle und Kandidatenoptionen direkt.“ Zwei Panels lauten „Ein Scorer, zwei Frageformen“ (temporale Verankerung liefert ein bewertetes Intervall in Sekunden; Video-QA liefert den Index der am höchsten bewerteten Option; zwei neue Readout-Tokens, <|option_end|> und <|decide|>) und „Was tatsächlich ausgeliefert wurde“ (VideoJev-4B auf Qwen3.5-4B und VideoJev-35B-A3B auf Qwen3.6-35B-A3B; Apache-2.0-Gewichte hochgeladen am 2026-10-10; arXiv-Preprint 2610.18615 eingereicht am 2026-10-13), wobei ein drittes Panel lautet „Kein Launch – kein Anbieterbeitrag, keine Preisseite, kein gehosteter Endpunkt“. Eine Fußzeile lautet „Alle Benchmark-Zahlen sind die eigene Evaluation der Autoren, nicht unabhängig reproduziert.“ Das OrcaRouter-Logo ist in die untere rechte Ecke eingefügt.
Guides & Insights

VideoJev: Ein Videomodell, das mit einer Zahl statt mit einem Satz antwortet

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

VideoJev ist eine Familie von Modellen zum Videoverständnis, die nie eine Antwort schreibt. Fragt man sie nach dem Zeitstempel eines Ereignisses, liefert sie ein Intervall, das aus bewerteten Kandidaten-Slots zusammengesetzt ist; stellt man ihr eine Multiple-Choice-Frage zu einem Video, liefert sie die Option mit der höchsten Punktzahl. Es gibt zwei veröffentlichte Checkpoints — VideoJev-4B auf Qwen3.5-4B und VideoJev-35B-A3B auf Qwen3.6-35B-A3B — und sie wurden nicht gelauncht. Niemand veröffentlichte eine Pressemitteilung. Ein Paper erschien am 13.10.2026 auf arXiv, Gewichte wurden am 10.10.2026 auf Hugging Face hochgeladen, und das Repository wurde vier Tage später noch aufgeräumt: Stand 14. Oktober erhielt es Commits wie „Inline-README-Video mit einem öffentlichen Anhang wiederherstellen“ und „arXiv-Paper-Link und offizielle BibTeX-Zitation hinzufügen“. So sieht ein leiser Start aus — die Artefakte sind real und überprüfbar, und es gibt keine Ankündigung, die einem sagt, was die Autoren für wichtig halten.

Alles Folgende stammt aus einer von drei Quellen: dem arXiv-Preprint (2610.18615, cs.CV, eingereicht am 13. Oktober 2026), den Modellkarten und dem Code, die die Autoren veröffentlicht haben, und den eigenen Fußnoten des Papers dazu, wie die Zahlen gemessen wurden. Ich habe versucht, diese drei klar getrennt zu halten, denn das Interessante an dieser Veröffentlichung ist nicht die Zahl in der Schlagzeile — es ist, wie dünn der Boden darunter ist.

A headless-browser capture of the arXiv abstract page for VideoJev, paper 2610.18615 in cs.CV, submitted 13 October 2026. The page shows the paper title, the author list, the abstract describing a System One model for video understanding and interaction with direct scoring instead of autoregressive decoding, and the comment line pointing at the project page and code release.

Was das Paper tatsächlich behauptet

VideoJev nimmt ein vortrainiertes multimodales LLM, entfernt das letzte MLP und den Ausgabekopf des Sprachmodells und setzt an ihre Stelle einen Kandidaten-Scorer. Zwei neue Tokens, <|option_end|> und <|decide|>, erzeugen Readouts. Der Entscheidungszustand und jeder Kandidatenzustand werden auf 512 Dimensionen projiziert, normalisiert und per Skalarprodukt miteinander verknüpft; zeitliche Intervalle werden mit einer Sigmoid-Funktion bewertet und zu einer Span zusammengesetzt, Antwortoptionen werden bewertet und mit einer Softmax normalisiert. Beide Aufgaben laufen durch denselben Kopf. Nichts wird autoregressiv dekodiert, weil es nichts zu dekodieren gibt.

Die drei zentralen Kennzahlen des Artikels – alle vom Anbieter angegeben und alle aus dem eigenen Evaluations-Harness der Autoren:

• Grounding-Qualität — VideoJev-4B erreicht über drei Temporal-Grounding-Benchmarks hinweg einen mittleren mIoU von 65,3 und liegt damit 6,7 Punkte über seinem Qwen3.5-4B-Backbone. VideoJev-35B-A3B erreicht 67,7 und liegt 10,8 Punkte über Qwen3.6-35B-A3B.

• QA-Gleichstand ohne Reasoning — in vier Video-QA-Benchmarks liegen die beiden Modelle im Mittel bei 74,3 bzw. 79,5 und damit 0,6 Punkte unter bzw. 0,7 Punkte über ihren Backbones im Thinking-Modus.

• Latenz — 2,8–3,1× schneller als diese Backbones beim Grounding und über 100× bei QA. Der gemessene Wert für QA beträgt 129× bei 4B und 100× bei 35B-A3B.

A generated scoreboard titled 'VideoJev - the scoreboard' with the eyebrow 'Authors' own harness - unaudited' and two columns headed VideoJev-4B on Qwen3.5-4B and VideoJev-35B-A3B on Qwen3.6-35B-A3B. The left column reads grounding mIoU 65.3, gain over backbone +6.7 mIoU, video QA mean 74.3, QA speedup vs Thinking 129x, grounding speedup 2.8-3.1x and weights Apache-2.0; the right column reads 67.7, +10.8 mIoU, 79.5, 100x, 2.8-3.1x and Apache-2.0. A footer reads that all figures are vendor-reported from the authors' own evaluation harness with no independent reproduction, and that mean calibration error is 8.65 points at 4B and 8.13 at 35B-A3B. The OrcaRouter logo is composited in the bottom-right corner.

Die ehrliche Einordnung der Geschwindigkeitsbehauptung ist, dass sie ein Vergleich mit einem Reasoning-Modell ist, das etwas weitaus Schwierigeres tut, als die Aufgabe erfordert. Qwen3.5-4B verbraucht im Thinking-Modus 144,9 Sekunden pro Frage auf LVBench, um 74,9 zu erreichen; VideoJev-4B benötigt 1,123 Sekunden, um 74,3 zu erreichen. Die 129× sind echte Arithmetik auf der Latenztabelle des Papers selbst, und es ist zugleich die Arithmetik, die man von jedem Modell bekäme, das aufs Denken verzichtet. Die interessante Frage ist nicht, ob die Beschleunigung real ist — sie ist, ob ein System gebaut werden kann, in dem dieser Trade-off richtig ist.

Das Argument darunter: Entscheidungen, nicht Generationen.

Was daran interessanter ist als eine Benchmark-Tabelle, ist die architektonische Behauptung. Die Autoren haben ein gewöhnliches autoregressives Qwen3.5-4B mit genau denselben Post-Training-Daten, in derselben einzelnen Stufe und mit denselben Einstellungen feinabgestimmt und es Intervalle erzeugen oder mit Buchstaben antworten lassen. Tabelle 3 in der Arbeit besagt, dass VideoJev-4B dieses Kontrollmodell um 1,3 Punkte bei der mittleren Grounding-mIoU und um 1,9 Punkte beim mittleren QA-Score übertrifft. Beide Modelle erhielten identische Supervision; nur die Form des Readouts unterschied sich.

Wenn das zutrifft, liegt der Gewinn weder in den Daten noch in der Skalierung — sondern darin, dass es für eine strukturierte Entscheidung besser passt, ein Modell eine Wahrscheinlichkeitsverteilung über strukturierte Kandidaten ausgeben zu lassen, als es einen String erzeugen zu lassen und den String dann wieder in eine Entscheidung zu parsen. Das ist dieselbe Wette, die TypeSafe mit Jev 1.13 und seiner System One-Familie eingegangen ist, verallgemeinert von Textzuständen auf Video. Das Paper sagt ausdrücklich, dass es auf dieser Arbeit aufbaut und nicht die Kategorie erfindet.

Zwei Implementierungsdetails sind mehr wert als die Schlagzeilen-Zahlen, denn sie sind es, die es nutzbar statt bloß schnell machen. Gecachte Inferenz kodiert und befüllt das Video einmal und lässt eintreffende Anfragen von diesem gecachten Präfix abzweigen – ein Vorwärtsdurchlauf pro Anfrage. Joint-Inferenz stellt mehrere Anfragen hinter ein einziges Videopräfix und liest für jede ein separates <|decide|> aus, sodass eine Gruppe von Fragen insgesamt einen einzigen Vorwärtsdurchlauf kostet. Bei zehn Grounding-Anfragen auf ein Video misst die Arbeit 0,39 s für VideoJev gegenüber 5,98 s für eine Instruct-Baseline; auf der QA-Seite kommen zehn Anfragen auf 1,67 s. Die Arbeit prüft außerdem den offensichtlichen Fehlermodus der Joint-Inferenz – dass eine frühere Frage ihre Antwort in eine spätere durchsickern lässt – und berichtet, dass sie verifiziert hat, dass weder Referenz- noch vorhergesagte Antworten in das gemeinsame Präfix eingefügt werden. Es ist erwähnenswert, dass dies die eigene Verifizierung der Autoren ist und dass die Joint-Inferenz besser als der isolierte gecachte Modus abschneidet (65,3 vs. 64,5 mIoU bei 4B), was sie auf das Training mit demselben Joint-Layout zurückführen.

Was die Karte Ihnen nicht verrät

Vier Dinge sind auffällig abwesend, und sie sind wichtiger als alles oben, wenn Sie entscheiden, ob dies produktionsreif ist.

• Die Trainingsdaten werden nicht offengelegt. Das Repository dokumentiert das Format und stellt die Werkzeuge bereit, um eigene JSONL-Dateien zu erstellen, aber der Korpus, seine Größe und seine Herkunft werden nicht angegeben. Eine Bewertung von Kontamination gegenüber den sieben Benchmarks, über die berichtet wird, ist nicht möglich.

• Die 35B-Gewichte starten bei FP32. Die Projektseite nennt FP32 für Cached inference und BF16 für Joint — die Hauptkonfiguration des größeren Modells ist also die mit dem höheren Speicherbedarf, und die Seite gibt für keine der beiden eine VRAM-Angabe an.

• Konfidenz ist zu selbstsicher. Das Paper berichtet einen mittleren Kalibrierungsfehler von 8,65 Punkten für 4B und 8,13 für 35B-A3B. Der Score ist ein brauchbares Ranking-Signal, aber keine Wahrscheinlichkeit, auf die Sie sich ohne einen selbst abgestimmten Schwellenwert verlassen sollten.

• Niemand hat die Zahlen unabhängig nachgerechnet. Jede Zahl hier stammt von der Gruppe, die die Modelle trainiert hat. Zum Zeitpunkt dieses Textes gibt es keine Replikation durch Dritte, keinen Leaderboard-Eintrag und keine Framework-Unterstützung – der Inferenzpfad ist trust_remote_code=True gegen eine benutzerdefinierte Architektur, was mindestens PyTorch 2.8/CUDA 12.8 und FlashAttention 2 erfordert.

A headless-browser capture of the MCG-NJU/VideoJev repository page, showing the VideoJev README heading and project description, links to the arXiv paper and the Hugging Face checkpoints, the two released models VideoJev-4B and VideoJev-35B-A3B, and the recent commit list dated 14 October 2026.

Dieser letzte Punkt gilt auch für das kleinere Modell und spricht gegen die naheliegende Annahme. VideoJev-4B ist das Modell, von dem man erwarten würde, dass es auf bescheidener Hardware läuft, und der Quickstart der Modellkarte selbst setzt eine H200 bei 2 fps mit bis zu 2.048 Frames voraus. Es gibt eine günstigere Demo – einen zehnsekündigen Clip, zehn Kandidatenintervalle, ausgegebene Wahrscheinlichkeiten –, doch die Langvideo-Ergebnisse des Papers verwenden einen festen 262.144-Token-Kontext, wobei die Frames auf 640×640 begrenzt sind. Das 4B-Modell ist klein in Bezug auf die Parameter, aber nicht unbedingt in Bezug auf die Serving-Kosten.

Es ausprobieren, ohne darauf zu setzen

Da die Checkpoints das sind, was tatsächlich existiert, ist der risikoarme Einstieg, VideoJev lokal gegen deine eigenen Aufnahmen laufen zu lassen, bevor du irgendetwas darauf aufbaust – der Demo-Pfad ist ein Download und ein Dutzend Zeilen, und die Fehlerfälle, die das Paper selbst dokumentiert (das Zählen kleiner Objekte auf Video-MME, wo beide Größen eine Antwort mit vier Büchern verfehlen), sind genau die, auf die du bei deinen Daten statt bei Charades stoßen willst. VideoJev-4B und VideoJev-35B-A3B stehen unter Apache-2.0, also hindert dich nichts daran.

Wo OrcaRouter hineinpasst, ist die andere Hälfte des Workflows. Eine Video-Entscheidungsoberfläche ist für sich genommen selten; üblich ist eine Pipeline, die zusätzlich ein generatives Modell braucht, um die Zusammenfassung zu schreiben, einen günstigen Klassifikator, der den teuren Aufruf vorfiltert, und etwas, das zwischen ihnen routet. OrcaRouter bringt über 200 Modelle hinter einer einzigen API ohne Aufschlag – der Listenpreis des Anbieters wird durchgereicht, sodass eine Preissenkung eines Anbieters hier am selben Tag live ist – mit automatischem Failover über Anbieter hinweg, einer Routing-DSL, um mehrere Modelle zu einem einzigen Aufruf zusammenzusetzen, und Modellfusion für Panels. Keiner der VideoJev-Checkpoints wird hier gehostet, und dieser Artikel wird nicht so tun, als wäre es anders; die zwei Stellen, an denen er seinen Platz verdient, sind als zweites Bein einer Pipeline, deren erstes Bein ein lokales Modell ist, und als der Grund, warum ein Forschungsmodell wie dieses ausprobiert werden kann, ohne einen zweiten Anbietervertrag für alles drumherum.

Was würde daraus eine größere Geschichte machen?

Die Freigabe für diesen Beitrag ist ungewöhnlich unkompliziert, daher lohnt es sich, es klar zu sagen: VideoJev ist ein Forschungs-Release, kein Produktlaunch. Es gibt kein Changelog, keine Preisseite, keinen gehosteten Endpunkt, keine Warteliste und keinen Anbieter-Blogbeitrag. Was existiert, ist ein Preprint, der am 13. Oktober 2026 eingereicht wurde, zwei Apache-2.0-Checkpoints, die am 10. Oktober hochgeladen wurden, und ein Repository, das am 14. Oktober noch bearbeitet wurde – am Tag vor diesem Artikel. Das Fehlen einer Ankündigung ist kein Beweis für ein Problem, aber es bedeutet, dass die Formulierung „was die Artefakte sagen“ lauten muss, nicht „was der Anbieter behauptet“.

Drei Entwicklungen würden die Gestalt davon verändern. Eine Evaluierung durch Dritte, die die +6,7- und +10,8-mIoU-Zugewinne gegenüber denselben Backbones unter demselben Protokoll reproduziert. Eine vLLM- oder SGLang-Implementierung, die es von einer trust_remote_code-Kuriosität zu etwas machen würde, das sich mit Durchsatz servieren lässt. Oder ein gehosteter Endpunkt von jemandem, der die 100×-Behauptung zu einer Zahl machen würde, die man an seinem eigenen Video messen kann, statt sie aus einer Tabelle auf Seite sechs zu übernehmen. Bis eine davon eintritt, ist die nützliche Position diejenige, die das Paper selbst einnimmt: Die Direct-Scoring-Schnittstelle ist eine wirklich andere Art, einen Video-Agenten zu bauen, und die Belege dafür sind derzeit das neunseitige Preprint einer einzigen Gruppe.

Halte das Demo-Notebook geöffnet, führe es mit dem unvorteilhaftesten Material aus, das du hast, und behandle die Konfidenzwerte so lange als Rangliste, bis du sie selbst kalibriert hast.

Eine Veröffentlichung ist zugleich der Moment, zu prüfen, was zuvor schiefgelaufen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive , wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seine Vertrauensstufe und seine Kennzeichnung als umstritten trägt.