Kartu judul yang dihasilkan dengan teks pengantar 'Rilis riset - belum diumumkan' di atas judul utama VideoJev, dengan subjudul 'Model video yang menjawab dengan angka, bukan kalimat - ia menilai interval kandidat dan opsi kandidat secara langsung.' Dua panel berbunyi 'Satu penilai, dua bentuk pertanyaan' (temporal grounding mengembalikan interval berskor dalam detik; video QA mengembalikan indeks opsi dengan skor tertinggi; dua token pembacaan baru, <|option_end|> dan <|decide|>) dan 'Apa yang benar-benar dirilis' (VideoJev-4B pada Qwen3.5-4B dan VideoJev-35B-A3B pada Qwen3.6-35B-A3B; bobot Apache-2.0 diunggah 2026-10-10; pracetak arXiv 2610.18615 dikirim 2026-10-13), dengan panel ketiga berbunyi 'Tanpa peluncuran - tanpa postingan vendor, tanpa halaman harga, tanpa endpoint hosted'. Footer berbunyi 'Semua angka benchmark adalah evaluasi penulis sendiri, tidak direproduksi secara independen.' Logo OrcaRouter dikompositkan di sudut kanan bawah.
Guides & Insights

VideoJev: Model Video yang Menjawab dengan Angka, Bukan dengan Kalimat

Penulis

Rowan Sterling

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

VideoJev adalah keluarga model pemahaman video yang tidak pernah menulis jawaban. Minta stempel waktu suatu peristiwa darinya dan ia mengembalikan interval yang dirakit dari slot kandidat yang diberi skor; ajukan pertanyaan pilihan ganda tentang sebuah video dan ia mengembalikan opsi dengan skor tertinggi. Ada dua checkpoint yang dirilis — VideoJev-4B pada Qwen3.5-4B dan VideoJev-35B-A3B pada Qwen3.6-35B-A3B — dan keduanya tidak diluncurkan. Tidak ada yang mengeluarkan siaran pers. Sebuah makalah muncul di arXiv pada 2026-10-13, bobot diunggah ke Hugging Face pada 2026-10-10, dan repositori itu masih dirapikan empat hari setelahnya: per 14 Oktober, repositori tersebut menerima commit seperti "Restore inline README video with a public attachment" dan "Add arXiv paper link and official BibTeX citation." Seperti itulah bentuk peluncuran senyap — artefaknya nyata dan dapat diperiksa, dan tidak ada pengumuman yang memberi tahu Anda apa yang menurut para penulis penting.

Semua yang ada di bawah ini berasal dari salah satu dari tiga tempat: pracetak arXiv (2610.18615, cs.CV, dikirimkan 13 Oktober 2026), kartu model dan kode yang diterbitkan para penulis, serta catatan kaki makalah itu sendiri tentang bagaimana angka-angka tersebut diukur. Saya telah berusaha menjaga ketiganya tetap terpisah dengan jelas, karena hal yang menarik dari rilis ini bukanlah angka utamanya — melainkan betapa tipis landasan di baliknya.

A headless-browser capture of the arXiv abstract page for VideoJev, paper 2610.18615 in cs.CV, submitted 13 October 2026. The page shows the paper title, the author list, the abstract describing a System One model for video understanding and interaction with direct scoring instead of autoregressive decoding, and the comment line pointing at the project page and code release.

Apa yang sebenarnya diklaim oleh makalah tersebut

VideoJev mengambil LLM multimodal praterlatih, menghapus MLP terakhir dan head keluaran model bahasa, lalu menempatkan pencetak skor kandidat di posisinya. Dua token baru, <|option_end|> dan <|decide|>, menghasilkan pembacaan. Status keputusan dan setiap status kandidat diproyeksikan ke 512 dimensi, dinormalisasi, dan dikalikan titik satu sama lain; interval temporal diberi skor dengan sigmoid dan dirakit menjadi span, opsi jawaban diberi skor dan dinormalisasi dengan softmax. Kedua tugas dijalankan melalui head yang sama. Tidak ada yang didekodekan secara autoregresif, karena tidak ada yang perlu didekodekan.

Tiga angka utama dalam makalah ini, semuanya dilaporkan oleh vendor dan semuanya berasal dari perangkat evaluasi milik penulis sendiri:

• Kualitas grounding — VideoJev-4B mencapai mIoU rata-rata 65,3 di tiga benchmark temporal-grounding, 6,7 poin di atas backbone Qwen3.5-4B-nya. VideoJev-35B-A3B mencapai 67,7, 10,8 poin di atas Qwen3.6-35B-A3B.

• Kesetaraan QA tanpa penalaran — pada empat tolok ukur video-QA, kedua model berada pada rata-rata 74,3 dan 79,5, masing-masing 0,6 poin di bawah dan 0,7 poin di atas backbone-nya dalam mode Thinking.

• Latensi — 2,8–3,1× lebih cepat daripada backbone tersebut pada grounding, dan lebih dari 100× pada QA. Angka terukur untuk QA adalah 129× pada 4B dan 100× pada 35B-A3B.

A generated scoreboard titled 'VideoJev - the scoreboard' with the eyebrow 'Authors' own harness - unaudited' and two columns headed VideoJev-4B on Qwen3.5-4B and VideoJev-35B-A3B on Qwen3.6-35B-A3B. The left column reads grounding mIoU 65.3, gain over backbone +6.7 mIoU, video QA mean 74.3, QA speedup vs Thinking 129x, grounding speedup 2.8-3.1x and weights Apache-2.0; the right column reads 67.7, +10.8 mIoU, 79.5, 100x, 2.8-3.1x and Apache-2.0. A footer reads that all figures are vendor-reported from the authors' own evaluation harness with no independent reproduction, and that mean calibration error is 8.65 points at 4B and 8.13 at 35B-A3B. The OrcaRouter logo is composited in the bottom-right corner.

Pembingkaian yang jujur atas klaim kecepatan adalah bahwa itu merupakan perbandingan terhadap model penalaran yang melakukan sesuatu yang jauh lebih sulit daripada yang dibutuhkan tugas. Qwen3.5-4B dalam mode Thinking menghabiskan 144,9 detik per pertanyaan di LVBench untuk mencetak skor 74,9; VideoJev-4B menghabiskan 1,123 detik untuk mencetak skor 74,3. Angka 129× adalah aritmetika nyata berdasarkan tabel latensi milik makalah itu sendiri, dan itu juga aritmetika yang akan Anda dapatkan dari model mana pun yang menolak untuk berpikir. Pertanyaan yang menarik bukanlah apakah percepatan itu nyata — melainkan apakah sebuah sistem dapat dibangun yang membuat pertukaran itu tepat.

Argumen di baliknya: keputusan, bukan generasi

Yang membuat ini lebih menarik daripada tabel benchmark adalah klaim arsitekturnya. Para penulis melakukan fine-tuning pada Qwen3.5-4B autoregresif biasa pada persis data pasca-pelatihan yang sama, dalam satu tahap yang sama, dengan pengaturan yang sama, dan memintanya menghasilkan interval atau menjawab huruf. Tabel 3 dalam makalah menyatakan VideoJev-4B mengalahkan kontrol tersebut dengan selisih 1,3 poin mIoU grounding rata-rata dan 1,9 poin skor QA rata-rata. Kedua model menerima supervisi yang identik; hanya bentuk readout-nya yang berbeda.

Jika itu berlaku, perolehannya bukanlah data dan bukan skala — melainkan bahwa meminta model mengeluarkan distribusi probabilitas atas kandidat terstruktur lebih cocok untuk keputusan terstruktur daripada meminta model menghasilkan string lalu mengurai string itu kembali menjadi keputusan. Itu adalah taruhan yang sama yang dibuat TypeSafe dengan Jev 1.13 dan keluarga System One-nya, yang digeneralisasi dari keadaan teks ke video. Makalah ini secara eksplisit menyatakan bahwa ia membangun di atas lini pekerjaan itu alih-alih menciptakan kategori tersebut.

Dua detail implementasi lebih bernilai daripada angka-angka utamanya, karena itulah yang membuatnya dapat digunakan, bukan sekadar cepat. Inferensi cache mengodekan dan melakukan prefill pada video satu kali lalu membiarkan kueri yang datang bercabang dari prefiks yang di-cache tersebut — satu forward pass per kueri. Inferensi gabungan menempatkan beberapa kueri di balik satu prefiks video dan membaca keluaran <|decide|> terpisah untuk masing-masingnya, sehingga sekelompok pertanyaan hanya membutuhkan satu forward pass secara total. Pada sepuluh kueri grounding terhadap satu video, makalah ini mengukur 0,39 s untuk VideoJev versus 5,98 s untuk baseline Instruct; di sisi QA, sepuluh kueri memakan waktu 1,67 s. Makalah ini juga memeriksa mode kegagalan yang sudah jelas dari inferensi gabungan — yaitu bahwa pertanyaan yang lebih awal membocorkan jawabannya ke pertanyaan berikutnya — dan melaporkan bahwa pihaknya memverifikasi tidak ada jawaban referensi atau prediksi yang disisipkan ke dalam prefiks bersama. Perlu dicatat bahwa ini adalah verifikasi penulis sendiri, dan bahwa inferensi gabungan mencetak skor lebih baikdaripada mode cache yang terisolasi (65,3 vs 64,5 mIoU pada 4B), yang mereka atribusikan pada pelatihan dengan tata letak gabungan yang sama.

Apa yang tidak diberitahukan kartu kepada Anda

Empat hal jelas tidak ada, dan itu lebih penting daripada apa pun di atas jika Anda sedang menilai apakah ini siap produksi.

• Data pelatihan tidak diungkapkan. Repo ini mendokumentasikan format dan memberi Anda perkakas untuk membangun JSONL Anda sendiri, tetapi korpus, ukurannya, dan asal-usulnya tidak disebutkan. Anda tidak dapat menilai kontaminasi terhadap tujuh tolok ukur yang dilaporkannya.

• Bobot 35B dimulai pada FP32. Halaman proyek mencantumkan FP32 untuk inferensi Cached dan BF16 untuk Joint — jadi konfigurasi unggulan model yang lebih besar adalah konfigurasi dengan jejak memori yang lebih berat, dan halaman tersebut tidak memberikan angka VRAM untuk keduanya.

• Keyakinan itu terlalu percaya diri. Makalah ini melaporkan kesalahan kalibrasi rata-rata sebesar 8,65 poin untuk 4B dan 8,13 untuk 35B-A3B. Skor tersebut merupakan sinyal pemeringkatan yang dapat digunakan, bukan probabilitas yang sebaiknya Anda jadikan dasar untuk bercabang tanpa ambang batas yang telah Anda sesuaikan sendiri.

• Tidak ada yang menjalankan angka-angka ini secara independen.Setiap angka di sini berasal dari kelompok yang melatih model-model tersebut. Hingga tulisan ini dibuat, belum ada replikasi pihak ketiga, belum ada entri papan peringkat, dan belum ada dukungan kerangka kerja yang tersedia — jalur inferensinya adalah trust_remote_code=True terhadap arsitektur kustom, yang setidaknya memerlukan PyTorch 2.8/CUDA 12.8 dan FlashAttention 2.

A headless-browser capture of the MCG-NJU/VideoJev repository page, showing the VideoJev README heading and project description, links to the arXiv paper and the Hugging Face checkpoints, the two released models VideoJev-4B and VideoJev-35B-A3B, and the recent commit list dated 14 October 2026.

Poin terakhir itu juga berlaku untuk model yang lebih kecil, dan hal itu bertentangan dengan asumsi yang jelas. VideoJev-4B adalah model yang Anda perkirakan dapat dijalankan pada perangkat keras sederhana, dan panduan cepat milik kartu itu sendiri mengasumsikan H200 pada 2 fps dengan hingga 2.048 frame. Ada demo yang lebih murah — klip sepuluh detik, sepuluh interval kandidat, probabilitas yang dicetak — tetapi hasil video panjang dalam makalah menggunakan konteks tetap 262.144 token dengan frame dibatasi pada 640×640. 4B kecil dalam hal parameter, belum tentu kecil dalam biaya penyajiannya.

Mencobanya tanpa bertaruh padanya

Karena checkpoint-lah yang benar-benar ada, cara masuk berisiko rendah adalah menjalankan VideoJev secara lokal pada rekaman Anda sendiri sebelum Anda membangun apa pun di atasnya — jalur demonya hanya berupa satu unduhan dan selusin baris kode, dan kasus-kasus kegagalan yang didokumentasikan sendiri oleh makalah tersebut (penghitungan objek kecil pada Video-MME, di mana kedua ukuran melewatkan jawaban empat buku) justru merupakan kasus yang ingin Anda temui pada data Anda sendiri, bukan pada Charades. VideoJev-4B dan VideoJev-35B-A3B berlisensi Apache-2.0, jadi tidak ada yang menghalangi Anda.

Di mana OrcaRouter cocok adalah separuh lain dari alur kerja. Antarmuka pengambilan keputusan video jarang berdiri sendiri; yang umum adalah pipeline yang juga membutuhkan model generatif untuk menulis ringkasan, pengklasifikasi murah untuk menyaring panggilan mahal, dan sesuatu untuk merutekan di antara keduanya. OrcaRouter menempatkan 200+ model di balik satu API dengan markup 0% — harga daftar penyedia diteruskan apa adanya, sehingga potongan harga vendor langsung berlaku di sini pada hari yang sama — dengan failover otomatis antar penyedia, DSL routing untuk menyusun beberapa model menjadi satu panggilan, dan fusi model untuk panel. Tidak ada checkpoint VideoJev yang dihosting di sini, dan artikel ini tidak akan berpura-pura sebaliknya; dua tempat ia memperoleh tempatnya adalah sebagai kaki kedua dari pipeline yang kaki pertamanya adalah model lokal, dan sebagai alasan model riset seperti ini dapat dicoba tanpa kontrak vendor kedua untuk segala hal di sekitarnya.

Apa yang akan membuat ini menjadi berita yang lebih besar

Penyaringan pada artikel ini luar biasa bersih, jadi ada baiknya dinyatakan secara gamblang: VideoJev adalah rilis penelitian, bukan peluncuran produk. Tidak ada changelog, tidak ada halaman harga, tidak ada endpoint yang dihosting, tidak ada daftar tunggu, dan tidak ada tulisan blog vendor. Yang ada adalah pracetak yang dikirimkan pada 13 Oktober 2026, dua checkpoint Apache-2.0 yang diunggah pada 10 Oktober, dan repositori yang masih disunting pada 14 Oktober — sehari sebelum artikel ini. Tidak adanya pengumuman bukanlah bukti adanya masalah, tetapi itu berarti cara membingkainya haruslah "apa yang dikatakan artefak," bukan "apa yang diklaim vendor."

Tiga perkembangan akan mengubah lanskap ini. Evaluasi pihak ketiga yang mereproduksi peningkatan mIoU +6.7 dan +10.8 terhadap backbone yang sama di bawah protokol yang sama. Implementasi vLLM atau SGLang, yang akan memindahkannya dari keingintahuan trust_remote_code menjadi sesuatu yang dapat dilayani dengan throughput. Atau endpoint yang dihosting oleh seseorang, yang akan membuat klaim 100× menjadi angka yang dapat Anda ukur pada video Anda sendiri, bukan angka yang Anda ambil dari tabel di halaman enam. Sampai salah satu dari itu terwujud, posisi yang berguna adalah posisi yang diambil makalah itu sendiri: antarmuka penilaian langsung adalah cara yang benar-benar berbeda untuk membangun agen video, dan buktinya saat ini adalah preprint sembilan halaman dari satu kelompok.

Biarkan notebook demo tetap terbuka, jalankan pada rekaman yang paling tidak menguntungkan yang Anda miliki, dan perlakukan skor keyakinan sebagai peringkat sampai Anda sendiri mengkalibrasinya.

Rilis juga merupakan momen untuk memeriksa apa yang pernah salah sebelumnya: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan tanda perselisihan.