VideoJev: 문장 대신 숫자로 답하는 비디오 모델

VideoJev는 결코 답을 작성하지 않는 비디오 이해 모델군입니다. 이벤트의 타임스탬프를 요청하면 점수가 매겨진 후보 슬롯들로 구성된 구간을 반환하고, 비디오에 대한 객관식 질문을 하면 가장 높은 점수의 선택지를 반환합니다. 공개된 체크포인트는 두 개입니다 — VideoJev-4B는 Qwen3.5-4B 기반이고, VideoJev-35B-A3B는 Qwen3.6-35B-A3B 기반입니다 — 그리고 이들은 출시되지 않았습니다. 아무도 보도자료를 내지 않았습니다. 논문은 2026-10-13에 arXiv에 등장했고, 가중치는 2026-10-10에 Hugging Face에 올라갔으며, 저장소는 나흘 뒤에도 여전히 정리되고 있었습니다: 10월 14일 기준으로 "Restore inline README video with a public attachment"와 "Add arXiv paper link and official BibTeX citation" 같은 커밋이 올라오고 있었습니다. 그것이 조용한 출시의 모습입니다 — 산출물은 실제로 존재하고 검사할 수 있지만, 저자들이 무엇을 중요하게 여기는지 알려 주는 발표는 없습니다.

아래의 모든 내용은 세 곳 중 한 곳에서 나온 것입니다: arXiv 프리프린트(2610.18615, cs.CV, 2026년 10월 13일 제출), 저자들이 공개한 모델 카드와 코드, 그리고 수치가 어떻게 측정되었는지에 관한 논문 자체의 각주입니다. 저는 이 세 가지를 명확히 분리해 두려고 했습니다. 왜냐하면 이번 공개에서 흥미로운 점은 헤드라인 숫자가 아니라, 그 아래를 받치는 토대가 얼마나 얇은가이기 때문입니다.

논문이 실제로 주장하는 바

VideoJev는 사전 학습된 멀티모달 LLM을 가져와, 최종 MLP와 언어 모델 출력 헤드를 삭제하고, 그 자리에 후보 스코어러를 놓는다. 두 개의 새로운 토큰 <|option_end|>와 <|decide|>가 리드아웃을 생성한다. 결정 상태와 각 후보 상태는 512차원으로 투영되고, 정규화되며, 서로 내적된다. 시간 구간은 시그모이드로 점수화되어 스팬으로 조립되고, 답변 옵션은 소프트맥스로 점수화되고 정규화된다. 두 작업 모두 동일한 헤드를 통해 실행된다. 자기회귀적으로 디코딩되는 것은 없다. 디코딩할 것이 없기 때문이다.

논문의 세 가지 핵심 수치, 모두 공급업체가 보고한 것이며 모두 저자들 자체 평가 하네스에서 나온 것입니다:

• 그라운딩 품질 — VideoJev-4B는 세 가지 시간적 그라운딩 벤치마크에서 평균 mIoU 65.3을 기록해, Qwen3.5-4B 백본보다 6.7포인트 높습니다. VideoJev-35B-A3B는 67.7을 기록해 Qwen3.6-35B-A3B보다 10.8포인트 높습니다.

• 추론 없는 QA 동등성 — 네 가지 비디오-QA 벤치마크에서 두 모델은 평균 74.3과 79.5를 기록하며, 각각 Thinking 모드의 백본보다 0.6점 낮고 0.7점 높은 수준이다.

• 지연 시간 — 그라운딩에서는 해당 백본보다 2.8–3.1배 빠르고, QA에서는 100배 이상 빠릅니다. QA의 측정 수치는 4B에서 129배, 35B-A3B에서 100배입니다.

속도 주장을 정직하게 프레이밍하자면, 그것은 과제가 요구하는 것보다 훨씬 더 어려운 일을 하는 추론 모델과의 비교라는 점이다. Qwen3.5-4B는 Thinking 모드에서 LVBench에서 질문당 144.9초를 소모해 74.9점을 기록하고, VideoJev-4B는 1.123초를 써서 74.3점을 기록한다. 129×는 논문 자체의 지연 시간 표에 근거한 실제 산술이며, 동시에 생각하기를 거부하는 어떤 모델에서든 나올 수 있는 산술이기도 하다. 흥미로운 질문은 속도 향상이 실제인지가 아니라, 그러한 트레이드오프가 옳은 시스템을 만들 수 있는지다.

그 밑에 깔린 논지: 결정이지 생성이 아니다

이것이 벤치마크 표보다 더 흥미로워지는 지점은 아키텍처적 주장이다. 저자들은 평범한 자기회귀 Qwen3.5-4B를 정확히 동일한 포스트트레이닝 데이터로, 동일한 단일 단계에서, 동일한 설정으로 미세 조정했고, 그것이 구간을 생성하거나 문자로 답하도록 했다. 논문의 표 3에 따르면 VideoJev-4B는 그 대조군을 평균 그라운딩 mIoU 1.3점, 평균 QA 점수 1.9점 차이로 앞선다. 두 모델은 동일한 지도 신호를 받았고, 오직 리드아웃 형태만 달랐다.

그것이 성립한다면, 이득은 데이터도 아니고 규모도 아니다 — 모델에게 구조화된 후보들에 대한 확률 분포를 출력하도록 요구하는 것이, 문자열을 생성하게 한 뒤 그 문자열을 다시 결정으로 파싱하는 것보다 구조화된 결정에 더 잘 맞는다는 점이다. 이는 TypeSafe가 Jev 1.13과 그 System One 제품군을 통해 걸었던 것과 같은 베팅이며, 텍스트 상태에서 비디오로 일반화한 것이다. 논문은 그것이 그 범주를 새로 발명한 것이 아니라 그 계열의 작업을 잇는 것임을 명시하고 있다.

두 가지 구현 세부 사항은 헤드라인 숫자보다 더 가치가 있습니다. 왜냐하면 그것들이 단지 빠르기만 한 것이 아니라 사용 가능하게 만드는 요소이기 때문입니다. 캐시된 추론 비디오를 한 번 인코딩하고 프리필한 다음, 도착하는 쿼리가 그 캐시된 프리픽스에서 분기하도록 합니다. 즉, 쿼리당 한 번의 순방향 패스입니다. 공동 추론 여러 쿼리를 단일 비디오 프리픽스 뒤에 배치하고 각각에 대해 별도의 <|decide|>를 읽어냅니다. 따라서 질문 그룹 전체에 한 번의 순방향 패스만 필요합니다. 한 비디오에 대한 10개의 그라운딩 쿼리에서 논문은 VideoJev의 경우 0.39초, Instruct 기준선의 경우 5.98초를 측정했습니다. QA 측면에서는 10개의 쿼리가 1.67초에 처리됩니다. 논문은 또한 공동 추론의 명백한 실패 모드, 즉 이전 질문의 답이 이후 질문으로 유출되는 경우를 확인하고, 공유 프리픽스에 참조 답변이나 예측 답변이 삽입되지 않았음을 검증했다고 보고합니다. 이는 저자들 자신의 검증이라는 점과, 공동 추론이 점수를 더 나은 고립된 캐시 모드보다 (4B에서 65.3 vs 64.5 mIoU) 받으며, 이는 동일한 공동 레이아웃으로 훈련한 덕분이라고 저자들은 설명합니다.

카드가 당신에게 말해주지 않는 것

네 가지가 눈에 띄게 빠져 있는데, 프로덕션에 바로 투입할 수 있는지 판단하는 상황이라면 이것이 위의 그 무엇보다 중요합니다.

• 학습 데이터는 공개되지 않았습니다. 저장소는 형식을 문서화하고 자체 JSONL을 구축할 수 있는 도구를 제공하지만, 코퍼스와 그 크기, 출처는 명시되어 있지 않습니다. 보고 대상인 일곱 개 벤치마크에 대한 오염 여부를 평가할 수 없습니다.

• 35B 가중치는 FP32에서 시작합니다. 프로젝트 페이지에는 Cached 추론에는 FP32, Joint에는 BF16이 명시되어 있습니다. 즉, 더 큰 모델의 대표 구성이 메모리 사용량이 더 많은 쪽이며, 페이지에는 두 경우 모두에 대한 VRAM 수치가 제시되어 있지 않습니다.

• 신뢰도는 과신 상태다. 논문은 4B의 평균 캘리브레이션 오차를 8.65포인트, 35B-A3B를 8.13으로 보고한다. 이 점수는 쓸 만한 순위 신호일 뿐, 직접 튜닝한 임계값 없이 분기 기준으로 삼아야 할 확률이 아니다.

• 아무도 이 수치를 독립적으로 검증하지 않았다. 여기의 모든 수치는 모델을 학습시킨 그룹에서 나온 것이다. 이 글을 쓰는 시점 기준으로 제3자 재현도, 리더보드 등재도, 프레임워크 지원도 이루어지지 않았다 — 추론 경로는 커스텀 아키텍처에 대해 trust_remote_code=True를 사용하는 방식이며, 최소한 PyTorch 2.8/CUDA 12.8과 FlashAttention 2가 필요하다.

그 마지막 요점은 더 작은 모델에도 적용되며, 이는 뻔한 가정에 어긋난다. VideoJev-4B는 적당한 사양의 하드웨어에서 실행될 것이라고 기대하게 되는 모델인데, 해당 카드의 퀵스타트 자체도 H200에서 2fps로 최대 2,048프레임을 가정한다. 더 저렴한 데모가 있긴 하다 — 10초 클립, 10개의 후보 구간, 확률 출력 — 하지만 논문의 장영상 결과는 프레임을 640×640으로 제한한 고정 262,144토큰 컨텍스트를 사용한다. 4B는 매개변수는 작지만, 서빙 비용까지 반드시 작은 것은 아니다.

그것에 베팅하지 않고 시도해 보기

체크포인트가 실제로 존재하는 것이므로, 위험을 낮게 시작하는 방법은 무엇이든 그 위에 구축하기 전에 여러분 자신의 영상으로 VideoJev를 로컬에서 실행해 보는 것입니다. 데모 경로는 다운로드 하나와 십여 줄의 코드이며, 논문 자체가 문서화한 실패 사례들(Video-MME에서의 소형 객체 개수 세기, 여기서 두 크기 모두 네 권의 책이라는 답을 놓치는 경우)은 바로 Charades가 아니라 여러분의 데이터에서 마주하고 싶은 것들입니다. VideoJev-4B와 VideoJev-35B-A3B는 Apache-2.0이므로, 막을 것은 없습니다.

OrcaRouter가 들어맞는 지점은 워크플로의 나머지 절반입니다. 비디오 의사결정 인터페이스는 그 자체로는 드뭅니다. 흔한 것은 요약을 작성할 생성 모델, 값비싼 호출을 제어할 저렴한 분류기, 그리고 이들 사이를 라우팅할 무언가도 필요한 파이프라인입니다. OrcaRouter는 200개 이상의 모델을 0% 마크업으로 하나의 API 뒤에 배치합니다 — 공급자 정가가 그대로 전달되므로 벤더 가격 인하가 같은 날 여기에 반영됩니다 — 공급자 전반에 걸친 자동 장애 조치, 여러 모델을 하나의 호출로 구성하기 위한 라우팅 DSL, 패널을 위한 모델 퓨전을 갖추고 있습니다. VideoJev 체크포인트 중 어느 것도 여기에서 호스팅되지 않습니다, 그리고 이 글은 그런 척하지 않을 것입니다. 이것이 제자리를 얻는 두 지점은 첫 단계가 로컬 모델인 파이프라인의 두 번째 단계라는 점과, 이와 같은 연구 모델을 그 주변의 모든 것에 대한 두 번째 벤더 계약 없이 시험해 볼 수 있게 하는 이유라는 점입니다.

무엇이 이것을 더 큰 이야기로 만들 수 있을까?

이 글에 적용된 검증 관문은 이례적으로 깨끗하니, 분명히 짚고 넘어갈 만하다: VideoJev는 제품 출시가 아니라 연구 결과물 공개다. 변경 로그도, 가격 페이지도, 호스팅된 엔드포인트도, 대기자 명단도, 벤더 블로그 게시물도 없다. 존재하는 것은 2026년 10월 13일에 제출된 프리프린트, 10월 10일에 업로드된 두 개의 Apache-2.0 체크포인트, 그리고 10월 14일 — 이 글을 쓰기 하루 전날 — 까지도 계속 편집되고 있던 저장소뿐이다. 발표가 없다는 사실이 문제의 증거는 아니지만, 그렇다고 해서 논조가 "벤더가 주장하는 것"이 아니라 "산출물이 말하는 것"이어야 한다는 점은 분명하다.

세 가지 개발이 이 판도의 양상을 바꿔 놓을 것이다. 동일한 프로토콜 아래 동일한 백본을 상대로 +6.7 및 +10.8 mIoU 향상을 재현하는 제3자 평가. vLLM 또는 SGLang 구현—그러면 이것은 trust_remote_code 호기심거리에서 처리량을 내며 서빙할 수 있는 무언가로 옮겨갈 것이다. 또는 누군가의 호스팅 엔드포인트—그러면 100× 주장은 6페이지의 표에서 가져오는 숫자가 아니라 자신의 비디오에서 측정할 수 있는 숫자가 될 것이다. 그중 하나가 실현되기 전까지 유용한 입장은 논문 자체가 취하는 입장이다: direct-scoring 인터페이스는 비디오 에이전트를 만드는 진정으로 다른 방식이며, 그것에 대한 증거는 현재 한 그룹의 9페이지 프리프린트뿐이다.

데모 노트북을 열어 둔 채로, 가지고 있는 가장 볼품없는 영상에 실행해 보고, 신뢰도 점수는 직접 캘리브레이션하기 전까지는 순위 정도로만 여기세요.

릴리스는 또한 이전에 무엇이 잘못되었는지 점검하는 순간이기도 합니다: 이 등급의 모델과 관련하여 문서화된 AI 사고 및 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.