'WeMM-Video-2B'라고 적힌 히어로 타이틀 카드, '별도 발표 없이 공개'라는 부제, 그리고 '2B dense, 총 3.28B', '비디오 + 오디오 + 이미지 + 텍스트 입력', 'Apache 2.0, 네 가지 양자화', 'Hub에서 다운로드 0회'라고 적힌 네 개의 배지.
Engineering & Research

WeMM-Video-2B: 아무도 발표하지 않은 2B 옴니모달 모델

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

출시 글이 없습니다. 제품 페이지의 모델 카드도, 대기자 명단도, 가격표도, T​encent 임원의 벤치마크 트윗도 없습니다. 존재하는 것은 2026년 11월 17일 08:58 UTC에 만들어진 Hugging Face 저장소와, 첫 커밋이 그보다 6시간 30분 앞서 올라온 GitHub 저장소뿐이며, 둘 모두가 설명하는 대상은 WeMM-Video-2B입니다. 이 모델은 T​encent의 WeChat Vision에서 만든 중국어–영어 옴니모달 비디오 모델 제품군의 dense 2B 체크포인트입니다. 6일 후 해당 저장소에는 좋아요 두 개, 다운로드 0회, 그리고 기본 가중치가 만들어진 지 11분 이내에 생성된 네 개의 양자화된 형제 모델이 있습니다. 그래서 이 모델에 관한 어떤 글에서든 정직한 첫 문장은 포장에 관한 문장입니다. 즉, 공개되어 있고, 다운로드할 수 있으며, 아무도 그것에 대해 한마디도 하지 않았다는 것입니다.

그 격차는 뉴스가 없던 조용한 날로 취급하기보다 진지하게 받아들일 가치가 있다. 같은 주에 가중치, 논문, 네 가지 양자화 포맷, 패치된 vLLM 및 SGLang 레시피, 네이티브 C++ 런타임, Docker compose 파일까지 내놓는 모델 패밀리는 누군가 공지하는 것을 잊은 연구 결과물 더미가 아니다. 그것은 준비를 마친 뒤 마케팅 층 없이 그대로 출시된 릴리스다. 이어지는 내용은 아티팩트가 입증하는 것과 오직 Tencent만 확인할 수 있는 것을 구분하며, 그 모델이 좋은지 판단하는 데는 의도적으로 관심을 두지 않는다.

저장소가 실제로 포함하는 것

베이스 체크포인트는 tencent/WeMM-Video-2B이며, Apache 2.0, 두 개의 샤드에 걸친 6.12 GiB의 BF16 safetensors입니다. 인덱스 파일에는 총 3,283,624,264개의 파라미터가 보고되어 있는데, 이는 이름이 말해 주지 않는 사실을 알려 줍니다. 즉, "2B"는 시스템이 아니라 언어 모델입니다. 텍스트 백본은 Qwen3.5 계열 디코더로, 24개 레이어, 은닉 크기 2048, KV 헤드 2개에 대한 어텐션 헤드 8개, 248,320개 토큰 어휘, 262,144개 토큰 최대 위치 임베딩을 갖추고 있으며, 3개의 선형 어텐션 레이어마다 하나의 전체 어텐션 레이어를 배치하는 하이브리드 어텐션 레이아웃을 사용합니다. 그 앞에는 은닉 크기 1024의 24레이어 비전 트랜스포머와, 32레이어 Whisper 인코더가 은닉 크기 4104의 2레이어 Q-Former로 연결되는 오디오 스택이 있습니다. 나머지 파라미터는 이 두 인코더에 있습니다.

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

그 아키텍처는 이름이 제기하는 질문에 답합니다. 이것은 비디오 생성기가 아닙니다. 비디오를 입력받아 — 프레임과 선택적으로 원본 사운드트랙 — 텍스트를 출력합니다. config의 토큰 ID 자체가 이를 확인해 줍니다: 비디오 토큰, 오디오 토큰, 이미지 토큰, 그리고 생성하는 언어 모델. 텍스트-투-비디오 경쟁의 또 다른 항목을 기대하고 왔다면, 이 저장소는 파이프라인 태그를 처음 읽는 순간 실망시킬 것입니다. 그 태그는 image-text-to-text입니다.

• 패밀리 내 크기 — 2B, 4B, 9B 덴스, 그리고 35B-A3B 전문가 혼합(MoE)으로, 모두 11월 17일에 함께 공개되었습니다.

• 2B용 양자화 — FP8 Block128, AWQ W4A16, GGUF Q4_K_M 및 NVFP4 W4A16, 각각 자체 저장소에 있으며, 각각 기본 가중치 공개 후 11분 이내에 생성되었습니다.

• 서빙 경로 — Transformers 5.2.0, 패치된 vLLM 0.18.0 또는 0.31.0, 패치된 SGLang 0.5.16 또는 0.5.19, 그리고 CPU 또는 CUDA에서 실행되는 GGUF 빌드용 네이티브 런타임.

• 제공되는 레시피의 입력 제한 — 요청당 최대 이미지 4개, 비디오 2개, 오디오 2개, 8,192토큰 컨텍스트 길이.

• 라이선스 — 가중치에는 Apache 2.0이 적용되며, LAVIS, vLLM 및 SGLang 구성 요소를 다루는 별도의 제3자 고지 파일이 있습니다.

패치가 적용된 서빙 세부 사항이 바로 이것을 전형적인 오픈 웨이트 공개와 구분 짓는 부분이다. Tencent는 "이론상 작동한다"는 저장소를 내놓은 것이 아니라, 특정 vLLM 및 SGLang 버전용 오버레이 패치, 고정된 의존성 파일, CUDA 12.9로 태그된 Docker 이미지, 그리고 체크포인트가 L20 및 H20 하드웨어에서 텍스트, 이미지, 오디오, 사운드트랙이 포함된 비디오 전반에 걸쳐 로드되고 생성을 완료했음을 밝히는 검증 노트를 내놓았다. 그 패치들이 Tencent 자체 클러스터 밖에서도 견딜 수 있는지는 일주일 동안 낯선 사람들이 직접 실행해 보면 답이 나오는 바로 그런 종류의 질문이며, 그 일주일은 아직 오지 않았다.

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

논문이 주장하는 내용과 이를 검토한 사람

기술 보고서는 arXiv 2611.26409이며, 날짜는 2026년 11월 19일로, 가중치가 공개된 지 이틀 후입니다. 그리고 이는 2B 논문이 아니라 패밀리 논문입니다. 저자는 열두 명이며, 첫 번째 저자는 Changli Tang, 마지막 저자는 Jing Lyu이고, 모두 WeChat Vision 배너 아래에 있습니다.

핵심 주장은 2B가 아니라 35B-A3B 모델에 관한 것입니다. 즉, 35B-A3B가 옴니모달 비디오 평가에서 새로운 오픈소스 최고 성능(SOTA)을 확립하고, Qwen3.5-Omni-Flash와 Seed2.0-Mini-0428을 크게 능가하며 Gemini-3.0-Flash와의 격차를 좁힌다는 것입니다. 두 번째 주장은 실제로 이 글 제목에 있는 모델에 관한 것으로, WeMM-Video-9B가 더 큰 오픈소스 모델인 Qwen3-Omni-30B-A3B-Instruct를 능가한다는 것입니다. 2B는 제품군 설명과 모델 zoo에는 등장하지만, 논문의 논지는 가장 큰 형제 모델이 이끌고 있습니다.

그 수치들은 모두 공급업체가 보고한 것입니다. Artificial Analysis 항목도, LMArena 결과도, 독립적 재현도 없으며, 이 글을 쓰는 시점까지 이 계열의 어떤 모델에 대해서도 어떤 종류의 제3자 평가도 없습니다. 논문은 모델들이 120개가 넘는 벤치마크에서 평가되었다고 말하지만, 누가 그것을 실행했는지는 말하지 않으며, 답은 T​encent입니다. 그것은 비난이 아니라, 출시된 지 6일 된 릴리스의 정상적인 상태입니다. 하지만 그것은 35B-A3B의 위치에 대한 올바른 설명이 “T​encent가 선두라고 보고한다”는 것이지 “선두이다”가 아니라는 뜻입니다.

한 가지 더 주의할 점은 편집상의 문제가 아니라 구조적인 문제입니다. 모델을 훈련한 연구소가 선택하고 가중치를 부여한 120개 과제로 구성된 벤치마크 제품군은 적합도를 측정하는 것입니다. 즉, 모델이 제작자가 측정하려고 생각한 것들에 능하다는 사실을 알려줄 뿐입니다. 여러분이 필요한 것들에 능하다는 것은 알려주지 않습니다. 이 두 문장 사이의 간극이 바로 대부분의 모델 선택 실수가 발생하는 지점이며, 아무리 표를 들여다봐도 그 간극은 메워지지 않습니다.

네 가지 모드, 그리고 오디오 경로가 중요한 이유

추론 API는 다섯 가지 요청 형태를 제공하며, 흥미로운 것은 마지막입니다. 텍스트와 이미지는 특별할 것이 없습니다. 오디오 단독도 특별할 것이 없습니다. 비디오 프레임 단독은 표준적인 멀티모달 비디오 사례입니다. 비디오(원본 사운드트랙 포함)가 모델에 요청할 수 있는 작업을 바꾸는 형태이며, 서빙 API에서 암시적 동작이 아니라 별도의 콘텐츠 유형입니다.

실제로 이는 모델에 클립을 건네고 화면에 무엇이 있는지 설명하며 말하고 있는 내용을 요약하도록 한 번의 호출로 요청해, 두 가지를 모두 반영한 답변을 받을 수 있다는 뜻입니다. 모델 카드의 예시 자체가 정확히 그렇게 합니다 — Apollo 11 녹음의 영어 음성을 전사한 다음, 같은 MP4를 오디오 트랙이 있는 경우와 없는 경우로 설명합니다. 결합 추론이 비디오 모델과 음성 모델을 나란히 실행해 출력을 이어 붙이는 것보다 더 나은지는 실증적 질문이며, 독립 평가자가 테스트할 수 있는 가장 유용한 단일 항목입니다.

또 하나 언급할 만한 설계 결정은 2모드 채팅 템플릿입니다. 다음 플래그를 전달할 때, enable_thinking=False는 직접 응답을 제공하고, enable_thinking=True는 답변 전에 추론 트레이스를 제공합니다. 이는 두 개의 체크포인트가 아니라 템플릿 플래그로 제공되는 지연 시간 대 품질 조절 다이얼이며, 2B 모델에 합리적인 선택입니다 — 두 번째 동작을 얻기 위해 두 번째 가중치 세트를 지불하지는 않기 때문입니다.

그것을 실행해 보기, 그리고 가용성에 관한 솔직한 현황

빠른 시작 경로는 Python 3.12 환경, NVIDIA GPU, CUDA 12.9와 호환되는 드라이버, 그리고 FFmpeg입니다. CUDA 12.9 인덱스에서 Torch 2.10.0, TorchVision 0.25.0, TorchCodec 0.10.0을 설치한 다음, Transformers 5.2.0, Accelerate, Pillow, Librosa, SoundFile, SciPy, Requests를 설치하세요. 모델은 AutoModelForImageTextToText를 trust_remote_code=True와 함께 사용해 로드됩니다 — 아키텍처가 사용자 정의 방식이므로 이 플래그는 장식이 아니라 실제로 중요한 역할을 하며, 모델 카드에서도 활성화하기 전에 사용자 정의 코드를 먼저 읽어보라고 올바르게 안내하고 있습니다.

스크립트가 아니라 서버를 원한다면, vLLM 레시피는 패치된 0.18.0 빌드를 고정하고 다음을 전달합니다: --no-enable-prefix-caching와 함께 --mamba-ssm-cache-dtype float32—이 조합은 하이브리드 선형 어텐션 레이어에 아직 작동하는 프리픽스 캐시가 없다는 것을 알려줍니다. 이는 채팅 워크로드에 실질적인 처리량 제한이며, 누군가 실제로 이걸 서빙해 봐야만 드러나는 종류의 세부 사항입니다.

모든 문서에서 빠져 있는 것은 가격입니다. WeMM-Video-2B를 위한 Tencent 호스팅 엔드포인트도, 토큰당 요금도, 관리형 배포도 없습니다. 가중치를 다운로드하고 GPU는 직접 소유합니다. OrcaRouter 쪽에서도 솔직한 말은 같습니다: 우리는 WeMM-Video-2B를 제공하지 않습니다. Tencent에서 우리가 실제로 취급하는 것은 Hunyuan 텍스트 라인 — tencent/hy4, tencent/hy4-flash 및 프리뷰 빌드 — 이며, 하나의 OpenAI 호환 엔드포인트에서 제공업체 정가 대비 0% 마크업으로 제공합니다. 이는 파이프라인에 같은 연구소의 텍스트 모델이 필요하면 유용하고, 이 모델이 필요하면 쓸모없습니다. 두 개의 다른 제품, 하나의 벤더 이름이며, 이 둘을 혼동하는 것은 서두르다 보면 하기 쉬운 실수입니다.

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

호기심에서 추천까지

세 가지를, 실질적 효과가 큰 순서대로 말씀드리겠습니다.

첫 번째는 Tencent가 선택하지 않은 벤치마크에 대한 독립적인 평가입니다. 어떤 블라인드 아레나 실행이든 — 비디오 이해, 오디오-비주얼 QA, 가장 가까운 것이라면 무엇이든 — 해당 제품군이 주장하는 위치가 중립적인 프롬프트 세트와 맞닥뜨린 뒤에도 유지되는지를 즉시 알려줄 것입니다. 그것이 존재하기 전까지, 35B-A3B의 "새로운 오픈소스 최첨단"은 PDF 속 표에 대한 주장일 뿐입니다.

두 번째는 T​encent 외부에서 나온 서빙 리포트다. 패치는 구체적이고 하드웨어도 구체적이며, 검증 노트는 두 가지 GPU 모델을 다룬다. 이것이 H100 노드, A100 노드, 또는 대여한 4090에서 문제없이 돌아가는지는 알 수 없고, 그 답에 따라 2B가 주말 프로젝트인지 연구 산출물인지가 결정될 것이다.

세 번째는 벤더 공지입니다 — 어떤 벤더 공지든 상관없습니다. 블로그 게시물, T​encent 제품 페이지의 모델 카드, 가격 티어. 현재 이 릴리스는 저장소 타임스탬프를 읽는 사람들만 이해할 수 있으며, 그런 상태가 유효한 7일의 기간이 끝나가고 있습니다. T​encent가 아무것도 공개하지 않는다면, 가장 유력한 해석은 이 가중치들이 논문과 35B를 뒷받침하기 위해 존재하며, 2B는 제품이라기보다 편의를 위한 체크포인트라는 것입니다.

그게 솔직한 결론이다. WeMM-Video-2B는 실제로 다운로드 가능한 Apache-2.0 옴니모달 모델이지만, 아무도 발표하지 않았고, 아무도 다운로드하지 않았으며, 아무도 독립적으로 테스트하지 않았다. 당신의 작업이 공동 오디오-비주얼 이해를 다루고 있고 여분의 GPU와 오후 시간이 있다면, 그것이 무엇을 하는지 알아보는 비용은 다운로드다. 당신의 작업이 다음 달에 무언가를 출시하는 것이라면, 알아보는 비용은 그보다 더 크며, 책임 있는 일은 다른 사람의 수치를 기다리는 것이다.

이 글에서 비교한 모델1

이 글에서 자동 인식