
WeMM-Video-9B: 4비트 빌드가 여전히 13 GiB인 이유
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 182 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 356 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 147 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
4비트 양자화는 원본 가중치 파일의 약 4분의 1 크기가 되어야 한다. WeMM-Video-9B는 BF16에서 19.54GiB이고, AWQ W4A16 빌드는 12.86GiB이다. 이는 75%가 아니라 34% 감소다. 게다가 FP8, AWQ, NVFP4, GGUF 빌드는 모두 서로 0.42GiB 이내에 들어오므로, 이들 중 무엇을 고르든 메모리 절감 효과는 거의 없다. 익스포터 자체의 매니페스트가 그 이유를 설명한다: 4비트 파이프라인은 104.9억 개 중 48.3억 개 파라미터인 dense feed-forward 행렬만 압축하는 반면, 비전 타워, 오디오 타워, 임베딩, 출력 헤드, 어텐션 가중치는 모두 원래 정밀도를 유지하며, 각 2바이트인 57억 개 파라미터가 어떤 W4 레시피도 밑돌 수 없는 하한을 만든다. Tencent는 11월 17–19일에 출시 게시물 없이 가중치, 양자화 레시피, 12명이 공저한 기술 보고서를 공개했으며, 아직 아무도 글로 정리하지 않은 부분은 바로 산술이다. 이는 이 모델이 이미 보유한 GPU에 들어가는지를 결정하는 부분이기도 하다. Tencent 자체 표에서 이 모델은 두 모델이 공유하는 37개 공동 오디오-비주얼 지표 중 35개에서 Qwen3-Omni-30B-A3B-Instruct보다 우수하다; 4비트 빌드가 배포하기에 안전한지에 대해서는 기록이 19개 리포지토리가 시사하는 것보다 빈약하다.
9B 라벨을 달고 있는 10.49B 스택
tencent/WeMM-Video-9B 저장소는 2026년 11월 17일 08:55:54 UTC에 생성되었으며, 이는 AWQ 형제 저장소보다 14초 뒤이고 35B-A3B 선두 모델보다 11분 뒤입니다. Tencent 조직 아래에는 19개의 WeMM-Video 저장소가 있으며, 모두 그날 아침 5분 이내의 시간대에 생성되었는데, 이는 한 번에 하나의 모델을 공개하는 사람이 아니라 업로드 스크립트가 남긴 특징입니다. GitHub 프로젝트 Tencent/WeMM-Video는 6시간 전인 02:29 UTC에 생성되었고, 실질적인 최초 커밋은 11월 19일에 올라왔으며, README 수정은 11월 20일에도 계속 도착하고 있었습니다. 논문 arXiv 2611.26409은 11월 19일 16:58 UTC에 제출되었습니다.

그중 어느 것도 발표되지 않았습니다. 우리는 해당 계열을 가리키는 Tencent 블로그 게시물, WeChat Vision 출시 페이지, 보도자료, 유료 요금제를 찾을 수 없었습니다. 이 글을 쓰는 시점에 19개 저장소 모두 다운로드 0회를 기록했고, 이를 합쳐 좋아요는 3개였습니다. Artificial Analysis에는 WeMM 모델이 등재되어 있지 않습니다. 이 두 사실은 품질에 대해서는 아무것도 말해주지 않습니다. 이는 배포 단계가 생략되었다는 것을 말해줄 뿐입니다.
이름에 있는 "9B"는 체크포인트가 아니라 언어 백본입니다. Hugging Face는 1,305개 텐서에 걸쳐 10,488,603,384개의 파라미터를 기록하며, 이름별로 다섯 개의 safetensors 샤드를 읽으면 이를 네 무더기로 나눕니다:
• 언어 모델 — 1.02B 토큰 임베딩을 포함한 7.94B 파라미터.
• 출력 헤드 — 1.02B 매개변수. 임베딩이 언타이드되어 있으므로, 이는 4,096 히든에서 248,320개 토큰 어휘의 두 번째 전체 복사본입니다.
• 오디오 타워 — 1.08B 파라미터. Whisper 스타일 인코더와 디코더는 각각 너비 1,280의 32개 레이어로 구성되며, 0.1초 윈도를 초당 10개의 오디오 토큰으로 압축하는 2계층 Q-Former로 입력을 전달합니다.
• 비전 타워 — 0.46B 파라미터. 은닉 크기 1,152에서 27개 블록, 패치 크기 16, 공간 병합 2, 시간 패치 2.
따라서 파일의 약 5분의 1은 귀와 눈에 해당합니다. 논문은 출처를 명확히 밝힙니다. dense 2B, 4B, 9B 모델은 Qwen3.5-2B, Qwen3.5-4B, Qwen3.5-9B를 기반으로 구축되었고, mixture-of-experts 모델은 Qwen3.6-35B-A3B를 기반으로 하며, 오디오 인코더는 Qwen2.5-Omni에서 초기화됩니다. 또한 네이티브 시각 인코더는 교체하지 않고 유지되며 두 번째 사전 학습 단계부터 동결되는데, 이는 이들이 "이미 충분히 강력한 시각적 표현을 제공"하기 때문입니다.
백본 자체는 하이브리드입니다: 32개 레이어, 은닉 크기 4,096, 헤드 차원 256의 키-값 헤드 4개에 대해 어텐션 헤드 16개이며, 선형 어텐션 레이어 3개마다 전체 어텐션 레이어 하나가 이어지고 float32 SSM 캐시를 사용합니다 — 그렇기 때문에 저장소의 모든 서빙 명령이mamba-ssm-cache-dtype float32 플래그를 사용합니다. 위치 임베딩은 262,144 토큰으로 선언됩니다. 인터리브된 멀티모달 RoPE 섹션은 11/11/10입니다. 라이선스는 Apache 2.0이며, 모델 카드에 항목별로 명시되지 않은 제3자 예외 조항이 있습니다.
네 가지 빌드, 거의 동일한 네 가지 크기
다음은 카드에 적힌 반올림된 수치가 아니라, 각 저장소 자체의 파일 목록에서 측정한 전체 양자화 사다리입니다:
• BF16 base — 5개 샤드에 걸쳐 19.54 GiB.
• FP8 Block128 — 13.10 GiB, 단일 파일. FP8 지원 GPU와 패치된 vLLM 0.18.0이 필요합니다.
• AWQ W4A16 — 12.86 GiB, compressed-tensors 형식의 group-128 INT4. 패치된 vLLM 0.18.0.
• NVFP4 W4A16 — 13.07 GiB, 그룹 크기 16을 사용하는 ModelOpt 0.45.0 혼합 정밀도. Marlin이 적용된 패치된 vLLM 0.31.0, SM120 참조 구성.
• GGUF Q4_K_M — 세 개의 파일로 구성된 번들 기준 13.28 GiB: 언어 10.41 GiB, 오디오 2.01 GiB, 비전 프로젝터 0.86 GiB.

네 개의 압축 빌드 사이의 편차는 0.42GiB로, 드라이버 업데이트를 위해 남겨두는 버퍼보다도 작습니다. 카드에 맞추기 위해 이들 중에서 고르고 있다면, 잘못된 변수를 고르고 있는 것입니다. 메모리 차이는 거기에 없으므로, 어떤 GPU를 보유하고 있는지와 어떤 런타임을 패치할 수 있는지를 기준으로 고르십시오.
순진한 기대 — 19.54 GiB의 4분의 1, 즉 약 4.9 GiB — 는 2.5배나 빗나간다. BF16 대비 여유도 크지 않다. AWQ로 6.68 GiB를 절약한 것은 실제로 34%이지만, W4라는 라벨이 암시하는 "4배 더 작다"와는 거리가 멀다.
수출업체들이 보호하는 것과 그 이유
AWQ와 GGUF 매니페스트 모두 어떤 텐서를 건드릴 수 있었는지 정확히 명시하고 있으며, 그 답은 크기가 정체되는 이유를 설명합니다.
• dense 피드포워드 행렬만 양자화됩니다. AWQ 매니페스트에는 96개의 양자화된 언어 행렬이 기록되어 있습니다 — 32개 레이어에 걸쳐 레이어당 3개이며, 각각 4,096 x 12,288입니다. 이는 10.49B 중 4.83B 파라미터, 즉 체크포인트의 46%입니다. 나머지는 모두 정밀도를 유지합니다.
• 어텐션 경로가 BF16으로 복원되었습니다. AWQ 매니페스트에는 attention_restoration 블록이 포함되어 있으며, 소스 체크포인트에서 SHA-256 해시와 함께 다시 복사된 152개의 어텐션 프로젝션 행렬과 32개의 입력 노름이 나열되어 있습니다. GGUF 스코프 파일도 동일한 개수를 보고합니다 — protected_attention_BF16: 152 — 그리고 임베딩과 출력 텐서가 다른 두 개의 보호 항목일 뿐이라고 덧붙입니다.
• 프런트엔드와 두 미디어 타워는 양자화기에 전혀 들어가지 않습니다. AWQ 매니페스트에는 881개의 텐서가 보호된 프런트엔드, 임베딩 및 헤드 텐서로 나열되어 있습니다 — 시각 타워에서 333개, 오디오 타워에서 545개, 토큰 임베딩, 연결되지 않은 출력 헤드 및 최종 정규화입니다. BF16 기준으로 이는 약 3.57B 파라미터, 즉 21.0GB 파일 중 7.1GB에 해당하며, 압축 단계에서 완전히 빠져 있습니다.
그 결과는 배포 계획에 실제로 필요한 숫자입니다. 어떤 빌드를 선택하든 가중치용으로 VRAM 13–13.5 GiB를 예산에 잡고, 그 위에 KV 캐시와 float32 SSM 캐시를 더해야 합니다. 가중치에 13 GiB가 필요한 "4-bit 9B"는 모델 자체의 문제가 아닙니다. 어휘만 해도 248,320개 토큰이 두 번 임베딩되고, 오디오 타워는 그 한가운데에 자리한 1.08B 파라미터 Whisper입니다. 하지만 이는 작업 여유를 두고 16 GB 카드에 들어가느냐, 아예 들어가지 못하느냐의 차이입니다.
로드만 검증되었으며 동일함은 검증되지 않음
이 계열의 모든 양자화 카드는 스모크 테스트를 보고하고, 모든 매니페스트는 더 노골적인 내용을 보고한다. 둘을 나란히 읽어 보라. 그 사이의 간극이 바로 압축 빌드를 사용할 때의 위험 전체이기 때문이다.
• FP8 Block128 — 카드: 패치된 vLLM이 H20에서 이를 로드하고 텍스트, 이미지, 오디오 및 오디오가 포함된 비디오 생성 검사를 완료했으며, 런타임 정밀도 감사에서 W8A8 경로를 확인했습니다. 매니페스트: 상태 quantized_and_independently_reloaded_native_inference_pending, native_inference_validated: false 및 native_low_precision_gemm_validated: false가 별도 플래그로 기록되어 있습니다.
• AWQ W4A16 — 카드: 패치된 vLLM이 H20에서 이를 로드했고, 동일한 네 가지 검사를 완료했으며, 정밀도 감사에서 INT4 피드포워드 가중치를 BF16 어텐션과 대조하여 확인했습니다. 매니페스트: 상태 quantized_unvalidated, 그리고 diagnostic_variant가 INT4 빌드와 함께 BF16 어텐션 참조 빌드를 지정합니다.
• NVFP4 W4A16 — 카드: 패치된 vLLM 0.31.0이 "PRO 5000 참조 가중치"를 로드해 실행했고 무음 비디오를 포함한 다섯 가지 생성 검사를 통과했습니다. 매니페스트: 동일한 세 가지 주장이 플래그로 기록되어 있으며 모두 false로 표시됩니다 — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — 상태: cpu_NVFP4_weight_artifact_independently_reread. 매니페스트가 실제로 입증하는 것은 수치 검사입니다: 96개 행렬과 4,831,838,208개 원소를 독립적으로 역양자화했으며, 평균 상대 RMSE는 0.35 한도 대비 0.095이고, 1,209개의 보호된 텐서가 비트 단위로 정확함을 확인했습니다. 그 원소 수는 범위 명세서가 명시한 48억 3천만 개와 동일하며, 이를 통해 이 글의 산술과 내보내기 측의 산술이 일치한다는 것을 알 수 있습니다.
• GGUF Q4_K_M — 카드: 네이티브 CPU 런타임이 번들을 로드하고 텍스트, 이미지, 오디오, 비디오 출력을 생성했습니다. 매니페스트 상태 exported_unvalidated; 범위 상태 quantized_candidate_not_validated.
“로드되었고 생성되었다”는 실제 결과이며 의미 있는 성과입니다. 많은 양자화 멀티모달 체크포인트가 바로 그 단계에서 실패합니다. 하지만 그것이 배포를 결정하는 결과는 아닙니다. 이 카드들 중 어느 것도 자체 BF16 원본 대비 압축 빌드의 정확도 수치를 단 하나도 보고하지 않기 때문입니다. MMAU, Video-MME, 전사 WER에서 측정된 차이는 없습니다. 어디에서든 제시된 유일한 정밀도 주장은 AWQ 감사에서 나온 구조적 주장입니다. 피드포워드에는 INT4, 어텐션에는 BF16이라는 것입니다. 그것은 파일을 설명할 뿐, 압축 비용이 얼마인지는 알려주지 않습니다. 그리고 오디오 포함 Video-MME에서 Qwen3-Omni-30B-A3B-Instruct 대비 마진이 7.8점인 모델에서 그 비용의 크기는 반올림 문제가 아닙니다.
따라서 이 제품군에 대한 실무 원칙은, 논문의 표를 신뢰하기 전에, 실제로 출시할 바로 그 빌드에서 관심 있는 벤치마크 하나를 BF16 베이스와 비교해 다시 실행하는 것입니다. 이는 몇 시간의 작업이며, 비디오 결과를 유지한 채 INT4 피드포워드를 끼워 넣을 수 있는지, 아니면 그 34% 절감이 카드가 내세우는 숫자에서 대가를 치르고 있는지 알 수 있는 유일한 방법입니다."

그 밑에는 두 가지 기계적 함정이 도사리고 있다.
첫 번째는 GGUF입니다. "GGUF Q4_K_M"은 "llama.cpp나 Ollama에서 실행된다"는 의미로 읽히지만, 실제로는 그렇지 않습니다. 이 번들은 Tencent 자체 네이티브 런타임용으로 빌드되며, 해당 런타임은 저장소에서 직접 컴파일해야 합니다. 모델 카드의 빠른 시작은 install-cpu/bin과 native/run_hf.py 런처이며, 서빙 가이드에서는 GGUF를 오직 그 런타임으로만 연결합니다. 파이프라인이 llama.cpp 형태라면, 이 체크포인트는 겉보기와 같은 지름길이 아닙니다.
두 번째는 문서상의 결함으로, 짚고 넘어갈 가치가 있습니다. 매니페스트를 순서대로 읽는 사람이라면 누구나 혼란을 겪을 것이기 때문입니다. 세 가지 FP8 매니페스트, 즉 2B, 4B, 9B용 매니페스트는 모두 동일한 official_repo 필드를 포함합니다: Qwen/Qwen3.5-35B-A3B-FP8. 이는 레시피 레코드에 복사해 붙여넣은 출처 문자열일 뿐, 9B 체크포인트가 사실은 35B 전문가 혼합(MoE) 모델이라는 뜻은 아닙니다. 파일의 다른 어떤 부분도 그런 해석을 뒷받침하지 않습니다. 같은 매니페스트의 소스 목록은 해시가 일치하는 tencent/WeMM-Video-9B의 다섯 개 샤드를 가리키고, 아키텍처 블록에는 전문가가 0개인 밀집형 32층 모델이 기록되어 있습니다. 35B-A3B는 실제로 별개의 모델입니다. 또한 이 제품군에서 자체 FP8 리포지토리가 없는 유일한 크기이며, base, AWQ, GGUF, NVFP4만 갖추고 있습니다.
Tencent의 표에서 9B 대 30B
아래의 모든 벤치마크 수치는 arXiv 2611.26409의 저자들 자체 수치이며, 제3자가 그중 어느 것도 재현한 적이 없습니다. 논문에서도 그렇게 밝힙니다: 기존 모델들은 "가능한 경우 공식 결과, 그렇지 않은 경우 자체 평가"로 보고됩니다. 이 섹션은 측정값이 아니라 주장에 대한 설명으로 취급하십시오.
공동 오디오-비주얼 표에서 Thinking 모드일 때, 9B는 두 열이 공유하는 37개 항목 중 35개에서 Qwen3-Omni-30B-A3B-Instruct를 앞서고, 하나는 비기며 하나는 지는데 — 이는 약 세 배 크기의 모델을 상대로 한 결과입니다:
• Video-MME with audio — 77.3 대비 85.1입니다. MiniCPM-o-4.5-9B는 69.2에 머뭅니다.
• 오디오가 포함된 Video-MME-v2 — 51.6 대 36.3, 15.3점 차이입니다.
• Daily-Omni — 83.6 대 70.7이지만, MiniCPM-o-4.5-9B의 80.2로 인해 이는 압도적 승리가 아닌 3자 구도의 결과입니다.
• SciVideoBench 및 MMOU — 64.2 대 49.9, 71.7 대 60.5.
• EvaOmni and OmniReasoningBench — 26.1 대비 50.7, 그리고 24.1 대비 43.9.
• 유일한 패배 — FutureOmni, 53.7 대 55.1. MiniCPM-o-4.5-9B는 해당 항목에서 56.1점을 기록합니다.
무음 비디오 표가 더 유용하다. 여기에는 동일 계열 대조군인 Qwen3.5-9B가 포함되어 있는데, 이 체크포인트가 기반으로 삼는 백본이다. 두 열을 나란히 보면 포스트트레이닝의 형태가 드러난다. 시간적 그라운딩과 시간적 지각에서는 향상된다 — F-16-NBA는 75.8 대비 88.7, TimeLens-QVHighlights는 64.3 대비 66.8, TimeLens-ActivityNet은 52.2 대비 55.3, TOMATO는 45.0 대비 48.5 — 반면 장시간 비디오 요약과 일반 인식에서는 하락한다: MLVU는 84.4 대비 82.4, LVBench는 70.0 대비 68.2, VideoVista는 84.7 대비 82.2, VSI-Bench는 58.3 대비 54.5, MVBench는 74.4 대비 71.4. 따라서 이는 상속받은 백본에 대한 일률적인 업그레이드가 아니다. 무언가가 언제 어디서 일어났는지에 맞춰 조정된 모델이며, 그 대가로 백본이 이미 더 잘했던 종합 비디오 점수와 공간 추론에서 측정 가능한 손실을 낸다.
오디오에서는 9B가 더 이상 앞서지 못한다. Instruct 모드에서 9B는 MMAU-Pro에서 70.9점으로 Qwen3.5-Omni-Flash의 64.8점을 앞서고, MMSU에서는 76.8점으로 72.2점을 앞선다. 하지만 MMAU에서는 77.0 대 80.4로, MMAR에서는 72.8 대 74.0으로 뒤지며, 음성 인식에서는 완전히 밀린다. LibriSpeech 단어 오류율은 1.5와 3.1로 1.3과 2.4보다 높고, WenetSpeech 문자 오류율은 5.4와 6.8로 4.4와 5.5보다 높다. 텍스트와 지식 부문도 사정은 같다. MMLU-Pro는 81.6으로 Qwen3.5-9B 백본의 82.5에 못 미치고, GPQA는 77.8 대 81.7, HMMT는 75.0 대 82.9다. 전사가 제품이라면 전용 인식기가 여전히 이긴다.
논문의 한 비교는 주의 깊게 읽어야 한다. 옴니모달 표에서는 WeMM 모델을 Thinking 모드로 실행하고, 오디오 표에서는 Instruct로 실행하는데, 이는 저자들이 표준 오디오 벤치마크를 직접적인 지각 과제로 판단했기 때문이다. 이는 방어 가능한 구분이며, 동시에 한 표의 WeMM 행이 다른 표의 경쟁 모델 행과 비교 가능하지 않다는 뜻이기도 하다.
기본적으로 8초 길이의 동영상
{{1}}체크포인트가 받아들일 수 있는 것{{/1}}과 {{2}}배포된 레시피가 그것에 전달하는 것{{/2}} 사이의 격차는 결과를 바꿀 만큼 크므로, 어떤 평가 계획에도 포함되어야 합니다.
• 프레임 예산 — 프로세서는 기본적으로 2 fps, 최소 4프레임, 최대 128프레임, 총 100,663,296픽셀입니다. vLLM 레시피는 네 가지 모두를 2 fps, 16프레임, 262,144픽셀로 재정의합니다. 2 fps에서 16프레임은 클립 중간부터 8초 분량을 커버합니다.
• 컨텍스트 — 텍스트 구성은 262,144개의 위치 임베딩을 선언합니다. Tencent가 공개하는 모든 서빙 명령은 max-model-len 8192 또는 context-length 8192를 전달하며, 저장소 어디에도 더 큰 수치에 도달하는 방법은 설명되어 있지 않습니다.
• 오디오 비용 — 초당 10토큰이므로 8,192토큰 예산은 약 13분 분량의 오디오에 해당하며 그 외에는 아무것도 포함하지 않습니다. 사운드트랙이 있는 비디오는 그 예산을 프레임과 오디오에 동시에 사용합니다.
• 요청당 미디어 — 출시된 제한에 따라 이미지 4개, 동영상 2개, 오디오 항목 2개입니다.
WeChat Vision 외부에서는 벤치마크 실행에 어떤 샘플링이 사용되었는지 공개한 사람이 없습니다. 위 표의 수치를 재현하려면 이것이 가장 먼저 확정해야 할 미지수이며, 배포된 16프레임 기본값은 시작점으로 적절하지 않습니다.
오늘날 실제로 그것으로 할 수 있는 일
OrcaRouter는 WeMM-Video-9B를 제공하지 않으며, 카탈로그에 WeMM 체크포인트가 전혀 등록되어 있지 않습니다. 견적할 호스팅 가격도, 호출할 엔드포인트도 없으므로 현재로서는 셀프 호스팅 작업입니다: 저장소의 오버레이 디렉터리에서 vLLM 또는 SGLang을 패치하고, 사용하는 엔진 버전에 대해 패치 매니페스트에 명시된 정확한 PyTorch, Transformers 및 CUDA 12.9 조합을 고정하며, 13 GiB에 캐시를 더한 용량을 예산에 잡아야 합니다. GGUF 경로는 소스에서 빌드한 Tencent의 네이티브 런타임이 필요합니다.
작업의 비전 부분에는 플랫폼에 이미 공개된 대안이 있습니다 — Qwen3-VL-235B-A22B-Thinking과 Qwen3-VL-8B-Thinking 둘 다 이미지와 비디오 프레임을 처리하며, 하나의 OpenAI 호환 키를 통해 200개 이상의 다른 모델과 함께, 제공자 정가 대비 0% 마크업으로 이용할 수 있습니다. 둘 다 소리는 전혀 듣지 못하며, 오디오 부분에 해당하는 WeMM 동등 제품은 없습니다. 프로덕션 경로에 올리지 않고 자체 호스팅 9B를 시험해 보고 싶다면, 장애 조치 규칙 뒤에 라우팅하는 것이 카드를 투입하기 전에 패치된 런타임이 해당 동시성에서 견디는지 알아보는 저렴한 방법입니다.
한편 4비트 빌드들은 도입할 대상이 아니라 기다려야 할 대상이다. 자체 매니페스트들은 스스로를 검증되지 않았다고 표시하며, 크기 계산상 이들이 제공하는 압축은 가중치에서 34% 절감에 해당한다 — 갖출 가치는 있지만 배포 구조를 다시 설계할 가치는 없다. 주목할 신호는 또 다른 양자화 저장소가 아니다. 그것은 이 계열에서 pending이라는 단어를 빼는 첫 매니페스트이며, 그 뒤를 잇는 것은 현재 정확히 한 곳, 즉 저자들의 PDF에만 존재하는 표의 첫 독립 재현이다.
이 글에서 비교한 모델1
이 글에서 자동 인식
