
Microsoft Mage-VL: Um Modelo de Vídeo 4B Nativo de Codec, Lançado Sem Anúncio
- qwenNOVOQwen: Qwen3.8 Max2026-08-03$2.00 / $6.00 por 1M de tokens · 56 tok/s
- deepseekNOVODeepSeek: DeepSeek V4 Flash 07312026-07-3150Inteligência69Código
- qwenNOVOQwen: Qwen3.7 Flash2026-07-27$0.03 / $0.13 por 1M de tokens · 201 tok/s
- orcaNOVOOrcaDub: OrcaDub 1.02026-07-27orca/dub
- anthropicNOVOAnthropic: Claude Opus 52026-07-2461Inteligência78Código
- googleGoogle: Gemini 3.6 Flash2026-07-2150Inteligência69Código
- googleGoogle: Gemini 3.5 Flash-Lite2026-07-2137Inteligência49Código
- metaMeta: Muse Spark 1.12026-07-1651Inteligência71Código
- kimiMoonshotAI: Kimi K32026-07-1557Inteligência76Código
- openaiOpenAI: GPT-5.6 Luna2026-07-0951Inteligência71Código
- openaiOpenAI: GPT-5.6 Terra2026-07-0955Inteligência77Código
- openaiOpenAI: GPT-5.6 Sol2026-07-0959Inteligência77Código
- grokxAI: Grok 4.52026-07-0854Inteligência72Código
- tencentTencent: Hy32026-07-0641Inteligência59Código
- obsidianQwen3.6 35B A3B Uncensored (Aggressive)2026-07-0232Inteligência42Código
- obsidianGemma4 26B A4B Uncensored (Balanced)2026-07-0226Inteligência39Código
- anthropicAnthropic: Claude Sonnet 52026-06-3053Inteligência72Código
- klingKling: Kling 3.0 Turbo2026-06-1757Inteligência52Código57Matemática
- z-aiZ.ai: GLM 5.22026-06-1651Inteligência69Código60Matemática
- kimiMoonshotAI: Kimi K2.7 Code2026-06-1242Inteligência61Código61Matemática
Não há nenhuma postagem de blog da Microsoft sobre Mage-VL. Não há entrada no newsroom da Azure, nenhum item de catálogo no Foundry, nenhuma thread de lançamento, nada nos canais de produto onde a Microsoft normalmente apresenta um modelo. O que existe, em vez disso, é um repositório Hugging Face — microsoft/Mage-VL, seis commits, 10,8 GB de pesos, Apache-2.0 — uma pasta no GitHub com scripts de inferência, uma página de projeto mantida por algo que se autodenomina Microsoft Mage Team, e um relatório arXiv com 23 autores. Lidos em conjunto, esses artefatos descrevem um modelo de visão-linguagem de escala 4B cuja ideia central é genuinamente incomum: em vez de decodificar vídeo em quadros uniformemente espaçados e empurrar uma grade densa de patches através de um codificador pré-treinado na web, o Mage-VL lê o próprio fluxo de bits compactado, usando um codificador criado do zero chamado Mage-ViT para manter apenas os patches nos quais o codec gastou bits. A Microsoft relata que isso reduz os tokens visuais em mais de 75% e proporciona uma aceleração de até 3,5x no tempo de relógio, enquanto iguala o Qwen3-VL-4B em imagens estáticas e supera o próprio Phi-4-Reasoning-Vision de 15B da Microsoft em vídeo.
Essa última frase é a parte que devemos manter à distância. Todos os números de desempenho neste artigo remontam ao artigo, model card ou página de projeto da própria Microsoft. Dez dias depois que os pesos foram disponibilizados, nenhuma entidade independente reproduziu qualquer um deles, nenhum leaderboard de terceiros lista o modelo e — como a página do Hugging Face afirma claramente — ele "não está implantado por nenhum provedor de inferência", portanto não há sequer um endpoint hospedado que alguém pudesse ter avaliado casualmente. O que segue separa o que o repositório comprova do que a Microsoft meramente alega, porque em um lançamento sem anúncio essas são categorias muito diferentes.
O que realmente existe, dez dias depois.
A superfície verificável desta versão é pequena e vale a pena enumerá-la com precisão.
• Pesos, datados de 26 de julho de 2026. Dois fragmentos safetensors de 4,97 GB e 4,52 GB, além de um arquivo separado de 1,07 GB chamado streammind_gate.safetensors. O próprio leitor do Hugging Face relata 5B parâmetros em BF16 — 4B no decodificador de linguagem, o restante dividido entre o codificador visual e esse gate.
• Um relatório técnico, submetido em 27 de julho de 2026 (arXiv 2607.24904), uma versão, 23 autores, intitulado "Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model."
• Código executável, não apenas pesos.O repositório traz modeling_mage_vl.py, processing_mage_vl.py, dois processadores de vídeo, incluindo um codec_video_processing_mage_vl.py dedicado, e streammind_gate.py — cerca de 175 KB de Python personalizado. O auto_map em config.json direciona seis classes Transformers para esses arquivos, razão pela qual o repositório carrega a tag custom_code.
• Duas licenças, não uma. Mage-VL é Apache-2.0; o codificador Mage-ViT independente é publicado separadamente sob MIT.
• Uma demonstração funcional que você não precisa instalar. A Microsoft executa microsoft/mage-vl-demo como um Space do Hugging Face no ZeroGPU, e dois Spaces da comunidade já usam o modelo.
• Tração inicial da comunidade, formando-se mais rápido do que as comunicações do próprio fornecedor. 268 curtidas, 435.784 downloads registrados no último mês, nove quantizações da comunidade e dois fine-tunes na árvore do modelo. Os contadores de downloads incluem pulls automatizados e de espelhos; portanto, trate o número bruto como um sinal de atenção, e não de implantação.
• Um irmão. Mage-Flow, um modelo de texto para imagem e edição de instruções, construído com o mesmo orçamento fixo de 4B, foi lançado quatro dias antes, em 22 de julho. O repositório do GitHub apresenta o Mage como "uma família de modelos multimodais leves e amigáveis à pesquisa", o que é o mais próximo de uma declaração de posicionamento que alguém já publicou.
Em contrapartida, a lista de coisas que não existem é igualmente informativa. Não há post de blog ou comunicado de imprensa da Microsoft. Não há listagem no Azure AI Foundry, o que significa nenhum caminho de suporte empresarial, nenhum SLA, nenhum endpoint gerenciado. Nenhum provedor de inferência o serve. Não há suporte a vLLM ou SGLang: uma solicitação da comunidade para adicionar Mage-VL ao SGLang foi arquivada em 28 de julho como issue #32646 e, até o momento em que este texto é escrito, permanece aberta sem pull request vinculado e sem resposta de mantenedor. E não há nenhuma avaliação independente de qualquer tipo — o modelo está ausente dos leaderboards neutros onde uma afirmação como "supera um modelo de 15B em vídeo" normalmente seria testada.

A única ideia: leia o codec, não os frames.
Quase todo VLM capaz de processar vídeo em produção faz a mesma coisa. Ele decodifica o vídeo em quadros RGB, amostra-os uniformemente — um a cada segundo, ou 32 ao longo do clipe, ou o que o orçamento permitir — e passa cada quadro amostrado por um transformer de visão como uma grade densa de patches. Cada patch de cada quadro amostrado vira tokens. Uma parede de fundo estática custa exatamente tantos tokens quanto a pessoa andando na frente dela, e custa esses tokens novamente no próximo quadro, e no seguinte.
Isso é uma quantidade enorme de computação redundante, e os codecs de vídeo modernos já resolveram o problema subjacente décadas atrás. H.264 e HEVC não armazenam todos os quadros; eles armazenam ocasionalmente quadros-âncora (I) completos e, em seguida, descrevem os quadros entre eles como vetores de movimento mais resíduos — "este bloco se moveu para cá, e aqui está o que mudou." As partes interessantes de um vídeo são, quase por construção, as partes em que o codificador gastou bits.
O Mage-ViT explora exatamente isso. Operando com granularidade de patches de 16x16, ele mantém todos os patches dos quadros de referência e, para os quadros previstos, retém apenas os patches sinalizados como salientes pelos vetores de movimento do próprio codec e pela energia residual — as regiões que carregam informação real, movimento ou mudança de cena — descartando os de baixa redundância e os totalmente redundantes. A Microsoft estima a redução em mais de 75% dos tokens visuais, com o contexto espaço-temporal preservado, pois os quadros de referência ainda carregam a cena completa. O design é agnóstico em relação ao codec: o caminho tradicional aceita H.264 ou HEVC, e um caminho neural aceita DCVC-RT.
A elegância é que a estimativa de movimento já foi feita. Todo vídeo comprimido na internet chega com um mapa de onde está a ação, calculado pelo codificador e pago por quem o enviou. Um pipeline convencional descarta esse mapa no instante em que decodifica para RGB, e depois gasta tempo de GPU redescobrindo a mesma informação. O Mage-VL simplesmente se recusa a descartá-lo. Quer os números do benchmark se sustentem ou não, essa observação é a contribuição duradoura aqui — e é a razão pela qual vale a pena ler este lançamento mesmo que você nunca baixe os pesos.

A parte mais limpa do experimento
Escondida na configuração está uma decisão de design que torna os resultados muito mais interpretáveis do que um lançamento de modelo típico, e quase ninguém que cobre esta versão apontou isso: o modelo de linguagem é mantido fixo.
O decoder do Mage-VL é o Qwen3-4B-Instruct-2507, sem modificações. A linha de base de comparação, Qwen3-VL-4B, usa o mesmo backbone Qwen3 de 4B com um codificador visual convencional pré-treinado na web. Portanto, quando o Mage-VL supera o Qwen3-VL-4B, a diferença é atribuível ao codificador e à tokenização nativa do codec, não a um modelo de linguagem maior ou melhor treinado. Isso é uma ablação controlada disfarçada de comparação de produtos, e é a característica metodológica mais forte do lançamento.
Também vale o contrário, e a honestidade exige dizer isso. Uma comparação com o mesmo backbone é o teste mais justo da ideia do encoder e, ao mesmo tempo, o enquadramento mais provável de favorecê-la — a Microsoft escolheu a baseline que isola a sua própria contribuição. As comparações do Phi-4 não têm essa propriedade: Phi-4-Reasoning-Vision-15B e Phi-4-MM-5.6B têm backbones diferentes, receitas de treinamento diferentes e pós-treinamentos diferentes. "Supera nosso modelo de 15B em vídeo" é um resultado real, mas bem menos rigoroso, e também é uma comparação com o trabalho mais antigo da própria Microsoft, que é o tipo mais fácil de vencer.
A escala de treinamento é outro ponto onde o artigo faz uma afirmação genuinamente surpreendente. O Mage-ViT foi pré-treinado do zero em aproximadamente 560M de imagens não rotuladas e 100M de quadros de vídeo não rotulados — um corpus grande em termos absolutos, mas muito aquém dos bilhões de pares de imagem-texto curados por trás dos codificadores com os quais compete. O primeiro achado declarado do artigo é que um codificador VLM forte não exige dados supervisionados em escala web. Se isso se sustentar sob escrutínio independente, importa consideravelmente mais do que qualquer linha individual de benchmark.
Os números, e de quem são os números
O que se segue é um relato da Microsoft do início ao fim, feito em sua própria plataforma de avaliação, contra linhas de base selecionadas pela própria Microsoft. Nada aqui foi reproduzido por terceiros. Leia isto como uma hipótese com barras de erro excepcionalmente específicas, não como um placar.
• Video-MME — Mage-VL-4B 64.0 vs Qwen3-VL-4B 59.7 vs Phi-4-Reasoning-Vision-15B 55.3
• NExT-QA — 83.1 vs 79.8 vs 69.0
• LongVideoBench — 61.3 vs 57.7 vs 51.2
• VideoEval-Pro — 45.2 vs 20.7 para Phi-4
• Timelens-QVHighlight (ancoragem temporal) — 57.4 vs 34.9 vs 11.6
• Ref-DAVIS17 (tracking de referência) — 25.83 vs 7.48 vs 2.15
• DocVQA-val — 95.14 vs 94.69 vs 92.79 (Phi-4-MM-5.6B)
• OCRBench — 81.80 vs 81.60 vs 81.70
• ChartQA — 84,88 vs 83,96 vs 83,40
• MMStar — 67,32 vs 62,04 vs 59,63
• RealWorldQA — 70.46 vs 70.85 vs 70.72, uma das linhas em que Mage-VL perde
• MMBench-EN-dev — 84.02 vs 83.25, com Phi-4-Reasoning-Vision-15B à frente de ambos, atingindo 84.19
• CV-Bench-3D / CV-Bench-2D — 94.75 vs 92.30, e 82.13 vs 81.00
• EmbSpatial — 82.67 vs 77.50
• OVO-Bench (streaming) — 64.00 no geral, descrito como estado da arte entre arquiteturas de streaming; o subconjunto de percepção visual em tempo real atinge em média 79.84% contra 72.8% para Qwen3-VL-4B, a 1 fps
• Mage-ViT como codificador autônomo — acima de 86,3% no ImageNet com um orçamento de 676 tokens, acima de 96,1% no Food-101

Três leituras dessa tabela valem mais do que a própria tabela.
Em imagens, "paridade" é a palavra honesta. DocVQA por 0,45, OCRBench por 0,20, ChartQA por 0,92, MMBench por 0,77 — esses valores estão dentro da faixa em que um template de prompt diferente ou uma semente de decodificação diferente poderiam inverter a ordem, e RealWorldQA na verdade vai para o Qwen3-VL-4B. A Microsoft diz o mesmo, enquadrando o desempenho em imagens como paridade, e não como vitória, e esse enquadramento está correto. Se sua carga de trabalho é responder perguntas sobre documentos e imagens, esta versão não lhe dá nenhum motivo para migrar.
Em ancoragem de vídeo e temporal, as lacunas são grandes e consistentes. Timelens-QVHighlight quase dobra a linha de base; Video-MME, NExT-QA e LongVideoBench todos se movem de 3,6 a 4,3 pontos na mesma direção, com o backbone mantido fixo. A consistência entre benchmarks que avaliam coisas diferentes é o padrão que se esperaria se a mudança no encoder for real e não um artefato de ajuste.
Duas linhas não devem ser citadas sem contexto. Ref-DAVIS17 em 25,83 contra 7,48 parece uma demolição de 3,5x, e os deltas espaciais de destaque do artigo incluem +11,0 no VSI-Bench e +53,1 no CrossPoint. Quando uma linha de base pontua perto do piso em uma tarefa, o delta mede principalmente qual modelo foi treinado para entender o formato da tarefa — não qual modelo é mais capaz. A mesma cautela se aplica aos resultados de streaming em termos absolutos: no SoccerNet, os números relatados do Mage-VL são 55,54 TimVal, 83,14 ROC-AUC e um F1 de 16,35. Um F1 de 16,35 é um número estado da arte em uma avaliação jovem, não um problema resolvido. A percepção proativa de streaming está em estágio inicial, e a pontuação absoluta do líder diz isso.
O portão: um modelo que decide quando falar
A segunda ideia arquitetônica é a que tem as implicações de produto mais claras, e explica aquele misterioso arquivo de 1,07 GB.
O Mage-VL divide o streaming em dois processos, apresentados no artigo como Sistema 1 e Sistema 2. O Sistema 1 é um "portão cognitivo" leve que observa cada janela deslizante de recursos do codec e estima a probabilidade de que algo que vale a pena mencionar tenha acabado de acontecer. Abaixo de um limite, ele permanece em silêncio e a parte cara do modelo nunca é executada. Acima dele, o decodificador completo é acionado para produzir uma resposta. A configuração de demonstração usa janelas causais de 30 segundos a 1 fps; a CLI expõe o limite diretamente como --gate_threshold, e o ponto de entrada de streaming processa o vídeo segmento por segmento (inference_streaming.py --video_backend codec --segment_sec 8). Apenas o portão é treinado no estágio final, com 3,35M de amostras de streaming.
Há duas coisas dignas de nota sobre isso. Primeiro, o gate não é uma pequena cabeça de classificação aparafusada por cima: 1,07 GB de pesos BF16 equivale a cerca de meio bilhão de parâmetros, um modelo real por si só, fornecido como um checkpoint separado. Segundo, o nome do arquivo é streammind_gate.safetensors — a nomenclatura sugere que este componente descende de trabalhos anteriores de streaming-perception, em vez de ter sido inventado para este artigo, embora o próprio repositório não explicite essa linhagem.
Por que isso importa comercialmente: para vídeo sempre ativo, o custo dominante não é a latência por chamada, é a frequência de chamadas. Um feed de câmera operando 24/7 através de um VLM convencional a 1 fps significa 86.400 passagens diretas por dia, quer algo tenha acontecido ou não. Um gate que permanece inativo durante os 99% do vídeo em que nada acontece muda a forma dessa conta, não apenas o tamanho dela. Se o gate da Microsoft é preciso o suficiente para confiar nessa decisão é exatamente o que ninguém fora do laboratório testou.
Você consegue realmente executá-lo hoje?
Sim, se você tiver uma GPU e paciência. O atrito é real e está principalmente no pipeline de vídeo, em vez do modelo.
Memória. A Microsoft não publica um requisito de VRAM. Pelo índice de pesos: 9,49 GB de shards mais o gate de 1,07 GB totalizam cerca de 10,6 GB de parâmetros BF16, portanto uma placa de 16 GB é um piso realista para trabalho com imagens, e 24 GB ou mais é o alvo razoável quando você adiciona o cache KV para vídeo longo ou uma janela de streaming. Isso é aritmética a partir de tamanhos de arquivo, não uma especificação de fornecedor — meça antes de provisionar.
Código personalizado é obrigatório. O auto_map aponta todos os pontos de entrada do Transformers para os módulos do próprio repositório, então trust_remote_code é necessário. Você está executando o Python da Microsoft, não apenas carregando tensores. Ainda não existe um caminho para vLLM ou SGLang, o que significa que não há atenção paginada, nem batching contínuo, nem pilha de serviço de produção — uma lacuna significativa se você esperava colocar isso atrás de um endpoint.
O caminho do codec precisa de ferramentas de sistema. FFmpeg e ffprobe devem estar no seu PATH. O backend de codec tradicional depende de um pacote codec-video-prep que fornece uma etapa cv-preinfer; o caminho neural precisa de DCVC-RT; o backend de frames puros precisa de Decord. Os requisitos também incluem flash-attn e mamba-ssm, que compilam extensões CUDA — instale uma build de PyTorch compatível com seu toolkit primeiro ou reserve uma tarde para a compilação.
O que a configuração informa e o cartão não informa. O máximo de embeddings posicionais é 262.144, então o decodificador herda o contexto longo do Qwen3-4B. O lado da visão opera com entrada de 448 pixels, patches de 16x16, codificador de 24 camadas com 1024 ocultos, fusão espacial 2x2, um token por segundo de vídeo e uma janela de quatro quadros. O treinamento atingiu 384 quadros de extensão temporal no estágio três. Um teto de 262 mil não é o mesmo que 262 mil de comportamento validado, e 384 quadros é a extensão que o modelo foi efetivamente treinado para processar.
Imperfeições conhecidas. Uma discussão aberta no repositório, aberta em 4 de agosto e ainda sem resposta, relata desalinhamento de tokens quando imagens e vídeos são passados na mesma solicitação. Software de dez dias se comporta como software de dez dias. Se você quiser uma olhada sem nada disso, o Space da Microsoft no ZeroGPU é a opção sem instalação.
A linha de licença é menos simples do que "Apache-2.0"
O model card diz Apache-2.0. O encoder Mage-ViT diz MIT. Ambos são praticamente tão permissivos quanto pesos abertos podem ser. Mas o repositório da família declara que "estes modelos são lançados apenas para fins de pesquisa", com ênfase em revisão de IA responsável e supervisão humana — e essa frase contrasta de forma desconfortável com a concessão Apache-2.0, que não restringe o uso comercial. Some as dependências: DCVC-RT e as ferramentas de preparação do codec carregam seus próprios termos, independentes dos do modelo.
Para um projeto de hobby, isso é ruído. Para qualquer coisa que vá para os clientes, é o tipo de ambiguidade que deveria ser levada ao jurídico antes de ir para produção, e o tipo de pergunta que vale a pena fazer no próprio repositório — onde, notavelmente, atualmente não há nenhum representante da Microsoft respondendo.
Você deveria construir sobre isso?
A decisão se divide claramente em uma linha: se o seu problema é um stream ou uma requisição.
Se você está fazendo percepção sempre ativa — um feed de câmera, uma transmissão ao vivo, o campo de visão de um robô, uma reunião de uma hora — o Mage-VL está apontado exatamente para você, e a economia do self-hosting está a seu favor. A precificação de API por token escala com os quadros, o que é um modelo brutal para vídeo contínuo; um modelo de 4B no seu próprio hardware, com um gate que permanece em silêncio durante filmagens sem incidentes, é uma curva de custo fundamentalmente diferente. O problema é que você também está se comprometendo a ser a primeira pessoa fora da Microsoft a descobrir se o julgamento do gate é bom o suficiente.
Se o seu problema tem o formato de uma solicitação — um usuário envia um documento, um PDF, uma captura de tela, um vídeo curto e espera uma resposta — o argumento é muito mais fraco. Exatamente nessas tarefas, o Mage-VL está em paridade com um modelo que você ainda teria que hospedar por conta própria, e endpoints multimodais hospedados estão a apenas uma chamada de API, sem GPU, sem compilação do ffmpeg e sem trust_remote_code. No OrcaRouter, o Gemini 3.6 Flash custa US$ 1,50 por milhão de tokens de entrada e US$ 7,50 por milhão de saída, que é o preço de tabela do provedor repassado diretamente — não aplicamos nenhuma margem, então quando um fornecedor reduz os preços, a redução entra em vigor do nosso lado no mesmo dia, em vez de após uma revisão de preços. Uma única chave dá acesso a mais de 200 modelos com failover automático se um provedor degradar, que é a razão prática para manter um endpoint hospedado como padrão e reservar a auto-hospedagem para as cargas de trabalho que realmente precisam disso.
Para ser explícito, porque a distinção importa: não hospedamos o Mage-VL, e ninguém mais o hospeda. A própria página do modelo no Hugging Face diz que nenhum provedor de inferência o disponibilizou. Hoje, executá-lo significa executá-lo você mesmo.
O que mudaria essa leitura?
Quatro coisas, em ordem aproximada do quanto importariam.
Uma avaliação independente é a mais importante. Cada número acima é uma afirmação, e a afirmação que mais precisa ser testada não é uma pontuação de benchmark, mas o speedup de 3,5x, que foi medido contra a amostragem uniforme de quadros no NExT-QA sem detalhes publicados de hardware, resolução ou contagem de quadros. O pré-processamento de codec move o trabalho real para a CPU e para o ffmpeg; um ganho de tempo real medido de ponta a ponta na máquina de outra pessoa é a única versão desse número que vale a pena usar como base para planejamento.
Em segundo lugar, suporte para servir o modelo. Uma implementação incorporada ao vLLM ou ao SGLang transformaria esse checkpoint de pesquisa em algo que você pode colocar atrás de um balanceador de carga. O issue do SGLang está aberto e não foi assumido por ninguém; é essa a thread para acompanhar.
Terceiro, uma listagem no Azure AI Foundry, o que sinalizaria que a Microsoft pretende isso como um produto e não como um artigo. Nada no lançamento atual sugere que isso seja iminente.
Quarto, e o mais estranho de tudo: se a Microsoft algum dia dirá alguma coisa. Um relatório técnico com 23 autores, uma página de projeto mantida, um Space de demonstração hospedado e um modelo generativo irmão lançado quatro dias antes não descrevem um vazamento ou um acidente — descrevem uma publicação de pesquisa deliberada que dispensou por completo o megafone do produto. A comunidade preencheu o silêncio do mesmo jeito, com nove quantizações e dois fine-tunes em dez dias.
Para a maioria das equipes, o movimento certo é ler o artigo, não baixar os pesos. A ideia nativa de codec é a principal conclusão, e ela é portátil: se reutilizar vetores de movimento que o codificador já calculou realmente proporciona uma redução de 75% nos tokens com precisão equivalente, essa técnica aparecerá em modelos com posts de lançamento, suporte de provedores e benchmarks reproduzidos. Se você executa vídeo contínuo hoje, o cálculo é diferente — clone o repositório, execute seus próprios clipes em ambos os backends e meça a aceleração você mesmo, porque agora você seria o primeiro.
Perguntas que realmente valem a pena fazer
O Mage-VL é apenas o Qwen3-VL com um rótulo da Microsoft?
Não, embora a confusão seja compreensível. O decodificador de linguagem é o Qwen3-4B-Instruct-2507, usado como está — a Microsoft não treinou um novo LLM. Todo o resto é novo: o Mage-ViT foi pré-treinado do zero, a tokenização nativa de codec não tem equivalente no Qwen3-VL, e o gate de streaming é um modelo adicional de meio bilhão de parâmetros. Reutilizar um backbone aberto e trocar o front-end visual é uma estratégia de pesquisa legítima e cada vez mais comum, e aqui é também o que torna a comparação direta interpretável. Se você tiver requisitos de conformidade em relação à proveniência do modelo, note que a linhagem passa pelos pesos do Qwen3 da Alibaba e verifique ambas as licenças.
'3,5x mais rápido' significa 3,5x mais barato para servir?
Não de forma confiável. O número é um ganho de velocidade (speedup) medido em tempo de parede no NExT-QA em relação à amostragem uniforme de quadros, e a Microsoft o apresenta como "até". Duas coisas o diluem na prática. A inferência nativa de codec precisa de uma etapa de preparação — ffmpeg, ffprobe e o passo cv-preinfer, ou uma recompactação DCVC-RT para o caminho neural — que consome tempo de CPU que um pipeline ingênuo de quadros não consome, e que não aparece em uma medição do lado da GPU. E o ganho vem da redução de tokens, então ele escala com o quão redundante é o seu material: uma câmera de segurança majoritariamente estática deve superar o valor citado, enquanto um vídeo editado com cortes rápidos, em que quase todos os patches mudam, deve ficar abaixo. Meça isso nos seus próprios clipes.
Preciso de arquivos de vídeo especiais para usar o caminho do codec?
Na maioria das vezes, não — e esta é a surpresa agradável. Arquivos MP4 comuns já são H.264 ou HEVC, que é exatamente o que o backend de codec tradicional consome — os vetores de movimento de que ele precisa estão no arquivo que você já tem. O que você precisa adicionar são as ferramentas: FFmpeg e ffprobe no seu PATH, além do pacote de preparação de codec. O backend neural é a exceção; o DCVC-RT espera vídeo codificado com esse codec, então você teria que recodificar. E o backend de quadros simples continua disponível como fallback, comportando-se como qualquer outro VLM, o que também é a forma honesta de você mesmo fazer um A/B da afirmação sobre o codec.
Posso usá-lo comercialmente?
A licença diz Apache-2.0, que permite uso comercial, modificação e redistribuição. O repositório também diz que os modelos são "disponibilizados apenas para fins de pesquisa". Essas duas declarações apontam em direções diferentes, e a lacuna não foi esclarecida por ninguém da Microsoft — o que, em um lançamento sem anúncio, sem listagem de produto e sem presença do fornecedor nas discussões do repositório, não é surpreendente. Se dinheiro depende da resposta, contrate um advogado para ler ambos os documentos e as licenças de dependências em vez de confiar apenas no selo da licença.
