Qwen3.8-27B Texto+Vídeo Está Chegando à CPU: O Que a PR de torchcodec do SGLang Muda

Um rascunho de pull request no SGLang agora está intitulado “[CPU] Support Qw​en3.8 text+video: adding torchcodec, ffmpeg and removing pin_memory.” Se você remover o encanamento, a leitura é a de um roteiro: Qwen3.8-27B — o modelo de visão e linguagem de 27 bilhões de parâmetros da Alibaba, sob licença Apache-2.0, lançado como código aberto há cinco dias — está sendo conectado para que seu modo texto+vídeo rode em hardware sem GPU. Esse é o primeiro sinal concreto de que o 27B multimodal está ganhando um caminho real de serviço em CPU em um dos runtimes de inferência que as equipes de fato implantam, e isso importa para qualquer um que esperava executar compreensão de vídeo localmente sem comprar uma placa de 48GB.

Nada nesse PR foi mesclado ainda — é um rascunho, o CI está vermelho, e as versões fixadas ainda estão mudando. Mas é exatamente por isso que vale a pena ler com atenção. O modelo por trás dele é real e foi lançado, o ecossistema de serving já alcançou o ritmo em GPU, e este PR mostra para onde está indo o caminho sem GPU. Aqui está o que a mudança realmente faz, por que a inferência de vídeo em CPU para um modelo de 27B é mais importante do que parece, o que está confirmado sobre o Qwen3.8-27B, e onde você pode usá-lo hoje.

O modelo em um parágrafo.

Qwen3.8-27B é o modelo de 27B com pesos abertos da geração Qwen 3.8: um modelo denso de visão-linguagem com cerca de 27,8 bilhões de parâmetros (64 camadas, dimensão oculta de 5.120) e uma torre de visão dedicada, lançado sob a licença Apache 2.0 no Hugging Face e no ModelScope na noite de 14 de agosto de 2026 (horário de Pequim). Ele aceita texto, imagens e vídeo e retorna texto — nativamente, não por meio de um adaptador externo acoplado — com uma janela de contexto nativa de 262.144 tokens, extensível para aproximadamente um milhão via YaRN. A licença é permissiva: uso comercial, fine-tuning e redistribuição, sem limite de receita e sem acordo comercial separado, ao contrário dos termos do checkpoint principal.

{{1}}Dois detalhes arquiteturais importam mais para quem faz deploy do que as especificações principais.{{/1}} {{2}}O primeiro é a atenção híbrida: a maioria das camadas usa atenção linear Gated DeltaNet e apenas um quarto mantém um cache KV completo; assim, a memória de contexto longo é uma fração do que um modelo denso convencional de 64 camadas precisa — o mesmo truque que torna uma janela de 262K realista dentro de uma única GPU de consumo. O segundo é a previsão de múltiplos tokens (MTP), que acompanha o checkpoint com seu próprio cabeçote de decodificação especulativa e acelera de forma mensurável a decodificação quando a stack de serving a utiliza.{{/2}}

É também o modelo da família com capacidade para vídeo. O checkpoint aberto de ponta, Qwen3.8-2.4T-A95B, é efetivamente somente texto na sua forma para download, e a API hospedada Qwen3.8-Max adiciona visão sobre esses pesos. O 27B é o peso que você pode de fato baixar e executar e que já lida com texto, imagem e vídeo de fábrica — e é por isso que vale a pena acompanhar um caminho de CPU para o seu modo de vídeo.

O que o PR do SGLang realmente muda

O pull request (sgl-project/sglang #35492) é objetivo e legível. Sua própria descrição: “Este PR tem como objetivo dar suporte a Qw​en3.8 texto+vídeo, adicionando torchcodec, ffmpeg e removendo pin_memory.” Na prática, são três mudanças.

• torchcodec — biblioteca de decodificação de vídeo do PyTorch baseada em ffmpeg — é adicionada à stack, para que os quadros de vídeo do Qwen3.8 text+video possam ser decodificados e pré-processados na CPU do host. O PR fixa o torchcodec 0.12.0 com o torch 2.12 e observa que o ffmpeg deve permanecer abaixo da versão 9.

• pin_memory foi removido do caminho multimodal. pin_memory é uma otimização de transferência de GPU que fixa buffers do host para cópia assíncrona rápida para um dispositivo; removê-lo em um caminho somente de CPU é o sinal de que o hardware de destino não possui acelerador discreto no caminho de dados.

• O comando de reprodução inicia o modelo real — Qwen/Qwen3.8-27B — por meio de sglang.launch_server na CPU com o caminho de entrada de texto+vídeo habilitado.

Leia os rótulos de status antes de construir qualquer coisa sobre ele: o PR é um rascunho, ambas as execuções de CI estão falhando, e ele ainda aguarda revisão dos proprietários de código do SGLang até o momento. É uma direção, não um lançamento. O contexto importante é que o SGLang já atende ao Qwen3.8-27B em GPU — o cookbook cobre H200, RTX PRO 6000, RTX 5090 e DGX Spark, com uma imagem dedicada lmsysorg/sglang:qwen38-27b — portanto, o caminho de texto+vídeo em CPU é a parte genuinamente nova.

Por que texto+vídeo na CPU importa mais do que parece

A Alibaba posicionou o 27B para IA de borda desde o primeiro dia — a MediaTek o adaptou para os chips móveis Dimensity e para o cockpit automotivo C-X1 no mesmo dia em que os pesos foram disponibilizados. A história da implantação local reforçou isso: uma quantização Q4_K_M tem cerca de 17,1GB, o que cabe em uma GPU de consumo com 24GB ou em um Mac com Apple Silicon e 32GB de memória unificada. A única coisa que essa história não conseguia fazer era vídeo em uma máquina sem GPU alguma. Essa é a lacuna que este PR resolve.

Um caminho de texto+vídeo em CPU torna a compreensão de vídeo implantável em máquinas CPU simples — máquinas virtuais, servidores pequenos, unidades de rack locais, gateways de borda — onde a carga de trabalho é assíncrona e a taxa de transferência importa mais que a latência. Legendagem de vídeo, moderação de conteúdo, análise de documentos e diagramas, recuperação offline de gravações: esses são exatamente os trabalhos em lote que não precisam de GPU, e hoje ainda assumem uma para qualquer VLM com entrada de vídeo.

O trade-off honesto é que o Qwen3.8-27B é um modelo de 27 bilhões de parâmetros e nenhum caminho de CPU torna um 27B rápido. Espere tokens de um dígito por segundo em um servidor robusto classe AVX com quadros de vídeo no contexto — viável para trabalhos em lote e noturnos, não para chat interativo sobre vídeo. O ponto do caminho de CPU é que a opção existe de fato: uma implantação sem GPU pode executar o modo de vídeo do mesmo modelo em vez de recorrer a um modelo de visão menor ou enviar cada quadro para uma GPU na nuvem.

Onde o Qwen3.8-27B roda hoje

O ecossistema alcançou o modelo rapidamente. No lado do self-host, você tem llama.cpp e LM Studio com pacotes GGUF que vão até cerca de 10,7 GB em quantização de 2 bits, Ollama para uma linha de comando, e vLLM e SGLang para servir modelos adequadamente. A maior parte disso é texto ou imagem atualmente; o caminho de vídeo na CPU é a parte que ainda está sendo construída.

Se você preferir não executar um 27B por conta própria, a rota hospedada já existe: o OrcaRouter serve qwen/qwen3.8-27b com entradas de texto, imagem e vídeo, uma janela de contexto de 262.144 tokens e saída de texto, a US$ 0,33 por milhão de tokens de entrada e US$ 2,40 por milhão de tokens de saída. Ele está atrás do mesmo endpoint compatível com OpenAI que todos os outros modelos da plataforma — uma chave de API, sem segundo contrato — e o failover automático e o DSL de roteamento da plataforma se aplicam aos mais de 200 modelos dessa chave. Um modelo com cinco dias de existência e um caminho de CPU não comprovado é o caso clássico para roteamento em vez de conexão direta: você pode testar o Qwen3.8-27B em cargas de trabalho reais atrás de uma rota sem arriscar todo o seu caminho de chamadas em uma única stack de servição, e alternar entre versões auto-hospedadas e hospedadas sem alterar o código.

Os números — relatados pelo fornecedor, e que valem a pena conferir.

Todos os números principais abaixo são da própria Alibaba, retirados do cartão do modelo e dos materiais de lançamento. O modelo tem cinco dias e a reprodução independente está apenas começando a aparecer, portanto trate esses números como afirmações com uma direção clara, e não como veredictos. Para um modelo de 27B, as pontuações de codificação e de agente são o que mais chama a atenção:

• SWE-bench Pro — 61,7 (relatado pela Alibaba; sua própria tabela mostra Claude Opus 4.6 Max em 53,4)

• Terminal-Bench 2.1 — 73.0 (codificação de terminal agêntica)

• OSWorld-Verified — 84.3 (tarefas de agente de uso de computador)

• AndroidWorld — 81.9

• DeepSWE 1.1 — 42,2, aproximadamente o triplo do 13,3 do 27B aberto anterior.

Do lado da visão — o lado sobre o qual este artigo realmente trata — a Alibaba reporta VideoMME 87.0 para compreensão de vídeo e MathVision 90.0 para raciocínio visual sem ferramentas. A leitura inicial da Artificial Analysis coloca o modelo em 52 no seu Intelligence Index e 51 no seu Agentic Index, competitivo com modelos fechados muito maiores em certas configurações de raciocínio; essas ainda são pontuações iniciais contra um modelo de cinco dias.

Uma ressalva importa desproporcionalmente para qualquer pessoa que execute o modelo localmente ou na CPU, e é o controle de raciocínio. O Qwen3.8-27B vem com o modo de pensamento ativado e uma configuração de reasoning_effort por solicitação (low / medium / xhigh). O xhigh padrão pensa demais e mal: a agora famosa primeira execução do GGUF de 17GB levou cerca de 21 minutos e 22.000 tokens de raciocínio para desenhar uma imagem simples. Especialmente na CPU, defina o reasoning_effort deliberadamente — a diferença entre interativo e inutilizável é um parâmetro.

O que assistir

Três coisas dirão se o caminho da CPU se torna real:

• Se o PR #35492 for mesclado.Ele é um rascunho com CI vermelho hoje. Uma versão mesclada e verde que entra em uma release é o ponto em que o caminho de texto+video da CPU se torna executável para o resto de nós.

• Benchmarks independentes. Os números 61.7 no SWE-bench Pro e 87.0 no VideoMME são reportados pelo fornecedor. As execuções do LMArena e do Artificial Analysis nas próximas semanas mostrarão o quanto sobrevive fora do ambiente de testes da própria Alibaba.

• Se uma versão hospedada com contexto de 1M se materializa.O contexto nativo de 262K já é bastante; um modo multimodal de um milhão de tokens é onde as economias de cache de atenção híbrida se pagam.

{{1}}Por enquanto, a decisão é simples.{{/1}} Se você tiver o hardware, {{2}}o GGUF Q4 de 17GB com SGLang ou llama.cpp executa o modelo hoje,{{/2}} {{3}}e o PR de texto+vídeo para CPU mostra para onde o caminho sem GPU está se dirigindo.{{/3}} Se não tiver, {{4}}o Qwen3.8-27B pode ser chamado pelo OrcaRouter a US$ 0,33 por milhão de tokens de entrada e US$ 2,40 por milhão de tokens de saída com uma única chave.{{/4}} {{5}}De qualquer forma,{{/5}} {{6}}o 27B aberto com capacidade de vídeo é o modelo mais interessante de acompanhar na geração Qw​en 3.8{{/6}} {{7}}— e ele tem apenas cinco dias.{{/7}}