Qwen3.8-27B Text+Video llega a la CPU: qué cambia el PR de torchcodec de SGLang

Un borrador de pull request en SGLang ahora mismo se titula “[CPU] Support Qwen3.8 text+video: adding torchcodec, ffmpeg and removing pin_memory.” Si dejamos de lado los detalles técnicos, se lee como una hoja de ruta: Qwen3.8-27B — el modelo de lenguaje y visión de Alibaba con licencia Apache-2.0, de 27 mil millones de parámetros, liberado como código abierto hace cinco días — se está integrando para que su modo text+video funcione en hardware sin GPU. Esa es la primera señal concreta de que el 27B multimodal está obteniendo una ruta real de servicio en CPU en uno de los entornos de ejecución de inferencia que los equipos realmente despliegan, y es importante para cualquiera que haya esperado ejecutar comprensión de vídeo localmente sin comprar una tarjeta de 48GB.

Nada de ese PR se ha fusionado todavía: es un borrador, la CI está en rojo y los pines de versiones aún se están moviendo. Pero eso es exactamente por lo que vale la pena leerlo con atención. El modelo que hay detrás es real y está publicado, el ecosistema de despliegue ya se ha puesto al día en GPU, y este PR muestra hacia dónde se dirige el camino sin GPU. Esto es lo que hace realmente el cambio, por qué la inferencia de video en CPU para un modelo de 27B es más importante de lo que parece, qué se confirma sobre Qwen3.8-27B y dónde puedes usarlo hoy.

El modelo en un párrafo

Qwen3.8-27B es el 27B de pesos abiertos de la generación Qw​en 3.8: un modelo denso de visión-lenguaje de ~27,8 mil millones de parámetros (64 capas, tamaño oculto 5.120) con una torre de visión dedicada, publicado bajo Apache 2.0 en Hugging Face y ModelScope la noche del 14 de agosto de 2026 (hora de Pekín). Acepta texto, imágenes y video, y devuelve texto — de forma nativa, no mediante un adaptador añadido — con una ventana de contexto nativa de 262.144 tokens, ampliable a aproximadamente un millón mediante YaRN. La licencia es la permisiva: uso comercial, ajuste fino y redistribución, sin umbral de ingresos ni acuerdo comercial por separado, a diferencia de los términos del checkpoint insignia.

Dos detalles arquitectónicos le importan más a quien despliega el modelo que las especificaciones principales. El primero es la atención híbrida: la mayoría de las capas usan atención lineal Gated DeltaNet y solo una cuarta parte mantiene una caché KV completa, por lo que la memoria de contexto largo es una fracción de la que necesitaría un modelo denso convencional de 64 capas — el mismo truco que hace realista una ventana de 262K dentro de una sola GPU de consumo. El segundo es la predicción de múltiples tokens (MTP), que incluye el checkpoint con su propia cabeza de decodificación especulativa y acelera de forma medible la decodificación cuando el stack de servidores la utiliza.

También es el miembro de la familia con capacidad de video. El checkpoint abierto insignia, Qwen3.8-2.4T-A95B, es efectivamente solo texto en su forma descargable, y la API alojada Qwen3.8-Max añade visión sobre esos pesos. El de 27B es el peso que realmente puedes descargar y ejecutar que maneja texto, imagen y video de fábrica, por lo que una ruta de CPU para su modo de video merece la pena seguir de cerca.

Lo que el PR de SGLang realmente cambia

El pull request (sgl-project/sglang #35492) es acotado y legible. Su propia descripción: “Este PR es para soportar Qw​en3.8 texto+video, agregando torchcodec, ffmpeg y eliminando pin_memory.” En la práctica, eso son tres movimientos.

• torchcodec — la biblioteca de decodificación de video de PyTorch basada en ffmpeg — se añade al stack, por lo que los fotogramas de video para Qw​en3.8 text+video pueden decodificarse y preprocesarse en la CPU del host. La PR fija torchcodec 0.12.0 contra torch 2.12, y señala que ffmpeg debe permanecer por debajo de la versión 9.

• pin_memory se elimina de la ruta multimodal. pin_memory es una optimización de transferencia a GPU que fija los búferes del host para una copia asíncrona rápida a un dispositivo; eliminarla en una ruta solo de CPU delata que el hardware de destino no tiene un acelerador discreto en la ruta de datos.

El comando de reproducción lanza el modelo real — Qwen/Qwen3.8-27B — a través de sglang.launch_server en CPU con la ruta de entrada de texto+video habilitada.

Lee las etiquetas de estado antes de construir cualquier cosa sobre esta base: el PR es un borrador, ambas ejecuciones de CI están fallando y, a día de hoy, todavía está pendiente de revisión por parte de los propietarios del código de SGLang. Es una dirección, no un lanzamiento. El contexto importante es que SGLang ya sirve Qwen3.8-27B en GPU — el cookbook cubre H200, RTX PRO 6000, RTX 5090 y DGX Spark, con una imagen dedicada lmsysorg/sglang:qwen38-27b — por lo que la ruta de texto+video en CPU es la pieza realmente nueva.

Por qué el texto+video de la CPU importa más de lo que parece

Alibaba posicionó el 27B para IA de borde desde el primer día — MediaTek lo adaptó a los chips móviles Dimensity y al cockpit automotriz C-X1 el mismo día en que se publicaron los pesos. La historia del despliegue local lo reforzó: una cuantización Q4_K_M es de aproximadamente 17,1 GB, lo que cabe en una GPU de consumo de 24 GB o en un Mac con Apple Silicon con 32 GB de memoria unificada. Lo único que esa historia no podía hacer era video en una máquina sin GPU alguna. Ese es el vacío que aborda este PR.

Una ruta de texto+video por CPU hace que la comprensión de video se pueda implementar en equipos CPU convencionales — máquinas virtuales, servidores pequeños, unidades de rack locales, gateways perimetrales — donde la carga de trabajo es asíncrona y el rendimiento importa más que la latencia. Generación de subtítulos de video, moderación de contenido, análisis de documentos y diagramas, recuperación sin conexión sobre grabaciones: estos son exactamente los trabajos por lotes que no necesitan una GPU, y hoy en día aún asumen que se necesita una para cualquier VLM con entrada de video.

La compensación honesta es que Qwen3.8-27B es un modelo de 27 mil millones de parámetros y ningún camino de CPU hace rápido a un 27B. Espera tokens de un solo dígito por segundo en un servidor serio de clase AVX con fotogramas de video en el contexto — viable para trabajos por lotes y nocturnos, no para chat interactivo con video. El punto del camino de CPU es que la opción simplemente existe: un despliegue sin GPU puede ejecutar el modo de video del mismo modelo en lugar de degradarse a un modelo de visión más pequeño o enviar cada fotograma a una GPU en la nube.

Dónde se ejecuta Qwen3.8-27B hoy

El ecosistema alcanzó al modelo rápidamente. En el lado del autohospedaje tienes llama.cpp y LM Studio con paquetes GGUF que llegan hasta una cuantización de 2 bits de aproximadamente 10.7GB, Ollama para un comando de una sola línea, y vLLM y SGLang para un servicio adecuado. La mayor parte de eso es texto o imagen hoy en día; la ruta de video en CPU es la parte que aún se está construyendo.

Si prefieres no ejecutar un 27B tú mismo, la ruta alojada ya existe: OrcaRouter sirve qwen/qwen3.8-27b con entradas de texto, imagen y vídeo, una ventana de contexto de 262 144 tokens y salida de texto, a 0,33 $ por millón de tokens de entrada y 2,40 $ por millón de tokens de salida. Está detrás del mismo endpoint compatible con OpenAI que todos los demás modelos de la plataforma: una clave de API, sin segundo contrato — y la conmutación automática por error y el DSL de enrutamiento de la plataforma se aplican a los más de 200 modelos de esa clave. Un modelo de cinco días con una ruta de CPU no probada es el caso de libro para enrutar en lugar de conectar directamente: puedes probar Qwen3.8-27B con cargas de trabajo reales detrás de una ruta sin arriesgar toda tu ruta de llamadas en una sola pila de servicio, y alternar entre versiones autoalojadas y alojadas sin cambiar código.

Los números — reportados por el proveedor, y que vale la pena comprobar.

Cada cifra destacada a continuación es propia de Alibaba, extraída de la ficha del modelo y de los materiales de lanzamiento. El modelo tiene cinco días y la reproducción independiente apenas está empezando a aparecer, así que trátalos como afirmaciones con una dirección clara, no como veredictos. Para un 27B, las puntuaciones de codificación y de agente son las que más llaman la atención:

• SWE-bench Pro — 61.7 (reportado por Alibaba; su propia tabla muestra Claude Opus 4.6 Max en 53.4)

• Terminal-Bench 2.1 — 73.0 (codificación agéntica de terminal)

• OSWorld-Verified — 84.3 (tareas de agentes de uso de computadora)

• AndroidWorld — 81.9

• DeepSWE 1.1 — 42.2, aproximadamente el triple de los 13.3 del anterior 27B abierto

En el lado de la visión — el lado del que realmente trata este artículo — Alibaba reporta VideoMME 87.0 para la comprensión de video y MathVision 90.0 para el razonamiento visual sin herramientas. La lectura preliminar de Artificial Analysis sitúa al modelo en 52 en su Intelligence Index y 51 en su Agentic Index, competitivo con modelos cerrados mucho más grandes en ciertos ajustes de razonamiento; esas son aún puntuaciones tempranas para un modelo de cinco días.

Una advertencia importa de forma desproporcionada para cualquiera que ejecute el modelo localmente o en CPU, y es el dial de razonamiento. Qwen3.8-27B viene con el modo de pensamiento activado y un ajuste de reasoning_effort por solicitud (low / medium / xhigh). El xhigh predeterminado piensa de más, y mal: la ahora famosa primera ejecución del GGUF de 17 GB tardó unos 21 minutos y 22 000 tokens de razonamiento en dibujar una imagen simple. En CPU especialmente, configura reasoning_effort deliberadamente: la diferencia entre interactivo e inutilizable es un solo parámetro.

Qué ver

Tres cosas te dirán si la ruta de la CPU se vuelve real:

• Si el PR #35492 se fusiona. Es un borrador con CI en rojo hoy. Una versión fusionada y en verde que se incluya en un lanzamiento es el punto en el que la ruta de texto+video de la CPU se vuelve ejecutable para el resto de nosotros.

• Pruebas comparativas independientes. Las cifras de 61.7 en SWE-bench Pro y de 87.0 en VideoMME son reportadas por el proveedor. Las ejecuciones de LMArena y Artificial Analysis durante las próximas dos semanas mostrarán cuánto sobrevive fuera del propio entorno de pruebas de Alibaba.

• Si una versión alojada con contexto de 1M se materializa. Un contexto nativo de 262K ya es mucho; un modo multimodal de un millón de tokens es donde el ahorro de la caché de atención híbrida se amortiza por sí mismo.

Por ahora la decisión es simple. Si tienes el hardware, el Q4 GGUF de 17GB junto con SGLang o llama.cpp ejecuta el modelo hoy, y el PR de CPU para texto+video muestra hacia dónde se dirige la ruta sin GPU. Si no lo tienes, Qwen3.8-27B se puede llamar a través de OrcaRouter a $0.33 por millón de tokens de entrada y $2.40 por millón de tokens de salida con una sola clave. En cualquier caso, el 27B abierto con capacidad de video es el modelo más interesante de observar en la generación Qwen 3.8 — y tiene cinco días.