Paso 5: la vista previa se puede autoalojar desde el día cero: vLLM y SGLang implementan rutas de servicio para el MoE de 600B de StepFun

Step 5 Preview no era nuevo la mañana del 15 de octubre de 2026. El buque insignia de StepFun, de 600.000 millones de parámetros, ha sido invocable a través de la propia API del proveedor desde el 20 de septiembre de 2026, y el evaluador independiente Artificial Analysis lo ha estado puntuando desde el 18 de septiembre. Lo que era nuevo esa mañana era más acotado y considerablemente más útil: dos stacks de inferencia populares publicaron sus propias vías para ejecutarlo en hardware que posees o alquilas. vLLM abrió un pull request en borrador que añadía Step 5 Preview —129 archivos, +16.996 líneas— junto con una receta complementaria y una imagen dedicada vllm/vllm-openai:step-5-preview que llegó a Docker Hub a las 00:51 UTC. SGLang integró una página de cookbook con recetas de despliegue para Blackwell y Hopper, y el pull request de soporte del modelo subyacente se abrió esa misma hora. Hasta esa mañana, la única manera de llevar Step 5 Preview a tus propias GPU era una resubida comunitaria de un checkpoint que nadie te había licenciado para redistribuir.

Así que el titular honesto no es «StepFun lanzó un modelo». Lanzó este en septiembre, y la fecha del propio modelo pertenece a la primera frase de cualquier artículo sobre él. El titular es que, a partir del 15 de octubre de 2026, la cuestión del servicio tiene comandos en la respuesta.

¿Qué cambió realmente el 15 de octubre?

Cuatro artefactos, todos fechados el mismo día, y vale la pena separarlos porque conllevan diferentes niveles de compromiso.

• Soporte de modelo vLLM — solicitud de extracción #61727, titulada "Añadir soporte de Step-5 Preview", abierta por jeejeelee a las 01:18 UTC y con la borrador bandera. Es un único commit comprimido que toca 129 archivos, y no está fusionado. Un PR en borrador es un autor pidiendo revisión, no una promesa del mantenedor.

• La receta de vLLM —la pull request #1122 en vllm-project/recipes, abierta dos minutos antes a las 01:16 UTC y que también sigue abierta— añade models/stepfun-ai/Step-5-Preview.yaml con una variante predeterminada FP8 y una variante NVFP4. Este es el documento que contiene las cifras, y es en el que se basa la mayor parte de este artículo.

• La imagen de contenedor — vllm/vllm-openai:step-5-preview, publicada el 2026-10-15 a las 00:51 UTC como un manifiesto de dos arquitecturas: linux/amd64 con 8.56 GB comprimidos y linux/arm64 con 9.58 GB, junto con step-5-preview-x86_64-cu130 y step-5-preview-arm64-cu130. Una imagen publicada es una señal más fuerte que un PR abierto: significa que alguien compiló esto y lo publicó, sin importar cuándo termine la revisión.

• El cookbook de SGLang — la pull request #44357, «Añadir cookbook de Step 5 Preview», se fusionó en main a las 01:21 UTC tras la revisión, añadiendo una página de despliegue que la documentación de SGLang ahora ofrece en docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview y etiqueta como NEW. Su PR complementaria de soporte, #44356, sigue abierta. La página del cookbook afirma sin rodeos que «el soporte para Step 5 Preview aún no se ha incluido en una versión de SGLang, por lo que una instalación estándar de pip install sglang no puede servirlo» — que es la frase más importante de la página.

Si lees esos cuatro juntos, obtienes una imagen coherente: StepFun está poniendo en marcha un servicio abierto para un modelo cuya API lleva activa casi un mes. Nada de esto es un anuncio de lanzamiento, y nada de esto es un benchmark. Es la fontanería que determina si el modelo es algo que puedes ejecutar.

Qué es Step 5 Preview, en los términos por los que un ingeniero de servicio pregunta primero

La propia documentación en inglés de StepFun es escasa en cuanto a arquitectura: publica el ID del modelo, la ventana de contexto de 1M de tokens, entrada de texto/imagen/vídeo, salida solo de texto, una salida máxima de 64k tokens, compatibilidad con JSON Schema, caché de prompts y un control reasoning_effort con ajustes bajo, medio y alto. No publica ningún recuento de parámetros. Las cifras de arquitectura que figuran a continuación proceden de los dos documentos de servicio propios publicados hoy, que tuvieron que leer el checkpoint para escribir un cargador, y coinciden entre sí.

• Tamaño — 600B de parámetros totales con 27B activos por token, un diseño de mezcla de expertos dispersa. La receta de vLLM indica de forma independiente 604B, "contados a partir de las formas de los tensores del checkpoint", y los dos números son el mismo número redondeado de manera diferente.

• Profundidad y enrutamiento — 92 capas. Cada capa MoE enruta un token a 8 de 352 expertos más un experto compartido. Ese número de expertos es la razón por la que el PR de vLLM incluye un cambio en el kernel router-GEMM: añade (4096, 352) como par (hidden_dim, num_experts) compatible, junto con los existentes (3072, 256) y (6144, 128).

• Atención — un patrón repetitivo de cuatro capas: tres capas de ventana deslizante que atienden a los 512 tokens más recientes, seguidas de una capa de atención dispersa. Las capas dispersas dividen el historial de KV en regiones de 8 tokens, puntúan un resumen de cada región con un indexador ligero y seleccionan hasta 512 regiones históricas a las que atender a nivel de token. SGLang lo llama region-sparse attention; la consecuencia práctica es que un contexto de 1M de tokens sigue siendo asequible en memoria.

• Decodificación especulativa — tres capas MTP. El "MTP de tres capas" de SGLang y --spec-method mtp --spec-tokens 3 de la receta de vLLM son la misma afirmación desde dos direcciones.

• Precisión — los pesos de los expertos enrutados son FP8 (E4M3, escalas de bloque de 128×128) excepto en las tres últimas capas MoE, que se mantienen en BF16. Un checkpoint NVFP4 aparte, stepfun-ai/Step-5-Preview-NVFP4, se referencia en la receta de vLLM como una variante. Ambos stacks dejan intacta la división de capas de precisión mixta en lugar de convertirla a un tipo superior.

• Comportamiento del razonamiento: el modelo siempre piensa antes de responder. reasoning_effort establece la profundidad y tiene high por defecto cuando no se configura, que es la configuración con más probabilidades de sorprenderte con un presupuesto de latencia. El muestreo recomendado por StepFun es temperature=1.0, top_p=0.95, top_k=0, y el recetario de SGLang los marca como informativos en lugar de como algo que deba fijarse en el código.

El mínimo de hardware es la parte que decide si esto te importa.

Aquí es donde la receta de vLLM justifica su valor, porque nadie más ha publicado mínimos estrictos.

• Mínimo de FP8 — 773 GB de VRAM, con un mínimo de 4 GPU y un objetivo de hardware predeterminado de B300. Las configuraciones verificadas se enumeran para H200, B300 y GB300. En cuatro B300, la receta ofrece disposiciones TP4, TEP4 o DEP4; los pesos FP8 no caben en cuatro H200, por lo que la ruta de Hopper es de ocho GPU.

• Mínimo de NVFP4 — 473 GB de VRAM para el checkpoint cuantizado, 300 GB menos que FP8. La contrapartida es el contexto: la variante NVFP4 se ejecuta con --max-model-len 320000, así que renuncias a aproximadamente 724.000 tokens de los 1.048.576 anunciados para caber en la huella más pequeña.

• Paralelismo de expertos — en Blackwell, las disposiciones TEP y DEP se enrutan a través de MegaMoE con --moe-backend deep_gemm_mega_moe; la disposición de paralelismo de tensores pura deliberadamente no lo hace, porque MegaMoE requiere paralelismo de expertos para tener algo que dividir. En H200, la receta recurre a un Triton MoE para cada capa de expertos, incluidas las tres de BF16, porque los kernels MoE de TRT-LLM son exclusivos de Blackwell.

• Coste de inicio — el recetario de SGLang sitúa el primer lanzamiento en unos 15 minutos de compilación de FlashInfer en B300, que se reducen a unos 6 minutos en arranques posteriores, y te indica que persistas FLASHINFER_WORKSPACE_BASE y ~/.cache/sglang entre reinicios. Si estás escalando automáticamente desde cero, eso es un mínimo de arranque en frío, no un error de redondeo.

• Lo que aún no es compatible: la receta de vLLM marca tanto el offload de KV de Simple como el de LMCache como no compatibles para este modelo. La ruta HiCache de SGLang está documentada como disponible en el cookbook, lo cual es una diferencia real de capacidades entre ambas pilas tal como están hoy.

La lectura práctica: Step 5 Preview es un despliegue de entre cuatro y ocho aceleradores, no un proyecto de aficionado de un solo nodo. Si esa frase pone fin a tu interés, la sección de API que aparece a continuación es el resto del artículo.

Llamarlo, y lo que cuesta cada token

La propia página de precios de StepFun incluye step-5-preview a $1.00 por millón de tokens de entrada en un fallo de caché, $0.10 en un acierto de caché, y $2.70 por millón de tokens de salida — cifras del proveedor, no de un revendedor. Dos detalles cambian la aritmética. Primero, el precio de entrada en fallo de caché incluye escribir contenido nuevo en la caché, por lo que una primera pasada sobre un documento largo se cobra una vez y resulta barata en la segunda pasada. Segundo, los tokens de salida incluyen el razonamiento del modelo además de su respuesta, lo cual importa más aquí que en un modelo que responde directamente.

Artificial Analysis, el único evaluador neutral con una ejecución publicada, puntúa a Step 5 Preview con un Intelligence Index de 43,7 —mostrado como 44—, con una velocidad de salida mediana de 88,5 tokens por segundo y un tiempo hasta el primer respuesta de 24,7 segundos, frente a aproximadamente 2.000 tokens de razonamiento por respuesta. La cifra de velocidad es respetable y la latencia del token de respuesta no lo es: un modelo que siempre piensa primero encaja mal en el autocompletado interactivo y encaja bien en el trabajo por lotes y agéntico, que es precisamente como StepFun lo posiciona. Esos son números independientes en un entorno de evaluación de terceros, y son los únicos disponibles: StepFun no publica ninguna tabla de benchmarks para este modelo en absoluto.

Donde la historia todavía es blanda, y no todo es blando de la misma manera

Tres cosas merecen señalarse en lugar de suavizarse, porque cada una tiene una vida útil distinta.

Lo primero es si el checkpoint del proveedor es realmente descargable. Tanto los documentos de servicio de primera parte hacen referencia a stepfun-ai/Step-5-Preview y stepfun-ai/Step-5-Preview-NVFP4 como los checkpoints canónicos, y el recetario de SGLang enlaza un LICENSE.txt bajo la StepFun Model License 1.0. Lo que esta página no puede hacer es confirmar desde Hugging Face que esos repositorios sean de lectura pública hoy: la API de Hugging Face devuelve el mismo 401 Invalid username or password para stepfun-ai/Step-5-Preview que para un id de repositorio que nunca ha existido, así que la respuesta no puede distinguir un modelo restringido de uno ausente. La propia indicación de la receta — «use hf auth login if the checkpoint requires authentication» — es la única afirmación sobre el acceso, y es condicional. Da por hecho que la descarga es referenciada por quienes escribieron los cargadores, y confirma el acceso tú mismo antes de planificar un lanzamiento en torno a ella.

El segundo es la fecha de lanzamiento, que tres fuentes dan de tres formas distintas: los materiales de anuncio de StepFun sitúan el lanzamiento el 20 de septiembre de 2026; Artificial Analysis fecha el modelo el 18 de septiembre de 2026 en sus propios metadatos y muestra «Lanzado en septiembre de 2026»; y los agregadores de metadatos de modelos que leen la mayoría de las herramientas indican el 16 de septiembre de 2026. Ninguna de las tres explica la discrepancia. Este artículo usa el 20 de septiembre del proveedor cuando se necesita una fecha, y conviene saber qué número tiene la herramienta que estás leyendo.

El tercero es la madurez, y aquí los dos stacks no son equivalentes. El cookbook de SGLang está fusionado e integrado en main, pero el propio texto de SGLang dice que el soporte no se ha incluido en ninguna versión, por lo que la ruta de Python es una imagen Docker de vista previa y nada más. La receta de vLLM está abierta, su PR del modelo es un borrador sin fusionar que GitHub informa actualmente que tiene conflictos de fusión y necesita un rebase, y sus propios revisores ya han planteado tres puntos abiertos contra la receta: una puerta de hardware FP8, un perfil predeterminado B300 que emite comandos de ocho GPU contra una guía de cuatro GPU, y un límite de contexto NVFP4 que no está codificado en los argumentos de la variante. Nada de eso es descalificador. Todo ello aboga por tratar un primer despliegue autoalojado esta semana como una evaluación, no como una migración.

¿Qué hacer con esto, esta semana?

Si ya tienes cuatro B300 u ocho H200 y una carga de trabajo que se parece a análisis de documentos largos, llamadas a herramientas multiturno o ejecuciones de agentes durante la noche, la receta de vLLM es casi un manual de operaciones: descarga vllm/vllm-openai:step-5-preview, copia un comando TP4 o TEP4 y comprueba si --max-model-len 1048576 sobrevive al contacto con tu presupuesto real de KV antes de prometerle a alguien un millón de tokens. Si tienes Hopper y no Blackwell, empieza con el checkpoint NVFP4 y acepta el contexto de 320k, o presupuesta ocho H200. En cualquier caso, establece reasoning_effort de forma explícita en cada solicitud en lugar de heredar el valor predeterminado alto, y mide el tiempo hasta el token de respuesta de 24,7 segundos en tu propio tráfico antes de concluir algo a partir de la cifra de 88,5 tokens por segundo.

Si no dispone de ese hardware, la API no es un premio de consolación: son los mismos pesos, facturados por token, a $1.00 de entrada y $2.70 de salida, con un 90% de descuento de caché en el contexto repetido. Y aquí viene la parte de esta página en la que encaja la respuesta honesta sobre nosotros: Step 5 Preview no figura hoy en la lista de modelos activos de OrcaRouter. Nuestro catálogo es de 207 modelos en 13 proveedores y actualmente no incluye ningún modelo de StepFun, así que para este modelo en concreto la propia API del proveedor es la única vía invocable, y nada de lo que aparece en esta página debe interpretarse como una afirmación de que nosotros lo servimos. Lo que sí enrutamos es la decisión que lo rodea: cuando eliges qué modelo de frontera va a soportar una carga de trabajo en producción, el argumento para acceder a él a través de un único endpoint es que el precio de lista del proveedor se traslada con un 0% de margen, de modo que un cambio de precio del proveedor es tu precio ese mismo día, y que la conmutación automática por error entre proveedores hace que una mala tarde de un solo modelo no sea tu caída de servicio. Eso es una afirmación sobre los modelos que sí tenemos, y deliberadamente no es una afirmación sobre este.

Lo que hay que observar a continuación es limitado y verificable. Si stepfun-ai/Step-5-Preview se resuelve en un repositorio legible con un archivo de licencia que puedas poner en manos de un equipo legal; si el #61727 de vLLM sale del borrador y de su conflicto de fusión; si el PR de soporte #44356 de SGLang llega a una versión etiquetada, que es el punto en el que la receta deja de ser una imagen de vista previa y se convierte en algo que tu CI puede fijar. Cualquiera de esas tres cosas convierte el «probablemente puedas ejecutarlo» de esta semana en un sí sin matices, y hasta entonces la única afirmación que vale la pena hacer es la que respaldan las pruebas: el 15 de octubre de 2026, dos stacks de servicio publicaron sus propias rutas hacia un modelo que es invocable desde el 20 de septiembre de 2026.

Elegir ejecutar un modelo de 600 mil millones de parámetros en tu propio hardware también es el tipo de decisión en la que el historial importa: los incidentes de IA documentados y los fallos de agentes en torno a modelos de esta clase se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza e indicador de disputa.