Jais 3 llega a vLLM antes de llegar al comunicado de prensa

Check the date on the J​ais-3-375B-A23B serving recipe and it does not say what the launch coverage says. The vLLM recipe page for the flagship of the J​ais 3 family carries a last-updated stamp of 5 October 2026. The weights for J​ais-3-32B, J​ais-3-7B, J​ais-3-3.7B, J​ais-3-0.9B and J​ais-3-MoVA-36B-A4B went up on the Hub on 29 September. The press release from the Institute of Foundation Models and Inception42 is dated 15 October. That ordering is the actual news here, and it is a better story than the one the announcement tells: the serving stack did not scramble to catch up with an Arabic frontier model — it was ready ten days early. This piece is about what that readiness looks like in practice, what the family ships, and the two questions nobody has answered yet.

Las recetas son reales, y son específicas.

Los anuncios de soporte de frameworks suelen ser una frase y un enlace. Este tiene contenido ejecutable, que merece la pena leer con atención porque te dice lo que cuesta realmente el despliegue antes de que descargues unos 700 y pico gigabytes de pesos.

• vLLM — las recetas apuntan a vllm>=0.30.0/. El buque insignia de 375B requiere --tensor-parallel-size 16 --enable-expert-parallel/ en un checkpoint bfloat16, es decir, 16× H100 80GB repartidos entre dos nodos de 8 GPU en el propio despliegue de referencia de IFM.

• Smaller siblings get smaller footprints — J​ais-3-32B serves at --tensor-parallel-size 2/, J​ais-3-7B and J​ais-3-3.7B at --tensor-parallel-size 1/. J​ais-3-MoVA-36B-A4B wants TP=2 with expert parallelism enabled, and its 4B active parameters per token are the reason it does not need a node farm.

• SGLang — la receta paralela está dirigida a sglang>=0.5.20/, con la configuración de dos nodos 375B que ejecuta TP=16 y EP=16, FlashAttention-3, y la carga de pesos multihilo explícitamente deshabilitada.

• H200 cambia la aritmética — con 141 GB por GPU, el modelo insignia cabe en un solo nodo H200 de 8 GPU. La tarjeta de IFM indica reducir el paralelismo de tensores y de expertos a 8 en ese caso. Un nodo en lugar de dos no es una diferencia desdeñable en un modelo de costes.

• AMD is validated too — the recipe page carries an MI355X configuration verified on an 8-GPU gfx950 node, using AITER for the fused MoE and the unified attention backend, with VLLM_ROCM_USE_AITER=1/. A day-zero N​VIDIA-only story is common; a day-zero story with a second vendor's silicon verified is not.

Lo que hace que el soporte sea más que una casilla de compatibilidad es que la arquitectura es genuinamente personalizada. Las configs del Hub declaran model_type: k2_horizon/ y K2HorizonForCausalLM/ con código remoto personalizado, el de 375B con 192 expertos y enrutando 8 por token. Ese es el tipo de modelo que normalmente llega a un framework semanas después del lanzamiento con una lista de parches en las notas de la versión, no con una receta registrada fechada antes del comunicado de prensa.

Agéntico nativo de árabe, en las banderas que realmente acepta

«Agentic» es la palabra que aparece en el titular del anuncio, y los comandos de servicio son donde puedes comprobar si significa algo. En gran medida, sí.

• --reasoning-parser k2_horizon/ separa el rastro de razonamiento de la respuesta. El razonamiento se devuelve en reasoning_content/ y la respuesta en content/, que es la diferencia entre una cadena de pensamiento que puedes registrar y una de la que tienes que extraer con regex del cuerpo de la respuesta.

• --tool-call-parser k2_horizon/ con --enable-auto-tool-choice/ activa el uso de herramientas, y el modelo admite tres formatos de llamada a herramientas — json/, xml/ y el xml_typed/ — seleccionables por solicitud mediante chat_template_kwargs/, y por defecto xml/.

• La profundidad de razonamiento es una configuración por solicitud, no una decisión de despliegue. {"reasoning_effort": "high"}/ es el valor predeterminado y con el que se generó cada cifra publicada; "low"/ desactiva el pensamiento por completo, y la propia ficha de IFM indica que low no se recomienda fuera de la investigación sobre el esfuerzo de razonamiento.

• Los parámetros de muestreo cambian según el idioma, lo cual es inusual y vale la pena detectar. El valor predeterminado es temperature 0.2, top_p 0.95, top_k 20. En modo de pensamiento, IFM solicita temperature 1.0 para inglés y 0.7 para árabe. Una única configuración global de temperature es la configuración incorrecta para este modelo.

• El presupuesto de salida es amplio. La tarjeta recomienda al menos 32.768 tokens de salida — una fuerte pista sobre la duración de las trazas de razonamiento, y una restricción real en tu tiempo de espera por solicitud si estás acostumbrado a completaciones de 4K.

Lo que realmente incluye la familia

Seis checkpoints base, no uno. La dispersión importa más que el modelo insignia, porque determina si la familia es un artefacto de investigación o algo que puedes poner detrás de una carga de trabajo.

• J​ais-3-0.9B — 0.9B dense, 128K context, the only member that is not 512K. RoPE scaling via YaRN is in the vLLM command, so the long-context behaviour on this one is an explicit override rather than a trained default.

• J​ais-3-3.7B, J​ais-3-7B, J​ais-3-32B — dense, all at up to 524,288 tokens of context, described by IFM as small, medium and large dense members.

• J​ais-3-MoVA-36B-A4B — a mixture-of-experts model with Mixture-of-Values attention. The recipe page puts it at 37.44B stored parameters including embeddings and 5.95B active per token, against the card's headline 36B and 4B. Both numbers are the vendor's; they count embeddings differently. Take the recipe page's figures when you are sizing GPUs and the card's when you are quoting the model.

• J​ais-3-375B-A23B — the flagship, 375B stored and 23B active by the card, 379.17B and 26.67B by the recipe page. Same counting discrepancy, same resolution.

• Los formatos cuantizados y para edge ya están disponibles — compilaciones FP8, GGUF para llama.cpp y Ollama, y MLX de 4 bits, 8 bits y bf16 para Apple silicon, publicadas en toda la organización IFM. Las compilaciones MLX para el 32B llegaron el 1 de octubre, y las compilaciones GGUF para el 3.7B y el 7B, el 13 de octubre. Nadie estaba esperando un lanzamiento posterior para ejecutarlas localmente.

• La licencia es Apache 2.0 en toda la familia base, sin restricciones en los repositorios inception42. Esa es una postura sustancialmente distinta de la de varios de los modelos árabes con los que esta familia compite ahora.

There is also J​ais-ASR in the same organisation — a speech-recognition model built on a J​ais-3-4B backbone, covering Modern Standard Arabic plus dialects from 19 Arab countries with code-switching into English, French, Spanish and Italian, and reporting 22.85% WER and 8.37% CER on the Open Universal Arabic ASR Leaderboard. It is a separate model with its own licence file and its own vLLM plugin, but it is the reason the announcement says "speech" alongside "writing and agents".

Los números son del proveedor, y este proveedor los audita

Cada cifra de benchmark que aparece a continuación proviene de las propias fichas de modelo de IFM y no ha sido reproducida por un tercero. Esa frase debe ir delante de las cifras, no después de ellas.

• MMLU en árabe, insignia: 89,3. MMLU en árabe con diacríticos: 88,2.

• Belebele: 95.6. MMLU de árabe dialectal: 89.6. Identificación de dialecto (QADI): 71.1. Alyah: 87.6.

• AraSTEM: 95.5. GSM8K en árabe: 86.8. GATmath: 98.4.

• IFBench en árabe, estricto a nivel de prompt: 93.9. IFEval en árabe: 77.7. FLORES200+ LLM como juez: 91.9.

• Agéntico: Terminal Bench 2.1 en 73.8, GDPVal en 73.2, MCPMark en 68.5, SWE-Bench Verified (offline) en 70.2, GAIA v2 lit (árabe) en 50.3. Apex-Agents es el que mantiene la tabla honesta en 18.6.

La nota de metodología es la parte que merece crédito. IFM marca los benchmarks que han sido auditados por la calidad de las muestras, con preguntas ambiguas, opciones de respuesta no válidas y etiquetas de referencia indefendibles excluidas, y publica la metodología de auditoría, las muestras excluidas y la lista de benchmarks verificados como una colección aparte. Esto no es revisión por pares y no hace que la puntuación de un proveedor sea independiente, pero un laboratorio que te dice cuáles de sus propios números limpió es un laboratorio que puedes leer con más confianza que uno que no lo hace. Las puntuaciones en los conjuntos limpios tampoco son lo mismo que las puntuaciones en el benchmark tal como se suele ejecutar, y las marcas con asterisco son las que hay que revisar antes de comparar con la hoja de otra persona.

Dos cosas que nadie ha respondido

There is no pricing. Not on the Hub cards, not on the recipe pages, and the vendor's own blog is behind a bot challenge that no automated reader gets through. There is no published per-token rate for any member of this family to compare against anything. Anyone quoting a price for J​ais 3 today is quoting something they invented, or quoting what a third-party host happens to charge for running it on their own GPUs — which is a hosting price, not a model price.

No existe una evaluación independiente. Artificial Analysis no tiene entrada, ninguna arena ha publicado resultados cara a cara y ninguna tabla de clasificación neutral ha ejecutado la familia. El informe técnico figura en la ficha del modelo como "próximamente", y el repositorio de código también. Hasta que algo fuera del laboratorio ejecute estos pesos, la lectura correcta de un 95.5 en AraSTEM es "IFM dice 95.5".

Si quieres probarlo antes de que haya una factura

Los pesos son abiertos y Apache 2.0, así que la evaluación más barata es tu propio hardware — y las recetas anteriores son lo bastante cortas para ejecutarlas hoy. Lo que es más difícil es poner a la familia detrás de algo real, porque tendrías que montar un clúster de 16 GPU, o alquilar uno, para averiguar si un modelo sin puntuación independiente pertenece a una ruta de producción.

Ese es el caso en el que una capa de enrutamiento se gana su lugar en lugar de decorar un diagrama de arquitectura. OrcaRouter te ofrece una única API a través de más de 200 modelos con conmutación automática por error, de modo que una carga de trabajo en árabe puede enviar una porción del tráfico a un modelo no probado y dejar que algo ya medido absorba el resto — la evaluación se realiza con prompts reales, y una respuesta mala o un endpoint en mal estado conmutan por error en lugar de tumbar la solicitud con ellos. Vale la pena consultar el catálogo antes de planificar en torno a un autoalojamiento, porque cambia. Si un modelo no está en él hoy, puede estarlo la semana que viene, y la página de precios es la fuente honesta de lo que cuesta cualquier cosa una vez que lo está.

Lo próximo que hay que vigilar es acotado y específico: el informe técnico, el repositorio de código, un primer número de alguien que no sea IFM y un precio publicado. Cualquiera de esos elementos cambia este artículo. Ninguno de ellos se ha materializado todavía, que es exactamente por lo que el soporte de framework desde el día cero es la parte de este lanzamiento que actualmente es verificable.

Lo que los números no pueden decirte es si algo de esto ha salido mal sobre el terreno: los incidentes de IA documentados y los fallos de agentes en torno a los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.