Jais 3 vs SILMA 9B: un desafío de modelos entre dos eras diferentes de la IA árabe

Abra SILMA AI y el producto estrella con el que se presenta es SILMA TTS v2.0, un modelo de texto a voz que declara 170 ms de tiempo hasta el primer token para agentes de voz. Desplácese hasta el pie de página y allí sigue habiendo un enlace a una tabla de clasificación de LLM en árabe, y el modelo que este enfrentamiento nombra — SILMA-9B-Instruct-v1.0, un modelo instruct bilingüe de 9B en árabe e inglés de la organización silma-ai/ — sigue en el Hub. Se publicó el 17 de agosto de 2024. Frente a él se sitúa Jais 3, la familia del Institute of Foundation Models e Inception42 cuyos pesos se publicaron el 29 de septiembre de 2026 y cuyas recetas de servicio se sellaron el 5 de octubre. Eso supone una brecha de veinticinco meses y un cambio de categoría industrial, y hace que esta sea la página más extraña del conjunto: no un enfrentamiento entre dos rivales, sino entre un checkpoint de la época en la que los LLM árabes se puntuaban por log-verosimilitud en benchmarks traducidos y una familia de 2026 que incluye analizadores de razonamiento y ventanas de contexto de 512K. Aun así, vale la pena hacer la comparación, porque los equipos todavía siguen usando SILMA 9B, y la pregunta de qué haría falta para reemplazarlo es real.

Lo que cada lado realmente es

• Jais 3 es una familia, no un modelo — seis checkpoints base, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B y Jais-3-375B-A23B, además de las variantes -Uno/, todas bajo Apache 2.0 y todas sin restricciones de acceso. Los modelos densos se basan en una arquitectura personalizada k2_horizon/ que requiere trust-remote-code.

• SILMA 9B es un checkpoint. silma-ai/SILMA-9B-Instruct-v1.0/ es un derivado de Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — con cinco fragmentos de safetensors, una etiqueta de pipeline conversacional y árabe e inglés declarados como sus idiomas.

• La licencia es la diferencia práctica más marcada. Jais 3 es Apache 2.0 y no tiene puerta. SILMA 9B lleva la licencia Gemma y una puerta de aceptación de condiciones: el campo extra_gated_button_content/ de la tarjeta significa que aceptas los términos antes de que los pesos sean tuyos, y la licencia Gemma conlleva restricciones de uso que Apache 2.0 no tiene.

• La familia que lo sustituyó es pequeña. Los lanzamientos posteriores de SILMA AI son SILMA-Kashif-2B-Instruct-v1.0 de enero de 2025 y un par de modelos de embeddings de octubre de 2024. No hay sucesor de SILMA 9B, ni de 27B, ni variante MoE. El artefacto más reciente de la organización, por un amplio margen, es silma-tts/ de marzo de 2026.

• Contexto — hasta 524.288 tokens en la mayor parte de la línea Jais 3, 128K en el 0.9B. La ficha de SILMA no publica ninguna cifra de longitud de contexto.

El problema de referencia, planteado antes de citar cualquier número

Los resultados publicados de SILMA 9B provienen de una cultura de medición distinta de la de Jais 3, y la diferencia no es una cuestión de grado.

• Los números de SILMA son puntuaciones de log-verosimilitud en el harness del Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ frente a Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4), además de una serie de benchmarks traducidos. Su propio titular es una puntuación en el Arabic Broad Benchmark de 6.15 sobre 10.

• Las cifras de Jais 3 son la precisión de respuestas generadas en un conjunto de muestras auditado. IFM informa MMLU en árabe de 89,3 para el 375B, 88,6 para el 32B, 85,2 para el 7B y 83,3 para el 3,7B, con la estrella marcando los benchmarks que limpió de preguntas ambiguas, opciones no válidas y etiquetas de referencia indefendibles — y publica las muestras excluidas.

• Estas no son la misma medición. La puntuación de verosimilitud logarítmica de opción múltiple y la precisión de las respuestas generadas en un conjunto depurado no coincidirán, y la diferencia entre ellas no es una medida de la calidad del modelo. Poner 85.2 junto a 52.55 y llamarlo una victoria de 33 puntos sería la frase más engañosa disponible en esta página, y es la frase que escribirían la mayoría de los artículos de comparación.

• Ninguno tiene una puntuación independiente. Ninguno aparece en Artificial Analysis. Ningún resultado de arena. Todas las cifras de esta sección las reporta el proveedor, cualquiera que sea el laboratorio que las haya publicado, y las cifras de Jais 3 llevan además la propia nota al pie de IFM de que el ajuste de esfuerzo de razonamiento utilizado fue alto/ en todas las ejecuciones.

La comparación emparejada por tamaño es la que significa algo

Si lo que tienes es SILMA 9B, el candidato honesto para reemplazar a Jais 3 es Jais-3-7B o Jais-3-3.7B, no el buque insignia. Ambos son densos, ambos se ejecutan con paralelismo de tensores 1 en bfloat16 en la receta de vLLM, y ambos están sin restricciones.

• Huella — Jais-3-7B con TP=1 en una sola GPU frente al Gemma 2 9B de SILMA 9B, repartido en cinco fragmentos. El coste de alojamiento es comparable, así que la actualización es una cuestión de calidad y capacidades, no de hardware.

• Contexto — 524.288 tokens para Jais-3-7B frente a ninguna cifra publicada para SILMA 9B. Esta es la fila en la que una carga de trabajo se re-arquitectura en lugar de portarse.

• Compilaciones para edge y cuantizadas — GGUF para llama.cpp y Ollama tanto en el 3.7B como en el 7B, y MLX de 4 bits, 8 bits y bf16 para Apple silicon. SILMA 9B tiene conversiones GGUF, pero son subidas de terceros de 2024 y el proveedor no publicó ninguna.

• Áreas específicas del árabe — IFM publica una suite completa de benchmarks en árabe por checkpoint que abarca dialectos, diacritización, parsing, IslamicQA, cultura árabe y traducción. La tarjeta de SILMA informa a través de las columnas agregadas de la tabla de clasificación y su propia puntuación de benchmark amplio, con mucho menos detalle por capacidad.

• Licencia — Apache 2.0 frente a la licencia de Gemma más una barrera de acceso. Para una canalización comercial en árabe, esa sola diferencia puede decidir la migración.

Lo que SILMA 9B todavía tiene a su favor

Dos cosas, y ninguna es un punto de referencia.

• Es un Gemma. Un gemma2/ checkpoint se ejecuta en cada stack que ya ejecuta Gemma 2 — sin --trust-remote-code/, sin flags de parser personalizados, sin implementación de modelo específica de la arquitectura. Jais 3 necesita trust-remote-code, un k2_horizon/ parser de razonamiento, un k2_horizon/ parser de llamadas a herramientas, y muestreo dependiente del idioma: temperatura 1,0 para inglés y 0,7 para árabe en modo de pensamiento frente a un valor predeterminado de 0,2, con al menos 32.768 tokens de salida recomendados. Portar es trabajo real.

• Es estable y cuenta con una tabla de clasificación a su alrededor. SILMA AI mantiene un espacio Arabic LLM Broad Leaderboard, y un checkpoint de dos años tiene dos años de historias de producción asociadas. Eso no es poca cosa cuando la alternativa es un modelo publicado hace tres semanas sin evaluación de terceros, sin informe técnico —IFM lo incluye como próximamente— y sin precio publicado.

La decisión de migración, y cómo hacerla reversible

Sustituye SILMA 9B si tu carga de trabajo consiste en documentos de contexto largo, uso de herramientas de tipo agéntico, o es lo bastante sensible a nivel comercial como para que la licencia de Gemma suponga un problema. Solo la fila del contexto ya lo justifica: un modelo sin ninguna cifra de contexto publicada frente a otro que llega a medio millón de tokens no es una decisión reñida para el trabajo con documentos.

Consérvalo si el pipeline está establecido, la licencia de Gemma ya está autorizada, y todo funciona con transformers estándar — porque el contrapeso honesto a la tabla de benchmarks de Jais 3 es que la tabla es de IFM, el modelo tiene tres semanas, y no hay ninguna cifra independiente que lo respalde. Actualizar una ruta de producción árabe que funciona a un checkpoint de tres semanas basándose en las cifras del proveedor es el error que esta comparación pretende evitar.

La forma de obtener ambos es ejecutarlos en paralelo primero, y la razón de que antes fuera costoso es que implicaba dos integraciones y un arnés de comparación. OrcaRouter simplifica eso: una sola API para más de 200 modelos con un 0 % de recargo, el precio de lista del proveedor se traslada tal cual, así que una comparativa es un cambio de enrutamiento en lugar de un proyecto — y el DSL de enrutamiento es la herramienta adecuada para la tarea específica de enviar prompts idénticos en árabe a dos modelos y puntuar las respuestas, porque los combina en una sola llamada y devuelve ambos. La conmutación por error automática es lo que hace seguro el siguiente paso, ya que permite que un modelo recién publicado reciba una parte del tráfico real mientras tu modelo consolidado absorbe el resto y captura las solicitudes que el nuevo descarta. Ninguno de los dos modelos está en nuestro catálogo ahora mismo; la lista de modelos es donde hay que mirar antes de diseñar en torno a un autoalojamiento.

Qué ver

Cuatro cosas, en orden de cuánto cambiarían esta página. Un sucesor de SILMA 9B, que convertiría un desajuste de categoría en un enfrentamiento real. Cualquier evaluación independiente de un checkpoint de Jais 3, que haría innecesaria toda la sección de benchmarks. El informe técnico de IFM, actualmente listado como próximamente. Y un precio publicado para Jais 3, del que no hay ninguno en ninguna parte. Hasta que al menos uno de esos se materialice, la lectura defendible de esta comparación es arquitectónica —licencia, control de acceso, contexto, herramientas, escalera de tamaños— y las puntuaciones deberían leerse como dos laboratorios que miden dos cosas distintas en dos años distintos.