Jais 3 vs Fanar 2: Los dos proveedores no se ponen de acuerdo sobre la puntuación de Fanar 2

J​ais 3 y Fanar 2 son las dos familias de modelos árabes insignia del Golfo, y lo más útil que cualquiera puede decirte al compararlas es que las cifras de los propios proveedores para Fanar-2-27B-Instruct no coinciden. La ficha del modelo de QCRI reporta ArabicMMLU en 74,67% y Belebele en 86,81% para su modelo instruct de 27B. La tarjeta de J​ais-3-32B, del Institute of Foundation Models y Inception42, enfrenta al mismo oponente en su propia tabla de referencia y sitúa a Fanar-2-27B en 66,3 en Arabic MMLU y 61,8 en Belebele. Eso es una diferencia de ocho puntos en un benchmark y de veinticinco puntos en otro, para un solo modelo, y ninguna de las dos cifras es una invención — son el resultado de distintos sistemas de evaluación, distintos formatos de prompt y, en el caso de IFM, un conjunto de muestras auditado. También es lo más instructivo de esta página, porque significa que una comparación de J​ais 3 y Fanar 2 construida a partir de cifras publicadas es una comparación de dos prácticas de medición tanto como de dos modelos.

Las dos cartas, claramente.

• J​ais-3-32B — decodificador denso de 32B solo-decodificador de IFM, hasta 524,288 tokens de contexto, Apache 2.0, pesos publicados el 29 de septiembre de 2026. Incluye un parser de razonamiento (k2_horizon), un parser de llamadas a herramientas y tres formatos de llamadas a herramientas seleccionables. Se ejecuta con paralelismo tensorial 2 en bfloat16.

• Fanar-2-27B-Instruct — 27B denso de QCRI en la Universidad Hamad Bin Khalifa, 32.768 tokens de contexto, Apache 2.0, publicado en marzo de 2026. Preentrenado de forma continua a partir de google/gemma-3-27b-pt con aproximadamente 166B de tokens en árabe e inglés a lo largo de tres recetas y luego fusionado, seguido de una canalización de postentrenamiento de cinco etapas.

• Rango de escala — J​ais 3 es una familia, seis checkpoints base desde 0,9B hasta 375B, incluidos dos modelos de mezcla de expertos. La línea de lenguaje de Fanar 2 es esencialmente un único modelo instruct en 27B, con hermanos en otras modalidades en lugar de checkpoints de texto más pequeños.

• Licencia — Apache 2.0 por ambas partes, sin restricciones por ambas partes. Ninguna de las dos familias te obliga a firmar nada, lo cual vale la pena mencionar porque no es lo habitual en la región.

• Arquitectura base — J​ais 3 es entrenado por IFM con una arquitectura personalizada (k2_horizon, se requiere código remoto personalizado). Fanar 2 es un preentrenamiento continuo de G​emma 3 27B de G​oogle, lo que lo convierte en un tipo distinto de artefacto: una adaptación bien ejecutada en lugar de un entrenamiento desde cero.

Dónde divergen las cifras, y por qué eso no es un escándalo

Toma los nombres de los benchmarks uno a la vez, porque la etiqueta hace menos trabajo del que parece.

• ArabicMMLU frente a Arabic MMLU* — La tarjeta de Fanar dice 74,67 % para el benchmark que denomina ArabicMMLU. La tabla de IFM dice 66,3 para la columna que denomina Arabic MMLU*, donde el asterisco significa que IFM excluyó preguntas con indicaciones ambiguas, opciones no válidas o etiquetas de referencia indefendibles. Dos conjuntos de muestras distintos, uno de ellos depurado, y ninguno de los dos laboratorios tiene la obligación de reportar el del otro.

• Belebele, 86,81 frente a 61,8 — una brecha mucho mayor, y la explicación del harness llega aún más lejos aquí. La cifra de Fanar corresponde al árabe dialectal; la columna de IFM lee el mismo nombre de benchmark. Veinticinco puntos no son una diferencia de redondeo, y la conclusión honesta es que al menos una de estas ejecuciones no está midiendo lo que mide la otra.

• IF-Eval, 82,97 frente a 49,8 — Fanar informa 82,97 en IF-Eval en su propia tabla de mejoras. La columna de referencia de IFM sitúa a Fanar-2-27B en 49,8 en IFEval árabe. Misma capacidad, distinto idioma y distinto conjunto de indicaciones.

• En lo que ambos coinciden en cuanto a la forma, aunque no al nivel — Fanar 2 supone un gran avance respecto a Fanar 1. QCRI reporta +7,32 en ArabicMMLU, +10,68 en GSM8K y +8,27 en IF-Eval frente a su propio predecesor de 9B. Esa afirmación es internamente coherente y nadie la discute.

La regla que se desprende de esto no es «un laboratorio está haciendo trampa». Es que, para los benchmarks en árabe, una cifra sin un arnés de evaluación adjunto no es una cifra. IFM al menos marca cuáles de sus propias cifras auditó y publica las muestras excluidas en una colección aparte, lo que es más de lo que hacen la mayoría de los laboratorios, pero sigue siendo IFM auditando la evaluación que IFM hace de un competidor.

El contexto y el despliegue son donde la comparación es clara.

Estas son las filas que no están sujetas a los argumentos del arnés, porque son hechos arquitectónicos más que mediciones.

• Contexto — 524.288 tokens para J​ais-3-32B frente a 32.768 para Fanar-2-27B-Instruct. Dieciséis veces la ventana, y la ficha de Fanar documenta 54K instrucciones de contexto largo utilizadas para alcanzar 16K durante el entrenamiento, lo que sitúa el comportamiento de contexto largo entrenado muy dentro de los 32K nominales.

• Huella de servicio — Jais-3-32B con TP=2, bfloat16, vLLM ≥ 0.30.0 o SGLang ≥ 0.5.20. Fanar-2-27B se ha probado con transformers 4.57.6 y tiene la forma estándar de Gemma 3 27B, por lo que encaja en cualquier stack que ya ejecute Gemma.

• Herramientas incluidas con el modelo — Jais 3 incluye el analizador de razonamiento, el analizador de llamadas a herramientas y una selección de formatos de herramientas json, xml o xml_typed como indicadores de servicio de primera clase. Fanar 2 admite llamadas a herramientas genéricas además de diez herramientas Fanar integradas, pero la superficie de integración es la propia API del proveedor en lugar de un conjunto de indicadores del framework.

• Evaluación por terceros — ninguna tiene una entrada en Artificial Analysis, ninguna tiene una puntuación de arena y ninguna tiene una replicación independiente. Las cifras de ambas familias son reportadas por el proveedor y el artículo lo dice antes de citarlas, siempre.

Lo que Fanar 2 tiene que Jais 3 no tiene

Tres cosas, y no son pequeñas.

• Trazas de razonamiento en árabe nativo. Fanar 2 se entrenó con aproximadamente 250.000 ejemplos de razonamiento en árabe y genera su cadena de pensamiento en árabe en lugar de traducirla a partir de una traza en inglés. Jais 3 expone un analizador de razonamiento y reporta sólidas métricas agénticas en árabe, pero su ficha no hace la misma afirmación sobre el idioma en el que ocurre el pensamiento.

• Mitigación de alucinaciones como comportamiento diseñado. Fanar 2 está entrenado para abstenerse —sondeo de conocimiento durante el entrenamiento, trazas de verificación estructuradas de cinco pasos, respuestas calibradas de "no lo sé"— y envuelve las referencias espontáneas a versículos coránicos en marcadores de validación para que un sistema posterior pueda comprobarlas. Esa última característica es inusual y no tiene equivalente en la ficha de J​ais 3.

• Un producto alrededor del modelo. QCRI ofrece una interfaz de chat, aplicaciones para iOS y Android, y una API documentada con un flujo de solicitud de acceso, además de modelos hermanos para generación de imágenes, comprensión de imágenes y poesía. J​ais 3 es una publicación de pesos con recetas de framework; el modelo de voz lo acompaña, y el resto es un artefacto de investigación.

Esas son diferencias de capacidades, no diferencias de benchmark, y una lectura justa es que Fanar 2 está más acabado como producto, mientras que Jais 3 es más ambicioso como modelo.

Lo que realmente dicen las columnas agénticas, con el asterisco adjunto

La propia tabla de IFM es la única comparación directa publicada entre estos dos modelos, y no favorece a Fanar: Terminal Bench 2.1 con 63,7 frente a 1,1; GDPVal con 75,5 frente a 0,0; MCPMark con 66,1 frente a 12,1; SWE-Bench Verified con 72,4 frente a 0,4; procesamiento de archivos en árabe con 71,8 frente a 0,0.

Léelos como lo que son. Son mediciones que IFM hizo del modelo de un competidor, ejecutadas por IFM, con el arnés de IFM, y publicadas en la tarjeta del modelo de IFM. Un cero en GDPVal y un 0.4 en SWE-Bench Verified para un modelo instruct de 27B es plausible — son benchmarks agénticos que castigan a los modelos que carecen de datos de entrenamiento de llamadas a herramientas a gran escala, y el trabajo agéntico de Fanar 2 está orientado en torno a sus propias diez herramientas, más que a tareas generales de software. Pero un laboratorio que reporta que su propio modelo gana cada fila de una tabla que él mismo construyó te está hablando de su evaluación, no del mundo.

La afirmación defendible es más acotada: en el arnés de pruebas publicado por IFM, Jais-3-32B supera a Fanar-2-27B-Instruct en todos los benchmarks agénticos reportados, y la ficha de Fanar no reporta benchmarks agénticos en absoluto, así que nada la contradice y nada la corrobora tampoco. La evidencia publicada es unilateral porque solo un lado publicó.

¿Cuál elegir?

Contexto extenso, trabajo agéntico o la necesidad de elegir un tamaño de checkpoint: Jais 3, y en cuanto a contexto no hay comparación posible. Una ventana de 512K frente a 32K decide por sí sola el procesamiento de documentos, el trabajo a escala de repositorio y las trayectorias largas de agentes.

Razonamiento en árabe que tengas previsto leer, comportamiento de abstención en el que puedas confiar, manejo de contenido coránico, o un proveedor con una aplicación y una vía de soporte: Fanar 2. El pipeline de post-entrenamiento de QCRI es genuinamente elaborado —4M de instrucciones SFT, 280K pares DPO, cinco etapas, una pasada deliberada de reequilibrio de capacidades para evitar que la adaptación a contexto largo degrade las tareas de formato corto—, y eso se nota en dimensiones que ninguna columna de una tabla de clasificación captura.

Si la decisión es difícil porque ambos son plausibles para la misma carga de trabajo, lo que la resolvería son tus propios prompts, ejecutados con ambos, puntuados según tus propios criterios. Ese es el experimento que nadie ha publicado para estos dos modelos, y vale más que todos los números citados arriba.

Ejecutarlo es menos trabajo que antes. OrcaRouter te da una sola clave para más de 200 modelos con un 0 % de recargo y el precio de lista del proveedor pasado tal cual, así que una comparativa entre dos checkpoints de árabe es un cambio de enrutamiento y no dos integraciones —y la puntuación ítem por ítem es exactamente el caso para el que está construido el DSL de enrutamiento, porque te permite enviar el mismo prompt a ambos modelos en una sola llamada compuesta en vez de escribir un arnés de comparación. Ahora mismo ninguna de las dos familias está en nuestro catálogo; la lista de modelos es donde puedes consultar qué hay.

¿Qué resolvería esto?

Una ejecución independiente de ambos modelos en un arnés compartido, publicada junto con los prompts. Eso es lo que falta, y falta para todos los modelos árabes predominantes, no solo para estos dos — todo el campo funciona con cifras autoinformadas, y por eso una discrepancia de ocho puntos sobre el ArabicMMLU de Fanar 2 puede permanecer a la vista del público durante siete meses sin que nadie la resuelva. Hasta que alguien lo haga, considera la tabla de Jais 3 como el argumento de IFM y la tabla de Fanar 2 como el de QCRI, y considera los hechos arquitectónicos —512K frente a 32K, siete checkpoints frente a uno, flags del parser frente a una API alojada— como la parte que realmente puedes tener en cuenta a la hora de planificar.

Lo que los números no pueden decirte es si algo de esto ha salido mal sobre el terreno: los incidentes de IA documentados y los fallos de agentes en torno a los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.