Nanbeige4.3-33B vs Qwen3.8 27B: Auditando la afirmación de 18 de 20

Nanbeige4.3-33B supera a Qwen3.8-27B en 18 de 20 benchmarks. Esa es la afirmación que circula por internet esta semana, y es técnicamente lo que dice la tarjeta del modelo. También es una frase con un denominador, y el denominador es la parte interesante. De esas 20 filas, 19 se puntúan por puntos y una es una cifra en dólares; cuatro de las 18 victorias son por menos de un solo punto; y al menos tres de las cifras de Qwen parecen copiadas de los resultados publicados por el propio Qwen en lugar de haber sido ejecutadas de nuevo por Nanbeige. Nada de eso hace que la afirmación sea falsa. Hace que sea más estrecha de lo que suena.

El emparejamiento es inusual porque Nanbeige eligió Qwen3.8-27B como su compañero de sparring. Qwen3.8-27B se lanzó a mediados de agosto de 2026, tiene 27,78 mil millones de parámetros en arquitectura densa, licencia Apache 2.0, es multimodal en la entrada y —a diferencia de Nanbeige4.3-33B— cuenta con un Artificial Analysis Intelligence Index independiente de 34. Así que esta es la única comparación del lote en la que el oponente tiene una puntuación verificada y el sujeto no. Esa asimetría es la mejor herramienta que tenemos para auditar la tabla.

¿Quién escribió la afirmación y qué contiene el denominador?

La tabla es de Nanbeige. Se publicó en la tarjeta de modelo de Hugging Face de Nanbeige4.3-33B, en un repositorio creado el 24 de octubre de 2026. No hay una entrada de blog que la acompañe, ni un evento de lanzamiento, ni una reproducción por parte de terceros. Todos los números de la columna de Qwen, y todos los números de la columna de Nanbeige, fueron producidos o seleccionados por el laboratorio que hizo la comparación.

Las 20 filas abarcan tres grupos: codificación agéntica (Terminal-Bench 2.1 y 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cowork agéntico (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) y razonamiento (GPQA Diamond, AIME 2026, AA-LCR). El arnés se divulga con más cuidado que en la mayoría de las fichas de proveedores: Terminus 2 para Terminal-Bench 2.1, mini-swe-agent v2.4.6 para Terminal-Bench 4.0, DeepSWE y SWE-Atlas-QnA, Claude Code para NL2Repo y JobBench, y GPT-6 Sol como juez para SWE-Atlas-QnA. Esa divulgación habla en favor de Nanbeige. También es la razón por la que la comparación resulta más difícil de interpretar que un simple recuento de victorias.

Las dos filas que Nanbeige pierde

• SWE-Bench Pro — Qwen3.8-27B 61,7 frente a Nanbeige4.3-33B 60,3. Una ventaja de Qwen de 1,4 puntos.

• GDPval — Qwen3.8-27B 86,4 frente a Nanbeige4.3-33B 84,8. Una ventaja de 1,6 puntos para Qwen.

Estas son las dos filas que el titular de «18 de 20» deja de lado sin hacer ruido, y apuntan en una dirección coherente. Ambos son benchmarks de trabajo profesional y económicamente valioso: SWE-Bench Pro es la variante más difícil de ingeniería de software, y GDPval mide la calidad de los resultados en tareas ocupacionales reales. Qwen gana en ambos por márgenes pequeños en términos absolutos, pero estables en dos familias de tareas distintas. Si estás eligiendo entre estos modelos para trabajo profesional y no para una tabla de clasificación, esas son dos de las filas a las que más deberías dar peso, y son las dos en las que pierde el sujeto.

La ficha de Nanbeige no explica las pérdidas. No necesita hacerlo: un proveedor tiene derecho a publicar una tabla en la que gana. Pero el lector debería notar que las pérdidas se concentran exactamente donde el benchmark se acerca más a «¿aceptaría un profesional este resultado?», y las victorias se concentran donde el benchmark se acerca más a «¿completó el agente el ciclo?».

Victorias que son errores de redondeo

Cuatro de las 18 victorias se deciden por menos de un punto.

• Tau3-Bench — 48,8 frente a 48,5. Tres décimas de punto.

• GPQA Diamond — 89,5 frente a 89,2. Tres décimas.

• AIME 2026 — 95,2 vs 94,5. Siete décimas.

• EnterpriseOps-Gym — 41,0 vs 40,2. Ocho décimas.

Otros dos están dentro de aproximadamente dos puntos: Toolathlon-Verified en 70,4 frente a 68,5, y AA-LCR en 84,0 frente a 82,0. En benchmarks de este tamaño y varianza, un margen inferior a un punto no es evidencia de superioridad. Es evidencia de que dos modelos están en la misma banda. Una reformulación justa del titular sería «Nanbeige lidera claramente en 12 de 20, empata en 6 y va por detrás en 2», lo cual sigue siendo un resultado sólido, y uno más útil.

Las grandes victorias son donde reside el verdadero argumento. DeepSWE con 65,5 frente a 42,5 es una diferencia de 23 puntos. Terminal-Bench 4.0 con 23,8 frente a 6,3 es 17,5. Automation Bench con 54,2 frente a 38,3 es 15,9. DeepPlanning con 63,3 frente a 49,2 es 14,1. YC-bench, una tarea denominada en dólares, reporta $1,025,437 frente a $641,290. Eso no es redondeo. Indican que Nanbeige es mejor en ejecución de largo horizonte y múltiples pasos, el tipo de trabajo en el que un modelo tiene que mantener un plan vivo a lo largo de docenas de llamadas a herramientas. Esa es una historia coherente, y es consistente con el contexto nativo de 512K del modelo y sus configuraciones recomendadas orientadas a agentes.

Es posible que las columnas no correspondan al mismo experimento.

Aquí está la observación que complica toda la tabla. Tres cifras de Qwen coinciden exactamente con los números publicados por el propio Qwen: Terminal-Bench 2.1 con 73.0, SWE-Bench Pro con 61.7 y GPQA Diamond con 89.2. Qwen publica las tres. Las filas que Qwen no publica —DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval— son precisamente las filas en las que los márgenes de Nanbeige son mayores.

Ese patrón es coherente con dos métodos diferentes dentro de una misma tabla: cifras copiadas para los benchmarks que el oponente ya había publicado y ejecuciones nuevas para los que no. Es una inferencia, no un hecho revelado: la ficha de Nanbeige indica que todos los modelos se evaluaron con el máximo esfuerzo de razonamiento y con los mismos parámetros de inferencia y el mismo harness, lo que argumentaría en contra de la copia. Pero la coincidencia exacta en tres cifras independientes es una casualidad que vale la pena señalar, y si la columna de Qwen es una mezcla, entonces «18 de 20» compara las ejecuciones de Nanbeige con las de Qwen en algunas filas y las de Nanbeige con las de Nanbeige en otras.

Hay un segundo problema, más sutil. El propio modelo de Nanbeige se ejecuta en el arnés que recomienda su ficha: llamadas a herramientas XML, preserve_thinking=true, temperatura 1.0 para trabajo agéntico. La ficha no indica si a Qwen3.8-27B se le dieron sus propios ajustes recomendados o si se lo metió en los de Nanbeige. Si es lo segundo, parte de la diferencia de 23 puntos en DeepSWE es una diferencia de configuración y no de capacidad. Es la misma advertencia que se aplica a toda comparación entre proveedores, y no es razón para descartar el resultado — es razón para exigir una nueva ejecución neutral antes de darlo por zanjado.

La puntuación independiente que solo un modelo tiene.

Artificial Analysis otorga a Qwen3.8-27B una puntuación de 34 en su Intelligence Index, medida con la configuración de razonamiento xhigh, con 45,2 tokens de salida por segundo. La latencia varía según el proveedor: nuestra propia página informa un tiempo hasta el primer token p50 de 2,95 segundos, frente a los 3,8 segundos que Artificial Analysis midió en el endpoint que muestreó. Ese índice es un compuesto de diez evaluaciones, entre ellas Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA y AutomationBench-AA — varias de las mismas familias de benchmarks que Nanbeige reporta por su cuenta.

Nanbeige4.3-33B no tiene una entrada en Artificial Analysis. Eso no es un escándalo; el modelo tiene dos días. Pero significa que los dos lados de esta comparación no son epistémicamente iguales. El 34 de Qwen es un número que midió otra persona. El 80.9 de Nanbeige en Terminal-Bench 2.1 es un número que midió Nanbeige. Si ambos son exactos, lo probable es que Nanbeige quedara muy por encima de 34 en la misma puntuación compuesta: sus filas de 23.8 en Terminal-Bench 4.0 y de 52.6 en SciCode son sólidas. La cuestión es que "probablemente" es lo que está haciendo el trabajo, y seguirá haciéndolo hasta que un evaluador independiente ejecute el modelo.

Esta es también la razón práctica para tratar la afirmación de 18 de 20 como un argumento inicial. La afirmación es falsable de una manera concreta y barata: someter a Nanbeige4.3-33B a un evaluador independiente y comparar el resultado compuesto. Hasta que eso ocurra, la afirmación honesta más contundente es que Nanbeige afirma tener ventaja en trabajo agéntico de horizonte largo y va ligeramente por detrás en calidad de resultados profesionales, y que solo uno de esos dos modelos ha sido verificado por alguien distinto de su creador.

Coste por tarea, no por token

Qwen3.8-27B es el único de estos dos que puedes usar hoy. En OrcaRouter cuesta $0.33 por millón de tokens de entrada y $2.40 por millón de salida, por debajo de los $0.50 y $3.00 que Artificial Analysis indica para el endpoint de primera parte de Alibaba. Este se sirve en nuestra propia infraestructura en lugar de revenderse al precio de lista del proveedor, y por eso queda por debajo del precio de primera parte; en los modelos que sí revendemos, la regla de 0 % de margen significa que pagas el precio de lista del proveedor. En cualquier caso, los precios por token varían lo suficiente según la ruta como para que el endpoint de primera parte no sea automáticamente el más barato. El modelo también acepta imágenes y video junto con texto, y tiene una ventana de 262,144 tokens.

Sin embargo, el precio por token es la unidad equivocada para esta comparación. Los revisores informan que Qwen3.8-27B es inusualmente ávido de tokens —aproximadamente tres veces los tokens de Qwen3.6-27B en tareas comparables—, y Artificial Analysis estima unos $1.01 por tarea de Intelligence Index con la configuración xhigh. Un modelo que gana en precio por token y pierde en tokens por tarea aún puede ser la opción más cara. Nanbeige4.3-33B no tiene ningún precio por token: los pesos son gratuitos, ningún proveedor de inferencia lo despliega, y ejecutarlo implica un despliegue en paralelo de tensores con cuatro GPU que se mantiene abierto tanto si llega tráfico como si no.

Ahí es donde una capa de enrutamiento se gana su lugar. Qwen3.8-27B está disponible con nuestra clave hoy; Nanbeige no lo está, y no vamos a fingir que sí. Lo que puedes hacer es mantener Qwen como la ruta de producción y dirigir una porción del tráfico real a un endpoint de Nanbeige autoalojado para medir la finalización de tareas y los tokens consumidos, en lugar de confiar en una tabla. La conmutación por error automática importa aquí: un endpoint de experimentación que falla a mitad de ejecución debería recurrir al proveedor actual, no arrastrar consigo al agente. La decisión, entonces, se basa en tu propio coste por tarea completada, que es el único número que combina honestamente el comportamiento de tokens de ambos modelos.

¿Qué podría refutar esto?

Tres resultados resolverían la cuestión, y ninguno de ellos requiere un nuevo modelo.

• Una entrada de Artificial Analysis para Nanbeige4.3-33B. Si queda cerca o por encima de 34, se confirma la dirección de la tabla del proveedor y la magnitud pasa a ser discutible. Si queda muy por debajo, la afirmación de 18 de 20 necesita una explicación mucho mejor que la elección de harness.

• Una nueva ejecución neutral de DeepSWE y Terminal-Bench 4.0 con ambos modelos en sus propias configuraciones recomendadas. Ese es el experimento específico que la tabla actual no realiza, y apunta a las filas que concentran la mayor parte del margen de Nanbeige.

• Una cifra publicada de tokens por tarea completada para ambos. Los precios por token no permiten comparar un modelo denso de 33B que alojas tú mismo con un 27B ávido de tokens que alquilas. El costo por trabajo terminado sí puede.

El veredicto que defenderíamos

Nanbeige4.3-33B probablemente sea el modelo agente de horizonte largo más potente de los dos. Los márgenes en DeepSWE, Terminal-Bench 4.0, Automation Bench y DeepPlanning son demasiado amplios y demasiado consistentes en dirección como para ser enteramente un artefacto del harness, y el contexto nativo de 512K encaja con esa historia. Qwen3.8-27B probablemente sea el modelo más potente en cuanto a la calidad de entregables profesionales, donde gana ambas filas que la miden, y es sin ambigüedad el más usable: puntuación independiente, API alojada, entrada multimodal y un precio que puedes poner en una hoja de cálculo hoy.

«18 de 20» es un resultado real disfrazado de uno más grande. La versión precisa es que un modelo de hace dos días, de un laboratorio que nadie ha evaluado de forma independiente, afirma tener una ventaja clara en ejecución agéntica, un empate en razonamiento general y una pequeña desventaja en resultados profesionales, frente a un rival que lleva diez semanas disponible y ha sido medido por alguien distinto de su creador. Es una afirmación realmente interesante. Todavía no es motivo para cambiar.