SWE-2 Flash vs North Mini Code: el benchmark dentro del benchmark

Esta es una combinación incómoda. SWE-2 Flash es un post-entrenamiento de 276B parámetros publicado el 4 de noviembre de 2026 con ocho filas de benchmark y sin ninguna forma de invocarlo. North Mini Code es un modelo de 30B parámetros que Cohere lanzó en junio de 2026 bajo Apache 2.0, con una tabla de benchmarks que coincide con SWE-2 Flash en exactamente cero filas —y una puntuación independiente que SWE-2 Flash no tiene en absoluto. Sobre el papel, el modelo más nuevo y más grande gana en todo. Según la evidencia, el más antiguo y más pequeño es el único de los dos que un tercero ha medido.

Esa inversión es todo el artículo, y resulta más útil que una comparación de puntuaciones, porque la comparación de puntuaciones en realidad no se puede hacer.

Dos MoEs con presupuestos de parámetros opuestos

Ambos son modelos dispersos de mezcla de expertos construidos en torno al mismo argumento de coste: se paga por los parámetros activos, no por los totales. Se sitúan en extremos casi opuestos del rango.

• Parámetros totales — SWE-2 Flash 276B frente a North Mini Code 30B

• Activo por token — SWE-2 Flash 12B vs North Mini Code 3B

• Disposición de expertos — SWE-2 Flash hereda la estructura de Inkling-Small; North Mini Code enruta a 8 de 128 expertos

• Contexto — SWE-2 Flash no publicado vs North Mini Code 256K, con salida máxima de 64K

• Salida máxima — SWE-2 Flash no publicado frente a North Mini Code 64K

• Licencia — SWE-2 Flash no divulgada frente a North Mini Code Apache 2.0 en BF16, FP8 y W4A16

La diferencia de nueve veces en los parámetros activos es la cifra que explica todo lo demás. SWE-2 Flash puede permitirse ser un modelo más grande y más lento de entrenar que se ejecuta de forma económica por token porque solo se activan 12B de él. North Mini Code funciona con una fracción de eso, y por eso Cohere puede orientarlo a un despliegue de clase portátil y por eso su techo en los benchmarks es más bajo.

¿Por qué no puedes poner 89.2 junto a 36.0?

La comparación que circulará es Terminal-Bench: SWE-2 Flash con 89,2 y North Mini Code con 36,0. Una diferencia de 53 puntos que haría que esto no fuera un artículo. No es una resta válida, por una razón que es fácil pasar por alto.

North Mini Code informa «Terminal-Bench v2» con 36,0 y «Terminal-Bench Hard» con 31,1. SWE-2 Flash informa «Terminal-Bench 2.1» con 89,2 y «Terminal-Bench 4.0» con 20,0. «v2» y «2.1» son etiquetas adyacentes en lo que puede o no ser el mismo conjunto de tareas, y ninguno de los proveedores indica el número de tareas, el arnés ni la convención de puntuación en el material que se compara.

La evidencia interna es que estas versiones son instrumentos radicalmente distintos. Las dos propias filas de Terminal-Bench de SWE-2 Flash están separadas por 69 puntos: 20.0 en 4.0, 89.2 en 2.1. Cuando un modelo obtiene 20 y 89 en dos benchmarks con el mismo nombre y números diferentes, la versión es la medición. Comparar una puntuación de 2.x con una puntuación de v2 y llamar a la diferencia una brecha de capacidad es el error más común en este espacio de comparación.

Otras filas parecen compartidas y no lo son. North Mini Code reporta SWE-bench Pro en 40.2; SWE-2 Flash reporta SWE-Bench Pro v2 Hard en 89.9. Distinta generación de benchmark y un subconjunto filtrado. North reporta SWE-bench Verified en 67.6; SWE-2 Flash no reporta Verified en absoluto. North reporta SciCode 38.2 y LiveCodeBench v6 70.3; SWE-2 Flash no reporta ninguno de los dos.

Eso deja DeepSWE 1.1, donde SWE-2 Flash reporta 60,1 y North Mini Code no reporta nada.

Solo uno de ellos tiene el número independiente.

North Mini Code tiene un Índice de Inteligencia de Artificial Analysis de 27,6 y un Índice de Codificación de 33,4. Son mediciones de terceros con una metodología coherente, obtenidas sobre un modelo que cualquiera puede descargar y volver a ejecutar.

SWE-2 Flash no tiene entrada en Artificial Analysis, porque Artificial Analysis mide los modelos a través de una API y SWE-2 Flash no tiene API. Todas las cifras que se le atribuyen —el 60.1, el 89.2, el 20.0, el 24.0 en FrontierCode 2.0— son de Cognition, producidas en un arnés no divulgado, y FrontierCode es el benchmark propio de Cognition. Nada de esto dice que esas cifras sean erróneas. Dice que un lector no tiene forma de distinguir una capacidad real de un andamiaje generoso.

Para un modelo de pesos abiertos de 30B de junio, un AA Coding Index de 33.4 es una puntuación modesta — por encima del 25.9 de GLM-4.7-Flash, por debajo del 35.2 de Qwen3.6 35B-A3B. Además, es una puntuación que puedes verificar, lo que vale más que una fila de proveedor que no puedes verificar.

Velocidad, y qué afirmación es verificable

Cohere informa aproximadamente 199 tokens de salida por segundo en su propia API, alrededor de 2,8 veces el rendimiento de Devstral Small 2. Se trata de una medición de un endpoint servido: entra una solicitud, salen tokens y cualquiera con acceso puede reproducirla.

Cognition informa aproximadamente 200 tokens por segundo para SWE-2 Flash frente a los 60 de SWE-2, producidos al reproducir transcripciones de sesiones acortadas a velocidades simuladas. Las dos cifras están a menos de un token por segundo de diferencia entre sí y significan cosas completamente distintas. Una es una medición de rendimiento; la otra es una demostración de cómo se vería el modelo a esa velocidad.

Este es el patrón en toda la comparación. El modelo más antiguo publica afirmaciones menos impresionantes con más metodología adjunta. El modelo más nuevo publica afirmaciones de mejor apariencia sin ninguna.

Dónde North Mini Code es realmente débil

No todo favorece a Cohere. North Mini Code es un especialista en programación y se comporta como tal: obtiene un 14 % en GDPval-AA y un 37 % en τ²-Bench Telecom, ambas evaluaciones agénticas no relacionadas con la programación en las que un modelo general obtendría resultados mucho mejores. Si tu agente tiene que hacer algo más que escribir y probar código —gestionar un flujo de trabajo con clientes, razonar sobre un proceso de negocio—, North Mini Code es la herramienta equivocada y la base más amplia de SWE-2 Flash es, con toda probabilidad, la mejor opción.

Su ventana de contexto está publicada y es grande —256.000 tokens con un límite de salida de 64.000 tokens—, aunque la ventana utilizable sigue dependiendo de la pila de servicio. Y un modelo de 30B con 3B activos tiene un techo más bajo que un modelo de 276B con 12B activos; ninguna cantidad de transparencia metodológica cierra esa brecha.

El coste, y el argumento a favor de una capa de enrutamiento

North Mini Code se puede descargar gratis bajo Apache 2.0, con una tarifa de uso alojado en la propia API de Cohere y disponibilidad a través de varias plataformas de terceros. SWE-2 Flash es gratis dentro de Devin hasta el 30 de noviembre de 2026 y no tiene precio después de esa fecha, sin ninguna forma descargable a la vista.

Ninguno de los dos está en el catálogo de OrcaRouter. El modelo de Cohere puede autoalojarlo cualquiera que tenga el hardware, y el de Cognition no tiene ningún endpoint al que enrutar, así que, siendo honestos, esta decisión se toma fuera de nuestro catálogo en cualquier caso. Lo que sí cambia una capa de enrutamiento es el coste de equivocarse. OrcaRouter traslada el precio de lista del proveedor sin margen (0 %) y conmuta automáticamente en caso de fallo, de modo que una aplicación escrita para un único ID de modelo no es una aplicación escrita para la disponibilidad de un único proveedor. Para un par en el que a uno de los modelos pueden cambiarle el precio el 1 de diciembre y al otro puede que nunca se le pueda llamar, esa portabilidad es la parte por la que merece la pena diseñar.

Cómo decidir

Si quieres un modelo que puedas ejecutar, inspeccionar, cuantizar y evaluar por tu cuenta, North Mini Code es la única opción de este par, y su ventana de contexto publicada y su presupuesto activo de 3B lo hacen práctico en hardware modesto. Acepta el techo de capacidad más bajo y el enfoque estrecho en programación.

Si estás dentro de Devin y la ventana gratuita es lo importante, SWE-2 Flash es el modelo más potente según sus propios números por un amplio margen, y el coste de probarlo hasta el 30 de noviembre es cero.

Lo que no deberías hacer es poner 89.2 junto a 36.0 y concluir algo. Esos números provienen de instrumentos distintos, reportados por empresas distintas, en una familia de benchmarks cuyo número de versión es la medición. La única afirmación defendible sobre este par es la que suena menos a veredicto: uno de ellos ha sido puntuado de forma independiente y el otro no, y esa es una diferencia mayor que cualquier fila de cualquiera de las dos tablas.