SWE-2 Flash vs SWE-2: qué vale realmente una victoria de 0.2 puntos

La propia tabla comparativa de Cognition otorga a SWE-2 Flash exactamente una victoria sobre SWE-2: 24,0 frente a 23,8 en FrontierCode 2.0. Dos décimas de punto, en el propio benchmark de Cognition, en una tabla que Cognition construyó para mostrar al modelo más pequeño en su mejor momento. También es el número más útil del lanzamiento, por lo que hacen las filas que hay debajo — y por lo que omite en silencio la única fila que está por encima del pliegue.

La versión breve para quien decide frente a un escritorio en lugar de leer hasta el final: el Flash no es un SWE-2 más pequeño. Es un modelo diferente, de una base diferente, ajustado para el extremo acotado del trabajo, y con un precio de una quinta parte dentro del mismo producto. La victoria de 0,2 puntos es real y significa menos de lo que parece.

Dos ediciones del mismo benchmark no coinciden, y ese es el primer hallazgo.

Pon las dos filas de FrontierCode una al lado de la otra y la tabla deja de ser una historia sobre un modelo pequeño que se pone al día.

• FrontierCode 2.0 — SWE-2 Flash 24.0 frente a SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 frente a 50,0

El mismo instrumento, dos ediciones, veredictos opuestos. En la edición más reciente, el Flash está ligeramente por delante; en la más antigua, está 4,5 puntos por detrás. Una de esas filas terminará en una diapositiva de lanzamiento y la otra no, y cuál se elija dice más del presentador que del modelo.

Hay una lectura defendible según la cual ambas filas son verdaderas y ninguna es contradictoria: la edición 2.0 es más difícil, las puntuaciones absolutas se comprimen y un conjunto de tareas más reciente puede recompensar aquello para lo que se sometió a Flash a un postentrenamiento. También hay una lectura menos halagüeña: una variación de 4,5 puntos entre dos ediciones de un mismo benchmark es una medida de lo sensible que es el instrumento, y un margen de 0,2 puntos queda dentro de esa sensibilidad. Cognition no publica intervalos de confianza ni ejecuciones repetidas, por lo que la diferencia entre 24,0 y 23,8 no puede distinguirse del ruido con la información disponible. Lo que puede afirmarse es más limitado y aun así útil: en el benchmark más reciente de Cognition, los dos modelos están a la par, no separados.

Dónde van los trece puntos

El resto de la tabla no está cerca, y la forma de la brecha es la parte reveladora.

• DeepSWE 1.1 — SWE-2 Flash 60.1 frente a SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 frente a 27.3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 frente a 90,6

• ExploitBench — 34,8 frente a 36,1

Ordénalos según cuánta libertad concede la tarea al agente y aparece un patrón. En SWE-Bench Pro v2 Hard —un problema bien especificado con una corrección definida—, Flash está 0.7 puntos por detrás. En Terminal-Bench 2.1 está 3.6 por detrás. En Terminal-Bench 4.0 la diferencia es de 7.3 y, en DeepSWE 1.1, la fila de horizonte largo, es de 12.9. Cuanto más requiere la tarea que el modelo decida qué hacer a continuación, más amplia es la diferencia.

Ese es un mecanismo plausible, no uno demostrado. Un modelo con una décima parte de los parámetros activos tiene menos capacidad para mantener unido un plan largo, y los benchmarks de horizonte largo son donde eso se manifiesta primero. Pero Cognition no publica recuentos de turnos, recuentos de tokens ni desgloses por tarea para el Flash como lo hizo con SWE-2 —donde informó que los pasos medios caían de 127 a 53 con esfuerzo medio—, así que el mecanismo se infiere de la forma de la tabla en lugar de demostrarse. Trátalo como una hipótesis que coincide con tu propia experiencia o no.

Precio y velocidad, en la única moneda que cotiza Cognition

Ninguno de los dos modelos tiene un precio por token, porque ninguno tiene un endpoint. Lo que publica Cognition es una proporción: SWE-2 Flash cuesta una quinta parte de SWE-2 y se ejecuta al triple de velocidad, 200 tok/s frente a 60. Ambas cifras proceden de la misma metodología de reproducción —la ejecución de cada modelo en la tarea gsea-proteomics de Terminal-Bench 4.0, reproducida a tasas simuladas y con transcripciones acortadas a la misma longitud—, de modo que ambas describen un perfil de servicio previsto y no uno medido.

La proporción sigue siendo el número más relevante para la decisión en el lanzamiento, siempre que hagas el siguiente paso. El precio por unidad de trabajo no es lo mismo que el coste por tarea resuelta, y el segundo es lo que un equipo paga realmente. Si el quinto es un quinto del coste de una tarea —la única lectura que hace que la afirmación tenga sentido dentro de un producto de suscripción—, entonces la aritmética es sencilla.

• En DeepSWE 1.1, Flash resuelve el 82 % de la cantidad de tareas a una quinta parte del coste, lo que resulta aproximadamente 4,1 veces más económico por tarea resuelta incluso en la fila donde pierde por mayor margen.

• En FrontierCode 2.0 — resuelve ligeramente más tareas a una quinta parte del coste, lo que supone aproximadamente 5 veces más económico por tarea resuelta.

• En Terminal-Bench 4.0 — resuelve el 73 % de esa cantidad a una quinta parte del costo, aproximadamente 3,7 veces más económico por tarea resuelta.

Cada una de esas cifras supone que la quinta se aplica al coste de una tarea y no al de un token, y que las tasas de resolución se trasladan a tu cola. Cognition no dice cuál, y esa suposición sostiene mucho del argumento. Si la quinta es un precio por token en un modelo que emite más tokens por tarea, la ventaja se reduce y podría invertirse en las filas de horizonte largo. La aritmética es una comprobación de sensibilidad, no una medición, y debería volver a ejecutarse con tus propios registros.

Lo que no está en duda es la ventana promocional. SWE-2 Flash es gratis en Devin Desktop y CLI hasta el 30 de noviembre de 2026. La propia ventana gratuita de SWE-2 terminó el 10 de octubre. Durante las próximas semanas, la comparación de precios dentro de Devin es de una quinta parte frente a cero, lo que no es una comparación en absoluto: es un periodo de evaluación con fecha límite.

No son el mismo linaje, y la diferencia de parámetros es lo menos interesante que tienen.

SWE-2 se ha sometido a post-entrenamiento a partir de Kimi K3: 2,8 billones de parámetros, 104.000 millones activos por token, una base que ya había pasado por un extenso aprendizaje por refuerzo para programación agéntica. SWE-2 Flash se ha sometido a post-entrenamiento a partir de Inkling-Small: 276.000 millones en total, 12.000 millones activos, Apache 2.0, de Thinking Machines. El propio gráfico de tamaños de Cognition sitúa a Flash en 1x y a SWE-2 en 10,1x. En parámetros activos, la proporción se acerca más a nueve a uno.

Ahora compara eso con las puntuaciones. Una diferencia de ocho veces y media en parámetros activos aporta 4,5 puntos en FrontierCode 1.1 Main y nada en absoluto en FrontierCode 2.0. Mientras tanto, el propio paso de post-entrenamiento vale mucho más que la diferencia de parámetros: la tabla de Cognition muestra Inkling-Small con 21,5 en FrontierCode 1.1 Main y Flash con 45,5, una ganancia de 24 puntos procedente del mid-training y RL sobre la misma base. La varianza atribuible al post-entrenamiento es aproximadamente cinco veces la varianza atribuible a toda la brecha de parámetros entre los dos modelos.

Ese es el hallazgo que el dúo produce en conjunto, y es más grande que cualquiera de los dos modelos. También explica por qué Cognition está dispuesta a vender el más pequeño a una quinta parte del precio: la parte cara de SWE-2 nunca fue el modelo base. Eran los datos, los verificadores y los entornos de RL, y Flash reutiliza esa inversión sobre una base más barata.

Aquí corresponden dos salvedades. La comparación es la tabla de un solo proveedor sobre benchmarks que el propio proveedor controla, y nada de ella se ha reproducido de forma independiente. Además, los modelos base no son entradas equivalentes —Kimi K3 llega con un contexto de un millón de tokens y visión nativa, mientras que Inkling-Small es una arquitectura diferente con un soporte multimodal distinto—, así que «mismo post-entrenamiento, base más barata» es el encuadre de Cognition y no una variable aislada.

La asimetría del ajuste de esfuerzo

SWE-2 se lanzó con tres niveles documentados de esfuerzo de razonamiento —medio, alto y máximo—, y el lanzamiento de Cognition en septiembre explicó para qué servía cada uno: el nivel medio pasa a la acción antes, mientras que los niveles alto y máximo planifican más, exploran más el código base y dedican más recursos a la verificación. También se indicó que se reportaba la mejor puntuación de cada modelo entre los distintos ajustes de esfuerzo.

SWE-2 Flash no documenta ningún control de esfuerzo. La publicación de lanzamiento no menciona ninguno, y la tabla de benchmarks no incluye ninguna columna de configuración. Así que la comparación tal como se publica es SWE-2 en su mejor versión frente al Flash en una configuración no especificada, lo cual es una comparación justa solo si el Flash tiene una única configuración, y una injusta en una dirección desconocida si tiene varias.

Si el Flash realmente carece de control de esfuerzo, se trata de una diferencia de producto que vale la pena nombrar, y no de una laguna en la documentación. El esfuerzo es la forma en que intercambias costo por profundidad tarea por tarea, y un modelo que carece de él te ofrece un único ajuste para una cola que contiene tanto trabajo trivial como difícil. Ese es precisamente el intercambio que la ratio se supone que te permite hacer.

¿A qué cola pertenece cada uno?

El propio planteamiento de Cognition es la guía más honesta aquí. Dice que los modelos más pequeños «son cada vez más capaces de gestionar una parte significativa del trabajo que realizan los agentes de software, como automatizaciones, revisión de código, desarrollo de funcionalidades y actualización de documentación», y que SWE-2 Flash se desarrolló para ese trabajo. Si se compara esa lista con la forma del benchmark, ambas coinciden: tareas acotadas, una definición clara de finalización, alto volumen y baja tolerancia a la latencia.

• Si la tarea cabe en un prompt y la definición de terminado es inequívoca —una pasada de revisión, una actualización de documentación, una función pequeña, una automatización programada—, Flash es la opción predeterminada adecuada, y el cálculo anterior de coste por tarea resuelta indica que es varias veces más barata incluso cuando resuelve menos tareas.

• Si el agente tiene que decidir qué hacer a continuación más de un puñado de veces —una migración, una refactorización entre repositorios, una sesión de depuración en la que la primera hipótesis suele ser errónea—, la diferencia de 13 puntos en DeepSWE es exactamente lo que se compra con SWE-2, y la ratio no lo compensa.

Si no puedes determinar cuál de esos es una tarea, comiénzala en el Flash y escala. Esa es la decisión para la que Cognition creó los niveles de esfuerzo en SWE-2, y la falta de control de esfuerzo del Flash hace que escalar sea una decisión de enrutamiento en lugar de un parámetro.

El error que hay que evitar es usar la victoria de 0,2 puntos como licencia para mover la cola difícil. Es un solo benchmark, una sola edición, un solo proveedor, y queda dentro de la sensibilidad propia del instrumento.

Fuera de Devin, ninguno de los dos es candidato.

Ninguno de los dos modelos tiene API. Ninguno tiene pesos públicos. Si tu harness es propio, el par no es una elección que puedas tomar, y la ventana gratuita no te sirve de nada: es una prueba dentro de un producto que tienes que comprar.

La mitad alcanzable de esta pila es la base. Kimi K3 se enruta en OrcaRouter como kimi/kimi-k3 a $3.00 por millón de tokens de entrada y $15.00 por millón de tokens de salida, con una ventana de contexto de 1M de tokens y llamadas a herramientas nativas, al precio de lista del proveedor, sin recargo. Una sola API cubre más de 200 modelos, lo que permite implementar fuera de Devin la división de colas descrita arriba: una regla de enrutamiento puede enviar trabajo acotado a un modelo barato y escalar los trabajos de horizonte largo a uno más potente, sin que el cliente sepa cuál respondió. La conmutación por error automática debe ir detrás de la ruta escalada, porque el modelo al que escalas es el que no puedes permitirte que no esté disponible.

Eso es un producto diferente de SWE-2 Flash, y no es un sustituto de él. Es lo que se hace cuando lo que se quiere evaluar no tiene endpoint.

¿Qué lo zanjaría?

Tres divulgaciones convertirían esta comparación de una tabla de proveedor en evidencia. Una ejecución independiente de DeepSWE 1.1 y Terminal-Bench 4.0 en ambos modelos, a cargo de alguien que no sea Cognition y que no utilice el harness de Cognition. Una declaración del ajuste de esfuerzo y del scaffold que hay detrás de cada fila de la tabla de Flash, equivalente a lo que proporcionó el lanzamiento de SWE-2. Y una ejecución repetida, para que un margen de 0,2 puntos pueda distinguirse de la variación entre ejecuciones.

Hasta entonces, la lectura defendible es la estrecha. SWE-2 Flash es un hermano optimizado en costes construido sobre una base mucho más pequeña, a la par que SWE-2 en el benchmark más reciente y claramente por detrás en trabajo de horizonte largo, vendido a una ratio que lo hace varias veces más barato por tarea resuelta según la evidencia disponible. Esa es una buena decisión de producto y una afirmación técnica modesta. La ventaja de 0,2 puntos no es prueba de que haya sustituido nada; es prueba de que, en un instrumento, en un solo día, la diferencia se cerró lo suficiente como para desaparecer en el ruido.