SWE-2 Flash vs Flint v1.0: una fila honesta de benchmark y mucho ruido

Dos modelos de programación de mezcla de expertos pequeños con pocos parámetros activos, lanzados con quince días de diferencia, ambos presumiendo el mismo nivel de rendimiento por una fracción del coste de los modelos insignia. SWE-2 Flash, de Cognition, lanzado el 4 de noviembre de 2026, tiene 276B de parámetros totales con 12B activos. Flint v1.0, de Recursive, lanzado el 21 de octubre de 2026, tiene 39.8B totales con aproximadamente 2.5B activos. Son la misma apuesta arquitectónica a escalas muy distintas, y la forma honesta de compararlos es admitir de entrada que sus tablas publicadas se solapan en exactamente una fila.

Esa fila es Terminal-Bench 2.1: 89,2 para SWE-2 Flash frente a 54,9 para Flint v1.0. Es una diferencia de 34 puntos, es la cifra más alta que cualquiera de las dos compañías ha producido en este enfrentamiento y viene con dos salvedades lo bastante grandes como para cambiar la forma en que lo interpretas. Todo lo demás que te tiente comparar es o bien una versión diferente del benchmark o un subconjunto diferente del mismo benchmark.

Misma apuesta, licencia opuesta

La tesis compartida es que los parámetros activos, no los parámetros totales, determinan el coste de inferencia — de modo que se puede construir un modelo disperso grande y pagar solo por la porción que se activa. Flint pone a trabajar 6 de 256 expertos enrutados más un experto compartido por token, a lo largo de 49 capas, 35 de ellas de ventana deslizante con una ventana de 513 tokens y 14 de atención completa. SWE-2 Flash hereda esa estructura de su base Inkling-Small: 276B en total, 12B activos, entrenado posteriormente con una etapa de entrenamiento intermedio que Cognition no había utilizado antes.

La diferencia que importa más que cualquier detalle de arquitectura es lo que se te permite hacer con la salida:

• Pesos — Flint v1.0 es Apache 2.0 en Hugging Face en BF16, FP8 y formatos cuantizados. SWE-2 Flash no se publica en absoluto, aunque se ha prometido un programa de intercambio con socios que aún no se ha especificado.

• Distribución — Flint funciona con llama.cpp, Ollama, LM Studio, vLLM y SGLang en hardware de tu propiedad. SWE-2 Flash funciona dentro de Devin Desktop y la CLI de Devin, y en ningún otro lugar.

• Precio — el coste marginal de Flint es tu GPU. SWE-2 Flash es gratuito hasta el 30 de noviembre de 2026 y no tiene una tarifa publicada por token después de esa fecha.

Contexto — Flint publica 262.144 tokens, configurable hasta aproximadamente 512K. SWE-2 Flash no publica nada.

Eso no es una diferencia menor de planteamiento. Uno es un artefacto que puedes inspeccionar, cuantizar, afinar y ejecutar en un portátil. El otro es un producto con un mes gratis.

La única fila que puedes comparar

Terminal-Bench 2.1 es el único benchmark en el que ambas empresas reportan una cifra sobre la misma versión. El 54.9 de Flint se produjo mediante Terminus 2, con un pass@1 promediado sobre al menos cinco intentos. El 89.2 de SWE-2 Flash se produjo en un arnés de evaluación que Cognition no nombra, con un ajuste de esfuerzo que no divulga, a partir de una publicación de lanzamiento que omite el apéndice de metodología que incluía su predecesor de septiembre.

Así que la brecha de 34 puntos es real en el sentido de que ambas cifras se reportaron sobre el mismo conjunto de tareas, y blanda en el sentido de que un lado te dijo cómo llegó ahí y el otro no. Un modelo evaluado dentro de un andamiaje de agente codiseñado —que es lo que es Devin— generalmente superará al mismo modelo evaluado mediante un arnés genérico. La cifra de Flint es la conservadora precisamente porque Recursive publicó el método.

Si quieres una sola frase: en la única fila compartida, SWE-2 Flash está muy por delante, y ninguna de las dos compañías ha dado a una parte independiente la capacidad de comprobarlo.

Las dos puntuaciones Pro que parecen idénticas y no lo son

Esta es la trampa en este enfrentamiento, y vale la pena tomarse un momento para analizarla. Recursive informa Flint v1.0 con 89,7 en SWE-bench Pro v2. Cognition informa SWE-2 Flash con 89,9 en SWE-Bench Pro v2 Hard. Dos números, separados por 0,2 puntos, uno al lado del otro en cada agregación que encuentres.

No son la misma medición. «Hard» es un subconjunto: una porción filtrada del conjunto de tareas, no su totalidad. La cifra de Flint es la ejecución completa de Pro v2 con mini-swe-agent, con las soluciones recuperadas de la web contadas como fallos, lo que constituye una convención de puntuación más estricta que la que adoptan la mayoría de los proveedores. Poner 89.9 junto a 89.7 y llamarlo empate es el tipo de comparación que produce conclusiones firmes y equivocadas.

La misma precaución se aplica a una fila que ninguna de las dos tablas comparte. Flint reporta SWE-bench Verified en 74.2. SWE-2 Flash no reporta Verified en absoluto: en su lugar, reporta Pro v2 Hard, DeepSWE 1.1 y SWE-Atlas QA. Por lo tanto, el benchmark respecto al cual la mayoría de los equipos tiene intuición no está disponible para el modelo más nuevo, lo que convierte a «Flint está por detrás en SWE-bench» en una afirmación sin respaldo en lugar de un hallazgo.

El contexto es la especificación que decide.

Para la codificación con agentes, la ventana de contexto no es una nota al pie: determina si un modelo puede mantener la superficie relevante de un repositorio en un solo paso de planificación o si hay que alimentársela por partes. Flint publica 262.144 tokens. SWE-2 Flash no publica nada y, tras tres días de cobertura, ningún medio lo ha establecido.

El contexto de Flint tiene su propia salvedad. Las mediciones de la comunidad muestran que el rendimiento se desploma en contextos largos: aproximadamente 110 tokens por segundo con prompts cortos, cayendo hacia 9 tokens por segundo cerca de 115.000 tokens. Una ventana de 262K que funciona a 9 tok/s es una ventana que se usa deliberadamente, para una única lectura grande, no una que se deje abierta durante una sesión larga. La cuantización suaviza el coste de cómputo, pero no esa curva.

La ventana no publicada de SWE-2 Flash es la mayor incógnita, porque Devin es un producto para sesiones largas. Si eliges entre ellos suponiendo que el modelo cerrado maneja mejor los repositorios más grandes, estás eligiendo basándote en una cifra que nadie ha publicado.

La velocidad que puedes verificar frente a la que no puedes

Cognition afirma que SWE-2 Flash funciona a unos 200 tokens por segundo frente a los 60 de SWE-2. La cifra proviene de reproducir transcripciones de sesiones acortadas a velocidades simuladas, no de cronometrar un endpoint en vivo. Es una demostración, no una medición, y actualmente no hay forma de que alguien fuera de Cognition pueda verificarla.

Las afirmaciones de rendimiento de Flint son modestas en comparación y mucho más fáciles de refutar: aproximadamente de 125 a 131 tokens por segundo en un M4 Pro MacBook Pro, y más de 150 en una RTX Spark con 64 GB. Se midieron en hardware que se puede comprar, por personas que publicaron la configuración. Se informa que la versión cuantizada NVFP4 queda dentro de aproximadamente 0,7 puntos de BF16 en las pruebas de referencia, que es el tipo de afirmación que una comunidad puede poner a prueba y pondrá a prueba.

Un defecto real que conviene conocer: la ruta GGUF ha tenido un error en la plantilla de chat en llama.cpp, y el modelo tiene un historial comunitario limitado en comparación con cualquier cosa de un laboratorio importante. Los primeros adoptantes están haciendo la depuración.

Lo que realmente te cuesta cada opción

Flint v1.0 es de descarga gratuita y cuesta lo que te cueste tu inferencia. Un modelo de 39,8B con 2,5B activos se ejecutará en un portátil bien equipado a una velocidad usable, que es precisamente el objetivo de esta arquitectura. El coste de adopción es operativo: tú te haces cargo del stack de servicio, de la elección de cuantización y de los modos de fallo.

SWE-2 Flash no cuesta nada hasta el 30 de noviembre de 2026 y, a partir de entonces, cuesta una cantidad desconocida, porque Cognition publicó una proporción —un quinto del precio de SWE-2— en lugar de una tarifa. Si el proceso de planificación de tu equipo necesita un número que poner en una hoja de cálculo, ese es el problema que lo bloquea, no la diferencia en el benchmark.

Hoy ninguno de los dos modelos está en el catálogo de OrcaRouter, y no vamos a sugerir lo contrario. Lo útil de esta comparativa no es enrutar entre estos dos, sino evaluar el panorama que los rodea: más de 200 modelos están detrás de una única clave de OrcaRouter con un 0 % de recargo sobre el precio de lista del proveedor, lo que hace que ejecutar la misma tarea de repositorio con una docena de candidatos sea cuestión de cambiar una sola cadena. Cuando estás decidiendo entre dos modelos en los que una de las partes ha publicado su harness y la otra no, tu propia evaluación vale más que la tabla de cualquiera de los proveedores.

¿Quién debería elegir cuál?

Elige Flint v1.0 si necesitas los pesos. Si tu restricción es la residencia de datos, el funcionamiento sin conexión, el ajuste fino o un costo por token que no dependa de la decisión de precios de otra empresa, la diferencia de 34 puntos en Terminal-Bench es un precio que bien podrías estar dispuesto a pagar —y el contexto de 262K de Flint y su harness publicado te dan un modelo sobre el que puedes razonar en lugar de una caja negra.

Elige SWE-2 Flash si ya estás dentro de Devin y la ventana gratuita es suficiente para responder a tu pregunta. Es el modelo con mejor rendimiento en la única fila que ambas compañías midieron, por un amplio margen, y no cuesta nada probarlo hasta finales de noviembre.

Lo que nadie debería hacer es elegir cualquiera de los dos basándose en las cifras de SWE-bench Pro. 89,7 y 89,9 no son la misma prueba, y la diferencia entre ellos es menor que la diferencia entre cualquiera de las dos cifras y lo que su repositorio producirá realmente.