Flint v1.0 vs Qwen3.8 27B: el modelo contra el que Recursive se midió en su propio benchmark

Recursive publicó una frase en su Recursive Flint v1.0 material de lanzamiento que la mayoría de la cobertura omitió: según el promedio propio de la empresa en seis pruebas, solo Qwen3.8 27B obtuvo una puntuación superior a la de Flint. Es algo inusual que un proveedor publique el día del lanzamiento. También es la frase más útil del comunicado, porque indica qué comparación hay que ir a revisar. Qwen3.8 27B es un modelo denso de pesos abiertos, publicado el 14 de agosto de 2026 bajo Apache 2.0, y es el único modelo del conjunto de comparación de Recursive que superó a Flint en el agregado que el propio proveedor construyó. Así que la pregunta interesante no es si Flint es bueno. Es dónde, exactamente, Qwen3.8 27B es mejor, y si la diferencia resiste el escrutinio de los arneses implicados.

Lee la reclamación de la clase antes de leer la puntuación

La afirmación principal de Flint está cuidadosamente acotada: lidera los modelos mixture-of-experts de menos de 50.000 millones de parámetros totales en SWE-bench Pro v2, Terminal-Bench 2.1 y SWE-bench Verified. Qwen3.8 27B no es un modelo mixture-of-experts. Es denso: 27.000 millones de parámetros, todos ellos activos para cada token, 28.000 millones si se cuenta el codificador de visión, 64 capas con un tamaño oculto de 5.120. Por lo tanto, queda fuera de la clase de comparación de Flint por construcción, y Recursive tenía libertad para dejarlo fuera de la afirmación por completo.

Merece la pena ser precisos sobre qué cuesta y qué aporta lo "denso". Cada uno de los 27 mil millones de parámetros de Qwen participa en cada token, por lo que necesita unos 55,6 GB en BF16 y una GPU de verdad, y por lo que su huella de activaciones es aproximadamente once veces la de Flint. También es la razón por la que un modelo denso de 27B puede superar en precisión a un modelo disperso con 2,5B activos: hace más aritmética por token y te lo cobra.

Terminal-Bench 2.1: la brecha de dieciocho puntos

Esta es la comparación más limpia de la que se dispone, porque ambos laboratorios reportan la misma versión del benchmark, y la brecha es lo bastante grande como para que sea improbable que el ruido del harness explique todo.

• Flint — 54,9 % en Terminal-Bench 2.1, ejecutado en el arnés Terminus 2 con internet habilitado, pero contabilizando como fallo cualquier solución obtenida mediante recuperación web.

• Qwen3.8 27B — 73,0 % en Terminal-Bench 2.1, según la ficha del modelo de Alibaba.

Eso supone una diferencia de 18,1 puntos a favor de Qwen, en el benchmark que más se parece al trabajo agéntico en terminal, que es precisamente el trabajo para el que se comercializan ambos modelos. Hay dos salvedades que apuntan en direcciones opuestas y ambas deben mencionarse.

El primero favorece a Flint. Recursive aplicó una desventaja que sus pares quizá no aplicaron: si el agente encontraba la respuesta en la web, Recursive la puntuaba como incorrecta. Un modelo al que se le permitiera buscar y citar obtendría una puntuación más alta en el mismo sistema de evaluación. Cuánto más alta es algo desconocido, y Recursive no publica la cifra sin esa desventaja.

El segundo contradice cualquier lectura limpia. Un tercero, PrismML, puntuó Qwen3.8 27B con 69,7 en Terminal-Bench 2.1 en lugar del 73,0 de Alibaba. Una discrepancia de 3,3 puntos sobre el mismo modelo y el mismo benchmark es una calibración útil: indica que las diferencias de unos pocos puntos en esta tabla son ruido, y que una diferencia de 18 puntos probablemente no lo es.

Incluso tomando la cifra más baja de Qwen, 69,7 frente a 54,9 deja 14,8 puntos. La dirección no está en duda.

LiveCodeBench v6: una segunda brecha, en un benchmark más limpio

La programación competitiva es el benchmark menos sensible al arnés de evaluación de los que reportan ambos laboratorios, porque el modelo recibe un problema, produce código y un juez lo ejecuta. No hay un bucle de agente sobre el que pueda haber diferencias.

• Flint — 80,3% en LiveCodeBench v6.

• Qwen3.8 27B — 90,3% en LiveCodeBench v6.

Esa es una diferencia de 10 puntos, y es a la que daría más peso, precisamente porque es la más difícil de justificar. El 80,3 de Flint es una cifra respetable para un modelo que activa 2.500 millones de parámetros. El 90,3 de Qwen es una cifra sólida para un modelo que activa 27.000 millones. Ninguna de las dos sorprende. La cuestión es que la ventaja de eficiencia que vende Flint no sale gratis, y este benchmark es donde el precio se hace visible.

El benchmark que parece una victoria de Flint y no lo es

Aquí es donde la mayoría de las páginas de comparación fallan, y vale la pena detenerse a reflexionar sobre ello.

Flint reporta 89,7 % en SWE-bench Pro v2. Qwen3.8 27B reporta 61,7 % en SWE-bench Pro. Si se lee rápido, parece una victoria de Flint por 28 puntos. No es una comparación en absoluto. La «v2» es un benchmark distinto del que reporta Alibaba, con un conjunto de tareas y un protocolo de evaluación diferentes, y no se pueden restar las dos cifras. Cualquier página que las ponga en columnas adyacentes y declare un ganador te está diciendo algo sobre su autor, no sobre los modelos.

La misma trampa está una fila más abajo. Flint reporta 74.2% en SWE-bench Verified. Qwen3.8 27B no publica una puntuación de SWE-bench Verified — la ficha de Alibaba reporta SWE-bench Pro, QwenSWEBench con 79.0, DeepSWE 1.1 con 42.2, Terminal-Bench 2.1 con 73.0, LiveCodeBench v6 con 90.3 y NL2Repo-Bench con 42.3. No hay ninguna cifra de Verified con la que comparar. Las cifras que circulan para Qwen3.8 27B en Verified son o heredadas de un modelo anterior de la familia o tomadas de una fuente secundaria que entra en conflicto con la ficha del modelo en varios otros benchmarks a la vez. Trátalas como no verificadas.

Una salvedad adicional del lado de Alibaba: sus ejecuciones de SWE-bench Pro y QwenSWEBench utilizaron un arnés de agente externo en lugar de un modelo por sí solo, por lo que incluso las comparaciones con la cifra de SWE-bench Pro de otro laboratorio son poco sólidas. Esto no es exclusivo de Alibaba. Es el estado de los benchmarks de codificación agéntica en general, y es por eso que las filas de Terminal-Bench y LiveCodeBench tienen más peso aquí que las filas de SWE-bench.

Donde Flint gana, y no hay comparación

La precisión no es el único eje, y en los demás el orden se invierte radicalmente.

• Memoria — Flint se ejecuta en aproximadamente 24 GB, con una compilación NVFP4 de 22,86 GB en disco. Qwen3.8 27B necesita unos 55,6 GB en BF16. Uno cabe en un portátil de gama alta o en una única tarjeta gráfica de consumo; el otro necesita una asignación real de GPU.

• Cómputo activo por token — Flint activa aproximadamente 2.500 millones de parámetros. Qwen activa los 27.000 millones. Esa proporción es la razón por la que existe la diferencia de velocidad y por la que Flint resulta más económico de servir a escala.

• Velocidad — Recursive afirma más de 125 tokens por segundo en una MacBook Pro con M4 Pro y más de 150 en una RTX Spark de 64 GB con contexto corto. Un modelo denso de 27B en la misma laptop no está en ese rango. También se reporta que Qwen3.8 27B es lento en local e inusualmente ávido de tokens: Artificial Analysis midió aproximadamente 160 millones de tokens de salida en sus pruebas de índice, lo que es un multiplicador de costos en cualquier bucle de agente.

• Contexto: ambos admiten 262.144 tokens de forma nativa, y Qwen se extiende hasta 1.000.000 con el escalado YaRN. El anuncio de Flint menciona hasta 512K. Sobre el papel, esto queda en tablas en la ventana nativa; en la práctica, el rendimiento de Flint en contexto largo es el punto más débil, y las pruebas independientes reportan una caída a aproximadamente 9 tokens por segundo cerca de los 115.000 tokens.

• Multimodalidad — Qwen3.8 27B acepta imágenes y video además de texto, con una disposición de atención híbrida de 48 capas de atención lineal Gated DeltaNet frente a 16 capas de atención completa en una proporción de 3:1, que es lo que hace que una ventana de 262K sea económica de servir. Flint es solo texto.

Lo que realmente estás eligiendo

• Si el objetivo es la máxima precisión en programación y dispones del hardware, Qwen3.8 27B es el modelo más potente en todos los benchmarks en los que ambos pueden compararse con claridad. Eso es también lo que indica el propio promedio de seis pruebas de Recursive.

• Si el modelo tiene que ejecutarse en un portátil, permanecer sin conexión, mantener el código fuente en la máquina o servir suficiente volumen como para que los parámetros activos dominen la factura, Flint gana en el eje que decide el despliegue. Un modelo de 2,5B activos a 125 tokens por segundo es un producto distinto de un modelo denso de 27B que necesita un nodo de GPU.

• Si quieres ambos, se complementan bien: el modelo local para el trabajo rutinario y sensible, el modelo alojado para las tareas difíciles. Esa división es a la que llegan la mayoría de los equipos, y es ahí donde la capa de enrutamiento deja de ser un detalle.

Qwen3.8 27B es el único modelo de esta comparación que OrcaRouter sirve directamente — el identificador es qwen/qwen3.8-27b en nuestra lista de modelos activa, y acepta texto, imágenes y vídeo con la ventana completa de 262.144 posiciones. Dado que el precio de lista del proveedor se transfiere sin añadir ningún margen, un cambio de precio por parte de Alibaba se aplica en nuestro lado el mismo día, en lugar de en la próxima renovación. OrcaRouter no sirve Flint; ese es una descarga. Así que el híbrido anterior es realmente híbrido: una ruta hacia un modelo alojado de clase frontera, y un archivo local para todo lo que no debe salir de la máquina.

El experimento que nadie ha realizado

Todas las cifras de este artículo proceden de un laboratorio que medía su propio modelo, con una excepción: la discrepancia de 3,3 puntos de PrismML con Alibaba en Terminal-Bench, que es la única pista disponible sobre cuánto se mueven estas cifras cuando es otro quien sostiene el cronómetro.

Lo que zanjaría esto es sencillo y no ha sucedido: ambos modelos, un mismo arnés de pruebas, un mismo conjunto de tareas, una misma máquina, trazas publicadas. Hasta entonces, la postura defendible es la restrictiva. En los benchmarks que ambos laboratorios reportan con honestidad, Qwen3.8 27B es el programador más preciso. En los ejes de despliegue que determinan si un modelo puede siquiera ejecutarse, Flint es el más eficiente. Recursive lo dijo primero, en su propia publicación de lanzamiento, y eso es lo más fiable de todo el lanzamiento.