Benchmark de carbono de Gemini 4: qué mide realmente 60 en AA v5.0.1

Una puntuación de benchmark solo es útil si sabes qué preguntó el sistema de evaluación, cuánto tiempo se le permitió pensar al modelo y qué versión de la prueba produjo el número. Para Gemini 4 Carbon, las respuestas son: nueve evaluaciones agénticas y científicas, todo el tiempo que quiso y Intelligence Index v5.0.1 —la versión actual, y por eso el 60 es citable y la mayoría de los números que encontrarás junto a él no lo son. La página de Gemini 4 Carbon API enumera el precio y el endpoint; este artículo trata sobre la puntuación.

¿Qué se ejecutó realmente?

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset y Terminal-Bench-Science 0.1. Lee esa lista antes de generalizar a partir de ella. Tres de los nueve son trabajo de terminal o automatización, dos son razonamiento fundamentado en documentos sobre entradas largas, dos son ciencia y matemáticas duras, y uno es código de frontera. En el conjunto no hay evaluación de agentes web ni simulación de atención al cliente de varios turnos, así que una gran puntuación no dice nada sobre esos aspectos.

La puntuación

Carbon registra 60, lo que supone el puesto 4 de 78 en v5.0.1. El líder es Claude Fable 5.2 con 65. La diferencia de cinco puntos es significativa, pero no categórica: ambos modelos superan las mismas nueve evaluaciones, y la forma más sencilla de interpretar la diferencia es como aproximadamente una tarea difícil adicional resuelta por cada veinte intentadas al nivel de competencia de Carbon. Trátalo como una orientación, no como una tasa.

La salvaguarda de versión importa más que el ranking. Los modelos evaluados en v4.3 o v4.3.2 —incluidos la mayoría de los nombres que verás citados en publicaciones comparativas— no están en la misma escala y no pueden colocarse en la misma tabla. Si un gráfico los mezcla, el gráfico es incorrecto independientemente de quién lo haya publicado.

La consecuencia práctica es que no puedes comparar Carbon con un modelo que evaluaste tú mismo el trimestre pasado a menos que ese modelo también se haya vuelto a puntuar. O vuelves a ejecutar tu propio harness en ambos, o limitas la afirmación a la cohorte de v5.0.1 y lo dices en la frase en la que la citas.

El coste del tiempo

El tiempo hasta el primer token es de 64,7 segundos, puesto 69 de 77 modelos con datos de latencia. El tiempo total de respuesta es de 28,4 minutos por tarea en las nueve evaluaciones. Una vez que Carbon empieza a emitir, funciona a 72 tokens por segundo, lo cual es normal. El tiempo real está dominado por el pensamiento, no por la escritura.

Eso es una decisión de diseño y no un defecto, y vale la pena ser precisos sobre lo que implica. Un arnés que deja que el modelo razone hasta quedar satisfecho producirá una puntuación lenta pero sólida; el mismo modelo detrás de una puerta de enlace con tráfico en vivo reporta un p50 de 6,89 segundos hasta el primer token y un p95 de 10,00 segundos, porque la mayoría de las solicitudes reales no son HLE-Diamond. Las dos cifras miden cosas distintas y ambas deben figurar en un plan de capacidad.

El costo monetario

Ejecutar el índice frente a Carbon costó 5,48 $ a 2,00 $ por millón de tokens de entrada y 10,00 $ por millón de salida, lo que da un costo combinado de 2,70 $ por millón. AA también informa 205 millones de tokens de salida para la ejecución, con una cifra de verbosidad del 2,69 por ciento. La cifra que conviene retener es el recuento de tokens, no el porcentaje: indica que una evaluación agéntica de nueve tareas consumió buena parte de 250 millones de tokens de salida.

A modo de comparación, el mismo índice con Claude Fable 5.2 costó $26.54 —4,8 veces más— a $8.00 de entrada y $40.00 de salida. Ese es el encuadre correcto para el par: la brecha de cinco puntos en la puntuación se compra a casi cinco veces el gasto en tokens.

Expresado como ratio, Carbon paga $0.09 de gasto de benchmark por punto de índice y Fable 5.2 paga $0.41. Eso no es un argumento de que el modelo más barato sea mejor —el sentido de un modelo de frontera son las tareas en las que falla el más barato—, pero sí es el argumento para enrutar según la dificultad en lugar de elegir un solo modelo para todo. El 90 por ciento de las llamadas que un modelo de 60 puntos supera no necesitan uno de 65 puntos.

La otra proporción que vale la pena tener en cuenta es el tiempo. Carbon emplea 28,4 minutos por tarea y Fable 5.2 emplea 46,8, así que el modelo más caro también es 1,6 veces más lento de extremo a extremo. En una cola asíncrona eso supone una restricción de rendimiento; en una llamada síncrona, es la diferencia entre un indicador de carga y un tiempo de espera agotado. Las notas de la versión de Gemini 4 Carbon abarcan lo que se lanzó con el modelo y, si la pregunta es si sustituye a la generación anterior de Gemini, Gemini 4 Carbon vs Gemini 3.1 Pro es la comparación directa.

Lo que el benchmark no cubre

En este conjunto no hay ningún arnés de ciberseguridad ni de detección de vulnerabilidades. Si estás evaluando Carbon para trabajo de seguridad —escaneo, triaje, generación de parches—, estas nueve evaluaciones te dicen algo sobre su razonamiento y nada sobre su recall en vulnerabilidades reales. Lo mismo ocurre con la programación de horizonte largo en un repositorio concreto, que FrontierCode-AA aproxima pero no sustituye.

Tampoco se mide aquí qué ocurre bajo carga. La tasa de error en vivo en el tráfico de OrcaRouter para Carbon fue del 39,7 % durante los últimos siete días, frente al 10,8 % de Fable 5.2. Un arnés de benchmark reintenta y absorbe eso; tu aplicación tiene que decidir cómo.

Reproducir algo de esto en tu propio tráfico

No puedes reproducir los 64,7 segundos de AA sin el arnés de AA, y no deberías intentarlo: lo útil es medir tus propios p50 y p95 y compararlos con los 6,89 y 10,00 segundos publicados por la puerta de enlace, porque eso te dice si tus prompts son normales o inusualmente difíciles. Registra el tiempo hasta el primer token, los tokens de salida y el recuento de respuestas no 2xx por ruta. Si tu tasa de error supera el 39,7 por ciento que la puerta de enlace reporta para todos los proveedores, el problema está en tu lado de la solicitud.

Cómo usar esto en una decisión

Si tu trabajo se parece a las nueve evaluaciones —tareas de terminal, automatización, documentos con contextos largos, ciencia dura—, Carbon a 60 y $2.70 combinado es la opción de mejor relación calidad-precio de la cohorte actual de v5.0.1, y el tiempo de pensamiento de 64,7 segundos es un coste que puedes absorber haciendo la llamada asíncrona. Si tu trabajo es interactivo, el mismo modelo con una p50 cercana a los siete segundos a través de la puerta de enlace es una propuesta completamente distinta, y la prueba honesta es tu propio tráfico, no el banco de pruebas de AA.

Para el cara a cara contra el modelo que le ganó, Gemini 4 Carbon vs Claude Fable 5.1 coloca a ambos lado a lado, y la comparativa de precios de API de LLM cubre dónde se sitúan los $2.70 combinados frente al resto del catálogo. Vuelve a comprobar la versión en cualquier gráfico que reutilices: v5.0.1 es la única escala a la que pertenece este 60.