Reseña de Gemini 4 Carbon: cuarto en el índice, lento para responder

Gemini 4 Carbon ocupa el cuarto puesto en la clasificación independiente y tiene un precio propio de un modelo de gama media, una combinación poco habitual para analizarla con honestidad: la página de Gemini 4 Carbon API indica $2.00 por millón de tokens de entrada y $10.00 por millón de salida, mientras que la puntuación que obtiene es 60 en el Artificial Analysis Intelligence Index v5.0.1, cuarto de 78 modelos. La pregunta que debe responder una reseña no es si 60 es bueno. Es por lo que pagas en tiempo real y en tasa de fallos para conseguirlo.

Qué es

Un modelo multimodal de la familia Gemini 4 de Google con una ventana de contexto de 1.048.576 tokens y un límite de salida de 65 K. Acepta texto, imágenes, audio, video y documentos, y devuelve texto, con uso nativo de herramientas y salida JSON estructurada. Responde tanto en el endpoint compatible con OpenAI como en la API generateContent nativa de Gemini, y ofrece Zero Data Retention.

El conjunto de parámetros te dice qué tipo de modelo quiere ser: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Hay un seed y un formato de respuesta en la misma lista, lo que constituye la seña de identidad de un modelo posicionado para la extracción y los pipelines agénticos en lugar de para la escritura creativa.

La puntuación, y la versión sobre la que se puntuó

El 60 no es comparable con los números más antiguos que encontrará citados para otros modelos, y este es el error más común en las comparaciones publicadas este mes. Intelligence Index v5.0.1 es un conjunto de evaluación distinto de v4.3 y v4.3.2, por lo que una puntuación de v4.3 y una puntuación de v5.0.1 no pertenecen a la misma tabla. Dentro de la cohorte de v5.0.1, el 60 de Carbon lo sitúa en cuarto lugar de 78, por detrás de Claude Fable 5.2 con 65 y por delante de todo lo demás que se ha vuelto a puntuar.

Las nueve evaluaciones detrás de ese número son AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset y Terminal-Bench-Science 0.1. Es una mezcla agéntica y científica —trabajo de terminal, automatización, fundamentación en documentos, razonamiento difícil—, no una mezcla de tabla de clasificación de programación. Un modelo puede obtener buenos resultados aquí y aun así perder en una refactorización a escala de repositorio, así que lee el desglose antes de concluir cualquier cosa sobre tu propio caso de uso.

La parte que oculta la cifra principal

El tiempo hasta el primer token de Carbon en el arnés de AA es 64,7 segundos, puesto 69 de 77 modelos con datos de latencia. El tiempo total de reloj por tarea es de 28,4 minutos en las nueve evaluaciones. La velocidad de salida una vez que empieza a escribir es de 72 tokens por segundo, lo cual no es destacable pero no es el problema; el problema es el tiempo de pensamiento antes del primer token.

Ejecutar el índice con Carbon costó $5.48 en gasto del proveedor, lo que, a un precio combinado de $2.70 por millón de tokens, supone una gran cantidad de tokens para una sola pasada del benchmark. AA también reporta una verbosidad del 2.69 por ciento junto con 205 millones de tokens de salida para la ejecución. No interprete el porcentaje como una puntuación de concisión: Claude Fable 5.2 registra un 0.97 por ciento mucho más bajo, con 275 millones de tokens de salida, una cifra superior, por lo que ambas cifras se mueven de forma independiente.

Si el precio es la razón por la que estás leyendo esto, la comparativa de precios de API de LLM pone un precio combinado de 2,70 $ por millón junto al resto del catálogo, incluidos los modelos que ofrecen un precio inferior y los que cuestan varias veces más por una puntuación comparable.

A través de la puerta de enlace, los números se ven diferentes.

Los 64,7 segundos de AA son un arnés de evaluación comparativa que permite al modelo pensar en problemas difíciles. En el tráfico en vivo de OrcaRouter durante los últimos siete días, el tiempo p50 hasta el primer token para Carbon fue 6,89 segundos y el p95 fue de 10,00 segundos, con 226 tokens por segundo de salida sobre 9,6 millones de tokens servidos. Ambas cosas son ciertas. Un producto de chat ve algo cercano al primer número; un clon de evaluación por lotes ve algo cercano al segundo.

La cifra que merece más atención que cualquiera de las dos es la tasa de errores: el 39,7 por ciento de las solicitudes devolvieron respuestas non-2xx en todos los proveedores upstream durante esa ventana de siete días, frente al 10,8 por ciento de Claude Fable 5.2. Sea cual sea la causa —capacidad, límites de tasa, rotación de proveedores—, un producto que llama a Carbon sin un presupuesto de reintentos y un modelo de respaldo mostrará a los usuarios fallos a un ritmo que ningún gráfico de benchmark predice. Esa es una cuestión de enrutamiento, y es lo único que hay que probar antes de la segunda semana.

Dónde corresponde en el catálogo

Frente a sus propios hermanos, Carbon es el miembro multimodal de la línea Gemini 4, no el barato: el precio de entrada es idéntico al de Gemini 3.1 Pro, a $2.00, la salida cuesta $2.00 menos, y la diferencia que importa es que Carbon acepta audio y video donde 3.1 Pro acepta texto e imágenes. Si tu pipeline nunca toca un archivo de video, estás pagando por una capacidad que no vas a usar.

Frente al resto de las opciones, la decisión suele reducirse a dos preguntas. Si se trata de una elección interna de Google, Gemini 4 Carbon vs Gemini 3.1 Proes la comparación que importa. Si se trata de comparar entre proveedores, GPT-6.1 Sol vs Gemini 4 Carbony Claude Opus 5.5 vs Gemini 4 Carboncubren las dos alternativas más comunes, y la lista de modelos LLMtiene el catálogo completo si ninguna de las dos es la que estabas considerando.

Veredicto

Carbon se gana su cuarto puesto en capacidad por dólar de entrada, y se lo gana de una forma que se adapta al trabajo largo, multimodal y estructurado en lugar de a la conversación. Los costes que no aparecen en la tabla de precios son los dos que determinan si te funciona: 64,7 segundos de razonamiento antes del primer token bajo un arnés de benchmark, y una tasa de error cercana al 40 % en tráfico real. Esquiva ambos —una cadena de respaldo, un presupuesto de reintentos y una cola asíncrona para todo lo que no sea interactivo— y la relación precio-puntuación es realmente difícil de superar. Si lo pones detrás de una interfaz de usuario síncrona sin respaldo, concluirás que el modelo es peor de lo que es.