Tarjeta de título para el análisis del benchmark de GPT-6.1 Terra
Guides & Insights

Los benchmarks de GPT-6.1 Terra, ordenados: dónde 48 empata con 52 y dónde no

Autor

Elias Hawthorne

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

El número compuesto para GPT-6.1 Terra es 48. GPT-6.1 Sol es 52, GPT-6 Astra es 53, GPT-5.6 Terra es 42 y GPT-6 Luna es 38. Esa es toda la historia si solo se lee la primera línea del Artificial Analysis Intelligence Index: un modelo de gama media que se sitúa seis puntos por encima de su predecesor y cuatro por debajo de su hermano más caro. También es la forma menos útil de interpretar el lanzamiento, porque ese mismo índice esconde una brecha de 29 puntos en programación respecto a Astra, una brecha de 7,6 puntos en uso de computadora respecto a Claude Opus 5.5, y una mejora en alucinaciones mayor que todas las ganancias de inteligencia del lanzamiento combinadas.

Lo que sigue separa tres tipos de cifras: mediciones independientes de Artificial Analysis, resultados reportados por el proveedor OpenAI que nadie externo ha reproducido, y cifras derivadas — la aritmética que convierte cualquiera de las dos primeras en un costo o una proporción. Las distinciones importan, porque la cobertura del lanzamiento ya ha empezado a mezclarlas.

Las tres puntuaciones que todo el mundo citará

Artificial Analysis sitúa a GPT-6.1 Terra en 48 en su Intelligence Index, en el puesto 25 de 221 modelos, a $0.40 por tarea del índice. GPT-6.1 Sol está en 52 y en el puesto 13, a $0.72 por tarea. GPT-6 Astra, el modelo insignia actual, está en 53. GPT-5.6 Terra está en 42 y en el puesto 53, a $1.40 por tarea. GPT-6 Luna está en 38.

Leído como una escalera, Terra es una mejora genuina: seis puntos por menos de un tercio del coste por tarea terminada, y diez puntos por encima del nivel económico. Leído como una comparación con Sol, es exactamente lo que implica la tarjeta de precios: cuatro puntos más débil, a aproximadamente la mitad del precio por token. Nada en el compuesto contradice el posicionamiento de OpenAI.

El compuesto también aplana cosas que no debería. Cuatro puntos del índice entre Terra y Sol representan el 8 % de la escala; 29 puntos entre Terra y Astra en el Coding Agent Index representan el 60 % de esa escala. Un solo número no puede representar ambos, y la cobertura del lanzamiento que solo cita el primero ha omitido en silencio el segundo.

A four-column scoreboard comparing GPT-6.1 Terra, GPT-6.1 Sol, GPT-6 Astra and GPT-5.6 Terra on Intelligence Index, coding index, cost per task, computer-use score, hallucination rate and measured speed

Donde la brecha se amplía: programación

En el Coding Agent Index v2.0 de Artificial Analysis, GPT-6.1 Terra obtiene 48, GPT-6.1 Sol obtiene 54 y GPT-6 Luna obtiene 31. Eso supone un déficit de seis puntos respecto a Sol y una ventaja de 17 puntos sobre Luna —la misma forma que el índice de inteligencia, pero con una brecha mayor en términos relativos respecto a la cima de la familia.

Las cifras del proveedor cuentan una historia más halagüeña, y son cifras del proveedor. OpenAI informa que se resolvió el 50,3 % en Terminal-Bench 4.0 con el máximo esfuerzo, frente al 21,5 % de GPT-5.6 Terra. Eso es más del doble, y es el mayor salto de una generación a otra en esta versión. También es una prueba de referencia de tareas de terminal, no una medida amplia de agentes de programación: Terra puede estar cerca de Sol en trabajo de shell breve y bien delimitado y aun así estar seis puntos por detrás en el índice más amplio, y ambas cosas son ciertas a la vez.

La lectura práctica es que las mejoras de Terra en programación se concentran donde la tarea está acotada. «Ejecuta esta suite de pruebas, lee el fallo, parchea el archivo» es la forma de Terra. «Mantener en la cabeza una refactorización de quince archivos durante cuarenta pasos» no lo es, y la propia recomendación de OpenAI sigue señalando a Sol o Astra para el trabajo de programación complejo.

Donde la brecha es menor de lo que sugiere el índice: uso de computadoras

En OSWorld 2.1, el benchmark estándar de automatización de escritorio, GPT-6.1 Terra obtiene un 74,2 % con razonamiento máximo. GPT-6.1 Sol obtiene un 75,9 % en xhigh. GPT-6 Astra obtiene un 75,8 %. Claude Opus 5.5 lidera los modelos que podemos comparar con un 81,8 %, con Claude Fable 5.1 en un 80,7 %, Claude Sonnet 5.5 en un 80,1 % y Kimi K3.1 Pro en un 79,6 %.

Hay dos consecuencias. Primero, Terra está a 1,7 puntos de Sol en la tarea para la que fue creada, a la mitad del precio por token —una relación mucho mejor de lo que implica la brecha de inteligencia de cuatro puntos. Segundo, toda la familia GPT-6 va por detrás de Anthropic en automatización de escritorio en seis o siete puntos, y Terra no cierra esa brecha. Si tu producto es un agente de navegador, la comparación interesante no es Terra frente a Sol; es Terra frente a Claude Sonnet 5.5, que es más barato por token que Sol y obtiene 5,9 puntos más en OSWorld.

Las propias cifras agénticas del proveedor apuntan en la misma dirección. En Agents' Last Exam v1, OpenAI informa de un 57,6 % para Terra con esfuerzo medio, frente a un 50,7 % para GPT-5.6 Terra al máximo. La afirmación que la acompaña —comparable a GPT-6 Astra con esfuerzo medio, a aproximadamente una décima parte del precio por token— es una afirmación por tarea, y es la frase más relevante en términos económicos del lanzamiento.

El número que realmente se movió: alucinación

Artificial Analysis mide una tasa de alucinación de Omniscience: con qué frecuencia un modelo adivina cuando no sabe algo. GPT-5.6 Terra obtuvo un 88%. GPT-6.1 Terra obtiene un 38%. La precisión aumentó dos puntos en el mismo periodo.

Una caída de 50 puntos en la tasa de conjeturas es mayor que cualquier ganancia de inteligencia en esta versión, y es el único número que cambia para qué es seguro usar un modelo. Un modelo que inventa una respuesta el 88% de las veces cuando no está seguro no se puede confiar para la extracción de facturas o el rellenado de formularios sin una revisión humana de cada salida. Con un 38%, sigue conjeturando más de un tercio de las veces —esto es una mejora, no una solución—, pero el modo de fallo pasa de "asumir que está mal" a "tomar muestras y verificar".

Eso tiene una consecuencia directa en los costos. La verificación es la partida oculta en toda implementación con modelos baratos: si hay que revisar el 88% de las respuestas, la mano de obra eclipsa el ahorro en tokens. Con un 38%, la revisión por muestreo se vuelve viable, y la cifra de $0.40 por tarea empieza a parecer el costo real en lugar de la mitad visible.

Las afirmaciones de los proveedores y lo que falta en ellas

Los resultados publicados por OpenAI, todos realizados por el proveedor y ninguno reproducido de forma independiente en el momento de escribir esto:

• Terminal-Bench 4.0 — 50,3 % con el máximo esfuerzo, frente a 21,5 % de GPT-5.6 Terra.

• Agents' Last Exam — 15 puntos por encima de GPT-5.6 Terra con esfuerzo medio, a aproximadamente un tercio del coste.

• MMMU-Pro — por delante de GPT-5.6 Terra en todos los niveles de esfuerzo, acercándose a Astra y Sol, sin puntuaciones absolutas publicadas.

• Terminal-Bench-Science 0.1 — a menos de 5 puntos de Claude Opus 5.5, con menos de un quinto del coste estimado.

• Prompts que inducen errores: 16,7 % con esfuerzo bajo frente a 53,6 %, y 4,3 % al máximo, en una prueba interna que la empresa no ha publicado.

El patrón de esa lista merece ser nombrado. Las dos afirmaciones más sólidas —MMMU-Pro y la prueba de tasa de error— son las dos que no llevan cifras absolutas asociadas. «Se acerca a Astra» y «cerca de Sol» son afirmaciones comparativas que no se pueden verificar sin las cifras que las respaldan. Las afirmaciones con cifras concretas son las que un tercero puede reproducir, y Artificial Analysis ya ha reproducido el lado de los costes: $0,40 por tarea, $1,40 para el predecesor.

La velocidad es el número independiente que no está en el índice.

Artificial Analysis mide GPT-6.1 Terra en 90,9 tokens de salida por segundo con 133,64 segundos hasta el primer token en su benchmark de razonamiento. GPT-6.1 Sol se mide en 73,5 tokens por segundo y 284,31 segundos. Eso es aproximadamente un 24 % más de rendimiento y poco más del doble de ventaja en tiempo hasta el primer token: una medición independiente, no una afirmación del proveedor, y el argumento objetivo más sólido a favor de Terra en todo el lanzamiento.

Para un producto de chat, el rendimiento apenas importa; para un bucle de uso de computadora que requiere veinte pasos por tarea, es la diferencia entre una tarea de 40 segundos y una de 90 segundos. El índice no pone precio a la latencia, y por eso un modelo clasificado en el puesto 25 puede ser la compra adecuada para un agente que ocupa el puesto 13 en calidad.

Cómo leer el índice sin dejarse engañar

• Trata el compuesto como un filtro, no como una clasificación. Te indica qué modelos están en la conversación; no te dice cuál gana en tu tarea.

• Mira por separado las subpuntuaciones de programación y uso de computadora. El perfil de Terra es inusualmente amplio: casi a la par de Sol en automatización de escritorio, seis puntos por detrás en programación y cuatro por detrás en la puntuación general.

• Vuelve a comprobar los valores absolutos con una sola fecha. El índice se renormaliza periódicamente, y los informes de distintas semanas citan cifras diferentes para el mismo modelo.

• Pondera la tasa de alucinación con tanto peso como la puntuación de inteligencia si tu carga de trabajo tiene un coste de verificación. Una mejora de 50 puntos cambia el modelo operativo, no solo la puntuación.

• Mide tu propia tarea. Las cifras de coste por tarea de Artificial Analysis son un proxy basado en sus prompts; tus prompts producirán una proporción diferente entre el precio de los tokens y los intentos.

Nada de esto convierte a GPT-6.1 Terra en un mal modelo. Lo convierte en uno muy concreto: un modelo rápido, barato y que alucina mucho menos, cercano a su hermano más caro en pantallas y lejos del buque insignia en código. La puntuación compuesta indica 48. Las subpuntuaciones indican qué 48 estás comprando.

Screenshot of the Artificial Analysis leaderboard showing GPT-6.1 Terra's Intelligence Index of 48, cost per task and measured output speedScreenshot of OpenAI's model documentation for GPT-6.1 Terra listing its benchmark claims, context window and reasoning effort settings

Comparados en este artículo4

Detectado en este artículo · Benchmarks: Artificial Analysis · actualizado a diario