El número más llamativo de GPT-6.1 Terra es 38%: una tasa de alucinación, no un IQ

La cobertura del lanzamiento de GPT-6.1 Terra se ha centrado en una mejora de inteligencia de seis puntos y una tarjeta a mitad de precio. La cifra que realmente cambia cómo se puede usar el modelo es 38% —la medida de Artificial Analysis de con qué frecuencia Terra adivina cuando no sabe, por debajo del 88% en GPT-5.6 Terra. Una caída de cincuenta puntos en las conjeturas es mayor que todas las mejoras de calidad del lanzamiento combinadas, y lleva el modelo de «asumir que la respuesta es inventada» a «muestrear y verificar».

Este artículo separa las dos cosas distintas que la gente llama alucinación en esta versión —la medida independiente de omnisciencia y la prueba interna de errores de OpenAI— y calcula el costo de una tasa de conjeturas del 38 % en un proceso real de verificación.

Qué mide el 38%

La evaluación AA-Omniscience de Artificial Analysis plantea a los modelos preguntas cuya respuesta puede que no conozcan y cuenta con qué frecuencia, aun así, dan una respuesta segura. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. La precisión aumentó dos puntos durante el mismo periodo.

Leídos en conjunto, esos dos hechos describen un modelo que se volvió más dispuesto a decir “No lo sé” — no uno que hubiera adquirido drásticamente más conocimientos. El índice de inteligencia se movió seis puntos, de 42 a 48. El comportamiento de abstención se movió cincuenta. Para cualquiera que use el modelo para extraer datos, ese es el cambio más valioso.

Todavía no es bueno. Un treinta y ocho por ciento significa que, en un conjunto de preguntas que el modelo no puede responder, más de una de cada tres todavía recibe una respuesta incorrecta pero segura. Un modelo que se abstiene el 62% de las veces cuando no sabe es mucho más seguro que uno que se abstiene el 12% de las veces — y aun así no es algo que poner delante de un cliente sin una verificación.

El número del proveedor es una prueba diferente.

El titular de OpenAI es una caída de 37 puntos en prompts diseñados para inducir errores: del 53,6 % en GPT-5.6 Terra con esfuerzo bajo al 16,7 % en Terra, y el 4,3 % con esfuerzo máximo. Esa prueba es interna, no publicada y construida de forma adversarial. Mide si el modelo puede resistir a un prompt diseñado para hacerlo fallar, no si inventa hechos cuando carece de ellos.

Ambas cifras pueden ser verdaderas. La prueba del proveedor mide la robustez ante prompts adversariales; la prueba independiente mide la calibración bajo ignorancia. Están correlacionadas, pero no son intercambiables, y la cobertura del lanzamiento ha tratado en gran medida la primera como evidencia de la segunda. No lo es.

Lo que cuesta una tasa de adivinación del 38 %

La verificación es la partida oculta en toda implementación de modelos baratos, y escala con la tasa de adivinación. Tomemos una canalización de extracción de documentos que procesa 100.000 páginas al mes, con una revisión humana por muestreo que cuesta 2 USD por página revisada.

• Con una tasa de acierto del 88% al adivinar, no puedes hacer verificaciones por muestreo. Tienes que revisarlo todo: 100.000 páginas × $2 = $200.000 al mes. La factura de tokens es irrelevante.

• Con un 38%, un régimen de muestreo se vuelve viable. Revisar el 20% de las páginas: 20.000 × $2 = $40.000 al mes, con una tasa de omisión conocida en el resto.

• Con un hipotético 10%, verificar el 5% costaría $10,000 al mes y aun así acotaría la tasa de error.

El costo en tokens del pipeline en sí mismo a las tarifas de Terra —digamos 20.000 tokens de entrada y 500 de salida por página— es de 2.250 USD por cada 100.000 páginas. La línea de verificación es de diez a noventa veces mayor que la línea del modelo. Ese es el marco correcto para comparar modelos baratos: la factura es el modelo más la revisión, y la revisión viene determinada por la tasa de conjeturas.

¿Qué tareas toleran que se adivine?

• Tolerante — resumen de un documento que está íntegramente en contexto (la respuesta está fundamentada en la entrada), clasificación con un conjunto fijo de etiquetas, redacción de borradores en la que interviene un humano para editar, extracción con un esquema que rechaza resultados mal formados.

• Intolerante — responder preguntas factuales sin recuperación, cifras financieras, citas legales, dosificación médica, cualquier cosa en la que una respuesta incorrecta plausible sea peor que no dar ninguna respuesta.

La línea divisoria no es la puntuación de inteligencia del modelo; es si la respuesta puede verificarse contra una fuente. Una tasa de conjetura del 38 % en una tarea en la que cada resultado se verifica es un problema de eficiencia. En una tarea en la que los resultados van directamente a un cliente, es un riesgo.

Cómo medirlo con tus propios datos

• Cree un conjunto de preguntas que el modelo no pueda responder a partir del contexto. La tasa de conjeturas se mide en elementos sin respuesta, no en el conjunto completo de prueba; una prueba en la que cada pregunta tiene una respuesta mide precisión, no calibración.

• Puntúa tres resultados, no dos: correcto, incorrecto, abstenido. Un modelo que responde “desconocido” se comporta correctamente ante un ítem que no tiene respuesta.

• Compárelo con GPT-5.6 Terra en el mismo conjunto. La mejora de cincuenta puntos es una afirmación independiente del proveedor, pero se mide con las preguntas de Artificial Analysis; las suyas pueden variar.

• Vigila el ajuste de esfuerzo. Las afirmaciones sobre la tasa de error son específicas al nivel de esfuerzo, y el comportamiento de abstención probablemente también variará con el esfuerzo de razonamiento: una ejecución de bajo esfuerzo puede adivinar más que una de máximo esfuerzo.

Prompting para la abstención

La calibración es en parte una propiedad del prompt. Tres patrones que reducen de forma fiable las conjeturas con confianza:

• Dale al modelo una salida explícita — «si la respuesta no está presente en el contexto proporcionado, responde UNKNOWN» — y puntúa esa respuesta como correcta en los elementos que no tienen respuesta.

• Exigir una cita para cada afirmación fáctica y rechazar las respuestas cuyas citas no coincidan con el contexto.

• Pida una etiqueta de confianza y envíe las respuestas con baja confianza a un segundo modelo o a una persona, en lugar de pedirle al modelo económico que tenga certeza.

Cada uno de estos consume tokens y añade una etapa. Cada uno es más barato que una respuesta incorrecta que llega a un cliente, y la cifra del 38 % es lo que hace que merezca la pena valorar ese intercambio en lugar de ignorarlo.

Por qué esto importa más que el índice

Una mejora de seis puntos en inteligencia cambia qué tareas puede realizar un modelo siquiera. Un cambio de cincuenta puntos en la capacidad de conjetura cambia qué tareas puede realizar sin intervención humana. Para una decisión de enrutamiento, el segundo eje es el más útil: decide si el modelo barato puede trabajar sin supervisión en una tarea, y la supervisión es el costo que domina la factura de producción.

GPT-6.1 Terra no es un modelo que haya dejado de alucinar. Es un modelo que alucina con menos de la mitad de frecuencia que su predecesor, a la mitad de precio y con una fecha de corte de conocimiento más reciente. Esa combinación es genuinamente útil, y constituye una historia de verificación, no una historia de capacidades.

Lo que puedes ejecutar hoy

GPT-6.1 Terra no está en el catálogo de OrcaRouter en el momento de escribir esto, así que su comportamiento de abstención tiene que medirse directamente contra OpenAI. Todo aquello con lo que se le compara está disponible en nuestro lado con un 0 % de margen sobre el precio de lista del proveedor — GPT-5.6 Terra a $2/$12, GPT-6.1 Sol a $2/$10, GPT-6 Astra a $10/$50, GPT-6 Luna a $0.10/$0.50, Claude Sonnet 5.5 a $2/$10 — lo cual basta para construir el conjunto de calibración y el modelo de coste de verificación antes de que llegue Terra.

La cifra que hay que llevar a ese experimento no es 48. Es 38, y la pregunta que hay que hacerse es cómo luce tu presupuesto de revisión con esa tasa de conjeturas.