Benchmark de Claude Fable 5.2: lo que el 65 cuesta en tiempo de reloj

Claude Fable 5.2 obtiene 65 en el Artificial Analysis Intelligence Index v5.0.1 — primero de 78 modelos, cinco puntos por delante de Gemini 4 Carbon. Esos cinco puntos vienen acompañados de 267 segundos hasta el primer token, 46,8 minutos de tiempo de reloj por tarea y 26,54 USD de gasto por ejecución del índice; cada uno de ellos es la forma práctica de la puntuación. Esto es lo que midió el arnés de evaluación y qué hacer con ello. La página de Claude Fable 5.2 API tiene los endpoints y los precios; este artículo trata sobre el benchmark.

Las nueve evaluaciones

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Tres tareas de terminal y automatización, dos tareas de razonamiento basado en documentos sobre entradas largas, dos evaluaciones difíciles de ciencia y matemáticas, una evaluación de código de frontera. Sin arnés de agente web, sin simulación de soporte multiturno, sin detección de vulnerabilidades.

La puntuación y su escala

65, puesto 1 de 78, en v5.0.1. Solo los modelos reevaluados en v5.0.1 pertenecen a la misma tabla; las puntuaciones de v4.3 y v4.3.2 son un conjunto de evaluación distinto, y cualquier gráfico que las mezcle no es válido. Dentro de la cohorte actual, el orden en la parte superior es Fable 5.2 con 65 y Gemini 4 Carbon con 60, mientras que el resto del grupo queda más atrás o aún no se ha reevaluado.

Una diferencia de cinco puntos en un índice de nueve evaluaciones es real, pero estrecha. La lectura útil no es «un cinco por ciento mejor», sino «una ventaja modesta en una batería difícil», y la razón para pagar por ella es la varianza más que la capacidad bruta: en tareas donde una respuesta incorrecta invalida toda la ejecución, una pequeña ventaja en la probabilidad de éxito se acumula a lo largo de los pasos.

El reloj de pared

267 segundos hasta el primer token, puesto 76 de 77 modelos con datos de latencia. 46,8 minutos en total por tarea. 97 tokens por segundo de salida una vez que comienza, lo que es un 35 por ciento más rápido que los 72 de Carbon y no representa casi nada del tiempo transcurrido.

La distribución es la parte importante. A través del tráfico en vivo de OrcaRouter, el mismo modelo reporta un p50 de 8,09 segundos hasta el primer token y un p95 de 10,00 segundos sobre 35,6 millones de tokens en siete días. El arnés de pruebas y la puerta de enlace miden poblaciones distintas: uno permite que el modelo piense con el máximo esfuerzo en HLE-Diamond; el otro es la solicitud mediana con el nivel de esfuerzo que haya establecido quien llama. Si ejecutas Fable 5.2 con el máximo esfuerzo, reproducirás la cifra de AA; con esfuerzo bajo, verás algo cercano a la de la puerta de enlace.

El dinero

$26.54 por ejecución de índice a $8.00 por millón de entrada y $40.00 por millón de salida — puesto 77 de 77, el más caro de la tabla. Gemini 4 Carbon cuesta $5.48 por las mismas nueve evaluaciones. Eso es 4.8 veces el gasto por cinco puntos de índice, y es la relación más útil de esta comparación.

AA informa de 275 millones de tokens de salida para la ejecución, con una verbosidad del 0,97 por ciento. Ten en cuenta que el porcentaje y el recuento apuntan en direcciones opuestas en comparación con el 2,69 por ciento y los 205 millones de tokens de Carbon, por lo que el porcentaje no debería citarse como una afirmación de concisión.

El ratio que hace utilizable la comparación es de $0.41 de gasto en benchmark por punto de índice frente a los $0.09 de Carbon. Cualquiera sea la conclusión que saque de ello, la aritmética obliga a una decisión de enrutamiento en lugar de una decisión de modelo único: a este precio, el modelo es un nivel, no una opción predeterminada.

Lo que la puntuación no te dice

No hay ninguna evaluación de ciberseguridad en el conjunto, así que nada de esto aborda el recall de vulnerabilidades ni la calidad de los parches —algo relevante si ese es el motivo por el que estás considerando un modelo de frontera. No hay ninguna evaluación de agentes de larga duración con llamadas a herramientas a lo largo de varios turnos, que es la carga de trabajo para la que realmente se comercializa Fable 5.2; las tareas de terminal se le aproximan, pero no la reproducen.

Tampoco hay ninguna medición de fiabilidad. El tráfico real en OrcaRouter mostró una tasa de respuestas no-2xx del 10,8 por ciento en todos los proveedores upstream durante siete días, frente al 39,7 por ciento de Carbon. Un arnés de benchmark absorbe eso con reintentos; tu aplicación no lo hará a menos que lo implementes.

Leerlo como una decisión

Si tu tarea se parece a las nueve evaluaciones y puedes ejecutarla de forma asíncrona, 65 a 26,54 $ por ejecución es defendible para los casos difíciles y un desperdicio para los fáciles: enruta según la dificultad y usa un modelo más barato para la mayoría. Si tu tarea es interactiva, las cifras del harness no son tus cifras; el p50 de 8,09 segundos de la puerta de enlace es el que debes tomar como referencia de diseño, y el nivel de esfuerzo es la variable que decide si acabas cerca de ocho segundos o cerca de cuatro minutos.

Para la comparación directa, Claude Fable 5.2 vs Claude Fable 5.1abarca la generación anterior a un precio más alto, y Gemini 4 Carbon vs Claude Fable 5.1abarca el par entre proveedores. La lista de modelos LLMtiene el resto de la cohorte v5.0.1 con ids y precios; vuelve a comprobar la versión del índice en cualquier gráfico que reutilices, porque una puntuación v4.3 en la misma tabla invalidará la comparación.