Obsidian 3: una fila de benchmark oculta, una factura 3,6× y la pregunta de Fable 5.5

El número más interesante de la nueva tabla de clasificación de programación de Cognition esta semana pertenece a un modelo que nadie puede nombrar. Una entrada oculta etiquetada Obsidian 3 apareció en el archivo de datos detrás de FrontierCode 2.0 con una puntuación de alto esfuerzo de 46,77 %, por encima de Claude Opus 5.5, con 45,5 % —el modelo que la propia tabla de Cognition sitúa en primer lugar. La fila se ejecutó en el harness claude-code, que solo los modelos de Anthropic usan en esa tabla, y las especulaciones se dividieron de inmediato entre Claude Fable 5.5, el buque insignia que Anthropic no ha lanzado, y una actualización de mitad de ciclo que un usuario de X llamó «Opus 5.6». Nada de eso está confirmado. Anthropic no ha dicho nada, no existe ninguna ficha de modelo ni ningún ID de API, y cada cifra de Obsidian 3 en este artículo es una afirmación no verificada procedente de publicaciones en X, en lugar de un resultado que pudiéramos reproducir.

Lo que puede verificarse es más acotado y más útil: el archivo público al que apuntaba la filtración, la curva de esfuerzo atribuida a la fila oculta y la aritmética detrás de la afirmación del «coste 3,6×». Si se juntan esas piezas, la historia deja de ser «el próximo modelo de Anthropic supera al actual». Se convierte en algo más específico: una fila que alcanza su máximo con un esfuerzo alto y luego retrocede, una comparación que solo funciona si se mantienen niveles de esfuerzo distintos en cada lado, y un archivo de datos que no contiene la fila en absoluto.

¿Qué se filtró y cuándo?

Cognition publicó FrontierCode 2.0 el 27 de octubre. El benchmark está deliberadamente diseñado para ser difícil de manipular: 132 tareas creadas a partir de repositorios reales de código abierto por más de 20 mantenedores, cada una de las cuales requiere aproximadamente 40 horas, y se evalúa según si un parche realmente se fusionaría en lugar de si pasa una prueba. Cada ejecución se repite tres veces, las tareas son privadas y un solo criterio bloqueante fallido otorga cero. La propia tabla de Cognition situó a Claude Opus 5.5 en primer lugar con un 45,5 % en máximo esfuerzo, a GPT-6 Astra en segundo con un 42,8 %, a Claude Sonnet 5.5 en tercero con un 41,0 %, y ningún modelo por encima del 50 %. Artificial Analysis adoptó el benchmark con un 15 % de su nuevo Intelligence Index v5 e informó de forma independiente el mismo líder, Claude Opus 5.5 con un 46 % al redondear.

Esa noche, a las 21:10 UTC del 27 de octubre, @tensorson publicó que el archivo de datos de Cognition contenía un modelo que la tabla no mostraba: «Obsidian 3», con 46,8 %, «por encima del n.º 1, Opus 5.5 (45,5 %)». La publicación mencionaba el harness claude-code y conjeturaba que se trataba de Fable 5.5. Doce horas después, un hilo de linux.do enumeraba cinco puntuaciones de esfuerzo distintas para la fila —low 39,19 %, medium 39,84 %, high 46,77 %, xHigh 45,90 %, max 45,53 %— y adjuntaba una copia de los datos. A las 09:12 UTC del 28 de octubre, @teortaxesTex publicó una cita con las cifras de coste: Opus 5.5 en high puntúa 34,5 % por $2,42 la ejecución, Opus 5.5 en max puntúa 45,5 % por $12,82, y Obsidian 3 en high puntúa 46,7 % «aparentemente por $8,62», sin llegar más lejos ni siquiera con $47 en max. «¿FrontierCode ya está roto?» preguntaba la publicación. «¿O Fable 5.5 es un fracaso?» A las 16:18 UTC, @CodexResets1 amplificó las mismas cifras y preguntó si el modelo era Fable 5.5 u Opus 5.6.

El encabezado Last-Modified del archivo indica las 17:44 UTC del 28 de octubre. La versión que descargamos un día después tiene 32.055 bytes, enumera 24 modelos y no contiene ninguna fila llamada Obsidian 3 en ninguna parte de su estructura. Una solicitud con invalidación de caché devolvió el mismo hash del archivo. La tabla oficial de clasificación nunca mostró la fila, el espejo de 20 filas de BenchLM tampoco la mostró, y Anthropic no ha publicado nada.

Una fila, cinco niveles de esfuerzo, tres historias diferentes

La mitad publicada de esta comparación es sólida, porque proviene directamente de los datos descargables de Cognition. La puntuación ajustada por fusionabilidad de Claude Opus 5.5 aumenta en cada paso: 14,7 % en bajo, 30,1 % en medio, 34,5 % en alto, 43,4 % en xHigh y 45,5 % en máximo. Su costo promedio por tarea aumenta de $2,42 en alto a $12,82 en máximo. Esa es la curva de un modelo que mejora cuando le pagas por pensar más tiempo.

La curva Obsidian 3 que se afirma no se comporta de esa manera:

• Esfuerzo bajo — 39,19 % declarado, ya por encima del 34,5 % de esfuerzo alto de Claude Opus 5.5.

• Esfuerzo medio — 39,84 % declarado, una ganancia de 0,65 puntos.

• Esfuerzo alto — 46,77 % declarado, el pico, a un coste declarado de 8,62 $ por tarea.

• xHigh effort — 45,90 % declarado, 0,87 puntos menos.

• Esfuerzo máximo — 45,53 % reclamado, otro descenso de 0,37, con un coste declarado cercano a 47 $.

Cinco configuraciones de esfuerzo, y la mejor puntuación aparece en tercer lugar. Gastar aproximadamente 5,5× el presupuesto de esfuerzo alto para alcanzar el máximo rinde una puntuación 1,24 puntos más baja. La propia Cognition advierte que esto puede ocurrir: las configuraciones de razonamiento más altas a veces reducen las puntuaciones porque los modelos escriben más código y tocan más archivos, y los propios ejemplos del benchmark incluyen una ejecución de esfuerzo máximo que eliminó una clase de API pública mientras corregía una condición de carrera. Pero la magnitud de la caída importa. Un modelo que se estanca en la cima es un checkpoint temprano o un artefacto de destilación mucho más a menudo de lo que es un modelo insignia terminado.

Ahora las comparaciones, porque el titular depende por completo de cuál elijas:

• Lo mejor contra lo mejor — el 46,77 % de Obsidian 3 en high frente al 45,5 % de Claude Opus 5.5 en max es +1,32 puntos, a $8,62 frente a $12,82, o alrededor de un 33 % más barato. Según esta lectura, la fila oculta gana en ambos ejes.

• Alto frente a alto: 46,77% frente a 34,5% supone +12,24 puntos, a 8,62 $ frente a 2,42 $, o 3,56× el coste. Según esta lectura, se trata de una gran mejora de calidad a un precio elevado.

• Max frente a max — 45,53 % frente a 45,45 % supone +0,08 puntos, a aproximadamente $47 frente a $12,82, o 3,67× el coste. Leído así, es un empate a un precio ruinoso.

Las tres son aritméticamente correctas. Por eso el hilo en X discutió sin que sus participantes se entendieran: @tensorson comparó high con max y lo llamó una victoria de 1,3 puntos; @teortaxesTex comparó high con high y preguntó si el benchmark estaba roto. La cifra de «3,6× de coste con el mismo esfuerzo» es exacta, y también lo es «más barato que la mejor ejecución de Opus 5.5»: describen pares de ejecuciones diferentes.

Hay una advertencia aún mayor detrás de todo esto. Los datos de Cognition almacenan dos números por ejecución: una tasa de acierto bruta y una puntuación ajustada por capacidad de fusión. El 45,5% publicado para Claude Opus 5.5 es la cifra ajustada; su tasa de acierto bruta en el modo max es del 49,7%, y en el modo high, del 37,9%. El ajuste les cuesta a las filas públicas de Claude de tres a cuatro puntos. No sabemos de qué columna provienen los números filtrados de Obsidian 3. Si 46,77% es una tasa de acierto bruta, su puntuación ajustada quedaría cerca del 43% — por debajo de Claude Opus 5.5 — y toda la afirmación de "por encima del #1" desaparece. Ese único dato desconocido es mayor que el margen de 1,3 puntos sobre el que todos discutieron.

Por qué la etiqueta claude-code es todo el argumento a favor de Anthropic

Un harness es andamiaje, no una huella digital. FrontierCode ejecuta cada modelo dentro de un bucle de agente, y el archivo de datos asigna los modelos al bucle que utilizaron: las filas de OpenAI se ejecutan en codex, las de Google en devin-cli, las de xAI en grok-build, Muse Wonder de Meta en muse, los propios modelos SWE de Cognition en devin-cli-swe1, y las seis filas de Claude en claude-code. Una fila anónima dentro del harness de Claude es una fuerte indicación de que el modelo que hay detrás fue creado para funcionar con las herramientas de Anthropic. No es prueba de que Anthropic lo haya creado. Un operador de benchmark puede probar el modelo prelanzamiento de un socio en el harness que mejor se adapte, y un laboratorio puede probar su propio modelo bajo un nombre sujeto a embargo.

El nombre por sí solo no te dice casi nada. La línea pública de Anthropic — contrastada con su propia descripción general de modelos el 29 de octubre — es Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 y Claude Haiku 5.5. No existe Fable 5.5, ni Opus 5.6, ni ningún producto llamado Obsidian. «Obsidian 3» es un nombre en clave al estilo de las gemas, del tipo que los laboratorios usan internamente, pero no hay ningún registro público con el que comprobarlo, y el «3» final no se corresponde con ninguna secuencia que Anthropic haya lanzado.

Eso deja tres lecturas, y la evidencia no permite elegir entre ellas:

• Una versión de nivel Fable. Claude Fable 5.1 es el buque insignia de 10 / 50 $ para razonamiento exigente, lanzado el 1 de septiembre, y la línea Fable es el hueco evidente en la actual gama. La conjetura de @tensorson, y varias respuestas a la publicación, llegaron aquí porque el perfil de costes parece el de un nivel premium más que el de un nivel de valor.

• Una actualización de Opus a mitad de ciclo. La creencia previa de @teortaxesTex es que «Obsidian 3 es Opus 5.6», con el argumento de que Anthropic ya ha lanzado antes modelos de mitad de ciclo con escasa mejora en razonamiento. La cima plana de la curva declarada encaja con ese relato, pero las puntuaciones de bajo esfuerzo —39,19 % frente al 14,7 % de Claude Opus 5.5— parecen de una ejecución de entrenamiento distinta, no de una pequeña actualización.

• Un artefacto de destilación o un checkpoint temprano. La otra hipótesis de @teortaxesTex, y la que mejor respalda la forma de la curva: fuerte con esfuerzo bajo y medio, alcanza su pico con esfuerzo alto y luego retrocede cuando se le da más margen. Un modelo frontera terminado no debería empeorar cada vez que aumentas su presupuesto.

Lo que aporta el momento de la IPO — y lo que no

La señal que inició este hilo fue una pregunta sobre el momento oportuno: ¿por qué Fable aún no se ha lanzado antes de la OPI? Anthropic presentó públicamente su S-1 el 26 de octubre, el día antes del lanzamiento de FrontierCode 2.0, para una captación estimada de 75.000 millones de dólares en Nasdaq bajo el símbolo bursátil ANT. Se espera que el roadshow tenga lugar la semana del 9 de noviembre y la fijación de precios la semana del 16 de noviembre, según Renaissance Capital. Un próximo producto insignia que llegue antes de la fijación de precios daría a la salida a bolsa una historia de producto; uno que llegue después le da una historia de hoja de ruta.

Pero una fila oculta en un benchmark no es una señal de lanzamiento. Los laboratorios prueban habitualmente modelos previos al lanzamiento con operadores de benchmarks, normalmente bajo embargo, y el trabajo del operador es mantener el modelo anónimo hasta que el proveedor diga lo contrario. Si Cognition probó una versión de Anthropic, la lectura correcta es que Anthropic sigue iterando, no que el lanzamiento esté a días de distancia. El único dato oficial sigue siendo la documentación de Anthropic, que enumera cuatro modelos actuales y ninguno de ellos es Obsidian. La IPO explica por qué la gente sigue con tanta atención el tier Fable. No hace que la fila sea real.

Lo que un lector puede hacer realmente hoy

Nada de Obsidian 3 se puede invocar, tiene precio o está documentado, así que no cambia ninguna decisión esta semana. Si necesitas la mejor puntuación de mergeabilidad disponible ahora, Claude Opus 5.5 ya está disponible públicamente: $4 por entrada y $20 por salida por millón de tokens, una ventana de contexto de 1M tokens, 128K de salida máxima, ID de API claude-opus-5-5, publicado el 22 de septiembre. Si el costo es la limitación, GPT-6.1 Sol obtuvo 39.0% a aproximadamente $1.03 por tarea en la misma tabla: una relación puntuación-por-dólar mucho mejor que cualquiera de las ejecuciones de Claude, y la cifra que vale la pena comprobar antes de asumir que la cima de la tabla es la única fila útil.

Claude Opus 5.5 se puede enrutar mediante OrcaRouter al precio de lista de Anthropic sin recargo, junto con más de 200 otros modelos en una sola API con conmutación por error automática. Eso importa para el único experimento que esta filtración realmente invita: ejecutar Claude Opus 5.5 en alto y en máximo con tu propia carga de trabajo y medir el costo por parche aceptado. La propia curva de FrontierCode dice que los dos últimos pasos de esfuerzo cuestan $10.40 más por tarea a cambio de 11 puntos; puede que tu repositorio no lo valore de la misma manera. El ajuste de esfuerzo y el precio por token son los de Anthropic, transferidos tal cual, así que la comparación es un cambio de parámetro en lugar de un segundo contrato, y si Anthropic reduce el precio de lista, la reducción está activa en la ruta ese mismo día.

¿Qué convertiría a Obsidian 3 en un hecho?

• La fila se devuelve en un archivo de datos descargable, con una clave de modelo y las cinco entradas de esfuerzo, así que los números se pueden leer sin una captura de pantalla.

• Cognition dice si probó un modelo de prelanzamiento y bajo qué condiciones. Un operador de benchmark que confirme una ejecución bajo embargo resolvería la procedencia sin nombrar al proveedor.

• Anthropic publica una ficha de modelo, un ID de API o una entrada en la documentación. Ese es el único evento que convierte una fila de un benchmark en un producto.

• Aparece un precio. Un modelo sin precio es una entrada de referencia, no una opción que un lector pueda elegir.

• Un segundo operador lo mide. Artificial Analysis ejecuta su propio banco de pruebas FrontierCode 2.0 con diferentes configuraciones externas; una fila de Obsidian allí sería una corroboración en lugar de una republicación de la misma captura de pantalla.

La fila es un recibo, no un lanzamiento. Lo que registra es más interesante que el titular: un modelo que es fuerte con esfuerzo bajo, alcanza su máximo con esfuerzo alto y luego gasta cinco veces el presupuesto para empeorar. Si esa curva pertenece al próximo buque insignia de Anthropic, la empresa tiene un problema de escalado del razonamiento que resolver antes de lanzar. Si pertenece a un checkpoint temprano, la cifra se moverá antes que el nombre. En cualquier caso, 46,8 no es la cifra que hay que observar. La cifra que hay que observar es si la curva llega alguna vez a ser monotónica.

Preguntas frecuentes

¿Se ha lanzado Obsidian 3?

No. Ningún modelo llamado Obsidian 3 aparece en la documentación de Anthropic ni en la tabla de FrontierCode 2.0 publicada por Cognition, y no encontramos ningún catálogo de API que lo incluya. La única evidencia es una fila oculta reportada en publicaciones de X del 27 y 28 de octubre y en un hilo de foro que reprodujo cinco puntuaciones de esfuerzo. Anthropic no ha comentado nada, y el archivo de datos públicos que descargamos el 29 de octubre no contiene la fila.

¿Obsidian 3 es Claude Fable 5.5 o Claude Opus 5.6?

Desconocido. Ambas son conjeturas a partir de la etiqueta del arnés claude-code, no de ningún identificador. Fable 5.5 encaja en el espacio vacío por encima de Claude Fable 5.1 en la línea de productos de Anthropic; Opus 5.6 encaja con la teoría de que Anthropic lanza renovaciones de mitad de ciclo de bajo beneficio. Ninguno de los dos nombres aparece en la documentación de Anthropic, y el perfil de costos encaja más con un nivel Fable premium que con uno Opus de gama económica.

¿Por qué Obsidian 3 ya no aparece en FrontierCode 2.0?

No podemos confirmar por qué. El archivo enlazado en la publicación original se modificó por última vez a las 17:44 UTC del 28 de octubre, y la copia que descargamos el 29 de octubre enumera 24 modelos sin ninguna entrada de Obsidian 3. Es posible que se haya eliminado después de que circularan las publicaciones, o que la versión pública nunca la haya incluido. Las publicaciones en X y el archivo del foro son el único registro que pudimos encontrar, y ninguno de los dos es de primera mano.

¿Se sostiene la afirmación sobre el coste de 3,6×?

La aritmética sí cuadra con los costes publicados por Cognition para Claude Opus 5.5: 8,62 $ es 3,56 veces la ejecución de alto esfuerzo de 2,42 $ y aproximadamente 3,67 veces la ejecución máxima de 12,82 $ cuando se compara con la cifra máxima de unos 47 $. Lo que no se puede verificar es el lado de Obsidian 3 de la contabilidad, porque sus cifras de costes solo existen en publicaciones en X, no en ningún archivo descargable.