Obsidian 3: una riga di benchmark nascosta, una bolletta da 3,6× e la questione Fable 5.5

Il numero più interessante sulla nuova classifica di coding di Cognition di questa settimana appartiene a un modello che nessuno può identificare. Una voce nascosta con l'etichetta Obsidian 3 è comparsa nel file di dati dietro FrontierCode 2.0 con un punteggio high-effort del 46,77%, sopra Claude Opus 5.5 al 45,5% — il modello che la tabella di Cognition stessa elenca per primo. La riga è stata eseguita nell'harness claude-code, che solo i modelli di Anthropic usano su quella classifica, e le congetture si sono immediatamente divise tra Claude Fable 5.5, il flagship che Anthropic non ha ancora rilasciato, e un aggiornamento di metà ciclo che un utente ha chiamato «Opus 5.6». Niente di tutto ciò è confermato. Anthropic non ha detto nulla, non esistono model card né ID API, e ogni cifra di Obsidian 3 in questo articolo è un'affermazione non verificata proveniente da post su X anziché un risultato che abbiamo potuto riprodurre.

Ciò che può essere verificato è più ristretto e più utile: il file pubblico a cui faceva riferimento la fuga di notizie, la curva dello sforzo attribuita alla riga nascosta e l'aritmetica dietro l'affermazione del "costo 3,6×". Mettendo insieme questi elementi, la narrazione smette di essere "il prossimo modello di Anthropic batte quello attuale". Diventa qualcosa di più specifico — una riga che raggiunge il picco con uno sforzo elevato e poi peggiora, un confronto che funziona solo se si mantengono livelli di sforzo diversi su ciascun lato, e un file di dati che non contiene affatto la riga.

Cosa è trapelato, e quando

Cognition ha pubblicato FrontierCode 2.0 il 27 ottobre. Il benchmark è deliberatamente difficile da truccare: 132 attività costruite da oltre 20 maintainer a partire da repository open source reali, ciascuna delle quali richiede circa 40 ore, valutate in base alla probabilità che una patch venga effettivamente sottoposta a merge anziché al fatto che superi un test. Ogni esecuzione viene ripetuta tre volte, le attività sono private e il mancato superamento di un singolo criterio bloccante vale zero. La classifica di Cognition vedeva Claude Opus 5.5 al primo posto con il 45,5% in modalità max effort, GPT-6 Astra secondo con il 42,8%, Claude Sonnet 5.5 terzo con il 41,0%, e nessun modello sopra il 50%. Artificial Analysis ha adottato il benchmark con un peso del 15% nel suo nuovo Intelligence Index v5 e ha riportato in modo indipendente lo stesso leader, Claude Opus 5.5 al 46% arrotondato.

Quella sera, alle 21:10 UTC del 27 ottobre, @tensorson ha pubblicato che il file di dati di Cognition conteneva un modello che la tabella non mostrava: "Obsidian 3", al 46,8%, "sopra il #1 Opus 5.5 (45,5%)". Il post notava l'harness claude-code e ipotizzava Fable 5.5. Dodici ore dopo, un thread su linux.do elencava cinque punteggi di effort separati per la riga — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — e allegava una copia dei dati. Alle 09:12 UTC del 28 ottobre, @teortaxesTex ha citato il post aggiungendo i dati sui costi: Opus 5.5 con effort high ottiene 34,5% per 2,42 $ a rollout, Opus 5.5 al max ottiene 45,5% per 12,82 $, e Obsidian 3 con high ottiene 46,7% "apparentemente per 8,62 $", senza spingersi oltre nemmeno a 47 $ per max. "FrontierCode è già rotto?" chiedeva il post. "O Fable 5.5 è un flop?" Alle 16:18 UTC, @CodexResets1 ha rilanciato gli stessi numeri e ha chiesto se il modello fosse Fable 5.5 o Opus 5.6.

L'header Last-Modified del file riporta le 17:44 UTC del 28 ottobre. La versione che abbiamo scaricato un giorno dopo è di 32.055 byte, elenca 24 modelli e non contiene alcuna riga chiamata Obsidian 3 in nessuna parte della sua struttura. Una richiesta con cache-busting ha restituito lo stesso hash del file. La tabella ufficiale della classifica non ha mai mostrato la riga, neppure il mirror da 20 righe di BenchLM l'ha mostrata, e Anthropic non ha pubblicato nulla.

Una riga, cinque livelli di impegno, tre storie diverse

La metà pubblicata di questo confronto è solida, perché proviene direttamente dai dati scaricabili di Cognition. Il punteggio di Claude Opus 5.5 corretto per la unibilità sale a ogni passo: 14,7% a low, 30,1% a medium, 34,5% a high, 43,4% a xHigh e 45,5% a max. Il suo costo medio per attività sale da $2,42 a high a $12,82 a max. È la curva di un modello che migliora quando gli si paga di pensare più a lungo.

La presunta curva di Obsidian 3 non si comporta in quel modo:

• Sforzo ridotto — 39,19% dichiarato, già superiore al 34,5% con sforzo elevato di Claude Opus 5.5.

• Sforzo medio — 39,84% dichiarato, un guadagno di 0,65 punti.

• Impegno elevato — 46,77% dichiarato, il picco, a un dichiarato $8,62 per attività.

• xHigh effort — 45,90% dichiarato, in calo di 0,87 punti.

• Sforzo massimo — 45,53% dichiarato, in calo di un ulteriore 0,37, con un costo dichiarato vicino a $47.

Cinque impostazioni di sforzo, e il punteggio migliore arriva terzo. Spendere circa 5,5× il budget ad alto sforzo per raggiungere il massimo comporta un punteggio inferiore di 1,24 punti. Cognition stessa avverte che questo può accadere: impostazioni di ragionamento più elevate talvolta riducono i punteggi perché i modelli scrivono più codice e toccano più file, e gli esempi del benchmark stesso includono un'esecuzione a sforzo massimo che ha eliminato una classe API pubblica mentre correva una race condition. Ma conta l'entità del calo. Un modello che si arena al vertice è un checkpoint iniziale o un artefatto di distillazione molto più spesso di quanto sia un flagship finito.

Ora i confronti, perché il titolo dipende interamente da quale scegli:

• Il meglio contro il meglio — il 46,77% di Obsidian 3 in modalità high contro il 45,5% di Claude Opus 5.5 in modalità max è +1,32 punti, a $8,62 contro $12,82, ovvero circa il 33% in meno. Letta così, la riga nascosta vince su entrambi gli assi.

• Alto contro alto: 46,77% contro 34,5% equivale a +12,24 punti, a 8,62 $ contro 2,42 $, ovvero 3,56 volte il costo. Letta così, è un ampio guadagno di qualità a un prezzo elevato.

• Max rispetto a max — 45,53% contro 45,45% equivale a +0,08 punti, a circa $47 contro $12,82, ovvero 3,67× il costo. In questa lettura, è un pareggio a un prezzo rovinoso.

Tutti e tre sono aritmeticamente corretti. Ecco perché il thread su X ha finito per discutere senza incontrarsi: @tensorson ha confrontato high con max e l'ha definita una vittoria di 1,3 punti; @teortaxesTex ha confrontato high con high e si è chiesto se il benchmark fosse rotto. Il dato «3,6× di costo a parità di sforzo» è accurato, e lo è anche «più economico della miglior esecuzione di Opus 5.5»: descrivono coppie di esecuzioni diverse.

C'è una riserva più importante dietro tutto questo. I dati di Cognition memorizzano due numeri per esecuzione: un tasso di correttezza grezzo e un punteggio corretto per la mergeability. Il 45,5% pubblicato per Claude Opus 5.5 è il valore corretto; il suo tasso di correttezza grezzo in modalità max è 49,7%, mentre in modalità high è 37,9%. La correzione costa alle righe pubbliche di Claude da tre a quattro punti. Non sappiamo da quale colonna provengano i numeri trapelati di Obsidian 3. Se 46,77% è un tasso di correttezza grezzo, il suo punteggio corretto si collocherebbe vicino al 43% — sotto Claude Opus 5.5 — e l'intera affermazione «sopra il n. 1» svanirebbe. Quell'unica incognita è più grande del margine di 1,3 punti su cui tutti hanno discusso.

Perché l'etichetta claude-code è l'intero argomento a favore di Anthropic

Un harness è un'impalcatura, non un'impronta digitale. FrontierCode esegue ogni modello all'interno di un ciclo dell'agente, e il file di dati associa i modelli al ciclo che hanno utilizzato: le righe di OpenAI vengono eseguite in codex, quelle di Google in devin-cli, quelle di xAI in grok-build, Muse Wonder di Meta in muse, i modelli SWE di Cognition stessa in devin-cli-swe1 e tutte e sei le righe di Claude in claude-code. Una riga anonima nell'harness Claude è un forte indizio che il modello dietro di essa sia stato costruito per funzionare con gli strumenti di Anthropic. Non è la prova che sia stato Anthropic a costruirlo. Un operatore di benchmark può testare il modello pre-release di un partner nell'harness che ritiene più adatto, e un laboratorio può testare il proprio modello con un nome in embargo.

Il nome in sé non ti dice quasi nulla. La gamma pubblica di Anthropic — verificata confrontandola con la sua stessa panoramica dei modelli il 29 ottobre — è composta da Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 e Claude Haiku 5.5. Non esiste alcun Fable 5.5, alcun Opus 5.6, né alcun prodotto chiamato Obsidian. "Obsidian 3" è un nome in codice in stile gemma, del tipo che i laboratori usano internamente, ma non esiste un registro pubblico con cui verificarlo, e il "3" finale non corrisponde ad alcuna sequenza che Anthropic abbia rilasciato.

Questo lascia tre possibili letture, e le prove non permettono di scegliere tra esse:

• Una build di fascia Fable. Claude Fable 5.1 è l'ammiraglia da $10 / $50 per il ragionamento impegnativo, lanciata il 1º settembre, e la linea Fable è l'evidente lacuna nella gamma attuale. L'ipotesi di @tensorson, insieme a diverse risposte al post, è approdata qui perché il profilo dei costi sembra quello di una fascia premium anziché di una fascia value.

• Un aggiornamento di Opus a metà ciclo. L'ipotesi a priori di @teortaxesTex è che «Obsidian 3 sia Opus 5.6», sulla base del fatto che Anthropic ha già rilasciato in passato modelli di metà ciclo con scarsi miglioramenti nel ragionamento. Il tratto piatto in cima alla curva dichiarata è coerente con questa ricostruzione, ma i punteggi a basso sforzo — 39,19% contro il 14,7% di Claude Opus 5.5 — sembrano provenire da un addestramento diverso, non da un piccolo refresh.

• Un artefatto di distillazione o un checkpoint iniziale. L'altra ipotesi di @teortaxesTex, e quella che la forma della curva supporta meglio: forte a sforzo basso e medio, con un picco ad alto sforzo, per poi regredire quando gli si dà più margine. Un modello di frontiera completato non dovrebbe peggiorare ogni volta che aumenti il suo budget.

Che cosa aggiunge la tempistica dell'IPO — e che cosa no

Il segnale che ha avviato questa discussione è stato una domanda sui tempi: perché Fable non è stato lanciato prima dell'IPO? Anthropic ha depositato pubblicamente il proprio S-1 il 26 ottobre, il giorno prima del lancio di FrontierCode 2.0, per una raccolta stimata di 75 miliardi di dollari sul Nasdaq con il simbolo ANT. Secondo Renaissance Capital, il roadshow dovrebbe tenersi nella settimana del 9 novembre e la determinazione del prezzo nella settimana del 16 novembre. Un prossimo prodotto di punta che arrivi prima della determinazione del prezzo darebbe alla quotazione una storia di prodotto; uno che arrivi dopo le darebbe una storia di roadmap.

Ma una riga di benchmark nascosta non è un segnale di lancio. I laboratori testano abitualmente modelli pre-release con operatori di benchmark, di solito sotto embargo, e il compito dell'operatore è mantenere il modello anonimo finché il fornitore non dica il contrario. Se Cognition ha testato una build di Anthropic, la lettura corretta è che Anthropic sta ancora iterando — non che un rilascio sia a pochi giorni. L'unico dato ufficiale resta la documentazione di Anthropic, che elenca quattro modelli attuali e nessuno di essi è Obsidian. L'IPO spiega perché le persone osservano il livello Fable così attentamente. Non rende reale quella riga.

Cosa può effettivamente fare oggi un lettore

Di Obsidian 3 non c’è nulla che sia invocabile, prezzato o documentato, quindi questa settimana non cambia alcuna decisione. Se ti serve il miglior punteggio di mergeability disponibile ora, Claude Opus 5.5 è pubblico: 4 $ in input e 20 $ in output per milione di token, una finestra di contesto da 1M token, output massimo di 128K, ID API claude-opus-5-5, rilasciato il 22 settembre. Se il vincolo è il costo, GPT-6.1 Sol ha ottenuto 39,0% a circa 1,03 $ per attività sulla stessa classifica — un rapporto punteggio-per-dollaro molto migliore rispetto a entrambe le esecuzioni con Claude, e il numero che vale la pena verificare prima di presumere che la vetta della classifica sia l’unica riga utile.

Claude Opus 5.5 è instradabile tramite OrcaRouter al prezzo di listino di Anthropic, senza ricarico, insieme a oltre 200 altri modelli su un'unica API con failover automatico. Questo conta per l'unico esperimento che questa fuga di notizie invita davvero a fare: eseguire Claude Opus 5.5 a high e a max sul proprio carico di lavoro e misurare il costo per patch accettata. La stessa curva di FrontierCode dice che gli ultimi due livelli di effort costano 10,40 $ in più per attività per 11 punti; il tuo repository potrebbe non prezzarlo allo stesso modo. L'impostazione di effort e il prezzo per token sono quelli di Anthropic, passati attraverso, quindi il confronto è un cambio di parametro anziché un secondo contratto — e se Anthropic taglia il prezzo di listino, il taglio è attivo sulla rotta lo stesso giorno.

Che cosa renderebbe Obsidian 3 un fatto?

• La riga viene restituita in un file di dati scaricabile, con una chiave del modello e tutte e cinque le voci di effort, così i numeri si possono leggere senza uno screenshot.

• Cognition dichiara se ha testato un modello pre-release e con quali modalità. Un operatore di benchmark che confermasse un'esecuzione sotto embargo chiarirebbe la provenienza senza nominare il fornitore.

• Anthropic pubblica una scheda modello, un ID API o una voce nella documentazione. È l'unico evento che trasforma una riga di un benchmark in un prodotto.

• Compare un prezzo. Un modello senza prezzo è una voce di benchmark, non un'opzione che un lettore può scegliere.

• Un secondo operatore lo misura. Artificial Analysis esegue il proprio harness FrontierCode 2.0 con impostazioni esterne diverse; una riga di Obsidian lì sarebbe una conferma, anziché una ripubblicazione dello stesso screenshot.

La riga è una ricevuta, non un rilascio. Ciò che essa attesta è più interessante del titolo: un modello forte a basso sforzo, che raggiunge il picco ad alto sforzo e poi spende cinque volte il budget per peggiorare. Se quella curva appartiene al prossimo flagship di Anthropic, l'azienda ha un problema di scaling del ragionamento da risolvere prima di avere un lancio. Se appartiene a un checkpoint iniziale, il numero si muoverà prima del nome. In ogni caso, 46,8 non è la cifra da tenere d'occhio. La cifra da tenere d'occhio è se la curva diventerà mai monotona.

Domande frequenti

Obsidian 3 è stato rilasciato?

No. Nessun modello chiamato Obsidian 3 compare nella documentazione di Anthropic né nella tabella FrontierCode 2.0 pubblicata da Cognition, e non abbiamo trovato alcun catalogo API che lo elenchi. L'unica prova è una riga nascosta riportata in post su X del 27 e 28 ottobre e in un thread di un forum che ha riprodotto cinque punteggi di effort. Anthropic non ha commentato, e il file di dati pubblici che abbiamo scaricato il 29 ottobre non contiene la riga.

Obsidian 3 è Claude Fable 5.5 o Claude Opus 5.6?

Sconosciuto. Entrambi sono ipotesi basate sull'etichetta dell'harness claude-code, non su un identificatore. Fable 5.5 si inserisce nello slot vuoto sopra Claude Fable 5.1 nella gamma di Anthropic; Opus 5.6 è coerente con la teoria secondo cui Anthropic rilascia aggiornamenti di metà ciclo a basso incremento. Nessuno dei due nomi compare nella documentazione di Anthropic, e il profilo dei costi si addice più a un livello Fable premium che a un Opus economico.

Perché Obsidian 3 ora manca da FrontierCode 2.0?

Non possiamo confermare il motivo. Il file collegato nel post originale è stato modificato l'ultima volta alle 17:44 UTC del 28 ottobre, e la copia che abbiamo scaricato il 29 ottobre elenca 24 modelli senza alcuna voce Obsidian 3. Potrebbe essere stato rimosso dopo la diffusione dei post, oppure la build pubblica potrebbe non averlo mai contenuto. I post su X e l'archivio del forum sono gli unici documenti che siamo riusciti a trovare, e nessuno dei due proviene da una fonte primaria.

L'affermazione sul costo di 3,6× regge?

L'aritmetica torna, rispetto ai costi pubblicati da Cognition per Claude Opus 5.5: $8,62 è 3,56× l'esecuzione ad alto sforzo da $2,42 e circa 3,67× l'esecuzione massima da $12,82 se confrontata con la cifra massima di circa $47. Ciò che non può essere verificato è la parte del registro relativa a Obsidian 3, perché i suoi dati di costo esistono solo in post su X, non in alcun file scaricabile.