Obsidian 3: Uma Linha de Benchmark Oculta, uma Fatura de 3,6× e a Questão do Fable 5.5

O número mais interessante no novo ranking de programação da Cognition esta semana pertence a um modelo que ninguém consegue nomear. Uma entrada oculta rotulada Obsidian 3 apareceu no arquivo de dados por trás do FrontierCode 2.0 com uma pontuação de alto esforço de 46,77%, acima de Claude Opus 5.5 com 45,5% — o modelo que a própria tabela da Cognition lista em primeiro lugar. A linha foi executada no harness claude-code, que apenas os modelos da Anthropic usam nesse ranking, e a especulação se dividiu imediatamente entre Claude Fable 5.5, o carro-chefe que a Anthropic ainda não lançou, e uma atualização de meio de ciclo que um usuário chamou de “Opus 5.6”. Nada disso está confirmado. A Anthropic não disse nada, não existe ficha de modelo nem ID de API, e cada número do Obsidian 3 neste texto é uma alegação não verificada de posts no X, e não um resultado que pudéssemos reproduzir.

O que pode ser verificado é mais restrito e mais útil: o arquivo público para o qual o vazamento apontou, a curva de esforço atribuída à linha oculta e a aritmética por trás da alegação de "custo 3,6×". Junte tudo isso e a história deixa de ser "o próximo modelo da Anthropic supera o atual". Ela se torna algo mais específico — uma linha que atinge o pico em esforço alto e depois retrocede, uma comparação que só funciona se você mantiver níveis de esforço diferentes de cada lado, e um arquivo de dados que não contém a linha de forma alguma.

O que vazou, e quando?

A Cognition publicou o FrontierCode 2.0 em 27 de outubro. O benchmark é deliberadamente difícil de manipular: 132 tarefas criadas a partir de repositórios reais de código aberto por mais de 20 mantenedores, cada uma exigindo cerca de 40 horas, avaliadas segundo se um patch seria realmente mesclado, e não se ele passa em um teste. Cada execução é repetida três vezes, as tarefas são privadas, e um único critério eliminatório não cumprido resulta em pontuação zero. A própria tabela da Cognition colocou o Claude Opus 5.5 em primeiro lugar, com 45,5% em esforço máximo, o GPT-6 Astra em segundo, com 42,8%, o Claude Sonnet 5.5 em terceiro, com 41,0%, e nenhum modelo acima de 50%. A Artificial Analysis adotou o benchmark com peso de 15% em seu novo Intelligence Index v5 e relatou de forma independente o mesmo líder, o Claude Opus 5.5, com 46% após arredondamento.

Naquela noite, às 21:10 UTC de 27 de outubro, @tensorson publicou que o arquivo de dados da Cognition continha um modelo que a tabela não mostrava: "Obsidian 3", com 46,8%, "acima do #1 Opus 5.5 (45,5%)". A publicação observou o harness claude-code e supôs Fable 5.5. Doze horas depois, uma thread no linux.do listou cinco pontuações de esforço distintas para a linha — baixo 39,19%, médio 39,84%, alto 46,77%, xHigh 45,90%, máximo 45,53% — e anexou uma cópia dos dados. Às 09:12 UTC de 28 de outubro, @teortaxesTex publicou um quote-post com os números de custo: Opus 5.5 no nível alto pontua 34,5% por US$ 2,42 por rollout, Opus 5.5 no máximo pontua 45,5% por US$ 12,82, e Obsidian 3 no nível alto pontua 46,7% "aparentemente por US$ 8,62", sem chegar mais longe nem mesmo a US$ 47 no máximo. "O FrontierCode já está quebrado?" perguntava a publicação. "Ou o Fable 5.5 é um fracasso?" Às 16:18 UTC, @CodexResets1 repercutiu os mesmos números e perguntou se o modelo era Fable 5.5 ou Opus 5.6.

O cabeçalho Last-Modified do arquivo indica 17:44 UTC em 28 de outubro. A versão que baixamos um dia depois tem 32.055 bytes, lista 24 modelos e não contém nenhuma linha chamada Obsidian 3 em lugar algum de sua estrutura. Uma solicitação com cache-busting retornou o mesmo hash do arquivo. A tabela oficial do leaderboard nunca exibiu a linha, o espelho de 20 linhas do BenchLM também não a exibiu, e a Anthropic não publicou nada.

Uma linha, cinco níveis de esforço, três histórias diferentes

A metade publicada desta comparação é sólida, porque vem diretamente dos dados para download da Cognition. A pontuação do Claude Opus 5.5 ajustada pela mesclabilidade sobe a cada etapa: 14,7% no nível baixo, 30,1% no médio, 34,5% no alto, 43,4% no xHigh e 45,5% no máximo. Seu custo médio por tarefa sobe de US$ 2,42 no alto para US$ 12,82 no máximo. Essa é a curva de um modelo que melhora quando você paga para ele pensar por mais tempo.

A curva alegada do Obsidian 3 não se comporta dessa maneira:

• Baixo esforço — 39,19% declarados, já acima dos 34,5% de alto esforço do Claude Opus 5.5.

• Esforço médio — 39,84% alegado, um ganho de 0,65 pontos.

• Esforço elevado — 46,77% reivindicado, o pico, a um valor reivindicado de US$ 8,62 por tarefa.

• esforço xHigh — 45,90% declarado, queda de 0,87 pontos.

• Esforço máximo — 45,53% alegado, queda de mais 0,37, a um custo alegado próximo de US$ 47.

Cinco configurações de esforço, e a melhor pontuação aparece em terceiro lugar. Gastar cerca de 5,5× o orçamento de alto esforço para atingir o máximo resulta em uma pontuação 1,24 pontos mais baixa. A própria Cognition alerta que isso pode acontecer: configurações de raciocínio mais altas às vezes reduzem as pontuações porque os modelos escrevem mais código e mexem em mais arquivos, e os próprios exemplos do benchmark incluem uma execução de esforço máximo que excluiu uma classe de API pública enquanto corrigia uma condição de corrida. Mas o tamanho da queda importa. Um modelo que estagna no topo é um checkpoint inicial ou um artefato de destilação muito mais frequentemente do que um flagship finalizado.

Agora as comparações, porque a manchete depende inteiramente de qual você escolher:

• Melhor contra melhor — os 46,77% do Obsidian 3 no nível alto contra os 45,5% do Claude Opus 5.5 no nível máximo representam +1,32 ponto, a US$ 8,62 contra US$ 12,82, ou cerca de 33% mais barato. Nessa leitura, a linha oculta vence nos dois eixos.

• Alto versus alto — 46,77% contra 34,5% é +12,24 pontos, a US$ 8,62 contra US$ 2,42, ou 3,56× o custo. Nesta leitura, é um grande ganho de qualidade por um preço alto.

• Max versus max — 45,53% contra 45,45% é +0,08 pontos, a cerca de US$ 47 contra US$ 12,82, ou 3,67× o custo. Nesta leitura, é um empate a um preço ruinoso.

Todos os três estão aritmeticamente corretos. É por isso que a thread no X passou um pelo outro sem se ouvir: @tensorson comparou high com max e chamou aquilo de vitória de 1,3 ponto; @teortaxesTex comparou high com high e perguntou se o benchmark estava quebrado. O número "3,6× de custo com o mesmo esforço" está correto, e "mais barato que a melhor execução do Opus 5.5" também — eles descrevem pares diferentes de execuções.

Há uma ressalva maior por trás de tudo isso. Os dados da Cognition armazenam dois números por execução: uma taxa de acerto bruta e uma pontuação ajustada pela mesclabilidade. Os 45,5% publicados para o Claude Opus 5.5 são o valor ajustado; sua taxa de acerto bruta no modo max é 49,7%, e no modo high é 37,9%. O ajuste tira das linhas públicas do Claude de três a quatro pontos. Não sabemos de qual coluna vieram os números vazados do Obsidian 3. Se 46,77% for uma taxa de acerto bruta, sua pontuação ajustada ficaria perto de 43% — abaixo do Claude Opus 5.5 — e toda a alegação de "acima do #1" desaparece. Esse único desconhecido é maior que a margem de 1,3 ponto sobre a qual todos discutiram.

Por que o rótulo claude-code é todo o argumento a favor da Anthropic

Um harness é andaime, não impressão digital. O FrontierCode executa cada modelo dentro de um loop de agente, e o arquivo de dados mapeia os modelos para o loop que usaram: as linhas da OpenAI rodam no codex, as do Google no devin-cli, as da xAI no grok-build, o Muse Wonder da Meta no muse, os próprios modelos SWE da Cognition no devin-cli-swe1, e todas as seis linhas da Claude no claude-code. Uma linha anônima situada no harness Claude é um forte indício de que o modelo por trás dela foi construído para funcionar com as ferramentas da Anthropic. Não é prova de que a Anthropic o tenha construído. Um operador de benchmark pode testar o modelo pré-lançamento de um parceiro no harness que for mais adequado, e um laboratório pode testar seu próprio modelo sob um nome sob embargo.

O nome em si não diz quase nada. A linha pública da Anthropic — conferida com sua própria visão geral de modelos em 29 de outubro — é Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 e Claude Haiku 5.5. Não existe Fable 5.5, nem Opus 5.6, nem um produto chamado Obsidian. "Obsidian 3" é um codinome no estilo de pedra preciosa, do tipo que os laboratórios usam internamente, mas não há registro público para verificá-lo, e o "3" final não corresponde a nenhuma sequência que a Anthropic tenha lançado.

Isso deixa três interpretações, e as evidências não permitem escolher entre elas:

• Uma build de nível Fable. Claude Fable 5.1 é o carro-chefe de US$ 10 / US$ 50 para raciocínio exigente, lançado em 1º de setembro, e a linha Fable é a lacuna óbvia no line-up atual. O palpite de @tensorson, e várias respostas à publicação, chegaram a esse ponto porque o perfil de custo parece o de um nível premium, e não o de um nível de valor.

• Uma atualização Opus de meio de ciclo. A premissa de @teortaxesTex é que "Obsidian 3 é Opus 5.6", com o argumento de que a Anthropic já lançou modelos de meio de ciclo com pouco ganho de raciocínio antes. O topo plano da curva alegada combina com essa narrativa, mas as pontuações de baixo esforço — 39,19% contra 14,7% do Claude Opus 5.5 — parecem uma execução de treinamento diferente, não uma pequena atualização.

• Um artefato de destilação ou checkpoint inicial. A outra hipótese de @teortaxesTex, e a que o formato da curva sustenta melhor: forte com esforço baixo e médio, atingindo o pico no alto, e então regredindo quando recebe mais espaço. Um modelo de fronteira finalizado não deveria piorar toda vez que você aumenta seu orçamento.

O que o momento do IPO acrescenta — e o que não acrescenta

O sinal que iniciou este tópico foi uma pergunta sobre cronograma: por que a Fable ainda não foi lançada antes do IPO? A Anthropic protocolou publicamente seu S-1 em 26 de outubro, um dia antes do lançamento do FrontierCode 2.0, para um levantamento estimado de US$ 75 bilhões na Nasdaq sob o ticker ANT. O roadshow está previsto para a semana de 9 de novembro, e a precificação, para a semana de 16 de novembro, segundo a Renaissance Capital. Um próximo produto principal que chegue antes da precificação daria à listagem uma história de produto; um que chegue depois lhe dá uma história de roadmap.

Mas uma linha oculta de benchmark não é um sinal de lançamento. Os laboratórios testam rotineiramente modelos de pré-lançamento com operadores de benchmark, geralmente sob embargo, e o trabalho do operador é manter o modelo anônimo até que o fornecedor diga o contrário. Se a Cognition testou uma versão da Anthropic, a leitura correta é que a Anthropic ainda está iterando — não que um lançamento esteja a poucos dias. O único ponto de dados oficial continua sendo a documentação da Anthropic, que lista quatro modelos atuais e nenhum deles é o Obsidian. O IPO explica por que as pessoas estão acompanhando o nível Fable tão de perto. Isso não torna a linha real.

O que um leitor pode realmente fazer hoje

Nada sobre o Obsidian 3 é chamável, tem preço definido ou está documentado, então isso não muda nenhuma decisão esta semana. Se você precisa da melhor pontuação de mergeabilidade disponível agora, o Claude Opus 5.5 é público: US$ 4 por entrada e US$ 20 por saída a cada milhão de tokens, uma janela de contexto de 1 milhão de tokens, saída máxima de 128 mil tokens, ID de API claude-opus-5-5, lançado em 22 de setembro. Se o custo for a restrição, o GPT-6.1 Sol obteve 39,0% a cerca de US$ 1,03 por tarefa no mesmo ranking — uma relação pontuação-por-dólar muito melhor do que qualquer uma das execuções do Claude, e o número que vale a pena verificar antes de você assumir que o topo da tabela é a única linha útil.

Claude Opus 5.5 é roteável através do OrcaRouter pelo preço de tabela da Anthropic, sem margem adicional, juntamente com mais de 200 outros modelos numa única API com failover automático. Isso é relevante para o único experimento que esta fuga de informação realmente convida a fazer: executar o Claude Opus 5.5 em high e em max na sua própria carga de trabalho e medir o custo por patch aceite. A própria curva da FrontierCode indica que os últimos dois degraus de esforço custam mais 10,40 dólares por tarefa em troca de 11 pontos; o seu repositório pode não valorizar isso da mesma forma. A definição de esforço e o preço por token são da própria Anthropic, repassados sem alteração, pelo que a comparação é uma mudança de parâmetro e não um segundo contrato — e se a Anthropic reduzir o preço de tabela, a redução fica ativa na rota no mesmo dia.

O que faria o Obsidian 3 ser um fato

• A linha retorna em um arquivo de dados para download, com uma chave de modelo e todas as cinco entradas de esforço, para que os números possam ser lidos sem uma captura de tela.

• A Cognition diz se testou um modelo de pré-lançamento e em que condições. Um operador de benchmark que confirmasse uma execução embargada esclareceria a proveniência sem nomear o fornecedor.

• A Anthropic publica um cartão de modelo, um ID de API ou uma entrada na documentação. Esse é o único evento que transforma uma linha de benchmark em um produto.

• Um preço aparece. Um modelo sem preço é uma entrada de referência, não uma opção que um leitor possa escolher.

• Um segundo operador o mede. A Artificial Analysis executa seu próprio harness FrontierCode 2.0 com configurações externas diferentes; uma linha da Obsidian ali seria corroboração em vez de uma republicação da mesma captura de tela.

A linha é um comprovante, não um lançamento. O que ela registra é mais interessante do que a manchete: um modelo que é forte com pouco esforço, atinge o pico com esforço alto e então gasta cinco vezes o orçamento para ficar pior. Se essa curva pertence ao próximo produto principal da Anthropic, a empresa tem um problema de escalonamento de raciocínio para resolver antes de ter um lançamento. Se pertence a um checkpoint inicial, o número mudará antes do nome. De qualquer forma, 46,8 não é o número a observar. O número a observar é se a curva algum dia se torna monotônica.

FAQ

O Obsidian 3 foi lançado?

Não. Nenhum modelo chamado Obsidian 3 aparece na documentação da Anthropic nem na tabela FrontierCode 2.0 publicada pela Cognition, e não encontramos nenhum catálogo de API que o liste. A única evidência é uma linha oculta relatada em postagens no X em 27 e 28 de outubro e um tópico de fórum que reproduziu cinco pontuações de esforço. A Anthropic não se pronunciou, e o arquivo de dados público que baixamos em 29 de outubro não contém a linha.

O Obsidian 3 é o Claude Fable 5.5 ou o Claude Opus 5.6?

Desconhecido. Ambos são suposições derivadas do rótulo do harness claude-code, não de qualquer identificador. O Fable 5.5 se encaixa na lacuna vazia acima do Claude Fable 5.1 na linha de produtos da Anthropic; o Opus 5.6 se encaixa na teoria de que a Anthropic lança atualizações de meio de ciclo com ganhos modestos. Nenhum dos dois nomes aparece na documentação da Anthropic, e o perfil de custo se encaixa mais em um nível Fable premium do que em um Opus de faixa econômica.

Por que o Obsidian 3 está faltando no FrontierCode 2.0 agora?

Não podemos confirmar o motivo. O ficheiro ligado na publicação original foi modificado pela última vez às 17:44 UTC de 28 de outubro, e a cópia que descarregámos em 29 de outubro lista 24 modelos sem qualquer entrada Obsidian 3. Pode ter sido removido depois de as publicações circularem, ou a versão pública pode nunca o ter contido. As publicações no X e o arquivo do fórum são o único registo que conseguimos encontrar, e nenhum deles é de origem primária.

A afirmação de custo de 3,6× se sustenta?

As contas batem, frente aos custos publicados pela Cognition para o Claude Opus 5.5: $8.62 equivale a 3,56× a execução de alto esforço de $2.42 e a cerca de 3,67× a execução máxima de $12.82, quando comparado ao valor máximo de aproximadamente $47. O que não dá para verificar é o lado da Obsidian 3 no livro-razão, porque seus números de custo existem apenas em posts no X, não em nenhum arquivo para download.