Muse Spark 1.2 vs Claude Fable 5: O que seis pontos de índice realmente custam

A Artificial Analysis publica algo que a maioria das tabelas de benchmark omite: o quanto foi gasto. A execução do seu Índice de Inteligência de nove avaliações custou $637,85 em Muse Spark 1.2 e $5.630,52 em Claude Fable 5. Suíte de benchmark idêntica, harness idêntico, uma conta 8,8 vezes a outra. Fable 5 marcou 60 contra 54 do Muse Spark 1.2.

Divida a diferença e você obtém o número do qual esta comparação realmente trata: nessa carga de trabalho, os últimos seis pontos de inteligência custam aproximadamente $832 por ponto. Se você deve pagar por isso não é uma questão de benchmark. É uma questão sobre quanto do seu tráfego realmente precisa desses pontos, e a resposta para a maioria das equipes é uma fração pequena e identificável.

O ponto de índice marginal tem um preço, e é alto.

Ambas as figuras provêm do mesmo avaliador independente executando a mesma avaliação composta — GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience e AA-LCR. Nenhuma é afirmação de fornecedor. O Fable 5 está na posição #3 de 185 modelos; o Muse Spark 1.2 na #13, contra uma mediana de classe de 32. Ambos estão bem acima da média; apenas um está na fronteira.

Os preços de tabela explicam a maior parte da diferença e subestimam o restante:

• Entrada — Muse Spark 1.2 $1,25 por milhão, Claude Fable 5 $10,00. Oito vezes.

• Resultado — $4.25 contra $50.00. Quase doze vezes.

• Entrada em cache — $0,15 contra $1,00. Aproximadamente sete vezes, e o Fable 5 cobra adicionalmente $12,50 por milhão para escrever o cache, ou $20,00 para um TTL de uma hora, enquanto o Muse Spark 1.2 não publica nenhuma taxa separada de escrita de cache.

• Taxa combinada — A Artificial Analysis coloca o Muse Spark 1.2 a US$ 0,78 por milhão de tokens e o Fable 5 a US$ 7,70. Pouco menos de dez vezes.

O Fable 5 era o modelo mais caro que a Artificial Analysis já havia avaliado quando foi lançado, e mantém esse título. Vale a pena ser preciso sobre o porquê: o modelo consumiumenostokens de saída do que o Muse Spark 1.2 ao percorrer o índice — 87M contra 95M — portanto, toda a diferença de custo vem da tarifa, não da verbosidade. O Fable 5 não desperdiça tokens. Ele é simplesmente precificado como um produto de fronteira.

Convertido em uma etapa de agente que lê 60.000 tokens de contexto do repositório e escreve 3.000 tokens de patch: cerca de 8,8 centavos no Muse Spark 1.2, cerca de 75 centavos no Claude Fable 5. Mil etapas por dia são $88 contra $750. Em um ano, $32.000 contra $274.000.

Onde Claude Fable 5 não é substituível

O argumento de custo seria unilateral se os seis pontos fossem toda a diferença. Não são, e o ponto onde a lacuna se amplia é precisamente onde a Meta reposicionou o Muse Spark 1.2 para competir.

Fable 5 mantém o primeiro lugar em uma ampla fatia das tabelas de confronto direto do Design Arena: 1399 Elo e 1º lugar em desenvolvimento de jogos, 1367 e 1º em arte ASCII, 1353 e 1º em geração de SVG, além do 1º lugar na arena de agentes para desenvolvimento de jogos Godot (1344), Android nativo (1318), desenvolvimento agêntico de jogos (1300) e slides HTML (1260), com o segundo lugar em aplicativos web e trabalho full-stack. O Muse Spark 1.2 não tem absolutamente nenhuma entrada no Design Arena — seu antecessor acumulou um registro respeitável de meio de tabela (1334 em desenvolvimento de jogos, no 5º lugar; 1309 em categorias gerais de código, no 9º lugar), mas a nova versão nunca foi avaliada.

Os índices por dimensão apontam na mesma direção. A Artificial Analysis avalia o Claude Fable 5 com um índice de codificação de 76.5 e um índice agêntico de 52.8. O Muse Spark 1.1 ficou em 71.3 e 37.5 — cinco pontos atrás em codificação e quinze em trabalho agêntico. Nenhum valor por dimensão foi publicado para o 1.2 ainda, então a afirmação honesta é que sabemos que o composto encurtou a diferença em três pontos e não sabemos quanto disso recaiu no eixo agêntico.

O posicionamento de produto do próprio Fable 5 afirma que a liderança aumenta com o comprimento e a complexidade da tarefa. Essa é uma afirmação do fornecedor e não verificada como declarado, mas é consistente com o formato dos dados independentes: as maiores margens do Fable 5 estão no cenário de agentes, onde um modelo precisa manter um plano coeso ao longo de muitas interações, em vez de na geração de uma única resposta.

Onde Muse Spark 1.2 é simplesmente a resposta certa

Três coisas fazem dela a escolha correta independentemente dos seis pontos.

• Entrada de áudio e vídeo.A listagem da Meta anuncia entrada de texto, imagens, vídeo, áudio e PDF. O Claude Fable 5 aceita texto, imagens e arquivos — sem áudio, sem vídeo. Para qualquer pipeline que lide com gravações ou filmagens, isso não é um trade-off, é um filtro rígido. Uma ressalva honesta: a ficha de especificações da Artificial Analysis para o Muse Spark 1.2 registra apenas texto e imagem como avaliados, portanto a superfície mais ampla é anunciada em vez de verificada de forma independente.

• Velocidade. 165,0 tokens por segundo contra 71,7. O Muse Spark 1.2 transmite a saída mais de duas vezes mais rápido e ocupa a 16ª posição entre 185 em velocidade, contra a mediana da classe de 71 — o Fable 5 fica na mediana.

• Custo em volume. Tudo na seção anterior.

Adicione um quarto para qualquer pessoa cujas solicitações sejam genuinamente enormes: ambos os modelos anunciam aproximadamente um milhão de tokens de contexto — 1.048.576 para o Muse Spark 1.2, 1.000.000 para o Fable 5 — mas o Muse Spark 1.2 cobra uma taxa fixa sobre tudo isso, enquanto o preço de cache-write do Fable 5 significa que manter um prefixo grande e estável custa dinheiro real antecipadamente antes de começar a economizar.

Nenhum destes é um modelo rápido.

Esta é a seção que a maioria dos confrontos diretos ignora, e ela muda a arquitetura em vez da fatura.

Com esforço máximo de raciocínio, a Artificial Analysis mede o tempo até o primeiro token em 26,12 segundos para o Muse Spark 1.2 e 141,26 segundos para o Claude Fable 5, com um tempo de resposta ponta a ponta de 148,24 segundos para o Fable 5. Nenhum dos dois deveria estar na frente de um usuário nessas configurações.

Os números de produção são bem mais simpáticos e vale a pena conhecê-los. No OrcaRouter, o Claude Fable 5 mostra um p50 de 7,04 segundos e um p95 de 10,00 segundos do tempo até o primeiro token ao longo de uma semana móvel — é tráfego real com o nível de esforço que os usuários solicitarem, não um benchmark no máximo. O Muse Spark 1.1, para referência, apresenta um p50 de 1,84 segundos. O Muse Spark 1.2 ainda não tem telemetria de produção.

O ponto estrutural: ambos os modelos têm raciocínio obrigatório. O controle de esforço do Fable 5 vai de baixo até máximo e o padrão é alto; o do Muse Spark 1.2 vai de mínimo até extra alto e o padrão é médio. Nenhum dos dois permite desligar o raciocínio. Se você precisa de respostas em menos de um segundo, esta comparação inteira é a prateleira errada — é para isso que serve um modelo da classe Luna ou Flash-Lite.

A pilha de dois modelos, com preço definido.

Enquadrar isso como uma escolha em que o vencedor leva tudo é o erro, porque o tráfego não é homogêneo. Quase todo agente de produção tem uma cauda longa de etapas rotineiras — ler um arquivo, resumir um diff, formatar um patch, decidir qual ferramenta chamar em seguida — e uma cabeça curta de etapas genuinamente difíceis, em que uma resposta errada custa uma hora.

Execute os mesmos mil passos de agente por dia. Tudo no Claude Fable 5: cerca de $750. Tudo no Muse Spark 1.2: cerca de $88. Divida 900 rotineiros para o modelo barato e 100 difíceis para o caro: cerca de $79 mais $75, ou $154 por dia. Isso é um quinto da conta totalmente Fable, mantendo a capacidade de fronteira na décima parte das chamadas que realmente precisam dela — e é uma diferença de cerca de $220.000 por ano em um único loop de agente.

O motivo pelo qual vale a pena construir a divisão em vez de apenas descrevê-la é que ela costumava exigir dois relacionamentos com fornecedores, dois SDKs e dois conjuntos de credenciais. Isso não acontece mais. O Claude Fable 5 está no catálogo da OrcaRouter por US$ 10,00 e US$ 50,00 — preço de tabela do fornecedor, repassado com margem de 0% — e o Muse Spark 1.1 está lá por US$ 1,25 e US$ 4,25 nas mesmas condições, por trás do mesmo endpoint compatível com a OpenAI. O DSL de roteamento permite expressar "modelo barato primeiro, escalar em caso de baixa confiança ou em uma execução de teste com falha" como uma única chamada, em vez de código de orquestração que você mantém, e a fusão de modelos permite enviar as etapas genuinamente ambíguas a um painel de modelos de uma vez e comparar. O Muse Spark 1.2 em si ainda não está no catálogo — a Meta o disponibiliza diretamente, como único provedor — então hoje o mais próximo que você pode construir dessa pilha usa o 1.1 no braço barato.

Esse detalhe de provedor único merece uma linha própria em uma avaliação de risco. O Claude Fable 5 tem múltiplas rotas de serviço e failover automático entre elas. O Muse Spark 1.2 tem exatamente um endpoint, operado pela Meta. Se ele cair, não há fallback que seja o mesmo modelo.

Um modelo de custo, não um veredito.

O resultado útil desta comparação não é "qual modelo vence". É um limiar que você pode calcular para sua própria carga de trabalho.

Estime a fração das suas chamadas em que uma resposta da classe Muse Spark 1.2 falha e uma resposta da classe Fable 5 é bem-sucedida. Multiplique pelo custo de uma falha — minutos de engenheiro, um merge ruim, um loop de tentativas, um cliente. Compare isso a 66 centavos por etapa, que é o custo de atualizar uma única chamada de Muse Spark 1.2 para Claude Fable 5 no exemplo acima de 60K-in / 3K-out. Se a perda esperada de uma resposta errada exceder 66 centavos, direcione essa etapa para Fable 5. Se não exceder, não direcione.

Para a maioria das equipes, esse cálculo coloca o Fable 5 na revisão de código, na geração do patch final, no planejamento arquitetural e em qualquer coisa que envolva dados de produção, e coloca o Muse Spark 1.2 em todo o resto — leitura de arquivos, sumarização, triagem de testes, seleção de ferramentas, o meio de alto volume de um loop de agente onde o custo é real e o que está em jogo por chamada não é.

Uma coisa para continuar observando: as classificações do Design Arena e os índices por dimensão do Muse Spark 1.2, nenhum dos quais existe ainda. A evidência mais forte do Fable 5 está precisamente nas arenas de confronto direto, onde o novo modelo da Meta não tem nenhum registro. Quando esse registro aparecer, esse limiar se move — possivelmente muito.