Um cartão de destaque gerado com o título 'Genie 4 vs SKY-001' e o subtítulo 'Dois modelos de mundo, nenhum benchmark compartilhado', um ícone de quadro de filme e um ícone de engrenagem CAD e planta baixa unidos por uma linha pontilhada interrompida, três cartões com os textos 'Genie 4 - vídeo e áudio', 'SKY-001 - sequências CAD e BIM' e 'Ambos - somente lista de espera', e um selo de data com outubro de 2026.
Engineering & Research

Genie 4 vs SKY-001: Dois modelos de mundo que nunca compartilharão um benchmark

Autor

Elias Hawthorne

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Genie 4 e SKY-001 foram anunciados com oito dias de diferença em outubro de 2026, e ninguém jamais publicará um placar justo com os dois. Genie 4, do Google DeepMind, gera uma cena jogável e com áudio pela qual você caminha por cerca de dois minutos. SKY-001, da Skyfall AI, recebe um prompt ou um esboço e emite uma sequência ordenada de construção para uma peça de CAD ou uma planta baixa de edifício. Um produz pixels que uma pessoa assiste. O outro produz geometria a partir da qual uma máquina pode acabar construindo. A única comparação útil não é qual é melhor — é o que cada um teria de provar antes de você colocá-lo diante de um cliente pagante, e quais dessas provas já foram tentadas.

As duas empresas chamam seu produto de modelo de mundo. Essa expressão compartilhada está fazendo um trabalho enorme que não lhe cabe, e é por isso que a cobertura desses dois lançamentos dá a impressão de que elas são rivais. Elas não estão competindo pelo mesmo orçamento, pelo mesmo comprador ou pela mesma avaliação. Estão competindo pela mesma palavra.

A palavra está fazendo trabalho demais

Uma maneira útil de separá-los é perguntar o que o modelo é um modelo de.

O Genie 4 modela aparência e dinâmica. Dê a ele um prompt e ele renderiza um mundo que responde a instruções digitadas — mude o clima, mova a câmera, adicione uma pessoa — e agora produz som ambiente, música e diálogo interativo junto com o vídeo. Um planejador Gemini observa os quadros e replaneja. A saída é um fluxo de imagens destinado ao olho humano ou a um pipeline de vídeo, e sua correção é avaliada pela plausibilidade do comportamento da cena.

Montagem de modelos SKY-001. A sua hierarquia vai de sistemas a conjuntos a subconjuntos a peças, ou de pisos a unidades a salas, e o seu segundo componente — a que a Skyfall chama de modelo mundial de construção — planeja a sequência ordenada de estados visuais que leva do vazio ao concluído. Para um componente CAD, essa é uma série de estados sólidos 3D com esboços 2D entre eles. Para uma planta de piso, é um desenho construído traço a traço. A correção é a sobreposição geométrica, medida como IoU em relação a uma forma de referência.

As dimensões, na forma que torna a incompatibilidade óbvia:

• Saída — Genie 4 emite vídeo e áudio; SKY-001 emite uma sequência de construção CAD ou BIM.

• Entrada — texto, controle por teclado e câmera para o Genie 4; texto ou uma imagem 2D para o SKY-001.

• O que "errado" significa — uma cena que se desvia ou um sólido que não alcança a geometria alvo por uma margem de IoU.

• Unidade de avaliação — um julgamento humano ou uma pontuação de física para o Genie 4; IoU médio em 1.000 casos para o SKY-001.

• Preço publicado — nenhum dos dois.

• Acesso — lista de espera em ambos os lados.

Screenshot of the Skyfall AI SKY-001 page headlined 'The First Engineering World Model', with a 'Join the waitlist' button beside 'Watch launch video', and three example renders labelled Turbofan, Sports Car and Compact Tractor.

Teste um: alguém pode verificar a saída?

O SKY-001 passa neste teste no sentido mais restrito possível, e isso ainda é mais do que o Genie 4 consegue.

A Skyfall publicou um benchmark de fornecedor em duas trilhas de 1.000 casos cada, e os números são específicos o suficiente para se argumentar com eles. Em componentes CAD, o SKY-001 marcou 79,7% de IoU médio contra 79,1% do GPT-6 Astra — uma vantagem de seis décimos de ponto, o que é ruído no nível de seed — enquanto roda em 3,9 segundos em vez de 199 e custa US$ 0,005 por caso em vez de US$ 0,75. Em plantas baixas, marcou 43,6% contra 40,6% do GPT-6 Astra, a 1,22 segundos contra 144,6.

Todos esses números são da própria Skyfall, produzidos no conjunto de testes interno da Skyfall, sem divisão pública e sem harness divulgado. A métrica IoU mede sobreposição geométrica e nada mais: não estabelece que uma peça possa ser fabricada, que as tolerâncias se fechem, que uma planta baixa atenda ao código de saídas de emergência ou de acessibilidade, ou que a estrutura se mantenha de pé. Os tempos excluem upload, pré-processamento, enfileiramento, conversão de formato, validação e revisão humana, que, num fluxo de trabalho CAD real, representam a maior parte do tempo decorrido. E os multiplicadores no próprio material de lançamento da Skyfall não concordam entre si — 51×, 49× e 100× para velocidade, 150× e 143× para custo, ao longo de páginas do mesmo site.

A Genie 4 não atinge nem mesmo esse patamar. O Google não publicou nenhum benchmark, nenhuma resolução, nenhuma taxa de quadros, nenhuma latência e nenhuma contagem de parâmetros. A seção de limitações da própria empresa nomeia os problemas — deriva de detalhes visuais e de permanência de objetos, interações físicas complexas, precisão de áudio, texto legível dentro do mundo, precisão espacial — sem quantificar nenhum deles. Não há submissão de terceiros e nenhum testador fora do grupo publicou uma medição. Na única questão de saber se a coisa funciona, a SKY-001 oferece uma alegação que você pode desmontar e a Genie 4 oferece uma coletânea de demonstração.

A generated two-column scoreboard titled 'Genie 4 vs SKY-001 - the scoreboard'. Genie 4 column: output video and audio, input text and controls, metric human judgement, benchmark none published, access trusted testers, price not published. SKY-001 column: output CAD and BIM sequence, input text or 2D image, metric mean IoU, benchmark vendor 79.7% CAD, access waitlist, price not published. Footer reads 'SKY-001 figures vendor-reported and unreproduced; Genie 4 has no published benchmark.'

Teste dois: a saída pode entrar em uma ferramenta?

É aqui que a arquitetura do SKY-001 se justifica, e onde está o teto do Genie 4.

Um vídeo de um mundo não é um mundo que você pode editar. Nada em uma sessão do Genie 4 é exportado como geometria, então um estúdio de games que o usa para prototipagem recebe uma referência para reconstruir manualmente, e uma equipe de robótica recebe observações para treinar, mas não um grafo de cena para modificar. Esse é um uso real — dados de treinamento e pré-visualização consomem pixels —, mas significa que o modelo fica a montante da cadeia de ferramentas, alimentando-a em vez de entrar nela.

A saída declarada do SKY-001 é a cadeia de ferramentas. A sequência de construção foi projetada para ser ingerida, e a Skyfall demonstrou que ela funciona dentro do Autodesk Fusion. Essa demonstração não é um conector enviado, e uma demo não é uma história de integração. Revisores independentes também sinalizaram que os esboços salvos e a geometria 3D gerada podem não se alinhar, o que deixaria uma saída que parece CAD sem ser CAD pronta para máquina. Mas a intenção é de natureza diferente: um modelo tenta encurtar a distância até um artefato manufaturável, o outro tenta produzir uma observação convincente.

Para uma empresa de design, essa distinção decide a compra. Um renderizador que economiza dois dias de um artista conceitual vale a pena comprar a quase qualquer preço. Um gerador de sequências que economiza dois dias de um desenhista técnico só vale a pena comprar se a sequência sobreviver ao contato com as ferramentas reais do desenhista — e ninguém fora da Skyfall testou isso.

Teste três: você consegue comprá-lo antes de 2027?

Não, em ambos os pontos, e os prazos não estão próximos.

A SKY-001 é uma prévia de pesquisa disponível por lista de espera. Não há API, nem tabela de preços, nem pesos, nem licença, nem caminho de auto-hospedagem e nem ajuste fino. A Skyfall tem como meta a implantação comercial no início de 2027. A empresa é pequena — cerca de 25 pessoas — e seu fundador, Sam Pasupalak, construiu anteriormente a Maluuba, que a Microsoft adquiriu em 2017. Esse é um histórico credível, mas não é um produto já disponível no mercado.

O Genie 4 é uma prévia de pesquisa para testadores confiáveis, com assinantes do Google AI Ultra tendo acesso prometido pelo Project Genie a cerca de US$ 100 por mês "nas próximas semanas", e parceiros de acesso antecipado chegando a ele por meio da API Gemini e do AI Studio. Sem data de disponibilidade geral, sem preço para desenvolvedores, sem termos comerciais. Para um estúdio, os termos de licenciamento ausentes são um obstáculo maior do que o limite de dois minutos, porque você não pode colocar material de vídeo gerado em um pipeline de produção cujo uso comercial não está especificado.

A resposta honesta de compras para ambos é a mesma frase: não há nada para comprar. A diferença está no que você pode fazer enquanto espera. O Odyssey-3, o outro modelo de mundo interativo sério do momento, pelo menos permite usar uma demo no navegador hoje. Nenhum desses dois permite.

O número na própria tabela de Skyfall que enfraquece a categoria

Escondido nos resultados do BIM está o dado mais interessante que qualquer uma das duas empresas publicou, e não é o que está na manchete.

Nas 1.000 plantas baixas da Skyfall, o SKY-001 obteve 43,6% de IoU. O Gemini 3.8 Flash — um modelo de propósito geral sem treinamento em engenharia e sem modelo de mundo de construção — obteve 42,3%. Isso é uma diferença de 1,3 pontos, no próprio conjunto de testes do especialista, contra um modelo que qualquer pessoa pode chamar hoje. A diferença de velocidade e custo é real e enorme: 1,22 segundo contra 346,2, US$ 0,0024 contra US$ 0,218 por planta. Mas, se a vantagem de precisão sobre um modelo de fronteira pronto para uso é de 1,3 pontos de IoU em uma métrica que ignora a fabricabilidade, então o que o SKY-001 está vendendo é throughput, não julgamento. Esse é um produto legítimo — uma vantagem de latência de 280× é um fluxo de trabalho diferente —, mas é uma alegação muito mais restrita do que “supera modelos de fronteira”.

Isso reformula todo o confronto. O Genie 4 não está competindo com o SKY-001. Ambos estão competindo com os modelos generalistas que você já pode rotear. Um pipeline de design que chama um modelo de fronteira por caso, com uma etapa de validação e um revisor humano, é a linha de base que esses especialistas precisam superar e, na única categoria em que a Skyfall publicou os dois números, a linha de base ficou a 1,3 ponto de distância.

A self-built comparison card titled 'Skyfall's own BIM benchmark' over 1,000 floor plans: SKY-001 at 43.6% mean IoU, 1.22 seconds and $0.0024 per plan, against Gemini 3.8 Flash at 42.3% mean IoU, 346.2 seconds and $0.218 per plan, with a badge reading 'Accuracy gap: 1.3 points - Latency gap: 284x' and a footer noting the results are vendor-reported and IoU measures geometric overlap only.

Essa base é a parte que você consegue montar hoje. O Gemini 3.8 Flash está no nosso catálogo como google/gemini-3.8-flash, e o GPT-6 Astra e o restante do campo de ponta também estão, tudo por trás de uma única API com o preço de tabela dos provedores repassado com 0% de margem. O OrcaRouter não hospeda o Genie 4 nem o SKY-001 — nenhum dos dois é um endpoint endereçável em lugar algum —, então a arquitetura prática é um modelo roteável fazendo o trabalho agora, com failover entre provedores para que a indisponibilidade de um único fornecedor não pare um lote, e o especialista encaixado depois, se as alegações dele sobreviverem ao contato com seus próprios desenhos.

Onde os dois realmente se sobrepõem

Há um ponto de contato genuíno: ambos os modelos planejam.

O planner do Genie 4 é um modelo Gemini separado no loop. Ele observa frames, divide um objetivo em etapas, verifica o progresso e revisa. O planner do SKY-001 é interno — o modelo de mundo de construção decide a ordem dos estados e o compositor hierárquico decide o que se decompõe em quê. Em ambos os casos, a engenharia interessante não é o renderizador nem o refinador, mas a lógica de sequenciamento que decide o que acontece a seguir.

Essa semelhança também é o motivo pelo qual a comparação favorece ambos. Um modelo que planeja uma sequência de estados está fazendo algo mais útil do que um modelo que emite um único artefato, e ambas as empresas sabem disso. Mas as sequências não são comensuráveis. Uma é uma sequência de aparências, verificada quanto ao fato de um humano considerá-la plausível. A outra é uma sequência de estados sólidos, verificada quanto ao fato de se sobrepor à geometria alvo. Não é possível haver concordância entre elas porque não há uma verdade de referência compartilhada sobre a qual concordar.

Quem deveria estar assistindo a quê

Se você produz filmes, jogos ou experiências interativas, o Genie 4 é o que deve estar no seu roadmap, e o SKY-001 é irrelevante para você. Fique de olho na resolução, na taxa de quadros e nas condições comerciais; o recurso de áudio já está diferenciado e não precisa ser comprovado novamente.

Se você desenha peças ou edifícios, o SKY-001 é o que deve ser acompanhado, e o Genie 4 é uma curiosidade. Fique atento a um conjunto de testes lançado, um conector Fusion entregue e um preço. Até que o conjunto de testes exista, o número de 79,7% é uma alegação sobre os próprios dados da Skyfall, e a margem de 1,3 ponto de BIM sobre o Gemini 3.8 Flash sugere que a vantagem de precisão pode ser menor do que o marketing implica.

Se você está construindo a camada downstream de qualquer um dos produtos — o validador, o orquestrador, a ferramenta de revisão —, você está em melhor posição. Ambos os modelos têm acesso restrito, ambos não são reproduzíveis e ambos precisarão exatamente da infraestrutura que ninguém construiu: algo que pegue uma sequência gerada, verifique-a em relação a uma especificação e decida se deve aceitá-la. Essa camada pode ser construída agora, com modelos que você pode chamar hoje, e ainda será a parte útil quando os especialistas forem lançados.

A armadilha nos dois lançamentos é a mesma armadilha. Um modelo de mundo é impressionante na proporção em que se parece com a coisa real, e inútil na proporção em que é difícil dizer se realmente se parece. O Genie 4 parece extraordinário e não pode ser medido. O SKY-001 pode ser medido, e a medição é a sua própria. Nenhum dos dois é um produto ainda, e os oito dias entre seus anúncios são a única coisa que os faz parecer rivais.

Comparados neste artigo1

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente