Una tarjeta principal generada titulada 'Genie 4 vs SKY-001' con el subtítulo 'Dos modelos del mundo, sin un benchmark compartido', un icono de fotograma de película y un icono de engranaje CAD y plano de planta unidos por una línea de puntos interrumpida, tres tarjetas que dicen 'Genie 4 - vídeo y audio', 'SKY-001 - secuencias CAD y BIM' y 'Ambos - solo lista de espera', y una insignia de fecha que dice octubre de 2026.
Engineering & Research

Genie 4 vs SKY-001: Dos modelos del mundo que nunca compartirán un benchmark

Autor

Elias Hawthorne

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Genie 4 y SKY-001 se anunciaron con ocho días de diferencia en octubre de 2026, y nadie publicará jamás una tabla comparativa justa que incluya a ambos. Genie 4, de Google DeepMind, genera una escena jugable y con sonido por la que caminas durante unos dos minutos. SKY-001, de Skyfall AI, toma un prompt o un boceto y emite una secuencia de construcción ordenada para una pieza de CAD o el plano de planta de un edificio. Uno produce píxeles que un humano observa. El otro produce geometría a partir de la cual una máquina podría acabar construyendo. La única comparación útil no es cuál es mejor, sino qué tendría que demostrar cada uno antes de ponerlo frente a un cliente que paga, y cuáles de esas demostraciones se han intentado.

Ambas compañías llaman a su producto un modelo del mundo. Esa frase compartida está haciendo una cantidad enorme de trabajo inmerecido, y es la razón por la que la cobertura de estos dos lanzamientos se lee como si fueran rivales. No compiten por el mismo presupuesto, el mismo comprador ni la misma evaluación. Compiten por la misma palabra.

La palabra está haciendo demasiado trabajo

Una forma útil de separarlos es preguntar qué modelo es el modelo de.

Genie 4 modela la apariencia y la dinámica. Dale un prompt y renderiza un mundo que responde a instrucciones escritas —cambia el clima, mueve la cámara, añade una persona— y ahora produce sonido ambiental, música y diálogo interactivo junto con el vídeo. Un planificador Gemini observa los fotogramas y vuelve a planificar. La salida es un flujo de imágenes destinado al ojo humano o a un pipeline de vídeo, y su corrección se juzga por si la escena se comporta de forma plausible.

SKY-001 modela el ensamblaje. Su jerarquía va de sistemas a ensamblajes, a subensamblajes y a piezas, o de plantas a unidades y a habitaciones, y su segundo componente —Skyfall lo llama modelo de mundo de construcción— planifica la secuencia ordenada de estados visuales que te lleva de lo vacío a lo terminado. Para un componente CAD, se trata de una serie de estados sólidos 3D con bocetos 2D entre ellos. Para un plano de planta, es un dibujo construido trazo a trazo. La corrección es la superposición geométrica, medida como IoU frente a una forma real de referencia.

Las dimensiones, en la forma que hace evidente la discrepancia:

• Salida — Genie 4 emite vídeo y audio; SKY-001 emite una secuencia de construcción CAD o BIM.

• Entrada — control de texto, teclado y cámara para Genie 4; texto o una imagen 2D para SKY-001.

• Qué significa "incorrecto": una escena que se desvía, o un sólido que no alcanza la geometría objetivo por un margen de IoU.

• Unidad de evaluación — un juicio humano o una puntuación de física para Genie 4; IoU medio en 1.000 casos para SKY-001.

• Precio publicado — ninguno de los dos.

• Acceso — lista de espera en ambos lados.

Screenshot of the Skyfall AI SKY-001 page headlined 'The First Engineering World Model', with a 'Join the waitlist' button beside 'Watch launch video', and three example renders labelled Turbofan, Sports Car and Compact Tractor.

Prueba uno: ¿alguien puede revisar el resultado?

SKY-001 supera esta prueba en el sentido más estricto posible, y eso sigue siendo más de lo que consigue Genie 4.

Skyfall publicó un benchmark de proveedores sobre dos conjuntos de 1.000 casos cada uno, y las cifras son lo bastante concretas como para discutirlas. En componentes CAD, SKY-001 obtuvo un IoU medio del 79,7 % frente al 79,1 % de GPT-6 Astra —una ventaja de seis décimas de punto, que es ruido a nivel de semilla— mientras se ejecutaba en 3,9 segundos en lugar de 199 y costaba 0,005 USD por caso en lugar de 0,75. En planos de planta, obtuvo un 43,6 % frente al 40,6 % de GPT-6 Astra, con 1,22 segundos frente a 144,6.

Cada una de esas cifras es propia de Skyfall, generada en el conjunto de pruebas interno de Skyfall, sin una partición pública ni un arnés de evaluación publicado. La métrica IoU mide la superposición geométrica y nada más: no establece que una pieza se pueda fabricar, que se cumplan las tolerancias, que un plano de planta cumpla la normativa de evacuación o accesibilidad, ni que la estructura se sostenga. Los tiempos excluyen la subida, el preprocesamiento, la espera en cola, la conversión de formato, la validación y la revisión humana, que en un flujo de trabajo CAD real constituyen la mayor parte del tiempo transcurrido. Y los multiplicadores del propio material de lanzamiento de Skyfall no coinciden entre sí —51×, 49× y 100× para la velocidad, 150× y 143× para el coste, en distintas páginas del mismo sitio.

Genie 4 no supera ni siquiera ese listón. Google no publicó ningún benchmark, ninguna resolución, ninguna tasa de fotogramas, ninguna latencia y ningún número de parámetros. La propia sección de limitaciones de la empresa enumera los problemas —deriva del detalle visual y de la permanencia de objetos, interacciones físicas complejas, precisión del audio, texto legible dentro del mundo, precisión espacial— sin cuantificar ninguno de ellos. No hay envío de terceros y ningún evaluador fuera del grupo ha publicado una medición. Sobre la única cuestión de si la cosa funciona, SKY-001 ofrece una afirmación que se puede desmontar y Genie 4 ofrece un vídeo de demostración.

A generated two-column scoreboard titled 'Genie 4 vs SKY-001 - the scoreboard'. Genie 4 column: output video and audio, input text and controls, metric human judgement, benchmark none published, access trusted testers, price not published. SKY-001 column: output CAD and BIM sequence, input text or 2D image, metric mean IoU, benchmark vendor 79.7% CAD, access waitlist, price not published. Footer reads 'SKY-001 figures vendor-reported and unreproduced; Genie 4 has no published benchmark.'

Prueba dos: ¿puede la salida introducirse en una herramienta?

Aquí es donde la arquitectura de SKY-001 demuestra su valía y donde se sitúa el techo de Genie 4.

Un vídeo de un mundo no es un mundo que puedas editar. Nada de una sesión de Genie 4 se exporta como geometría, así que un estudio de videojuegos que lo usa para crear prototipos obtiene una referencia para reconstruir a mano, y un equipo de robótica obtiene observaciones con las que entrenar, pero no un grafo de escena que modificar. Eso es un uso real —tanto los datos de entrenamiento como la previsualización consumen píxeles—, pero significa que el modelo está aguas arriba de la cadena de herramientas, alimentándola en lugar de formar parte de ella.

La salida declarada de SKY-001 es la cadena de herramientas. La secuencia de construcción está diseñada para ser ingerida, y Skyfall demostró que funciona dentro de Autodesk Fusion. Esa demostración no es un conector ya comercializado, y una sola demo no constituye una historia de integración. Revisores independientes también han señalado que los bocetos guardados y la geometría 3D generada podrían no alinearse, lo que dejaría una salida que parece CAD sin ser CAD lista para máquina. Pero la intención es de distinta naturaleza: un modelo intenta acortar la distancia hasta un artefacto fabricable, el otro intenta producir una observación convincente.

Para un estudio de diseño, esa distinción decide la compra. Un renderizador que le ahorre dos días a un artista conceptual merece comprarse a casi cualquier precio. Un generador de secuencias que le ahorre dos días a un delineante solo merece comprarse si la secuencia sobrevive al contacto con las herramientas reales del delineante, y nadie fuera de Skyfall lo ha probado.

Prueba tres: ¿puedes comprarlo antes de 2027?

No, en ambos aspectos, y los plazos no están ni cerca.

SKY-001 es una vista previa de investigación disponible mediante lista de espera. No hay API, ni lista de precios, ni pesos, ni licencia, ni forma de autoalojamiento, ni ajuste fino. Skyfall apunta a un despliegue comercial a principios de 2027. La empresa es pequeña —unas 25 personas— y su fundador, Sam Pasupalak, construyó anteriormente Maluuba, que Microsoft adquirió en 2017. Es un historial creíble, pero no es un producto ya lanzado al mercado.

Genie 4 es una vista previa de investigación para testers de confianza, con la promesa de que los suscriptores de Google AI Ultra accederán a través de Project Genie por unos 100 dólares al mes "en las próximas semanas", y con socios de acceso anticipado que llegarán a él mediante la Gemini API y AI Studio. Sin fecha de disponibilidad general, sin precio para desarrolladores, sin términos comerciales. Para un estudio, los términos de licencia ausentes son un obstáculo mayor que el límite de dos minutos, porque no puedes incorporar metraje generado a un flujo de producción cuyo uso comercial no está especificado.

La respuesta honesta de adquisiciones para ambos es la misma frase: no hay nada que comprar. La diferencia está en lo que puedes hacer mientras esperas. Odyssey-3, el otro modelo de mundo interactivo serio del momento, al menos te permite usar una demo en el navegador hoy. Ninguno de estos dos lo hace.

La cifra en la propia tabla de Skyfall que menoscaba la categoría

Oculta entre los resultados de BIM está la cifra más interesante que publicó cualquiera de las dos empresas, y no es la que aparece en el titular.

En los 1.000 planos de planta de Skyfall, SKY-001 obtuvo un IoU del 43,6 %. Gemini 3.8 Flash —un modelo de propósito general sin formación en ingeniería y sin un modelo del mundo de la construcción— obtuvo un 42,3 %. Es una diferencia de 1,3 puntos, en el propio conjunto de pruebas del especialista, frente a un modelo que cualquiera puede usar hoy. La diferencia de velocidad y coste es real y enorme: 1,22 segundos frente a 346,2; 0,0024 $ frente a 0,218 $ por plano. Pero si la ventaja de precisión sobre un modelo de frontera listo para usar es de 1,3 puntos de IoU en una métrica que ignora la fabricabilidad, entonces lo que vende SKY-001 es capacidad de procesamiento, no criterio. Eso es un producto legítimo —una ventaja de latencia de 280× es un flujo de trabajo distinto—, pero es una afirmación mucho más limitada que «supera a los modelos de frontera».

Lo que replantea todo el enfrentamiento. Genie 4 no compite con SKY-001. Ambos compiten con los modelos generales que ya puedes enrutar. Un pipeline de diseño que llama a un modelo de frontera por caso, con un paso de validación y un revisor humano, es la línea base que estos especialistas tienen que superar, y en la única pista donde Skyfall publicó ambas cifras, la línea base quedó a 1,3 puntos.

A self-built comparison card titled 'Skyfall's own BIM benchmark' over 1,000 floor plans: SKY-001 at 43.6% mean IoU, 1.22 seconds and $0.0024 per plan, against Gemini 3.8 Flash at 42.3% mean IoU, 346.2 seconds and $0.218 per plan, with a badge reading 'Accuracy gap: 1.3 points - Latency gap: 284x' and a footer noting the results are vendor-reported and IoU measures geometric overlap only.

Esa línea de base es la parte que realmente puedes ensamblar hoy. Gemini 3.8 Flash está en nuestro catálogo como google/gemini-3.8-flash, y también lo están GPT-6 Astra y el resto del campo de modelos de frontera, todos detrás de una API con los precios de lista de los proveedores aplicados con un 0 % de margen. OrcaRouter no aloja Genie 4 ni SKY-001 —ninguno es un endpoint direccionable en ningún sitio—, así que la arquitectura práctica es un modelo enrutable que hace el trabajo ahora, con conmutación por error entre proveedores para que la caída de un único proveedor no detenga un lote, y el especialista incorporado más adelante si sus afirmaciones sobreviven al contacto con tus propios planos.

Donde los dos realmente se superponen

Hay un punto de contacto genuino: ambos modelos planifican.

El planificador de Genie 4 es un modelo Gemini separado dentro del bucle. Observa fotogramas, descompone un objetivo en pasos, comprueba el progreso y lo revisa. El planificador de SKY-001 es interno: el modelo de mundo de construcción decide el orden de los estados y el compositor jerárquico decide qué se descompone en qué. En ambos casos, la ingeniería interesante no es el renderizador ni el refinador, sino la lógica de secuenciación que decide qué ocurre a continuación.

Esa similitud es también la razón por la que la comparación halaga a ambos. Un modelo que planifica una secuencia de estados hace algo más útil que un modelo que emite un único artefacto, y ambas empresas lo saben. Pero las secuencias no son conmensurables. Una es una secuencia de apariencias, verificada según si a una persona le parece plausible. La otra es una secuencia de estados sólidos, verificada según si se superpone a la geometría objetivo. No es posible que coincidan porque no hay una verdad de referencia compartida sobre la que coincidir.

¿Quién debería estar viendo qué?

Si haces películas, juegos o experiencias interactivas, Genie 4 es el que debe estar en tu hoja de ruta y SKY-001 es irrelevante para ti. Presta atención a la resolución, la tasa de fotogramas y las condiciones comerciales; la función de audio ya está diferenciada y no necesita volver a demostrarse.

Si dibujas piezas o edificios, SKY-001 es el que hay que seguir y Genie 4 es una curiosidad. Estate atento a un conjunto de pruebas publicado, un conector Fusion disponible y un precio. Hasta que exista el conjunto de pruebas, la cifra del 79,7% es una afirmación sobre los propios datos de Skyfall, y el margen de 1,3 puntos en BIM frente a Gemini 3.8 Flash sugiere que la ventaja de precisión puede ser menor de lo que implica el marketing.

Si estás construyendo la capa posterior de cualquiera de los dos productos —el validador, el orquestador, la herramienta de revisión—, tienes la mejor posición. Ambos modelos están restringidos, ambos son no reproducibles y ambos necesitarán exactamente la infraestructura que nadie ha construido: algo que tome una secuencia generada, la verifique contra una especificación y decida si aceptarla. Esa capa se puede construir ahora, con modelos a los que puedes llamar hoy, y seguirá siendo la parte útil cuando los especialistas lancen sus productos.

La trampa en ambos lanzamientos es la misma trampa. Un modelo del mundo es impresionante en proporción a cuánto se parece a lo real, e inútil en proporción a lo difícil que resulta saber si de verdad se parece. Genie 4 parece extraordinario y no se puede medir. SKY-001 se puede medir, y la medición es la suya propia. Ninguno es todavía un producto, y los ocho días entre sus anuncios son lo único que los hace parecer rivales.

Comparados en este artículo1

Detectado en este artículo · Benchmarks: Artificial Analysis · actualizado a diario