Una card hero generata intitolata 'Genie 4 vs SKY-001' con il sottotitolo 'Due modelli del mondo, nessun benchmark condiviso', un'icona a fotogramma cinematografico e un'icona a ingranaggio CAD e planimetria collegate da una linea punteggiata interrotta, tre card che recitano 'Genie 4 - video e audio', 'SKY-001 - sequenze CAD e BIM' ed 'Entrambi - solo lista d'attesa', e un badge data che riporta Ottobre 2026.
Engineering & Research

Genie 4 vs SKY-001: due modelli del mondo che non condivideranno mai un benchmark

Autore

Elias Hawthorne

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Genie 4 e SKY-001 sono stati annunciati a otto giorni di distanza nell'ottobre 2026, e nessuno pubblicherà mai un tabellone di confronto equo che li includa entrambi. Genie 4, di Google DeepMind, genera una scena giocabile e con audio in cui si cammina per circa due minuti. SKY-001, di Skyfall AI, prende un prompt o uno schizzo ed emette una sequenza costruttiva ordinata per un componente CAD o la pianta di un edificio. Uno produce pixel che un essere umano guarda. L'altro produce geometria da cui una macchina potrebbe eventualmente costruire. L'unico confronto utile non è quale sia migliore — è cosa ciascuno dovrebbe dimostrare prima di metterlo davanti a un cliente pagante, e quali di queste dimostrazioni sono state tentate.

Entrambe le aziende chiamano il proprio prodotto un modello del mondo. Quella frase condivisa si sta facendo carico di un'enorme mole di lavoro che non le spetta, ed è per questo che la copertura di questi due lanci si legge come se fossero rivali. Non competono per lo stesso budget, lo stesso acquirente o la stessa valutazione. Competono per la stessa parola.

La parola sta facendo troppo lavoro

Un modo utile per separarli è chiedere che cosa il modello è un modello di.

Genie 4 modella l'aspetto e le dinamiche. Gli si fornisce un prompt e genera un mondo che risponde a istruzioni digitate — cambia il meteo, muovi la telecamera, aggiungi una persona — e ora produce suoni ambientali, musica e dialogo interattivo insieme al video. Un planner Gemini osserva i fotogrammi e riprogetta. L'output è un flusso di immagini destinato a un occhio umano o a una pipeline video, e la sua correttezza è giudicata in base al fatto che la scena si comporti in modo plausibile.

SKY-001 modella l'assemblaggio. La sua gerarchia va dai sistemi agli assemblaggi ai sottoassemblaggi ai componenti, oppure dai piani alle unità alle stanze, e il suo secondo componente — Skyfall lo chiama modello del mondo di costruzione — pianifica la sequenza ordinata di stati visivi che ti porta dal vuoto al finito. Per un componente CAD si tratta di una serie di stati solidi 3D con schizzi 2D tra l'uno e l'altro. Per una pianta è un disegno costruito tratto dopo tratto. La correttezza è la sovrapposizione geometrica, misurata come IoU rispetto a una forma di riferimento.

Le dimensioni, nella forma che rende evidente la discrepanza:

• Output — Genie 4 genera video e audio; SKY-001 genera una sequenza costruttiva CAD o BIM.

• Input — testo, tastiera e controllo della fotocamera per Genie 4; testo o un'immagine 2D per SKY-001.

• Cosa significa "sbagliato": una scena che si discosta, oppure un solido che manca la geometria obiettivo per un margine di IoU.

• Unità di valutazione — un giudizio umano o un punteggio fisico per Genie 4; IoU medio su 1.000 casi per SKY-001.

• Prezzo pubblicato — nessuno dei due.

• Accesso — lista d'attesa su entrambi i lati.

Screenshot of the Skyfall AI SKY-001 page headlined 'The First Engineering World Model', with a 'Join the waitlist' button beside 'Watch launch video', and three example renders labelled Turbofan, Sports Car and Compact Tractor.

Prova uno: qualcuno può controllare l'output?

SKY-001 supera questo test nel senso più stretto possibile, e questo è comunque più di quanto riesca a fare Genie 4.

Skyfall ha pubblicato un benchmark del fornitore su due tracce da 1.000 casi ciascuna, e i numeri sono abbastanza specifici da poter essere contestati. Sui componenti CAD, SKY-001 ha ottenuto il 79,7% di IoU medio contro il 79,1% di GPT-6 Astra — un vantaggio di sei decimi di punto, cioè rumore da seed — con un tempo di esecuzione di 3,9 secondi invece di 199 e un costo di 0,005 $ per caso invece di 0,75 $. Sulle planimetrie ha ottenuto il 43,6% contro il 40,6% di GPT-6 Astra, con 1,22 secondi contro 144,6.

Ognuno di quei valori è di Skyfall stesso, prodotto sul set di test interno di Skyfall, senza uno split pubblico e senza un harness rilasciato. La metrica IoU misura la sovrapposizione geometrica e nient'altro: non stabilisce che un componente possa essere fabbricato, che le tolleranze si chiudano, che una planimetria rispetti i requisiti di evacuazione o accessibilità, o che la struttura regga. I tempi escludono caricamento, preelaborazione, accodamento, conversione di formato, validazione e revisione umana, che in un flusso di lavoro CAD reale costituiscono la maggior parte del tempo trascorso. E i moltiplicatori nel materiale di lancio di Skyfall stesso non concordano tra loro — 51×, 49× e 100× per la velocità, 150× e 143× per il costo, attraverso pagine dello stesso sito.

Genie 4 non supera nemmeno quella soglia. Google non ha pubblicato alcun benchmark, né risoluzione, né frame rate, né latenza, né numero di parametri. La sezione sulle limitazioni dell'azienda stessa elenca i problemi — deriva del dettaglio visivo e della permanenza degli oggetti, interazioni fisiche complesse, accuratezza audio, testo leggibile nel mondo, accuratezza spaziale — senza quantificarne nessuno. Non c'è alcuna presentazione da parte di terzi e nessun tester al di fuori del gruppo ha pubblicato una misurazione. Sull'unica questione, cioè se la cosa funzioni, SKY-001 offre un'affermazione che si può smontare e Genie 4 offre un reel dimostrativo.

A generated two-column scoreboard titled 'Genie 4 vs SKY-001 - the scoreboard'. Genie 4 column: output video and audio, input text and controls, metric human judgement, benchmark none published, access trusted testers, price not published. SKY-001 column: output CAD and BIM sequence, input text or 2D image, metric mean IoU, benchmark vendor 79.7% CAD, access waitlist, price not published. Footer reads 'SKY-001 figures vendor-reported and unreproduced; Genie 4 has no published benchmark.'

Test due: l'output può essere inserito in uno strumento?

Questo è il punto in cui l'architettura di SKY-001 dimostra il proprio valore, e in cui si colloca il tetto di Genie 4.

Un video di un mondo non è un mondo che puoi modificare. Niente in una sessione di Genie 4 viene esportato come geometria, quindi uno studio di videogiochi che la usa per la prototipazione ottiene un riferimento da ricostruire a mano, e un team di robotica ottiene osservazioni su cui addestrare, ma non un scene graph da modificare. Questo è un uso reale — i dati di addestramento e la previsualizzazione consumano entrambi pixel — ma significa che il modello si colloca a monte della toolchain, alimentandola anziché entrando a farne parte.

L'output dichiarato di SKY-001 è la toolchain. La sequenza di costruzione è progettata per essere acquisita, e Skyfall ne ha dimostrato il funzionamento all'interno di Autodesk Fusion. Quella dimostrazione non è un connettore distribuito, e una singola demo non è una storia di integrazione. Revisori indipendenti hanno anche segnalato che gli schizzi salvati e la geometria 3D generata potrebbero non allinearsi, il che lascerebbe un output che sembra CAD senza essere CAD pronto per la macchina. Ma l'intento è di natura diversa: un modello cerca di ridurre la distanza verso un artefatto producibile, l'altro cerca di produrre un'osservazione convincente.

Per uno studio di design, quella distinzione decide l'acquisto. Un renderer che fa risparmiare due giorni a un concept artist vale l'acquisto a quasi qualsiasi prezzo. Un generatore di sequenze che fa risparmiare due giorni a un disegnatore tecnico vale l'acquisto solo se la sequenza sopravvive al contatto con gli strumenti reali del disegnatore — e nessuno al di fuori di Skyfall l'ha testato.

Test tre: puoi comprarlo prima del 2027?

No, su entrambi i punti, e le tempistiche non sono vicine.

SKY-001 è un'anteprima di ricerca disponibile su lista d'attesa. Non ci sono API, né listino prezzi, né pesi, né licenza, né possibilità di self-hosting, né fine-tuning. Skyfall punta a un impiego commerciale nei primi mesi del 2027. L'azienda è piccola — circa 25 persone — e il suo fondatore, Sam Pasupalak, ha in precedenza creato Maluuba, che Microsoft ha acquisito nel 2017. È un pedigree credibile, ma non è un prodotto già sul mercato.

Genie 4 è un'anteprima di ricerca per tester fidati, con gli abbonati a Google AI Ultra che avranno accesso promesso tramite Project Genie a circa 100 dollari al mese "nelle prossime settimane", e i partner in accesso anticipato che vi accedono tramite la Gemini API e AI Studio. Nessuna data di disponibilità generale, nessun prezzo per gli sviluppatori, nessun termine commerciale. Per uno studio, i termini di licenza mancanti sono un ostacolo maggiore del limite di due minuti, perché non puoi inserire filmati generati in una pipeline di produzione il cui uso commerciale non è specificato.

La risposta onesta dal punto di vista degli acquisti, per entrambi, è la stessa frase: non c’è nulla da comprare. La differenza sta in ciò che puoi fare mentre aspetti. Odyssey-3, l’altro serio modello interattivo del mondo del momento, almeno oggi ti consente di usare una demo nel browser. Nessuno dei due lo fa.

Il numero nella tabella di Skyfall stesso che indebolisce la categoria

Sepolto tra i risultati BIM c'è il dato più interessante che entrambe le società abbiano pubblicato, e non è quello del titolo.

Sulle 1.000 planimetrie di Skyfall, SKY-001 ha ottenuto un IoU del 43,6%. Gemini 3.8 Flash — un modello general-purpose senza addestramento ingegneristico e senza un modello del mondo delle costruzioni — ha ottenuto il 42,3%. Si tratta di un divario di 1,3 punti, sul set di test dello specialista stesso, rispetto a un modello che chiunque può chiamare oggi. La differenza di velocità e costo è reale ed enorme: 1,22 secondi contro 346,2, $0,0024 contro $0,218 per planimetria. Ma se il vantaggio di accuratezza rispetto a un modello di frontiera pronto all'uso è di 1,3 punti IoU su una metrica che ignora la fabbricabilità, allora ciò che SKY-001 vende è throughput, non capacità di giudizio. È un prodotto legittimo — un vantaggio di 280× in latenza è un flusso di lavoro diverso — ma è un'affermazione molto più ristretta di «batte i modelli di frontiera».

Il che riformula l'intero confronto. Genie 4 non è in competizione con SKY-001. Entrambi sono in competizione con i modelli generali che puoi già instradare. Una pipeline di progettazione che chiama un modello di frontiera per ogni caso, con una fase di validazione e un revisore umano, è la baseline che questi specialisti devono battere, e sull'unica categoria in cui Skyfall ha pubblicato entrambi i numeri, la baseline è arrivata a 1,3 punti.

A self-built comparison card titled 'Skyfall's own BIM benchmark' over 1,000 floor plans: SKY-001 at 43.6% mean IoU, 1.22 seconds and $0.0024 per plan, against Gemini 3.8 Flash at 42.3% mean IoU, 346.2 seconds and $0.218 per plan, with a badge reading 'Accuracy gap: 1.3 points - Latency gap: 284x' and a footer noting the results are vendor-reported and IoU measures geometric overlap only.

Quella base è la parte che puoi effettivamente mettere insieme oggi. Gemini 3.8 Flash è nel nostro catalogo come google/gemini-3.8-flash, e così GPT-6 Astra e il resto del campo di frontiera, tutti dietro un'unica API con i prezzi di listino dei provider applicati a markup 0%. OrcaRouter non ospita Genie 4 o SKY-001 — nessuno dei due è un endpoint indirizzabile da nessuna parte — quindi l'architettura pratica è un modello instradabile che svolge il lavoro adesso, con failover tra provider così che un'interruzione di un singolo fornitore non blocchi un batch, e lo specialista inserito in seguito se le sue dichiarazioni reggono il confronto con i tuoi disegni.

Dove i due si sovrappongono effettivamente

C'è un vero punto di contatto: entrambi i modelli pianificano.

Il planner di Genie 4 è un modello Gemini separato nel loop. Osserva i frame, suddivide un obiettivo in passaggi, verifica i progressi e rivede. Il planner di SKY-001 è interno — il world model di costruzione decide l'ordine degli stati e il compositore gerarchico decide cosa si scompone in cosa. In entrambi i casi l'ingegneria interessante non è il renderer o il refiner, è la logica di sequenziamento che decide cosa accade dopo.

Questa somiglianza è anche il motivo per cui il confronto lusinga entrambi. Un modello che pianifica una sequenza di stati fa qualcosa di più utile di un modello che emette un singolo artefatto, e entrambe le aziende lo sanno. Ma le sequenze non sono commensurabili. Una è una sequenza di apparenze, verificata in base al fatto che un essere umano la trovi plausibile. L'altra è una sequenza di stati solidi, verificata in base al fatto che si sovrapponga alla geometria target. Un accordo tra loro non è possibile perché non esiste una verità di riferimento condivisa su cui concordare.

Chi dovrebbe guardare cosa

Se realizzi film, giochi o esperienze interattive, Genie 4 è quello da inserire nella tua roadmap e SKY-001 è irrilevante per te. Tieni d'occhio risoluzione, frame rate e condizioni commerciali; la funzionalità audio è già differenziata e non deve essere dimostrata di nuovo.

Se progetti parti o edifici, SKY-001 è quello da tenere d'occhio e Genie 4 è una curiosità. Tieni d'occhio un set di test pubblicato, un connettore Fusion distribuito e un prezzo. Finché il set di test non esiste, la cifra del 79,7% è un'affermazione sui dati proprietari di Skyfall, e il margine di 1,3 punti BIM su Gemini 3.8 Flash suggerisce che il vantaggio in accuratezza potrebbe essere inferiore a quanto il marketing lasci intendere.

Se stai costruendo il livello a valle di uno dei due prodotti — il validatore, l’orchestratore, lo strumento di revisione — sei nella posizione migliore. Entrambi i modelli sono ad accesso limitato, entrambi non sono riproducibili ed entrambi avranno bisogno esattamente dell’infrastruttura di raccordo che nessuno ha costruito: qualcosa che prenda una sequenza generata, la verifichi rispetto a una specifica e decida se accettarla. Quel livello può essere costruito ora, su modelli che puoi chiamare oggi, e sarà ancora la parte utile quando i modelli specializzati saranno rilasciati.

La trappola in entrambi i lanci è la stessa. Un modello del mondo è impressionante in proporzione a quanto assomiglia alla cosa reale, e inutile in proporzione a quanto è difficile capire se ci assomiglia. Genie 4 sembra straordinario e non può essere misurato. SKY-001 può essere misurato, e la misurazione è la sua. Nessuno dei due è ancora un prodotto, e gli otto giorni tra i loro annunci sono l'unica cosa che li fa sembrare rivali.

Confrontati in questo articolo1

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno