Genie 4 vs SKY-001: Två världsmodeller som aldrig kommer att dela samma benchmark

Genie 4 och SKY-001 annonserades med åtta dagars mellanrum i oktober 2026, och ingen kommer någonsin att publicera en rättvis resultattavla med båda på. Genie 4, från Google DeepMind, genererar en spelbar, hörbar scen som man går runt i i ungefär två minuter. SKY-001, från Skyfall AI, tar en prompt eller en skiss och genererar en ordnad konstruktionssekvens för en CAD-del eller en byggnads planlösning. Den ena producerar pixlar som en människa tittar på. Den andra producerar geometri som en maskin så småningom kan bygga utifrån. Den enda användbara jämförelsen är inte vilken som är bättre — det är vad var och en skulle behöva bevisa innan man sätter den framför en betalande kund, och vilka av dessa bevis som har försökts.

Båda företagen kallar sin produkt för en världsmodell. Den gemensamma frasen utför ett enormt arbete som den inte har förtjänat, och det är därför bevakningen av de två lanseringarna framstår som om de vore rivaler. De konkurrerar inte om samma budget, samma köpare eller samma utvärdering. De konkurrerar om samma ord.

Ordet får göra alldeles för mycket.

Ett användbart sätt att skilja dem åt är att fråga vad modellen är en modell av.

Genie 4 modellerar utseende och dynamik. Ge den en prompt och den renderar en värld som reagerar på skrivna instruktioner – ändra vädret, flytta kameran, lägg till en person – och producerar nu omgivningsljud, musik och interaktiv dialog tillsammans med videon. En Gemini-planerare tittar på bildrutorna och planerar om. Utdata är en ström av bilder avsedda för ett mänskligt öga eller en videopipeline, och dess korrekthet bedöms utifrån huruvida scenen beter sig trovärdigt.

{{1}}SKY-001{{/1}} modellerar montering. Dess hierarki löper från system till monteringsenheter till delmontage till delar, eller från våningar till enheter till rum, och dess andra komponent – Skyfall kallar den en {{2}}konstruktionsvärldsmodell{{/2}} – planerar den ordnade sekvensen av visuella tillstånd som tar dig från tomt till färdigt. För en CAD-komponent är det en serie 3D-solida tillstånd med 2D-skisser mellan dem. För en planlösning är det en ritning som byggs upp streck för streck. Korrekthet är geometrisk överlappning, mätt som IoU mot en ground truth-form.

Måtten, i den form som gör avvikelsen uppenbar:

• Utdata — Genie 4 producerar video och ljud; SKY-001 producerar en CAD- eller BIM-konstruktionssekvens.

• Indata – text, tangentbord och kamerastyrning för Genie 4; text eller en 2D-bild för SKY-001.

• Vad ”fel” innebär – en scen som driver iväg, eller en solid som missar målgeometrin med en IoU-marginal.

• Utvärderingsenhet – en mänsklig bedömning eller en fysikpoäng för Genie 4; genomsnittlig IoU över 1 000 fall för SKY-001.

• Publicerat pris — ingetdera.

• Åtkomst – väntelista på båda sidor.

Test ett: kan någon kontrollera utdata?

SKY-001 klarar detta test i den snävaste möjliga bemärkelsen, och det är fortfarande mer än vad Genie 4 lyckas med.

Skyfall har publicerat ett leverantörsbenchmark på två spår med 1 000 fall vardera, och siffrorna är tillräckligt specifika för att man ska kunna argumentera mot dem. På CAD-komponenter fick SKY-001 79,7 % i genomsnittlig IoU mot 79,1 % för GPT-6 Astra – en ledning på sex tiondels procentenheter, vilket är brus på seednivå – medan den körde på 3,9 sekunder i stället för 199 och kostade 0,005 USD per fall i stället för 0,75 USD. På planritningar fick den 43,6 % mot GPT-6 Astras 40,6 %, på 1,22 sekunder jämfört med 144,6.

Samtliga av dessa siffror är Skyfalls egna, framtagna på Skyfalls interna testset, utan någon offentlig datauppdelning och utan något publicerat testramverk. IoU-måttet mäter geometrisk överlappning och inget annat: det fastställer inte att en del kan tillverkas, att toleranser håller, att en planlösning uppfyller utrymnings- eller tillgänglighetsföreskrifter, eller att konstruktionen håller. Tidsangivelserna utesluter uppladdning, förbearbetning, köning, formatkonvertering, validering och mänsklig granskning, vilket i ett verkligt CAD-arbetsflöde utgör största delen av den tid som förflyter. Och multiplikatorerna i Skyfalls eget lanseringsmaterial stämmer inte överens med varandra – 51×, 49× och 100× för hastighet, 150× och 143× för kostnad, på olika sidor av samma webbplats.

Genie 4 klarar inte ens den ribban. Google publicerade ingen benchmark, ingen upplösning, ingen bildfrekvens, ingen latens och inget parameterantal. Företagets eget avsnitt om begränsningar namnger problemen – visuell detaljrikedom och drift i objektpermanens, komplexa fysiska interaktioner, ljudnoggrannhet, läsbar text i världen, rumslig noggrannhet – utan att kvantifiera något av dem. Det finns ingen inlämning från tredje part och ingen testare utanför poolen har publicerat en mätning. I den enda frågan om huruvida saken fungerar erbjuder SKY-001 ett påstående som du kan plocka isär och Genie 4 erbjuder en demorulle.

Test två: kan utdata komma in i ett verktyg?

Det är här som SKY-001:s arkitektur gör nytta, och där Genie 4:s tak ligger.

En video av en värld är inte en värld som du kan redigera. Ingenting i en {{1}}Genie 4-session{{/1}} exporteras som geometri, så en spelstudio som använder den för prototyparbete får {{2}}en referens att bygga om för hand{{/2}}, och ett robotikteam får {{3}}observationer att träna mot{{/3}} men inte en {{4}}scengraf att ändra{{/4}}. Det är en {{5}}verklig användning{{/5}} — träningsdata och förvisualisering konsumerar båda pixlar — men det innebär att modellen sitter uppströms i verktygskedjan och matar den i stället för att ingå i den.

SKY-001:s angivna utdata är verktygskedjan. Konstruktionssekvensen är utformad för att läsas in, och Skyfall demonstrerade att den fungerar i Autodesk Fusion. Den demonstrationen är inte en levererad anslutningskomponent, och en enda demo är ingen integrationsberättelse. Oberoende granskare har också påpekat att de sparade skisserna och den genererade 3D-geometrin kanske inte stämmer överens, vilket skulle ge utdata som ser ut som CAD men inte är maskinredo CAD. Men avsikten är av en annan art: den ena modellen försöker förkorta avståndet till en tillverkningsbar artefakt, den andra försöker åstadkomma en övertygande observation.

För en designbyrå avgör den distinktionen köpet. En renderare som sparar en konceptkonstnär två dagar är värd att köpa till nästan vilket pris som helst. En sekvensgenerator som sparar en ritare två dagar är bara värd att köpa om sekvensen överlever kontakten med ritarens faktiska verktyg – och ingen utanför Skyfall har testat det.

Test tre: kan du köpa den före 2027?

Nej, på båda punkterna, och tidslinjerna är inte nära varandra.

SKY-001 är en forskningsförhandsversion som är tillgänglig via väntelista. Det finns inget API, ingen prislista, inga vikter, ingen licens, ingen väg för egen hosting och ingen finjustering. Skyfall siktar på kommersiell lansering i början av 2027. Företaget är litet – omkring 25 personer – och dess grundare, Sam Pasupalak, byggde tidigare Maluuba, som Microsoft förvärvade 2017. Det är en trovärdig bakgrund, och det är inte en produkt som levereras.

Genie 4 är en forskningsförhandsvisning för betrodda testare, där prenumeranter på Google AI Ultra utlovas åtkomst via Project Genie för ungefär 100 dollar i månaden "under de kommande veckorna", och partner med tidig åtkomst når det via Gemini API och AI Studio. Inget datum för allmän tillgänglighet, inget utvecklarpris, inga kommersiella villkor. För en studio är de saknade licensvillkoren ett större hinder än taket på två minuter, eftersom man inte kan lägga genererat material i en produktionspipeline vars kommersiella användning är oklar.

Så det ärliga upphandlingssvaret för båda är samma mening: det finns inget att köpa. Skillnaden är vad du kan göra medan du väntar. Odyssey-3, den andra seriösa interaktiva världsmodellen just nu, låter dig åtminstone köra en webbläsardemo i dag. Ingen av dessa två gör det.

Siffran i Skyfalls egen tabell som undergräver kategorin

Gömd i BIM-resultaten finns den mest intressanta siffran som något av företagen har publicerat, och det är inte den som står i rubriken.

På Skysfalls 1 000 planlösningar fick SKY-001 43,6 % IoU. Gemini 3.8 Flash – en allmänmodell utan ingenjörsutbildning och utan en världsmodell för byggbranschen – fick 42,3 %. Det är en skillnad på 1,3 punkter, på speciallistens eget testset, mot en modell som vem som helst kan anropa i dag. Skillnaden i hastighet och kostnad är verklig och enorm: 1,22 sekunder mot 346,2, 0,0024 USD mot 0,218 USD per plan. Men om noggrannhetsförsprånget mot en färdig frontier-modell är 1,3 IoU-punkter på ett mått som bortser från tillverkningsbarhet, då är det SKY-001 säljer genomströmning, inte omdöme. Det är en legitim produkt – en 280 gånger lägre latens är ett annat arbetsflöde – men det är ett mycket snävare påstående än ”slår frontier-modeller”.

Vilket förändrar hela jämförelsen. Genie 4 tävlar inte med SKY-001. Båda tävlar med de allmänna modeller du redan kan routa. En designpipeline som anropar en frontiermodell per fall, med ett valideringssteg och en mänsklig granskare, är baslinjen som dessa specialister måste slå, och på det enda spår där Skyfall publicerade båda siffrorna kom baslinjen inom 1,3 punkter.

Den grundlinjen är den del du faktiskt kan sätta ihop idag. Gemini 3.8 Flash finns i vår katalog som google/gemini-3.8-flash, och detsamma gäller GPT-6 Astra och resten av frontier-fältet, alla bakom ett enda API med leverantörernas listpriser vidarebefordrade med 0 % påslag. OrcaRouter har inte Genie 4 eller SKY-001 — ingen av dem är en adresserbar endpoint någonstans — så den praktiska arkitekturen är en routbar modell som gör jobbet nu, med failover mellan leverantörer så att ett enskilt leverantörsavbrott inte stoppar en batch, och specialisten inkopplad senare om dess påståenden överlever kontakten med dina egna ritningar.

Där de två faktiskt överlappar varandra

Det finns en genuin beröringspunkt: båda modellerna planerar.

Genie 4:s planerare är en separat Gemini-modell i loopen. Den observerar bildrutor, delar upp ett mål i steg, kontrollerar framsteg och reviderar. SKY-001:s planerare är intern – konstruktionsvärldsmodellen avgör ordningen på tillstånden och den hierarkiska kompositören avgör vad som delas upp i vad. I båda fallen är det intressanta ingenjörsarbetet inte renderaren eller förfinaren, utan sekvenslogiken som avgör vad som händer härnäst.

Den likheten är också skälet till att jämförelsen smickrar båda. En modell som planerar en sekvens av tillstånd gör något mer användbart än en modell som avger en enda artefakt, och båda företagen vet det. Men sekvenserna är inte kommensurabla. Den ena är en sekvens av framträdanden, kontrollerad mot huruvida en människa finner den rimlig. Den andra är en sekvens av solida tillstånd, kontrollerad mot huruvida den överlappar målgeometrin. Enighet mellan dem är inte möjlig eftersom det inte finns någon gemensam grundsanning att enas kring.

Vem borde titta på vilken

Om du gör filmer, spel eller interaktiva upplevelser är Genie 4 den som finns på din roadmap och SKY-001 är irrelevant för dig. Håll utkik efter upplösning, bildfrekvens och kommersiella villkor; ljudfunktionen är redan differentierad och behöver inte bevisas igen.

Om du ritar delar eller byggnader är SKY-001 den att hålla koll på och Genie 4 är en kuriositet. Håll utkik efter ett släppt testset, en levererad Fusion-anslutning och ett pris. Så länge testsetet inte finns är siffran 79,7 % ett påstående om Skyfalls egna data, och marginalen på 1,3 punkter i BIM jämfört med Gemini 3.8 Flash tyder på att noggrannhetsfördelen kan vara mindre än marknadsföringen antyder.

Om du bygger nedströmslagret för någon av produkterna – validatorn, orkestratorn, granskningsverktyget – har du ett bättre utgångsläge. Båda modellerna är åtkomstbegränsade, båda är icke reproducerbara och båda kommer att behöva exakt den infrastruktur som ingen har byggt: något som tar en genererad sekvens, kontrollerar den mot en specifikation och avgör om den ska accepteras. Det lagret kan byggas nu, mot modeller som du kan anropa i dag, och det kommer fortfarande att vara den användbara delen när specialisterna lanserar.

Fällan i båda lanseringarna är samma fälla. En världsmodell är imponerande i proportion till hur mycket den liknar det verkliga, och värdelös i proportion till hur svårt det är att avgöra om den gör det. Genie 4 ser enastående ut och kan inte mätas. SKY-001 kan mätas, och mätningen är dess egen. Ingen av dem är en produkt ännu, och de åtta dagarna mellan deras tillkännagivanden är det enda som får dem att framstå som rivaler.