Eine generierte Hero-Karte mit dem Titel „Genie 4 vs. SKY-001“ und dem Untertitel „Zwei Weltmodelle, kein gemeinsamer Benchmark“, einem Filmrahmen-Symbol und einem CAD-Zahnrad- und Grundriss-Symbol, die durch eine unterbrochene gepunktete Linie verbunden sind, drei Karten mit der Aufschrift „Genie 4 – Video und Audio“, „SKY-001 – CAD- und BIM-Sequenzen“ und „Beide – nur auf der Warteliste“ sowie einem Datums-Badge mit der Aufschrift „Oktober 2026“.
Engineering & Research

Genie 4 vs. SKY-001: Zwei Weltmodelle, die niemals denselben Benchmark teilen werden

Autor

Elias Hawthorne

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Genie 4 und SKY-001 wurden im Oktober 2026 mit acht Tagen Abstand angekündigt, und niemand wird jemals eine faire Rangliste veröffentlichen, auf der beide stehen. Genie 4 von Google DeepMind erzeugt eine spielbare, hörbare Szene, durch die man etwa zwei Minuten lang läuft. SKY-001 von Skyfall AI nimmt einen Prompt oder eine Skizze entgegen und gibt eine geordnete Konstruktionssequenz für ein CAD-Teil oder einen Gebäudegrundriss aus. Das eine erzeugt Pixel, die ein Mensch betrachtet. Das andere erzeugt Geometrie, aus der eine Maschine irgendwann vielleicht baut. Der einzig nützliche Vergleich ist nicht, welches besser ist – sondern was jedes von beiden beweisen müsste, bevor man es einem zahlenden Kunden vorführt, und welcher dieser Beweise bereits versucht wurde.

Beide Unternehmen nennen ihr Produkt ein Weltmodell. Diese gemeinsame Formulierung leistet enorm viel unverdiente Arbeit, und deshalb liest sich die Berichterstattung über die beiden Markteinführungen, als wären sie Konkurrenten. Sie konkurrieren nicht um dasselbe Budget, denselben Käufer oder dieselbe Bewertung. Sie konkurrieren um dasselbe Wort.

Das Wort leistet zu viel Arbeit.

Eine nützliche Möglichkeit, sie zu trennen, besteht darin, zu fragen, was das Modell ist – nämlich ein Modell von.

Genie 4 modelliert Aussehen und Dynamik. Geben Sie ihm einen Prompt, und es rendert eine Welt, die auf getippte Anweisungen reagiert – ändern Sie das Wetter, bewegen Sie die Kamera, fügen Sie eine Person hinzu – und erzeugt jetzt zusätzlich zum Video Umgebungsgeräusche, Musik und interaktiven Dialog. Ein Gemini-Planer beobachtet die Frames und plant neu. Die Ausgabe ist ein Strom von Bildern, die für das menschliche Auge oder eine Video-Pipeline gedacht sind, und ihre Korrektheit wird daran gemessen, ob sich die Szene plausibel verhält.

SKY-001 modelliert Montage. Ihre Hierarchie verläuft von Systemen über Baugruppen und Unterbaugruppen bis zu Teilen bzw. von Etagen über Einheiten bis zu Räumen, und ihre zweite Komponente – Skyfall nennt sie ein Konstruktionsweltmodell – plant die geordnete Abfolge visueller Zustände, die vom leeren Zustand zum fertigen Ergebnis führt. Für eine CAD-Komponente ist das eine Reihe von 3D-Festkörperzuständen mit 2D-Skizzen dazwischen. Für einen Grundriss ist es eine Zeichnung, die Strich für Strich aufgebaut wird. Korrektheit ist die geometrische Überlappung, gemessen als IoU gegenüber einer Ground-Truth-Form.

Die Dimensionen – in der Form, die die Diskrepanz offensichtlich macht:

• Ausgabe — Genie 4 erzeugt Video und Audio; SKY-001 erzeugt eine CAD- oder BIM-Bauablaufsequenz.

• Eingabe — Text, Tastatur- und Kamerasteuerung für Genie 4; Text oder ein 2D-Bild für SKY-001.

• Was „falsch“ bedeutet – eine Szene, die abdriftet, oder ein Festkörper, der die Zielgeometrie um eine IoU-Marge verfehlt.

• Bewertungseinheit — ein menschliches Urteil oder ein Physik-Score für Genie 4; mittlere IoU über 1.000 Fälle für SKY-001.

• Veröffentlichter Preis – weder noch.

• Zugang — Warteliste auf beiden Seiten.

Screenshot of the Skyfall AI SKY-001 page headlined 'The First Engineering World Model', with a 'Join the waitlist' button beside 'Watch launch video', and three example renders labelled Turbofan, Sports Car and Compact Tractor.

Test eins: Kann jemand die Ausgabe überprüfen?

SKY-001 besteht diesen Test im engstmöglichen Sinne, und das ist immer noch mehr, als Genie 4 zustande bringt.

Skyfall hat einen Anbieter-Benchmark zu zwei Tracks mit jeweils 1.000 Fällen veröffentlicht, und die Zahlen sind konkret genug, um darüber streiten zu können. Bei CAD-Komponenten erzielte SKY-001 einen mittleren IoU von 79,7 % gegenüber 79,1 % für GPT-6 Astra – ein Vorsprung von sechs Zehntelpunkten, was Seed-Rauschen ist – und lief dabei in 3,9 Sekunden statt in 199 Sekunden und kostete 0,005 $ pro Fall statt 0,75 $. Bei Grundrissen erzielte es 43,6 % gegenüber 40,6 % von GPT-6 Astra, bei 1,22 Sekunden gegenüber 144,6 Sekunden.

Jede einzelne dieser Zahlen stammt von Skyfall selbst, wurde auf Skyfalls internem Testset erzeugt, ohne öffentlichen Split und ohne veröffentlichte Harness. Die IoU-Metrik misst geometrische Überlappung und sonst nichts: Sie belegt nicht, dass ein Bauteil gefertigt werden kann, dass Toleranzen schließen, dass ein Grundriss Flucht- oder Barrierefreiheitsvorschriften erfüllt oder dass die Struktur trägt. Die Zeitangaben schließen Upload, Vorverarbeitung, Warteschlangen, Formatkonvertierung, Validierung und manuelle Prüfung aus – was in einem echten CAD-Workflow den Großteil der verstrichenen Zeit ausmacht. Und die Multiplikatoren in Skyfalls eigenem Launch-Material stimmen nicht überein – 51×, 49× und 100× bei der Geschwindigkeit, 150× und 143× bei den Kosten, über Seiten derselben Website hinweg.

Genie 4 erreicht nicht einmal diese Messlatte. Google veröffentlichte keinen Benchmark, keine Auflösung, keine Bildrate, keine Latenz und keine Parameteranzahl. Im eigenen Abschnitt zu Einschränkungen benennt das Unternehmen die Probleme – Drift bei visueller Detailtreue und Objektpermanenz, komplexe physische Interaktionen, Audiogenauigkeit, lesbarer Text in der Welt, räumliche Genauigkeit –, ohne eines davon zu quantifizieren. Es gibt keine Einreichung durch Dritte, und kein Tester außerhalb des Pools hat eine Messung veröffentlicht. Auf die eine Frage, ob das Ding funktioniert, bietet SKY-001 eine Behauptung, die man auseinandernehmen kann, und Genie 4 eine Demo-Reel.

A generated two-column scoreboard titled 'Genie 4 vs SKY-001 - the scoreboard'. Genie 4 column: output video and audio, input text and controls, metric human judgement, benchmark none published, access trusted testers, price not published. SKY-001 column: output CAD and BIM sequence, input text or 2D image, metric mean IoU, benchmark vendor 79.7% CAD, access waitlist, price not published. Footer reads 'SKY-001 figures vendor-reported and unreproduced; Genie 4 has no published benchmark.'

Test zwei: Kann die Ausgabe in ein Tool gelangen?

Hier zahlt sich die Architektur von SKY-001 aus, und hier liegt die Obergrenze von Genie 4.

Ein Video von einer Welt ist keine Welt, die man bearbeiten kann. In einer Sitzung mit Genie 4 wird nichts als Geometrie exportiert, daher bekommt ein Spielestudio, das sie für das Prototyping nutzt, eine Referenz, die es von Hand nachbauen muss, und ein Robotikteam bekommt Beobachtungen, gegen die es trainieren kann, aber keinen Szenengraphen, den es ändern kann. Das ist ein echter Anwendungsfall – Trainingsdaten und Previsualisierung verbrauchen beide Pixel –, aber es bedeutet, dass das Modell der Toolchain vorgelagert ist und sie speist, statt in sie einzugehen.

Die angegebene Ausgabe von SKY-001 ist die Toolchain. Die Konstruktionssequenz ist darauf ausgelegt, eingelesen zu werden, und Skyfall hat demonstriert, dass sie in Autodesk Fusion funktioniert. Diese Demonstration ist kein ausgelieferter Connector, und eine Demo ist keine Integrationsgeschichte. Unabhängige Prüfer haben zudem beanstandet, dass die gespeicherten Skizzen und die erzeugte 3D-Geometrie möglicherweise nicht übereinstimmen, was zu einer Ausgabe führen würde, die wie CAD aussieht, ohne maschinell verarbeitbares CAD zu sein. Doch die Absicht ist grundlegend anders: Das eine Modell versucht, die Distanz zu einem herstellbaren Artefakt zu verkürzen, das andere versucht, eine überzeugende Beobachtung zu erzeugen.

Für ein Designbüro entscheidet dieser Unterschied über den Kauf. Ein Renderer, der einem Concept Artist zwei Tage spart, ist fast jeden Preis wert. Ein Sequenzgenerator, der einem Zeichner zwei Tage spart, ist nur dann kaufenswert, wenn die Sequenz den Kontakt mit den tatsächlichen Werkzeugen des Zeichners übersteht – und niemand außerhalb von Skyfall hat das getestet.

Test drei: Kannst du es vor 2027 kaufen?

Nein, in beiden Punkten nicht, und die Zeitpläne liegen nicht nahe beieinander.

SKY-001 ist eine Research Preview, die über eine Warteliste verfügbar ist. Es gibt keine API, keine Preisliste, keine Gewichte, keine Lizenz, keinen Weg zum Selbsthosting und kein Fine-Tuning. Skyfall strebt eine kommerzielle Einführung Anfang 2027 an. Das Unternehmen ist klein – rund 25 Mitarbeitende – und sein Gründer Sam Pasupalak baute zuvor Maluuba auf, das Microsoft 2017 übernahm. Das ist eine glaubwürdige Vita, aber kein ausgeliefertes Produkt.

Genie 4 ist eine Forschungsvorschau für vertrauenswürdige Tester: Abonnenten von Google AI Ultra wurde Zugang über Project Genie für rund 100 US-Dollar monatlich „in den kommenden Wochen“ versprochen, und Early-Access-Partner erreichen es über die Gemini API und AI Studio. Kein Datum für die allgemeine Verfügbarkeit, kein Entwicklerpreis, keine kommerziellen Bedingungen. Für ein Studio sind die fehlenden Lizenzbedingungen ein größeres Hindernis als die Zwei-Minuten-Grenze, denn man kann generiertes Filmmaterial nicht in eine Produktionspipeline einspeisen, deren kommerzielle Nutzung unklar ist.

Die ehrliche Beschaffungsantwort ist für beide dieselbe: Es gibt nichts zu kaufen. Der Unterschied liegt darin, was man tun kann, während man wartet. Odyssey-3, das andere ernsthafte interaktive Weltmodell der Stunde, ermöglicht es heute zumindest, eine Browser-Demo zu steuern. Keines der beiden kann das.

Die Zahl in Skyfalls eigener Tabelle, die die Kategorie untergräbt

Verborgen in den BIM-Ergebnissen findet sich die interessanteste Zahl, die eines der beiden Unternehmen veröffentlicht hat, und sie ist nicht die aus der Schlagzeile.

Bei Skyfalls 1.000 Grundrissen erzielte SKY-001 43,6 % IoU. Gemini 3.8 Flash – ein Allzweckmodell ohne ingenieurtechnische Ausbildung und ohne Konstruktions-Weltmodell – erzielte 42,3 %. Das ist ein Abstand von 1,3 Punkten, auf dem eigenen Testset des Spezialisten, gegenüber einem Modell, das heute jeder abrufen kann. Der Geschwindigkeits- und Kostenunterschied ist real und enorm: 1,22 Sekunden gegenüber 346,2 Sekunden, 0,0024 $ gegenüber 0,218 $ pro Plan. Doch wenn der Genauigkeitsvorsprung gegenüber einem handelsüblichen Frontier-Modell 1,3 IoU-Punkte beträgt – bei einer Metrik, die die Fertigungstauglichkeit ignoriert –, dann verkauft SKY-001 Durchsatz, nicht Urteilsvermögen. Das ist ein legitimes Produkt – ein 280-facher Latenzvorteil ist ein anderer Workflow –, aber es ist eine viel engere Behauptung als „schlägt Frontier-Modelle“.

Das ordnet das gesamte Duell neu ein. Genie 4 tritt nicht gegen SKY-001 an. Beide treten gegen die allgemeinen Modelle an, die Sie bereits routen können. Eine Design-Pipeline, die pro Fall ein Frontier-Modell aufruft, mit einem Validierungsschritt und einem menschlichen Prüfer, ist die Baseline, die diese Spezialisten schlagen müssen, und auf dem einen Track, für den Skyfall beide Zahlen veröffentlicht hat, lag die Baseline innerhalb von 1,3 Punkten.

A self-built comparison card titled 'Skyfall's own BIM benchmark' over 1,000 floor plans: SKY-001 at 43.6% mean IoU, 1.22 seconds and $0.0024 per plan, against Gemini 3.8 Flash at 42.3% mean IoU, 346.2 seconds and $0.218 per plan, with a badge reading 'Accuracy gap: 1.3 points - Latency gap: 284x' and a footer noting the results are vendor-reported and IoU measures geometric overlap only.

Diese Basis ist der Teil, den Sie heute tatsächlich zusammenstellen können. Gemini 3.8 Flash steht in unserem Katalog als google/gemini-3.8-flash, und ebenso GPT-6 Astra und der Rest des Spitzenfelds, alle hinter einer API mit den Listenpreisen der Anbieter, durchgereicht bei 0 % Aufschlag. OrcaRouter hostet Genie 4 oder SKY-001 nicht – keines von beiden ist irgendwo ein adressierbarer Endpunkt –, daher ist die praktische Architektur ein routbares Modell, das die Arbeit jetzt erledigt, mit Failover über Anbieter hinweg, damit der Ausfall eines einzelnen Anbieters einen Batch nicht stoppt, und der Spezialist wird später eingefügt, falls seine Behauptungen den Kontakt mit Ihren eigenen Zeichnungen überstehen.

Wo sich die beiden tatsächlich überschneiden

Es gibt einen echten Berührungspunkt: Beide Modelle planen.

Der Planer von Genie 4 ist ein separates Gemini-Modell in der Schleife. Es beobachtet Frames, zerlegt ein Ziel in Schritte, prüft den Fortschritt und revidiert. Der Planer von SKY-001 ist intern – das Konstruktions-Weltmodell entscheidet über die Reihenfolge der Zustände, und der hierarchische Composer entscheidet, was sich in was zerlegen lässt. In beiden Fällen ist die interessante Ingenieursleistung nicht der Renderer oder der Refiner, sondern die Sequenzierungslogik, die entscheidet, was als Nächstes passiert.

Diese Ähnlichkeit ist auch der Grund, warum der Vergleich beide schmeichelt. Ein Modell, das eine Abfolge von Zuständen plant, tut etwas Nützlicheres als ein Modell, das ein einzelnes Artefakt erzeugt, und beide Unternehmen wissen das. Doch die Abfolgen sind nicht miteinander vergleichbar. Die eine ist eine Abfolge von Erscheinungen, die darauf geprüft wird, ob ein Mensch sie plausibel findet. Die andere ist eine Abfolge solider Zustände, die darauf geprüft wird, ob sie die Zielgeometrie überlappt. Eine Übereinstimmung zwischen ihnen ist nicht möglich, weil es keine gemeinsame Ground Truth gibt, auf die man sich einigen könnte.

Wer sollte was beobachten?

Wenn Sie Filme, Spiele oder interaktive Erlebnisse erstellen, ist Genie 4 das Produkt, das auf Ihrer Roadmap steht, und SKY-001 ist für Sie irrelevant. Achten Sie auf Auflösung, Bildrate und kommerzielle Konditionen; die Audiofunktion ist bereits differenziert und muss nicht erneut unter Beweis gestellt werden.

Wenn Sie Bauteile oder Gebäude entwerfen, ist SKY-001 derjenige, den man im Auge behalten sollte, und Genie 4 ist eine Kuriosität. Achten Sie auf ein veröffentlichtes Testset, einen ausgelieferten Fusion-Connector und einen Preis. Solange das Testset nicht existiert, ist die Zahl von 79,7 % eine Behauptung über Skyfalls eigene Daten, und der BIM-Vorsprung von 1,3 Punkten gegenüber Gemini 3.8 Flash deutet darauf hin, dass der Genauigkeitsvorteil kleiner sein könnte, als das Marketing suggeriert.

Wenn du bei einem der beiden Produkte die nachgelagerte Ebene baust – den Validator, den Orchestrator, das Review-Tool –, bist du besser aufgestellt. Beide Modelle sind zugangsbeschränkt, beide sind nicht reproduzierbar, und beide brauchen genau die Infrastruktur, die niemand gebaut hat: etwas, das eine generierte Sequenz nimmt, sie gegen eine Spezifikation prüft und entscheidet, ob sie akzeptiert wird. Diese Ebene lässt sich jetzt bauen – gegen Modelle, die du heute aufrufen kannst –, und sie wird auch dann noch der nützliche Teil sein, wenn die Spezialisten ausliefern.

Die Falle bei beiden Markteinführungen ist dieselbe Falle. Ein Weltmodell ist in dem Maße beeindruckend, in dem es dem echten Ding ähnelt, und in dem Maße nutzlos, in dem es schwer festzustellen ist, ob es das tut. Genie 4 wirkt außergewöhnlich und lässt sich nicht messen. SKY-001 lässt sich messen, und die Messung ist seine eigene. Keines von beiden ist bereits ein Produkt, und die acht Tage zwischen ihren Ankündigungen sind das Einzige, was sie wie Rivalen aussehen lässt.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert