Eine generierte Titelkarte mit der Aufschrift „Gemini 4 Hydrogen vs Claude Haiku 5.5“ und dem Untertitel „Eine 15-fache Preisdifferenz, die pro erledigter Aufgabe auf das 7-Fache schrumpft“, sowie zwei Karten mit der Beschriftung „Pro Million Token“, die 15,0x günstiger anzeigt, und „Pro erledigter Aufgabe“, die 7,7x günstiger anzeigt, verbunden durch einen dünnen Pfeil.
Engineering & Research

Gemini 4 Hydrogen vs. Claude Haiku 5.5: Ein 15-facher Preisunterschied, der pro abgeschlossener Aufgabe auf das 7-Fache schrumpft

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Auf der Preisliste ist die Lücke absurd. Claude Haiku 5.5 kostet 0,10 US-Dollar pro Million Eingabe-Tokens und 0,50 US-Dollar pro Million Ausgabe-Tokens bei Prompts mit bis zu 100.000 Tokens; G​emini 4 Hydrogen kostet 1,50 US-Dollar und 7,50 US-Dollar. Das ist bei beiden Posten fünfzehnmal teurer – für ein Modell, das erst am 12. November 2026 in den Katalog von G​oogle aufgenommen wurde. Doch niemand, der diese Woche zwischen beiden wählt, wählt zwischen zwei Preisen. Er wählt zwischen einem Modell, das im Artificial Analysis Intelligence Index 54 Punkte erreicht, und einem, das 36 Punkte erreicht, und die Fünfzehnfach-Angabe verflüchtigt sich, sobald man misst, was es jeweils kostet, eine Aufgabe abzuschließen statt sie anzufangen.

Die Zahl pro Token und die Zahl pro Aufgabe weichen um die Hälfte voneinander ab

Artificial Analysis lässt beide Modelle durch dieselbe Testumgebung laufen und veröffentlicht die Kosten pro abgeschlossener Index-Aufgabe neben dem Preis pro Token. Die Ergebnisse weichen deutlich von dem ab, was die Tarifkarten nahelegen.

• Pro Token, Eingabe und Ausgabe — G​emini 4 Hydrogen 1,50 $ / 7,50 $ vs. Claude Haiku 5.5 0,10 $ / 0,50 $. Haiku ist 15,0x günstiger bei der Eingabe und 15,0x günstiger bei der Ausgabe, pauschal.

• Pro abgeschlossener Index-Aufgabe — Gemini 4 Hydrogen 3,16 $ bei der höchsten Denkstufe vs. Claude Haiku 5.5 0,41 $. Haiku ist 7,7-mal günstiger, nicht 15-mal.

• Warum sich die Lücke halbiert – Ausführlichkeit. Haiku 5.5 erzeugte 298 Millionen Ausgabe-Tokens, um den Index zu durchlaufen, gegenüber 107 Millionen beim Medianmodell in seiner eigenen Vergleichsklasse – Carbon und Hydrogen werden an einem Median von 72,8 Millionen gemessen, sodass die beiden Mediane nicht derselbe Maßstab sind. Es ist günstig pro Token und teuer pro Antwort, weil viel mehr Tokens nötig sind, um eine zu erreichen.

• Mischpreis bei gleichem 7:2:1-Mix aus Cache/Input/Output — G​emini 4 Hydrogen 1,10 $ pro Million vs. Claude Haiku 5.5 0,077 $ pro Million.

Liest man die letzten beiden Zeilen zusammen, ändert sich die Gestalt des Preisarguments. Ein Team, das anhand der Preisliste kalkuliert, wird eine fünfzehnfache Einsparung erwarten und etwas weniger als das Achtfache erhalten. Ein Team, das anhand der Kosten pro Aufgabe kalkuliert, erhält die tatsächliche Zahl, und diese Zahl spricht noch immer überwältigend zugunsten von Haiku – aber es ist eine Zahl, mit der man planen kann, was bei der Preisliste nicht der Fall ist.

In Haikus Karte steckt eine Schwelle, die keine der beiden Darstellungen erfasst. Alles oben Genannte ist der Preis unter 100.000 Tokens. Jenseits von 100.000 Prompt-Tokens wechselt Haiku 5.5 auf 0,50 $ Input und 2,50 $ Output — ein Fünffachsprung, der es auf genau ein Drittel von Hydrogens Output-Preis bringt statt auf ein Fünfzehntel. Beide Modelle haben ein Fenster von 1.048.576 Tokens, der Übergang ist also erreichbar und nicht bloß theoretisch: Eine Long-Context-Workload stellt Haiku mit 0,50 $/2,50 $ gegen Hydrogens 1,50 $/7,50 $, und der Abstand pro Token schrumpft auf das Dreifache, während der Fähigkeitsabstand genau dort bleibt, wo er war.

Was achtzehn Indexpunkte bei den Aufgaben bringen, die Menschen tatsächlich ausführen

Achtzehn Indexpunkte sind auf dem Papier eine große Lücke. Ob sie in der Praxis eine große Lücke sind, hängt vollständig vom Zuschnitt der Arbeit ab, und die Hersteller-Benchmarks weisen je nachdem, welchen man liest, in unterschiedliche Richtungen.

• Agentische Terminalarbeit — G​oogle berichtet, dass G​emini 4 Hydrogen 57,0 % bei Terminal-Bench 4.1 erreicht, als um Schummeln bereinigt gekennzeichnet. A​nthropic berichtet, dass Claude Haiku 5.5 39,2 % bei Terminal-Bench 4.0 erreicht. Es sind unterschiedliche Versionen des Benchmarks, daher ist der Vergleich eher richtungsweisend als exakt, aber die Richtung ist konsistent und spricht mit großem Abstand für Hydrogen.

• Computernutzung — Hydrogen bei 77,6 % auf OSWorld-2.1, vom Anbieter angegeben; Haiku 5.5 bei 72,4 % auf der Offline-Teilmenge desselben Benchmarks, ebenfalls vom Anbieter angegeben. Ein knapperer Vorsprung für Hydrogen, und die Einschränkung auf die Teilmenge bedeutet, dass die beiden Werte nicht ganz dasselbe messen.

• Hartes Schlussfolgern ohne Werkzeuge — Hydrogen bei 58,8 % auf HLE-Diamond; Haiku 5.5 bei 45,9 % auf Humanity's Last Exam ohne Werkzeuge, mit Werkzeugen steigend auf 57,4 %. Dies ist die größte ehrliche Lücke im Paar, und sie ist diejenige, die sich auf „Kann dieses Modell ein schwieriges Problem ohne Gerüst durchhalten?“ abbilden lässt.

• Code-Review und Reparatur — Hydrogen bei 66,6 % auf Chartography; Haiku 5.5 bei 46,4 % auf Chartography ohne Tools. Zwanzig Punkte, gleicher Benchmark-Name, gleiche No-Tools-Bedingung.

• Frontier-Coding — Anthropic meldet für Haiku 5.5 46,4 % auf FrontierCode 1.1 und meldet einen FrontierCode-Score von 66,2 von Cognition, wenn Haiku 5.5 als Sidekick in Devin Fusion läuft. Beachten Sie, dass die zweite Zahl eine andere Konstellation und kein anderer Score für dieselbe Aufgabe ist, und Anthropic kennzeichnet beide als kundenseitig gemeldet statt als Eigenangabe.

Jede oben genannte Zahl ist eine vom Hersteller gemeldete Angabe des Unternehmens, das das Modell verkauft. Keine davon wurde unabhängig reproduziert, und die Benchmark-Versionen unterscheiden sich so stark, dass es unehrlich wäre, sie zu einer einzigen Aussage „Hydrogen ist X % besser“ zusammenzufassen. Was sie belegen, ist enger und nützlicher: Hydrogen ist deutlich besser bei Aufgaben, die lange laufen und Werkzeuge verwenden; die Lücke ist am kleinsten, wenn es sich um eine einzelne klar umgrenzte Frage handelt.

A screenshot of the Artificial Analysis model page for Gemini 4 Hydrogen, showing its Intelligence Index of 54 at the highest thinking setting along with its published speed and price figures.

Beide brauchen lange, bis sie starten, was niemand in die Schlagzeile schreibt.

Das ist der Teil des Vergleichs, der diejenigen überrascht, die nach dem Preis oder nach dem Index ausgewählt haben und dann beobachteten, wie das erste Token eintraf.

• Zeit bis zum ersten Antwort-Token – G​emini 4 Hydrogen 40,55 Sekunden bei seiner höchsten Denkstufe gegenüber Claude Haiku 5.5 mit 175,95 Sekunden bei seiner höchsten Einstellung. Hydrogen beginnt viermal früher, und beide Werte liegen weit über dem, was eine interaktive Oberfläche toleriert.

• Ausgabegeschwindigkeit, sobald sie einsetzt – Claude Haiku 5.5 256 Token pro Sekunde vs. G​emini 4 Hydrogen 188 Token pro Sekunde. Haiku schreibt schneller und startet später.

• Durchschnittliche Zeit pro Indexierungsaufgabe — Claude Haiku 5.5 14,7 Minuten. Die beiden Modelle landen pro abgeschlossener Aufgabe in ähnlichem Bereich; dorthin gelangen sie auf entgegengesetzten Wegen.

• Bei Hydrogens Standard-Denkstufe sinkt der First-Token-Wert auf etwa 16,7 Sekunden – die Zahl, die für eine Chat-Oberfläche zählt und die auch der Einstellung entspricht, die den Indexwert 51 statt 54 ergibt.

Wenn Sie etwas bauen, worauf ein Mensch wartet, ist keine der Headline-Konfigurationen der beiden Modelle angemessen. Insbesondere Haiku 5.5 ist ein Modell mit einstellbarem Aufwand – Low bis Max –, und die Werte 175,95 Sekunden und Index 36 gelten für die Max-Einstellung. Bei geringerem Aufwand startet es früher und erzielt niedrigere Werte, und A​nthropic veröffentlicht keine Tabelle, die das eine auf das andere abbildet. Das ist ein Test, den Sie selbst durchführen müssen.

Caching ist der Ort, an dem das Preisverhältnis tatsächlich lebt.

Bei jeder Workload mit einem stabilen Präfix – einem System-Prompt, einer Repository-Map, einer Dokumentensammlung – macht zwischengespeicherte Eingabe den Großteil der Rechnung aus, und die beiden Karten verhalten sich unterschiedlich genug, um den Vergleich neu zu ordnen.

• Cache-Lesepreis — Claude Haiku 5.5: 0,01 $ pro Million, 90 % Rabatt auf den Eingabepreis von 0,10 $. Gemini 4 Hydrogen: 0,075 $ pro Million, 95 % Rabatt auf den Preis von 1,50 $.

• Cache-Mechanismus — Claude Haiku 5.5 unterstützt explizite Cache-Schreibvorgänge zu 0,125 $ pro Million, sodass Sie kontrollieren, was und wie lange zwischengespeichert wird. Gemini 4 Hydrogen unterstützt nur implizites Caching, ohne explizite Cache-Handles, sodass der Rabatt ein Verhalten des Dienstes und keine API ist, die Sie aufrufen.

• Was das bedeutet – eine Workload mit einem gemeinsam genutzten Präfix von 60.000 Token, das tausendmal täglich gelesen wird, kostet 0,60 $ pro Tag an Cache-Reads auf Haiku und 4,50 $ auf Hydrogen – eine 7,5-fache Lücke statt einer 15-fachen, weil Hydrogen 95 % Rabatt gewährt, während Haiku 90 % gewährt. Erhöht man dasselbe Präfix auf 200.000 Token – über Haikus Schwelle hinaus –, kehrt sich das Bild um: Der Cache-Read der Langstufe bei Haiku liegt bei 0,05 $ pro Million, sodass der Read auf Haiku 10,00 $ kostet gegenüber 15,00 $ auf Hydrogen, während jedes frische Eingabe-Token in dieser Anfrage auf Haiku nun dreimal günstiger ist. Die Cache-Lücke verkleinert sich genau dort, wo sich die Eingabe-Lücke vergrößert – was nicht der Trade-off ist, den eine Long-Context-Workload erwartet.

Die Asymmetrie ist am wichtigsten für die Arbeitslast, bei der Hydrogen am stärksten ist. Lange agentische Sitzungen mit einem großen, stabilen Kontext sind genau der Fall, in dem implizites Caching hilft, und genau der Fall, in dem man explizite Kontrolle darüber möchte, was resident bleibt. Haiku bietet dir die Kontrolle und den günstigeren Cache bei jeder Präfixlänge; Hydrogen bietet dir die Fähigkeit und verlangt von dir, darauf zu vertrauen, dass der Dienst die Wiederholung erkennt.

A generated two-column scoreboard comparing Gemini 4 Hydrogen and Claude Haiku 5.5 across six dimensions: index, price per million tokens, cost per finished task, output speed, time to first token and cache read price, with Hydrogen at 54, $1.50/$7.50, $3.16, 188 tokens per second, 40.55 seconds and $0.075, and Haiku 5.5 at 36, $0.10/$0.50, $0.41, 256 tokens per second, 175.95 seconds and $0.01, with a footer stating the figures are per Artificial Analysis and each vendor's published card, vendor-reported and unaudited.

Drei Workloads, drei unterschiedliche Antworten

Noch weiter zu abstrahieren wäre ein schlechter Dienst, deshalb liegt hier in der Praxis die Grenze.

Eine Klassifizierungs- oder Extraktions-Pipeline über Millionen kurzer Dokumente ist die Arbeitslast von Haiku 5.5 – und das nicht im Entferntesten. Begrenzte Eingabe, begrenzte Ausgabe, keine Tools, kein langer Zeithorizont: Die Indexlücke ist irrelevant, weil die Aufgabe sie nicht beansprucht, und 0,10 $/0,50 $ gegenüber 1,50 $/7,50 $ sind eine fünfzehnfache Ersparnis bei einer Rechnung, die bereits der dominierende Kostenfaktor ist. Das auf Hydrogen umzustellen bringt nichts und kostet eine Größenordnung mehr.

Ein Coding-Agent, der Dateien bearbeitet, Tests ausführt und sich von Fehlschlägen erholt, ist Hydrogens Arbeitslast. Die Abstände bei Terminal-Bench und Chartography sind der direkte Beleg, und der Wert für die Kosten pro Aufgabe – 3,16 $ gegenüber 0,41 $ – unterschätzt den Unterschied, weil eine Aufgabe, die Haiku nicht abschließen kann, unendliche statt niedrige Kosten pro Abschluss hat. Der Vergleich gilt nur für Aufgaben, die beide Modelle lösen können.

Ein nächtlicher Batch, der lange Dokumente zusammenfasst, liegt im uneindeutigen Mittelfeld und wird durch die 100K-Schwelle entschieden. Unter 100.000 Tokens pro Aufruf ist Haiku pro Token fünfzehnmal günstiger und pro abgeschlossener Aufgabe ungefähr achtmal günstiger. Darüber verfünffacht sich Haikus Preis, und die ehrliche Antwort lautet, beide an Ihrem eigenen Korpus zu testen, denn der Übergangspunkt hängt davon ab, wie viel Ihrer Eingabe Prompt und wie viel Dokument ist.

Ein interaktiver Assistent ist weder das eine noch das andere. Beide Modelle sind zu langsam, um mit ihren maximalen Einstellungen zu starten, und die richtige Konfiguration für eine Chat-Oberfläche ist Hydrogen auf seiner Standardstufe oder Haiku mit einer niedrigeren Aufwandsstufe — ein Vergleich zweier Downgrades, den fast niemand benchmarkt und der die einzige Version dieser Frage ist, die einen Nutzer erreicht.

Beide laufen lassen, ohne im Voraus einen Gewinner zu küren

Die vernünftige Haltung für die meisten Teams ist, dass dies keine Migration, sondern eine Routing-Entscheidung ist, und Routing-Entscheidungen sind kostengünstiger rückgängig zu machen als Migrationen.

OrcaRouter führt keines dieser beiden Modelle der Spitzenklasse: Claude Haiku 4.5 steht mit 1,00 $ und 5,00 $ pro Million im Katalog mit einem 200.000-Token-Fenster, und Gemini 3.8 Flash mit 0,75 $ und 3,75 $ mit dem vollen 1.048.576-Token-Fenster — beide zum Listenpreis des Anbieters ohne Aufschlag, mit einem Schlüssel und automatischem Failover zwischen Anbietern. Haiku 5.5 und Hydrogen stammen beide aus den eigenen APIs ihrer Hersteller. Die praktikable Lösung ist also eine Routing-Richtlinie: Hydrogen direkt aufgerufen für die langfristigen Ausführungs-Turns, in denen sein Benchmark-Vorsprung tatsächlich gegeben ist, Haiku 5.5 direkt aufgerufen für die hochvolumigen begrenzten Aufrufe, in denen sein Preis tatsächlich gilt, und dahinter ein geroutetes Modell als Pfad, auf den eine Anfrage zurückfällt, wenn ein Anbieter drosselt, ein Ratenlimit erhöht oder eine Preisänderung einführt.

Diese letzte Klausel ist nicht hypothetisch. In Googles Preisübersicht ist für Gemini 4 Carbon und Gemini 4 Argon bereits eine Verdopplung zum 1. Dezember 2026 vorgesehen – von 2,00 $/10,00 $ auf 4,00 $/20,00 $ –, während bei Hydrogen kein terminierter Schritt vorgesehen ist. Anthropic hat den Preis für Haiku in diesem Zyklus bereits einmal angepasst und ihn in der Tarifstufe unter 100K um rund 90 % gesenkt, als 5.5 4.5 ersetzte. Eine Routing-Ebene, die den Listenpreis des Anbieters ohne Aufschlag weiterreicht, bedeutet, dass diese Änderungen Sie an dem Tag erreichen, an dem sie wirksam werden, und nicht erst bei der nächsten Vertragsverlängerung – was bei einem Vergleich, dessen gesamtes Argument der Preis ist, das entscheidende Merkmal ist.

Was würde diese Antwort ändern?

Drei Dinge, geordnet nach dem Ausmaß, in dem sie es bewegen würden.

Eine unabhängige Reproduktion der Terminal-Bench-Lücke. Jede oben genannte agentische Kennzahl ist auf beiden Seiten anbieterseitig angegeben, auf unterschiedlichen Benchmark-Versionen, und die mit Abstand größte Rechtfertigung für den Preisaufschlag von Hydrogen stützt sich auf Zahlen, die keines der beiden Unternehmen hat prüfen lassen. Artificial Analysis veröffentlicht einen Index für beide Modelle, aber nicht die Teilergebnisse je Benchmark, die das klären würden.

Eine veröffentlichte Aufwands-Qualitäts-Kurve für Haiku 5.5. Wenn die Einstellung „Low effort“ den Großteil der Punktzahl der Max-Einstellung bei einem Bruchteil der Latenz hält, verengt sich der Interaktionsfall, und der Preisvorteil breitet sich nach oben in Workloads aus, die derzeit Hydrogen zugewiesen sind. A​nthropic liefert die Einstellung und nicht die Tabelle.

Eine Änderung an Hydrogens Karte. Derzeit gibt es keine, was in einer Familie ungewöhnlich ist, in der sich zwei von drei Mitgliedern in drei Wochen verdoppeln. Wenn sich das ändert, verschiebt sich die Kosten-pro-Aufgabe-Kennzahl – die eine Zahl, die diesen Vergleich interessant macht – mit, und die 7,7x wird etwas völlig anderes.

Bis eines davon eintrifft, ist die belastbare Zusammenfassung diejenige, die der unabhängige Prüfstand stützt, und nicht die, die die Preisliste nahelegt: Haiku 5.5 ist je nachdem, ob man Tokens oder abgeschlossene Aufgaben zählt, zwischen sieben- und fünfzehnmal günstiger, Hydrogen ist bei allem, was lange läuft und Tools verwendet, entscheidend besser, und die einzige Zahl, die die Aufteilung entscheiden sollte, ist, was jedes von beiden dich pro Aufgabe kostet, die du tatsächlich abschließen kannst.

A screenshot of the Artificial Analysis model page for Claude Haiku 5.5 at max effort, showing an Intelligence Index of 36 ranked first of 36, $0.10 input and $0.50 output per million tokens, $0.41 per Intelligence Index task, 298 million output tokens on the index against a 107-million median, 256 tokens per second, 175.95 seconds to first answer token and a 1M-token context window.