Hero-Titelkarte mit der Aufschrift „Gemini Agentic Video Understanding“, dem Abzeichen „NEUE FUNKTION“ und dem Untertitel „Der API-Modus, der die Kosten für die Videoanalyse um zwei Drittel senkt“; drei Chips mit den Aufschriften „Gilt für Gemini 3.7 Flash, Gemini 3.6 Flash, Gemini 3.5 Flash-Lite“, „Angekündigt am 1. September 2026“ und „Verarbeitung: agentisch“; OrcaRouter-Logo unten rechts.
Guides & Insights

Gemini Agentic Video Understanding ist da: Der API-Modus, der die Kosten für Videoanalyse um zwei Drittel senkt.

Autor

Magnus Corvin

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Am 1. September 2026 präsentierte Google agentisches Video-Verständnis für Gemini 3.7 Flash, Gemini 3.6 Flash und Gemini 3.5 Flash-Lite – ein neuer Modus in der Gemini-API, der ein Video nicht mehr als einen Stapel von Einzelbildern behandelt, sondern als ein durchsuchbares Dokument. Die Ankündigung von Google DeepMind, verfasst von Senior-Produktmanager Rohan Doshi und Forschungsdirektor Mario Lučić, ist die erste wesentliche Änderung daran, wie Gemini Videos liest, seit die Modelle überhaupt über diese Eingabe verfügen: Statt dass ein Modell stillschweigend eine feste Auswahl von Einzelbildern durcharbeitet, entscheidet es nun mitten in der Antwort, was es sich ansehen soll, mit welcher Geschwindigkeit und über welchen der drei Kanäle – visuelle Einzelbilder, Audio oder Transkripte. Der wichtigste Effekt – sämtliche Zahlen stammen vom Anbieter, und niemand hat sie bislang unabhängig reproduziert – ist, dass die Videoanalyse bis zu 66 % günstiger wird, bis zu 88 % weniger Tokens verbraucht und bis zu 7 % genauer antwortet als die Bild-für-Bild-Baseline, die sie ersetzt.

Was "agentic" tatsächlich unter der Haube verändert.

Das alte Verhalten ist das, was Google jetzt als „static“ Verarbeitung bezeichnet: Man gibt Gemini ein Video, und es sampelt Frames mit einer festen Rate – standardmäßig ein Frame pro Sekunde – führt die gesamte Stichprobe durch das Modell und antwortet anhand dessen, was dieses feste Raster erfasst hat. Das hat zwei strukturelle blinde Flecken. Eine Zustandsänderung, die zwischen zwei gesampelten Frames passiert, existiert für das Modell schlicht nicht. Und ein zweistündiges Video, das mit 1 FPS gesampelt wird, kostet ein Vermögen an Tokens, von denen die meisten auf Filmmaterial entfallen, das nichts mit der Frage zu tun hatte.

Agentisches Videoverständnis ersetzt das feste Raster durch eine Schleife. Das Modell kombiniert seine Kernlogik mit nativen Video-Tools, die es ihm ermöglichen, dynamisch zu entscheiden, was es ansieht, mit welcher Geschwindigkeit es dies tut und über welche Modalität es etwas untersucht – visuelle Frames, die Audiospur oder das Transkript. Es ruft ein internes Tool auf, um nur die relevanten Segmente der Datei zu laden, die Momente und Signale abzurufen, die die Frage tatsächlich benötigt, und denkt dann über das Gelernte nach. Google beschreibt dies als dasselbe Architekturmuster wie die zuvor veröffentlichte agentische Bildverständnisfunktion: Das Modell ist kein passiver Konsument von Medien mehr; es ist ein Agent, der Medien wie ein Tool abfragt.

Die praktische Konsequenz ist, dass die Frage „Was hat das Modell gesehen?" aufhört, eine Sache des Stichprobenglücks zu sein. Eine Frage zu einem Sekundenbruchteil-Schnitt, einem kaum sichtbaren Defekt oder einem Wort, das unter Hintergrundgeräuschen gesprochen wurde, ist beantwortbar, weil das Modell das exakte Zeitfenster mit höherer Auflösung und Bildrate erneut scannen kann – in der Modalität, in der die Antwort liegt.

Generated infographic titled 'Agentic vs static video processing — what changes'. Left column 'Static (before)': 'Fixed 1 FPS frame grid', 'Every frame billable', 'Misses between-frame moments', '2-hour video = millions of tokens'. Right column 'Agentic (now)': 'Model decides what to watch', 'Loads only relevant segments', 'Searches frames + audio + transcript', 'Up to 88% fewer tokens'. Footer: 'All deltas vendor-reported by Google, unreproduced.'

Die Zahlen, gekennzeichnet als das, was sie sind.

Googles eigener Benchmark-Vergleich von agentischer versus statischer Verarbeitung steht im Zentrum der Ankündigung und sollte als Anbieterangabe gelesen werden, bis eine externe Partei ihn reproduziert. Auf dem internen Testset von Google:

• Kosten — bis zu 66 % geringere Analysekosten, da das Modell nur die benötigten Segmente lädt, anstatt der gesamten festen Probe.

• Tokens — bis zu 88 % geringerer Token-Verbrauch, mit den größten Einsparungen bei Langform-Videos: Die Ankündigung nennt ausdrücklich 10-minütige Anleitungen bis hin zu mehrstündigen Aufnahmen.

• Genauigkeit — bis zu 7 % besser bei denselben Aufgaben, da Ereignisse unterhalb der Sekunde und zwischen Frames sichtbar werden, statt in die Abtastlücken zu fallen.

Google positioniert Gemini 3.7 Flash auf der „Pareto-Grenze von Genauigkeit und Kosten“ der getesteten Modelle — einfach ausgedrückt: unter den drei die beste Antwort pro Dollar. Außerdem nennt es vier Early-Access-Partner — Ponder, Revyl, Mosaic und Resemble.AI —, die bereits vor der allgemeinen Verfügbarkeit mit dem Modell gearbeitet haben, was die Art von Detail ist, die auf echte Produktionsnutzung hindeutet und nicht auf eine Folienpräsentation. Von keinem dieser Partner sind Ergebnisse veröffentlicht, daher ist die glaubwürdige Haltung: Der Mechanismus ist real, die Richtung ist offensichtlich richtig, und die konkreten Prozentwerte stammen von Google, bis sie unabhängig gemessen werden.

Die Anwendungsfälle, für die die Funktion entwickelt wurde.

Die Ankündigung gruppiert die Funktionalität in vier Kategorien, die jeweils einer konkreten Arbeitslast entsprechen, die ein Entwickler ausliefern kann:

• Sub-Sekunden-Momentabruf – das präzise Lokalisieren von Sekundenbruchteile umfassenden Zustandsänderungen und präzisen Schnittgrenzen, die ein 1-FPS-Raster völlig übersieht. Dies ist der Anwendungsfall für automatisierte Videobearbeitung: das Finden des exakten Frames, an dem ein Szenenwechsel stattfindet.

• Suche nach der Nadel im Heuhaufen bei langen Formaten — Beantwortung einer konkreten Frage zu einem mehrstündigen Video, ohne Millionen von Tokens zu verbrauchen. Das ist der Unterschied zwischen „Schau dir diesen 3-stündigen Anruf an“ und „Hat der Kunde in diesem 3-stündigen Anruf der Verlängerung zugestimmt?“

• Anomalieerkennung – das Modell tastet interessante Zeitfenster mit einer höheren Bildrate erneut ab, um schnelle Bewegungen und subtile visuelle Artefakte zu untersuchen. Fertigungsqualitätskontrolle, Sportanalyse und Sicherheitsaufnahmen sind die offensichtlichen Anwendungsbereiche.

• Zählen von Handlungen und Objekten – das Verfolgen wiederholter physischer Bewegungen und einzelner Objekte über die Zeit, was statisches Sampling unterzählt, wenn das gezählte Objekt sich schneller bewegt als die Abtastrate.

Welche Modelle, und was sie kosten

Das Feature läuft auf der Flash-Stufe, und die Preisspanne zwischen den drei Modellen spielt eine Rolle bei der Wahl, worauf man es ausrichtet:

• Gemini 3.7 Flash – 0,75 $ Eingabe / 3,75 $ Ausgabe pro Million Token zum Aktionspreis, bestätigt bis zum 31. Dezember 2026, danach verdoppelt er sich auf 1,50 $ / 7,50 $. Das beste Verhältnis von Genauigkeit zu Kosten der drei.

Gemini 3.6 Flash — 1,50 $ / 7,50 $ pro Million Tokens. Die stabile, nicht rabattierte Option des Trios.

Gemini 3.5 Flash-Lite — 0,30 $ / 2,50 $ pro Million Tokens. Die Budget-Spur für die Video-Triage mit hohem Volumen, bei der es auf den günstigsten Token ankommt.

Da die Funktion die standardmäßige Gemini-API-Token-Preisgestaltung ohne zusätzliche Gebühren verwendet, schlägt sich die 88‑prozentige Token‑Reduzierung direkt auf diese Preise nieder. Ein Arbeitsaufwand, dessen statische Analyse 100 US‑Dollar kostete, sollte bei agentischer Verarbeitung auf demselben Modell etwa 12 bis 34 US‑Dollar kosten, bevor etwaige Genauigkeitsgewinne berücksichtigt werden – und genau das ist die eigentliche Geschichte für alle, deren Pipeline derzeit Token verbrennt, indem sie lange Videos erneut hochlädt oder Frame‑Stichproben daraus zieht.

Wie schaltet man es ein?

Der Modus wird mit einem einzigen Konfigurations-Flag aktiviert — übergeben Sie die Verarbeitung „agentic“ in der Anfrage — und er funktioniert mit denselben Eingaben und derselben Preisgestaltung wie die Standard-API. Kein separater Endpunkt, keine neue Abrechnungsdimension, kein spezielles Kontingent. Der Python-Pfad verwendet die Interaktions-API des google-genai-SDKs, zum Beispiel mit dem Modell „gemini-3.7-flash“ sowie einem Video und einem Text-Prompt als Eingabe; das Video kann je nach aufgerufener Oberfläche ein direkter Upload, ein Cloud-Storage-URI, eine öffentliche HTTP-URL oder eine YouTube-URL sein.

Zwei praktische Einschränkungen, die Sie kennen sollten, bevor Sie bauen: Videodateien unterliegen den Größenlimits der Plattform (beim Pfad der Enterprise Agent Platform ungefähr 15 MB pro Datei), und die Gemini Enterprise Agent Platform unterstützt die gängigen Containerformate — MP4, MOV, AVI, WebM, WMV, MPEG — die Formatkonvertierung erfolgt also vor dem API-Aufruf, nicht darin.

Wo es jetzt läuft, und wohin es geht

Zum Start ist agentisches Video-Verständnis für Video-Uploads und YouTube-Videos über die Gemini-API in Google AI Studio und über die Gemini Enterprise Agent Platform verfügbar – das ist die Entwickler- und Enterprise-Oberfläche. Zwei Consumer-Rollouts sind angekündigt, aber noch nicht live: die Gemini-App, in der die Funktion bald für alle Nutzer in den Flash- und Flash-Lite-Modellen ausgerollt wird, sowie die „Ask YouTube“-Funktion von YouTube auf der Video-Watch-Seite, die laut Google in den kommenden Monaten kommen wird. Für einen Entwickler, der die Funktion bewertet, ist die API heute der Ort, an dem man sie ehrlich testen kann; die Consumer-Oberflächen sind der Distributions-Play, der den Begriff normalisieren wird.

Es gibt auch ein Ökosystem-Signal, das es wert ist, erwähnt zu werden: Da die Funktion als Standard-API-Modus ausgeliefert wird, können die MCP-Server- und Agent-Framework-Projekte, die das Gemini-Videoverständnis kapseln — das GenV-Framework für Meeting-Analysen, die Video-Research-MCP-Pakete und die Gemini-Video-Skills, die in den letzten Monaten erschienen sind — sie übernehmen, ohne ihre Architektur zu ändern. Es ist das Modus-Upgrade und nicht ein neues SDK, das die Kostensenkung ermöglicht.

Was Sie überprüfen sollten, bevor Sie den Prozentangaben vertrauen.

Jede Zahl in der Ankündigung – die 66 %, die 88 %, die 7 %, die Pareto-Frontier-Aussage – stammt von Google selbst, wurde an Googles eigenem Testdatensatz gemessen und bislang außerhalb des Unternehmens nicht reproduziert. Die Richtung steht außer Frage: Eine agentische Schleife, die nur relevante Segmente lädt, muss ein festes Raster, das alles lädt, zwangsläufig schlagen. Die Größenordnung ist die offene Frage, und sie wird je nach Arbeitslast variieren – ein 2-minütiger Clip mit einer einzelnen Frage wird keine 88 % Token-Ersparnis bringen, weil es nicht viel zu überspringen gibt; ein 3-stündiges Gespräch mit einer gezielten Frage dagegen schon. Der richtige Test ist Ihr eigenes Long-Form-Video, das einmal mit statischer Verarbeitung und einmal mit agentischer Verarbeitung auf demselben Modell ausgeführt wird, wobei echte Token und echte Dollar gezählt werden.

Screenshot of the Artificial Analysis model page for Gemini 3.7 Flash at high reasoning, showing an Intelligence Index of 56 (ranked #20 of 187 models), an output speed of 285 tokens per second in the high-reasoning configuration, and a price of $0.75 per 1M input and $3.75 per 1M output tokens.

Die Wirtschaftlichkeit dieses Tests ist genau der Punkt, an dem sich eine Routing-Schicht bezahlt macht. Gemini 3.6 Flash und Gemini 3.5 Flash-Lite – zwei der drei Modelle, auf die dieses Feature zutrifft – werden auf OrcaRouter zum Listenpreis von Google ohne Aufschlag (0 %) bereitgestellt, sodass eine Preissenkung für Videoanalyse bei uns am selben Tag live ist wie bei Google; Gemini 3.7 Flash, das dritte und neueste Modell, ist über Googles eigene API und mehrere Drittanbieterplattformen verfügbar. Und da agentisches Videoverständnis eine gerade erst ausgelieferte Fähigkeit ist, deren tatsächliche Unterschiede in der Praxis noch unbestätigt sind, ist es der Lehrbuchfall für automatisches Failover: Lenken Sie einen Teil des Videoverkehrs in den agentischen Modus, lassen Sie den Router bei Fehlern, Ratenbegrenzungen oder offensichtlichen Qualitätsrückfällen auf ein bewährtes Modell zurückgreifen, und halten Sie den Basispfad am Laufen, bis der neue Modus sich den Verkehr verdient hat.

Screenshot of the OrcaRouter model page for google/gemini-3.6-flash showing a 1M-token context window, $1.50 per 1M input and $7.50 per 1M output tokens, and Vision/Audio/Video/Tools/Reasoning capability chips.

Die Änderung ist mehr als eine Funktionserweiterung. Video war zwei Jahre lang der unbequeme multimodale Eingabetyp – enorm ausdrucksstark, enorm teuer in der Analyse und praktisch nur mit Sampling-Verlust lesbar. Agentisches Video-Verständnis ist Googles erste ernsthafte Antwort auf alle drei Probleme zugleich, und es landet auf der günstigsten Stufe seiner Modellreihe statt im Flaggschiff. Für Teams, die Video-Workloads wegen der Token-Rechnung bisher gemieden haben, lohnt es sich, die Rechnung heute neu aufzumachen.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert

© 2026 OrcaRouter

Für Anbieter

Du betreibst eine Inferenz-Plattform? Bring deine Modelle auf OrcaRouter.

providers@orcarouter.ai

Community beitreten

Discordsupport@orcarouter.aiXGitHubYouTube