ARTEMIS vs. Gemma 4 12B: Ein Harness und ein Gehirn sind nicht derselbe Kauf

Googles ARTEMIS und Gemma 4 12B konkurrieren nicht miteinander, und der schnellste Weg, eine Woche zu verschwenden, ist, sie in eine Vergleichstabelle zu setzen und einen Sieger zu küren. ARTEMIS, im August 2026 von Google unter Apache 2.0 als Open Source veröffentlicht, ist ein Android-Automatisierungs-Harness: Es nimmt einen Satz entgegen, steuert ein echtes Telefon über ADB und berichtet, was passiert ist. Gemma 4 12B, am 3. Juni 2026 von Google DeepMind veröffentlicht, ist ein dichtes multimodales Open-Weights-Modell mit 12 Milliarden Parametern – ein Gehirn, das man auf einem Laptop ausführen kann, kein System, das einen Bildschirm antippen kann. Eines von beiden kann weder sehen noch entscheiden noch handeln, ohne dass die jeweils andere Art von Sache angebunden ist; das andere kann überhaupt kein Gerät halten. Aber der Vergleich lohnt sich, denn die dahinterstehende Frage ist die, die sich derzeit jedes Mobile-Team stellt: Kann ein kleines offenes Modell, das man voll und ganz besitzt, Android-Automatisierung leisten, oder braucht man ein gehostetes Frontier-Modell hinter einem Harness wie ARTEMIS? Diese Frage hat eine echte Antwort, und sie ist nicht die, die der Launch-Beitrag des jeweiligen Anbieters nahelegt.

Zuerst der Kategorienfehler, schlicht gesagt.

ARTEMIS enthält kein Modell. Auf seinem eigenen Badge steht „Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL“, und die Datei, die entscheidet, welches davon verwendet wird, ist code>config/artemis.jsonc/code>. Es ist eine Kontrollschleife: ein Locator, der Barrierefreiheit an erste Stelle setzt, eine Sicherheitsprüfung, die Pop-ups beseitigt, bevor dein Tippen ankommt, ein Sitzungsjournal, das alte Screenshots zu visuellen Zusammenfassungen komprimiert, und zwei Ausführungsprofile — Flash mit etwa 3–5 Sekunden pro Schritt, Pro mit etwa 15–40 Sekunden pro Schritt mit einem Planner, einem Operator und einem schreibgeschützten Checker. Alles, was es über die Welt weiß, erreicht es über ein Vision-Language-Modell, das es nicht selbst geschrieben hat.

Gemma 4 12B ist die entgegengesetzte Art von Objekt. Es ist ein Checkpoint. Es hat keine Geräteverbindung, kein ADB, keinen Bedienungshilfe-Dienst und keine Vorstellung davon, dass ein Tippen etwas ist, das ausgeführt werden kann. Gib ihm einen Screenshot und frag, was als Nächstes zu tun ist, und es wird dir antworten – möglicherweise sogar gut –, aber das Antworten ist der gesamte Umfang seiner Handlungsfähigkeit. Alles zwischen „das Modell sagte, tippe bei (540, 1180)“ und „das Telefon tippte bei (540, 1180)“ ist ARTEMIS’ Aufgabe, und es ist der Großteil der Arbeit.

Die ehrliche Einordnung dieses Duells ist also nicht ARTEMIS gegen Gemma. Sie lautet: Was bringt Ihnen ein offenes 12B-Modell als Reasoning-Schicht eines Android-Agenten, und wann müssen Sie für etwas Größeres bezahlen?

Was Gemma 4 12B wirklich bringt

Für ein Modell mittlerer Größe ist es ungewöhnlich gut spezifiziert, und drei seiner Eigenschaften sind für alles, was mobil ist, von Bedeutung.

• Es ist auf der Eingabeschicht wirklich multimodal. Text, Bild, Audio und Video gehen hinein; Text kommt heraus. Es ist das erste mittelgroße Gemma ohne separate multimodale Encoder und das erste in der Familie, das Audio nativ verarbeiten kann – was keine UI-Automatisierungsfunktion ist, aber eine echte, wenn Ihre Testszenarien Sprachnotizen, sprechende Benachrichtigungen oder Barrierefreiheitspfade, die auf Audio-Hinweisen aufbauen, umfassen.

• Es ist ein 12B-Modell, das man in der Hand halten kann. Artificial Analysis listet es mit insgesamt 12B Parametern unter Apache 2.0 auf – keine Umsatzhürde, keine Forschungsklausel, eine Lizenz, auf der man ein Produkt bauen kann, ohne jemanden zu fragen – mit einem Kontextfenster von 256K, aktiviertem Reasoning und einer gemessenen Ausgabegeschwindigkeit von 109,2 Token pro Sekunde. Berichte aus der Community geben die Gewichte mit ungefähr 13,4 GB bei SFP8 und etwa 6,7 GB bei Q4_0 an, was ein Laptop mit 16 GB Arbeitsspeicher ist.

• Es ist günstig, aber nicht das günstigste in seiner Klasse. Artificial Analysis listet es mit 0,10 $ pro Million Eingabe-Tokens und 0,30 $ pro Million Ausgabe-Tokens auf – und merkt im selben Panel an, dass dies für ein Open-Weights-Modell ähnlicher Größe eher teuer ist, wo der Median bei 0,05 $ Eingabe und 0,15 $ Ausgabe liegt. Cache-Lesevorgänge liegen bei etwa 0,03 $.

Das Benchmark-Bild ist das übliche Durcheinander im mittleren Segment und es lohnt sich, es sorgfältig zu formulieren, weil die Zahlen auf den Tracker-Websites einander widersprechen. Artificial Analysis bewertet die Reasoning-Konfiguration mit einem Intelligence Index von 14 und rangiert sie damit auf Platz 21 von 142 Open-Weights-Modellen ihrer Klasse – eine respektable Mittelfeldposition und weit entfernt von der Frontier. Google selbst positioniert das 12B-Modell so, dass es nahezu an das größere Gemma 4 26B-A4B heranreicht und die Gemma 3 27B der vorherigen Generation bei Reasoning-, Wissenschafts- und Dokumentaufgaben übertrifft. Drittanbieter-Aggregatoren verorten es bei ungefähr 72 % auf LiveCodeBench v6 und 77,2 % auf MMLU-Pro, wobei GPQA Diamond je nach Tracker und je nach gelesener Konfiguration zwischen 66 % und 79 % liegt. Das sind respektable Werte für ein 12B-Modell. Es handelt sich zugleich um ungeprüfte, selbst gemeldete Aggregate, und wenn vier Websites um dreizehn Punkte voneinander abweichen, sollte man sich eher an der Spanne als am Einzelwert orientieren.

Was ARTEMIS mitbringt, in einem Absatz, weil es hier nicht das Thema ist

ARTEMIS bringt alles mit, was dem Modell fehlt: einen Dynamic-First-Locator, der Indizes für Barrierefreiheits-Elemente nutzt, wenn solche vorhanden sind, und auf Vision und Koordinaten zurückgreift, wenn nicht – das heißt, kein XPath, das gepflegt werden muss, und keine IDs, die auf einer Compose- oder Flutter-Oberfläche veralten. Es bringt ein Safety Net, das das System-Popup abfängt, auf dem dein Tap gerade landen wollte, Checkpoint-Verifizierung mit vier Stufen von code>off/code> bis code>strict/code>, automatische Crash-Stacks, Keyframe-Screenshots und Diagnoseberichte, eine Web-Konsole, ein Python-SDK für pytest und CI und – der Grund, warum es sich so schnell verbreitet hat – einen nativen MCP-Server, der das Ganze für Antigravity, Claude Code, Codex und jeden anderen MCP-fähigen Assistenten als fünf Tools bereitstellt. Die angegebene Abschlussrate von über 99 % beim AndroidWorld-Benchmark von Google Research bedeutet 99,1 % im öffentlichen Leaderboard mit Stand vom 11. September 2026, gegenüber 80 % menschlicher Leistung. Diese Zahl ist selbst gemeldet, und das Leaderboard überprüft keine Einsendungen, also behandle sie als starke Herstellerangabe und nicht als Audit.

Die einzige Stelle, an der sich die beiden wirklich überschneiden

Es gibt eine echte Architektur, in der ein kleines Gemma die ganze Arbeit erledigt, und es lohnt sich, sie anzusehen, weil sie zeigt, wofür das Cloud-Modell tatsächlich bezahlt. Ein Open-Source-Android-Agent-Framework namens Orion läuft vollständig auf dem Gerät: MediaProjection erfasst den Bildschirm, ein quantisiertes Gemma-4-E4B-it, das auf der Qualcomm Hexagon NPU über LiteRT-LM läuft, wählt die nächste Aktion aus, und der Android Accessibility Service sendet die Taps. Keine Cloud-API, keine Abrechnung pro Token, und der Bildschirm verlässt nie das Handset. Es ist auf einem Galaxy S25 Ultra validiert und laut eigener Beschreibung nur auf Hardware mit einer Hexagon NPU sinnvoll — das Modell benötigt etwa 3 GB Speicher, und das Framework zielt auf QNN HTP v79 auf arm64 ab.

Das ist die Gestalt eines heute funktionierenden Android-Agenten mit Kleinmodell, und beachten Sie, was es kostet, dahin zu kommen. Das Modell ist quantisiert und auf die NPU gemappt. Der Aktionsraum besteht aus Pixeln, weil ein Nur-Screenshot-Modell „Elementindex 12“ nicht interpretieren kann. Das gesamte Design ist ein vertikaler Stack – Modell, Runtime, Silizium, Framework –, weshalb es ein Framework und kein Drop-in für Ihre Testsuite ist. Gemma 4 12B hat ungefähr die dreifache Parameteranzahl des E4B in diesem Stack und wird nicht in einem auf dem Telefon lauffähigen Format ausgeliefert; ein 12B-Modell mit Vier-Bit-Quantisierung ist eine Workstation oder ein bereitgestellter Endpunkt – kein auf einer NPU residentes Modell.

Wo jedes tatsächlich gewinnt

• Kosten im großen Maßstab — ein selbst gehostetes Gemma 4 12B hat überhaupt keinen Preis pro Token, im Vergleich zu einem Vision-Aufruf pro Schritt für jeden Schritt eines ARTEMIS-Laufs. Bei einer 500-Test-Regressionssuite, die jede Nacht läuft, summiert sich dieser Unterschied schneller als jede Benchmark-Differenz.

• Datenschutz — Gemma 4 12B auf Ihrer eigenen Hardware sendet niemals einen Screenshot irgendwohin; der Barrierefreiheits-Helfer von ARTEMIS läuft ausdrücklich auf dem Gerät und sendet nichts, doch der Modellaufruf, den er mit jedem Screenshot ausführt, geht an den Anbieter, den Sie konfiguriert haben.

• Zuverlässigkeit von Aufgaben in einer echten App — ARTEMIS, mit großem Abstand, weil es ein Harness mit Sicherheitsnetz, Checkpoint-Verifizierung und Wiederherstellung ist. Nichts an einem besseren Modell ersetzt das.

• Audio und lange Dokumente — Gemma 4 12B, mit nativem Audioeingang auf dem technischen Datenblatt und einem 256K-Token-Kontextfenster. ARTEMIS hat zu beidem keine Meinung.

• Zeit bis zum ersten bestandenen Test — ARTEMIS, mit enormem Abstand. Klonen, code>./start.sh/code>, ein Gerät mit USB-Debugging verbinden und warten, bis die erste Aufgabe den Accessibility-Helfer installiert. Das Äquivalent mit einem reinen Checkpoint zu bauen, ist ein mehrere Monate dauerndes Projekt, und das Orion-Beispiel oben zeigt, wie dieses Projekt aussieht, wenn es fertig ist.

• Freiheit, die Reasoning-Schicht zu verändern — Gemma 4 12B, also Apache-2.0-Gewichte, die Sie auf Ihr eigenes UI-Vokabular fine-tunen können. ARTEMIS ist Apache-2.0-Code, doch das Reasoning lebt dort, wo Ihr Modell lebt.

Die Versionen dieser Paarung, die heute tatsächlich verfügbar sind

Sei dir im Klaren darüber, was du diese Woche deployen kannst. Die getestete Backend-Liste von ARTEMIS umfasst Gemini, Claude, GPT-4o und Qwen-VL – Gemma 4 12B taucht darin nicht auf, und es gibt keine veröffentlichte Evaluierung, bei der Gemma 4 12B eine ARTEMIS-Sitzung steuert. Die Konfigurationsdatei erwartet einen Modell-Endpunkt, die Kombination ist also plausibel, aber nicht bewiesen; und wenn du es ausprobierst, leistest du eigenständige Arbeit, statt einer Dokumentation zu folgen. Um es klar zu sagen: Die Roadmap von ARTEMIS enthält den Punkt „on-device lightweight VLMs“, und das Modell, das ihn ausfüllen wird, wird kein 12B sein.

Gemma 4 12B ist ebenfalls nicht in unserem Katalog — wir routen die anderen Größen von Gemma 4, Gemma 4 26B-A4B und Gemma 4 31B, und nicht das 12B, wenn das also der Checkpoint ist, den Sie wollen, beziehen Sie ihn aus der eigenen Distribution des Anbieters und von den üblichen Drittanbieter-Hosts. Der Sinn eines gerouteten Katalogs liegt in der anderen Hälfte dieses Problems: Wenn Ihr Plan ARTEMIS auf einem gehosteten Vision-Modell ist, dann ist dieses Modell ein Posten, der mit jedem Schritt jedes Laufs skaliert, und der nützliche Hebel ist nicht der Listenpreis, sondern der Cache-Preis. Ein Pro-Lauf liest bei jedem Schritt einen wachsenden Kontext erneut, daher verändert ein Modell mit günstigem Cache-Lesen die Rechnung weitaus stärker als ein Modell mit günstigem frischem Input. Das ist auch der Grund, warum Provider-Failover in die Konfiguration gehört und nicht in Ihr Incident-Log — eine lange Android-Sitzung hält ihren Kontext an einem Endpunkt, und ein Provider-Aussetzer bei Schritt 74 kostet Sie den Lauf.

Was ist dein nächster Zug

Wenn Sie eine mobile App und eine Regressionssuite haben, brauchen Sie ARTEMIS, und Gemma 4 12B ist kein Ersatz für irgendeinen Teil davon – es ist bestenfalls die Engine, die Sie später austauschen könnten, undokumentiert, in Ihrer eigenen Zeit. Wenn Sie ein Produkt entwickeln, das auf einem Mobiltelefon ohne Netzwerk und ohne Kosten pro Aufruf laufen muss, brauchen Sie ein kleines Modell, und Gemma 4 12B ist wahrscheinlich zu groß für den Formfaktor, den Sie tatsächlich haben; schauen Sie sich an, was Orion mit einer Gemma der 4B-Klasse auf einer NPU gemacht hat, bevor Sie annehmen, dass ein 12B-Modell passt.

Die beiden Entscheidungen kollidieren nur an einer Stelle, und es ist eine Kostenfrage und keine Frage der Fähigkeiten: Wie viele Vision-Aufrufe pro Tag sind Sie bereit zu kaufen? Beantworten Sie das ehrlich – zählen Sie Ihre Tests, zählen Sie Ihre Schritte, zählen Sie Ihre nächtlichen Läufe – und die Wahl zwischen einem Harness auf einem gehosteten Modell und einem selbst gehosteten Stack ergibt sich von selbst.

Wofür ein gerouteter Katalog gut ist, ist die andere Hälfte dieses Problems: wenn dein Plan ARTEMIS auf einem gehosteten Vision-Modell ist, ist dieses Modell ein Einzelposten, der mit jedem Schritt jedes Runs skaliert