LFM3-1.7B vs. Gemma 4 12B: Wenn das siebenmal kleinere Modell einen Coding-Benchmark gewinnt

LFM3-1.7B ist ein Textmodell mit 1,73 Milliarden Parametern, das Liquid AI am 26. Oktober 2026 auf Hugging Face veröffentlichte und am darauffolgenden Tag im Rahmen der Einführung seiner LFM3-Familie ankündigte. Gemma 4 12B ist ein dichtes Modell mit 11,95 Milliarden Parametern, das Google DeepMind am 3. Juni 2026 veröffentlichte, und es liest Bilder und Audio ebenso wie Text. Bei dem einzigen Coding-Benchmark, den beide Anbieter veröffentlichen – LiveCodeBench v6 –, erzielt das kleinere Modell 73,46 und das größere 72,0. Lesen Sie das zweimal, denn es ist der ganze Grund, warum diese Seite existiert, und zugleich die am leichtesten falsch zu lesende Zahl im Internet. Routing schlägt keine Marge auf den Listenpreis eines Anbieters auf. 0 % Aufschlag Sehen Sie sich die durchgereichten Preise auf unserer Preisseite an.

Beide Zahlen sind Herstellerangaben. Keine von beiden wurde von einem unabhängigen Evaluator reproduziert. Sie wurden von unterschiedlichen Teams, auf unterschiedlichen Harnesses und Monate voneinander entfernt erzeugt, und Liquid hat keine Methodiknotiz veröffentlicht, die erklärt, wie sein LiveCodeBench-Lauf konfiguriert wurde. Die ehrliche Version des obigen Satzes lautet also nicht „ein 1,7B-Modell schlägt ein 12B-Modell im Code.“ Sie lautet: Zwei Hersteller melden nahezu identische Werte auf einem Benchmark, dessen Namen sie teilen, und die Neun-Punkte-Lücke bei GPQA Diamond in die andere Richtung legt nahe, dass die beiden Modelle überhaupt nicht annähernd gleichwertig sind.

Was wirklich vergleichbar ist und was nicht

Die meisten „X vs. Y“-Seiten stellen zwei Anbietertabellen nebeneinander und nennen das einen Vergleich. Das funktioniert nur, wenn sich die Tabellen überschneiden. Zwischen Liquids LFM3-Launch-Post und Googles Gemma-4-Modellkarte tauchen genau zwei Benchmark-Namen auf beiden Seiten mit kompatiblen Definitionen auf: LiveCodeBench v6 und GPQA Diamond. Alles andere wird von einem Anbieter berichtet und nicht vom anderen, und eine leere Zelle ist keine Null.

Auf diesen beiden gemeinsamen Achsen ist das Ergebnis eine klare Aufteilung. LFM3-1.7B gewinnt LiveCodeBench v6 mit 73,46 gegen 72,0. Gemma 4 12B gewinnt GPQA Diamond mit 78,8 gegen 63,37 – ein Vorsprung von 15,4 Punkten, der bei einer Auswertung mit einigen hundert Fragen kein Rauschen ist.

Dieses Muster sollte man benennen, statt es wegzumitteln. LiveCodeBench misst, wie ein Modell Aufgaben aus dem Wettbewerbsprogrammieren löst – eine enge, stark musterbasierte Fähigkeit, in der ein kleines Modell, das mit den richtigen Daten trainiert wurde, gut werden kann. GPQA Diamond misst wissenschaftliches Denken auf Graduiertenniveau, das von Wissensbreite abhängt – genau das, was man mit Parameteranzahl erkauft. Ein 1,7B-Modell kann beim ersten Benchmark konkurrenzfähig sein und wird beim zweiten verlieren, und das ist ein stimmiges Ergebnis statt eines Widerspruchs.

Der Anbieter unterbietet seinen eigenen Bestwert.

Hier ist der Teil, der ändern sollte, wie du die 73.46 liest. Scrolle ans Ende der Modellkarte von LFM3-1.7B, und Liquid schreibt dort in einfachen Worten, dass das Modell für lokale Agenten, Tool-Calling und strukturierte Ausgaben konzipiert ist und dass es aufgrund seiner geringen Größe nicht für agentisches Coding oder komplexes mehrstufiges Reasoning empfohlen wird.

Das ist der Anbieter, nicht ein Konkurrent, der Ihnen die Obergrenze nennt. Das steht in einem unangenehmen Spannungsverhältnis zu einem LiveCodeBench-Ergebnis, das einen 11.95B-Generalisten knapp übertrifft, und die Erklärung dafür ist, dass diese unterschiedliche Dinge messen. Ein isoliertes Wettbewerbsprogrammierungsproblem zu lösen ist nicht dieselbe Aufgabe, wie ein Repository im Kontext zu halten und zwanzig koordinierte Änderungen vorzunehmen. Ein Modell kann beim Ersten stark und für das Zweite ausdrücklich ungeeignet sein, und Liquid sagt das, statt den Benchmark anderes implizieren zu lassen.

Nimm den Anbieter beim Wort. Wenn deine Arbeitslast agentisches Coding ist, sollte dieser Vergleich nicht mit LFM3-1.7B enden. Wenn deine Arbeitslast Tool-Calling, strukturierte Extraktion, Klassifikation oder ein lokaler Assistent auf einem Gerät ist, das dir gehört, gilt die Warnung auf der Karte nicht für dich, und der 1-GB-Fußabdruck wird zum ganzen Argument.

Wobei die 12B schlicht eine andere Klasse von Dingen ist

Gemma 4 12B ist auf eine Weise multimodal, die sich LFM3-1.7B nicht durch Fine-Tuning hinzufügen lässt. In der Model Card von Google heißt es, dass Bild- und Audioeingaben direkt in denselben Raum wie Text-Token projiziert werden, ohne separate Encoder – Audio nativ beim 12B und seinen kleineren Geschwistern. LFM3-1.7B ist Text rein, Text raus. Liquids Vision-Fähigkeit steckt in LFM3-VL-2B, einem separaten Checkpoint mit separatem Encoder, und ein Textmodell erwirbt keinen solchen, nur weil es feinabgestimmt wird.

• Parameter — 1,73 Mrd. dichte Parameter für LFM3-1.7B; 11,95 Mrd. dichte Parameter für Gemma 4 12B. Das Verhältnis beträgt 6,9 zu 1.

• Modalität — nur Text gegenüber Text-, Bild- und Audioeingabe.

• Kontext — 262.144 Token bei beiden. Dies ist die eine Zeile, in der das kleine Modell nichts einbüßt, und es ist eine echte Errungenschaft der Tri-Hybrid-Architektur und kein Zufall.

• Speicherbedarf — etwa 1 GB bei 4 Bit gegenüber rund 7 GB. Auf einem Smartphone entscheidet dieser Unterschied darüber, ob ausgeliefert wird oder nicht.

• Sprachen — 16 benannte Sprachen gegenüber 140+ vortrainierten mit starker Out-of-the-box-Unterstützung. Bei einem Produkt mit lateinischer Schrift fällt die Lücke selten ins Gewicht; bei einem regionalen Deployment ist sie entscheidend.

• Lizenz — die LFM Open License v1.0 ist für die kommerzielle Nutzung bei einem Jahresumsatz unter 10 Millionen US-Dollar kostenlos und erfordert darüber hinaus eine kostenpflichtige Lizenz. Gemma 4 12B steht unter Apache 2.0 ohne Umsatzschwelle.

Die beiden Rechnungen lauten nicht auf dieselbe Währung.

Gemma 4 12B hat einen Marktpreis, weil Dritte es bereitstellen. Artificial Analysis meldet einen gewichteten Median von 0,10 US-Dollar pro Million Input-Tokens und 0,30 US-Dollar pro Million Output-Tokens über Plattformen hinweg, die die offenen Gewichte hosten – einen Median über Anbieter hinweg, keinen Listenpreis, und einen, der sich mit der Angebotslage ändert. Bei diesem Preis kommen die meisten Teams nie auf die Idee, ein 12B-Modell selbst zu betreiben.

{{1}}LFM3-1.7B{{/1}} hat keinen solchen Preis. Die Modellkarte auf Hugging Face gibt klar an, dass das Modell von keinem Inferenzanbieter bereitgestellt wird, und das deckt sich mit dem, was wir auf unserer Seite sehen: {{2}}OrcaRouter{{/2}} routet LFM3-1.7B derzeit nicht. Wenn Sie es aufrufen möchten, laden Sie 3,46 GB BF16-Gewichte oder einen etwa 1 GB großen 4-Bit-Build herunter und betreiben vLLM, SGLang, llama.cpp, MLX oder ONNX selbst. Die eigene API von Liquid wird es bereitstellen, und mehrere Drittanbieter-Plattformen ebenfalls.

Der Kostenvergleich ist also nicht Tokens gegen Tokens. Er ist eine Fine-Tuning- und Serving-Rechnung gegen eine Rechnung pro Aufruf. Bei geringem Volumen gewinnt die API ohne Frage; bei dauerhaftem Volumen auf Hardware, die Sie bereits besitzen, ist ein 1-GB-Modell, das den Rest der GPU frei lässt, eine völlig andere wirtschaftliche Form. Diese Asymmetrie – nicht die Vier-Punkte-Lücke bei LiveCodeBench – ist der eigentliche Grund, das kleine Modell in Betracht zu ziehen.

Wofür jedes einzelne tatsächlich da ist

Wählen Sie LFM3-1.7B, wenn das Deployment-Ziel die Einschränkung ist: ein Telefon, ein Laptop, eine einzelne kleine GPU, die auch andere Arbeit erledigen muss. Der 256K-Kontext ist bei dieser Größe wirklich ungewöhnlich, das Vokabular für 16 Sprachen deckt die meisten regionalen Produkte ab, und die Unterstützung für sechs Inferenzwege bedeutet, dass Sie nicht auf eine einzige Laufzeitumgebung setzen. Akzeptieren Sie, dass Sie ein Tool-Calling- und Extraktionsmodell kaufen, kein Reasoning-Modell, und planen Sie die Retrieval-Strategie um die Wissenslücke herum, auf die der Anbieter selbst hinweist.

Wählen Sie Gemma 4 12B, wenn die Aufgabe Breite erfordert, wenn es sich bei der Eingabe um einen Screenshot oder eine Aufnahme handelt oder wenn Apache 2.0 für einen Beschaffungsprozess eine Rolle spielt. Es erzielt 15 Punkte mehr beim wissenschaftlichen Schlussfolgern auf Graduiertenniveau, liest Bilder nativ und ist ab dem ersten Tag zu einem veröffentlichten Medianpreis verfügbar. Der Preis dafür ist der Arbeitsspeicher: 7 GB bei 4 Bit bedeuten einen Laptop oder eine bescheidene GPU, nicht ein Smartphone.

Wählen Sie beides, wenn Sie einen schmalen Pfad mit hohem Volumen und einen breiten Pfad mit niedrigem Volumen haben. Leiten Sie den breiten Pfad an einen gehosteten Generalisten weiter und behalten Sie das kleine Modell für die schmalen, latenzkritischen Aufrufe auf dem Gerät. OrcaRouter ist für die erste Hälfte dieser Aufteilung gebaut – ein Schlüssel für mehr als 200 Modelle, Listenpreise der Anbieter werden mit 0 % Aufschlag weitergegeben, sodass eine Preisänderung noch am selben Tag wirksam wird, und automatisches Failover, wenn ein Anbieter schlechter wird. Es hilft Ihnen nicht, LFM3-1.7B zu hosten, denn wir bieten dieses Modell nicht an, und es wäre unredlich, etwas anderes anzudeuten.

Was würde es klären

Eine unabhängige Evaluierung von LFM3-1.7B auf einer Testumgebung, die es nicht selbst gewählt hat, würde mehr bewirken als diese gesamte Seite. Liquids Launch-Tabelle ist detailliert und in sich konsistent, und dieser Blog behandelt sie als vom Anbieter gemeldet statt als verifiziert, was sie auch ist. Konkret lohnt es sich, auf einen LiveCodeBench- oder SWE-bench-Lauf eines Drittanbieters zu achten, der die 73,46 reproduziert, auf ein Artificial-Analysis-Profil, das beide Modelle auf eine Skala bringen würde, und auf jeden Bericht darüber, dass das Modell eine echte Repository-Aufgabe bewältigt – genau der Anwendungsfall, vor dem die Karte warnt.

Bis dahin ist die vertretbare Lesart enger als die Schlagzeile. Ein 1,73B-Modell mit 256K-Kontext, 1 GB Speicherbedarf und einem starken Tool-Calling-Profil hat einen 12B-Generalisten bei einem einzelnen, isolierten Coding-Benchmark eingeholt und liegt beim Wissen deutlich dahinter zurück. Das ist keine Sensation. Es sind zwei Modelle für unterschiedliche Aufgaben, und die nützliche Frage ist, welche Aufgabe man hat.