LFM3-1.7B vs. MiniCPM5-2B: Liquids 23-zu-4-Scoreboard im Test

Am 27. Oktober 2026 veröffentlichte Liquid AI eine Benchmark-Tabelle mit 27 Zeilen, in der LFM3-1.7B gegen MiniCPM5-2B antritt. Liquids Modell gewinnt 23 dieser Zeilen. MiniCPM5 gewinnt vier. Die Siegeszahl machte schnell die Runde, und das ist ein Problem, denn eine Siegeszahl ist das am wenigsten Aussagekräftige, was man aus einer Tabelle herausziehen kann, in der ein Anbieter die Benchmarks ausgewählt, den Harness geschrieben und beide Modelle ausgeführt hat. Dies ist ein Test dafür, was diese 23–4 tatsächlich aussagt – und er beginnt mit einem Eingeständnis: Der Vergleich, auf den Liquid still antwortet, wurde einen Tag zuvor in diesem Blog veröffentlicht, und man verzichtete darauf, genau dieses Argument zu bringen. Dieser Beitrag verglich die beiden Basis-Checkpoints und kam zu dem Schluss, dass keiner von beiden brauchbare Evaluierungen hatte. Hier ist die Version mit den post-trainierten Gewichten auf beiden Seiten.

MiniCPM5-2B ist OpenBMBs dichtes Reasoning-Modell mit 2,52 Mrd. Parametern, das Anfang September 2026 unter Apache 2.0 veröffentlicht wurde. LFM3-1.7B ist Liquid AIs Text- und Agentenmodell mit 1,73 Mrd. Parametern, veröffentlicht am 27. Oktober 2026 unter der LFM Open License v1.0. Sie gehören derselben Gewichtsklasse an, konkurrieren um denselben On-Device-Slot und wurden für erkennbar unterschiedliche Aufgaben entwickelt.

Zwei Anbieter, zwei Testumgebungen, eine Tabelle

Die 23–4-Bilanz existiert nur, weil Liquid seinen Wettbewerber erneut getestet hat. Das ist für einen Launch eine legitime und ungewöhnlich rigorose Vorgehensweise – die meisten Anbieter vergleichen sich mit einer öffentlichen Leaderboard-Zahl und lassen das Gerüst dahinter unerwähnt. Doch einen Wettbewerber im eigenen Testaufbau erneut zu testen, führt nicht zu einem neutralen Ergebnis, und verräterisch sind die Zeilen, in denen derselbe Benchmark auf den Vergleichskarten beider Anbieter auftaucht.

Nehmen wir {{1}}BFCL V4{{/1}}. Liquid misst {{2}}MiniCPM5-2B{{/2}} mit 62,65. Die eigene Model-Card von {{3}}OpenBMB{{/3}} nennt 66,6. Nehmen wir {{4}}Humanity's Last Exam{{/4}}: {{5}}Liquid{{/5}} erzielt 8,20 für {{6}}MiniCPM5{{/6}}, {{7}}OpenBMB{{/7}} behauptet 8,9. Diese Abstände sind klein — innerhalb von vier Punkten auf einer 0–100-Skala — und sie legen nahe, dass der Unterschied zwischen den Harnesses bei standardisierten Benchmarks gering ist. Nehmen wir nun {{8}}SWE-bench Verified{{/8}}, wo {{9}}OpenBMB{{/9}} 46,4 für {{10}}MiniCPM5-2B{{/10}} angibt und {{11}}Liquid{{/11}} 43,40 für {{12}}LFM3-1.7B{{/12}}. Stellt man diese beiden Zahlen nebeneinander, gewinnt {{13}}MiniCPM5{{/13}}. Stellt man {{14}}Liquid{{/14}}s eigene {{15}}MiniCPM5{{/15}}-Zeile neben {{16}}Liquid{{/16}}s eigene {{17}}LFM3{{/17}}-Zeile, gewinnt {{18}}LFM3{{/18}}. Derselbe Benchmark, dieselben zwei Modelle, entgegengesetzte Antwort, weil die Zahlen aus unterschiedlichen Harnesses stammen.

Das ist das ganze Problem an einem Beispiel. Keiner der Anbieter hat Harness-Konfiguration, Retry-Policy oder Prompt-Gerüst veröffentlicht. Bis jemand beide Modelle durch einen Harness laufen lässt, den er nicht kontrolliert, ist jede herstellerübergreifende Zeile in diesem Vergleich ein Münzwurf, der sich als Messung ausgibt.

Wo die Abweichung zu groß ist, um Harness-Rauschen zu sein

Einige Zeilen lassen sich nicht wegerklären. Agentische Webnavigation ist am eindeutigsten:

• WebArena-Verified — LFM3-1.7B 38,42 vs. MiniCPM5-2B 9,11 auf dem Harness von Liquid.

• AutomationBench — 41,29 vs. 4,71.

• RULER 128K — 65,56 gegenüber 37,96.

• BFCL V4 — 71,39 vs. 62,65.

Ein Punkteabstand von vier ist Gerüstbau. Ein Punkteabstand von neunundzwanzig auf WebArena-Verified oder siebenunddreißig auf AutomationBench ist es nicht. Das sind Unterschiede darin, ob das Modell überhaupt einen mehrstufigen Plan zusammenhalten kann, und sie decken sich mit dem, was jeder Anbieter über sich selbst sagt: Liquid hat LFM3 um agentisches Mid-Training mit Tool-Call-Traces herum aufgebaut, und OpenBMBs eigene Dokumentation kennzeichnet MiniCPM5 als schwach bei langen mehrstufigen Aufgaben und anfällig für Wiederholungen. Zwei unabhängige Beschreibungen derselben Schwäche, die aus entgegengesetzten Richtungen kommen, sind der stärkste Beleg in diesem gesamten Vergleich.

Die Langkontext-Zeile verdient gesonderte Aufmerksamkeit, weil sie diejenige ist, die man falsch lesen wird. RULER 128K bei 37,96 für MiniCPM5 ist ein Retrieval-Score bei 128K, keine Aussage darüber, dass das Modell bei 128K an seine Grenze stößt – MiniCPM5-2B unterstützt offiziell 131.072 Token. Es bedeutet, dass MiniCPM5 bei dieser Länge weniger von dem findet, wonach man es sucht. LFM3 erreicht bei derselben Länge 65,56. Wenn Ihre Arbeitslast „ein langes Dokument durchsuchen und antworten“ lautet, ist diese Lücke die gesamte Entscheidung.

Die vier Zeilen, in denen MiniCPM5 gewinnt – und warum sie wichtig sind

Liquid's Tabelle verschafft MiniCPM5-2B vier Siege: τ³-bench mit 69,44 gegen 68,01, GPQA Diamond mit 65,15 gegen 63,37, HLE mit 8,20 gegen 7,17 und AA-Omniscience mit 9,13 gegen 7,07. Drei der vier sind Wissens-Benchmarks. Die Abstände betragen ein bis zwei Punkte, was innerhalb des Grundrauschens der meisten Evaluations-Suiten liegt.

Aber das Muster passt zu MiniCPM5s Design. OpenBMB hat es als Reasoning-Modell mit einem expliziten Thinking-Modus trainiert – in einer Kette, die Deep-Thinking-SFT über 400 Milliarden Token und anschließend Reinforcement Learning mit spezialisierten Lehrern durchlief, bevor per On-Policy-Distillation ein einzelner dichter Checkpoint entstand. Das ist ein Rezept, das darauf abzielt, aus gespeichertem Wissen mehr pro Parameter herauszuholen. Das Training von LFM3 zielt auf Tool Calls und die Befolgung von Anweisungen. Dass GPQA Diamond um 1,8 Punkte an MiniCPM5 geht, ist keine Überraschung; es sind die beiden Trainingsphilosophien, die dort zum Vorschein kommen, wo man sie erwarten würde.

Der weitaus interessantere Vergleich ist der, den Liquids Tabelle nicht anstellen kann. MiniCPM5-2B hat einen Artificial Analysis Intelligence Index von 12. LFM3-1.7B hat Stand 28. Oktober 2026 überhaupt keinen Eintrag bei Artificial Analysis – keinen Index, keine unabhängig gemessene Geschwindigkeit, keinen neutralen Latenzwert. Das Modell, das 23 von 27 Zeilen verliert, ist also dasjenige mit einem unabhängigen Datenpunkt, und das Modell, das sie gewinnt, ist dasjenige, das darum bittet, ihm zu vertrauen. Diese Asymmetrie sollte schwerer wiegen als die Zahl der Siege.

Die Spezifikationen, die sich tatsächlich sauber vergleichen lassen

Wo keiner der Anbieter den Benchmark des anderen ausführt, sind die Zahlen langweilig und verlässlich:

Parameter — LFM3-1.7B: 1,73 Mrd. dicht vs. MiniCPM5-2B: 2,52 Mrd. gesamt, 1,98 Mrd. ohne Embedding.

• Schichten — 24 hybride (13 Faltungs-, 5 Sliding-Window-, 6 globale) gegenüber 42 Standard-Transformer-Schichten mit Grouped-Query-Attention bei 16 Query- und 2 KV-Heads.

• Kontext — 256K vs. 131.072.

• KV-Cache bei 128K — 1,6 GB vs. 5,6 GB, nach Liquids Messung beider.

• Speicherbedarf bei 4-Bit — laut Berichten aus der Praxis etwa 1 GB gegenüber etwa 1,1 GB.

• Vokabular — 128K vs. 130.560.

• Lizenz — LFM Open License v1.0, kostenlos unter 10 Mio. USD Umsatz vs. Apache 2.0, keine Schwellenwertgrenze.

Die KV-Cache-Zeile ist diejenige, die über die Hardware entscheidet. Ein Unterschied von 3,5× bei gleicher Kontextlänge ist der Unterschied zwischen einem Long-Context-Agenten, der auf ein Telefon passt, und einem, der nicht passt. Er erklärt auch, warum LFM3 256K bieten kann, wo MiniCPM5 131K bietet: Die Tri-Hybrid-Schichtmischung ist pro Kontext-Token günstiger, und genau darum geht es beim Bau derselben.

Der Lizenzunterschied wiegt für manche Teams schwerer als der Speicherunterschied. Apache 2.0 hat keine Umsatzschwelle, keine kommerzielle Vereinbarung, die ausgehandelt werden müsste, und keine Unklarheiten bei der Weiterverbreitung. Die LFM Open License ist unter 10 Millionen US-Dollar Jahresumsatz kostenlos und erfordert darüber ein Gespräch. Ein Startup unter dieser Grenze bekommt beides umsonst. Ein Unternehmen darüber bekommt eines umsonst und eines nach einem Telefonanruf, und das sind echte Beschaffungskosten, unabhängig davon, welches Modell besser abschneidet.

Die Ökosystem-Unterstützung ist der Bereich, in dem MiniCPM5 weiterhin führend ist.

Beide Modellfamilien boten ab Tag eins breite Runtime-Unterstützung, daher ist diese Lücke enger als noch vor einem Jahr. LFM3 listet vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama und LM Studio auf, mit BF16-, FP8-, NVFP4-, GGUF-, MLX- und ONNX-Builds. MiniCPM5-2B listet dieselben Runtimes plus GPTQ und DSpark auf, ein Draft-Modell für spekulatives Decoding, das mit dem Haupt-Checkpoint kombiniert wird.

Der praktische Unterschied liegt eher in der Reife als in der Verfügbarkeit. MiniCPM5-2B ist seit Anfang September herunterladbar, was sieben Wochen an Fehlerberichten aus der Community, Quantisierungsexperimenten und Framework-Patches bedeutet, die LFM3 nicht hatte. Ein gestern veröffentlichtes Modell wird an seiner GGUF-Konvertierung und seiner Ollama-Paketierung noch Ecken und Kanten haben. Das ist keine Kritik an Liquid; so sieht der erste Tag aus. Wenn Sie das Modell diese Woche produktiv einsetzen müssen, hat es einen gewissen Wert, dass andere die Probleme sieben Wochen lang zuerst getroffen haben.

Wie man sich entscheidet und wo ein Router seinen Platz verdient

Keines der beiden Modelle steht im Katalog von OrcaRouter – beide sind offene Gewichte, die Sie selbst betreiben, und das sagen wir lieber klar, als etwas anderes anzudeuten. Der Router ist an der Grenze entscheidend. Der ehrliche Weg, diese Evaluierung durchzuführen, besteht darin, beide Modelle hinter einem Endpunkt zu platzieren und echten Datenverkehr an sie zu schicken, und der ehrliche Weg, eines der beiden in der Produktion zu betreiben, besteht darin, nicht zuzulassen, dass ein 2B-Modell das Einzige ist, das antworten kann.

Dafür ist automatic failover gedacht. Leite eine Anfrage an LFM3-1.7B weiter, lass sie den Tool-Call oder die Extraktion übernehmen, für die sie trainiert wurde, und falle auf ein gehostetes Modell zurück, wenn sich zeigt, dass die Aufgabe mehr Schritte erfordert, als ein 2B-Modell leisten kann. Da OrcaRouter die Listenpreise der Anbieter mit 0 % Aufschlag weitergibt, kostet der teure Pfad nur das, was der Anbieter tatsächlich berechnet, wenn er genutzt wird – die Einsparung durch das Routing zu einem kleinen lokalen Modell wird nicht vom Router aufgezehrt. Die Routing-DSL ermöglicht es, das als Regel statt als Umschreibung auszudrücken: Spezialist zuerst, Generalist bei Fehlschlag oder bei Erreichen eines Konfidenzschwellenwerts.

Modellfusion ist hier die zu wenig genutzte Option. Wenn zwei 2B-Modelle bei einer Klassifizierung nicht übereinstimmen, ist es oft günstiger, beide antworten zu lassen und die Ergebnisse in Einklang zu bringen, als zu einem 27B-Modell zu eskalieren; und die Uneinigkeitsrate ist selbst ein nützliches Signal dafür, welche Eingaben schwierig sind. Mit einem nicht verifizierten Modell auf einer Seite Ihrer Pipeline ist diese Art von Gegenprüfung günstiger, als einer Anbietertabelle zu vertrauen.

Was würde es klären

In dreißig Tagen sollte jemand LFM3-1.7B und MiniCPM5-2B über ein und dieselbe Harness veröffentlichen, mit der Konfiguration, die zusammen mit den Ergebnissen eingecheckt wird. Wenn LFM3 irgendwo in der Nähe von 38 auf WebArena-Verified und 65 auf RULER 128K bleibt, dann war die 23–4-Bilanz ungefähr richtig – aber aus den falschen Gründen – und die agentische Lücke ist real. Wenn sie in Richtung der Zahlen von MiniCPM5 fällt, dann hat die Launch-Tabelle lediglich Scaffolding gemessen.

Bis dahin ist die vertretbare Position enger als das Marketing beider Anbieter. Wenn Ihre Arbeitslast mehrstufig ist, Tool-Aufrufe umfasst oder aus langen Dokumenten besteht, ist LFM3-1.7B die bessere Wahl, und der Speichervorteil macht es zum einzigen der beiden, das mit Reserve auf beschränkter Hardware läuft. Wenn Ihre Arbeitslast Wissensabruf, einstufiges Schlussfolgern oder eine eindeutige Lizenz und ein Modell mit einer unabhängigen Bewertung erfordert, ist MiniCPM5-2B die sicherere Wahl, und die vier Zeilen, die es gewinnt, weisen genau in diese Richtung. Die 23-zu-4-Bilanz ist nicht so sehr falsch als vielmehr unverdient – und die Modellanzahl in einer Launch-Tabelle ist nicht dasselbe wie ein Ergebnis.