MiniCPM-V 4.7 vs. LFM3-VL-2B: Der bessere Benchmark-Wert ist der falsche Sensor

Liquid AI nahm MiniCPM-V 4.7 1B in seine eigene Vergleichstabelle auf und übertraf es dann. In einer von Liquid durchgeführten Suite aus 62 Benchmarks erreicht LFM3-VL-2B mit aktiviertem Reasoning durchschnittlich 71,4 und ohne 62,1; MiniCPM-V 4.7 1B erreicht durchschnittlich 57,5. Das ist ein Abstand von 13,9 Punkten in der Klasse der kleinen Modelle, und es ist die Zahl, bei der die meisten Vergleichsbeiträge stehen bleiben. Sie ist zugleich die am wenigsten nützliche Zahl für die Entscheidung, weil die beiden Modelle nicht um denselben Platz konkurrieren. Das eine ist ein dichtes Modell mit 1,92 Milliarden Parametern, das als vollständige Antwort konzipiert ist. Das andere ist die günstige Hälfte eines Zwei-Modell-Systems, dessen teure Hälfte eine Mixture-of-Experts mit 35 Milliarden Parametern ist.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Drei Stufen, die vorgeben, zwei Modelle zu sein

LFM3-VL-2B ist ein Artefakt. Es sind 1,92 Milliarden Parameter, bestehend aus einem Sprach-Backbone mit 1,73 Mrd. Parametern, einem hauseigenen Vision-Encoder mit 164 Mio. Parametern und einem Projektor mit 25 Mio. Parametern, mit einem 128K-Token-Kontext, Video mit zwei Bildern pro Sekunde abgetastet und einem einzigen Satz Gewichte, der Erkennung, OCR, Diagramme und Beschreibung übernimmt. Liquid kündigte die LFM3-Familie am 27. Oktober 2026 an; das LFM3-VL-2B-Repository wurde am 19. Oktober online gestellt.

MiniCPM-V 4.7 besteht aus zwei Artefakten mit einem gemeinsamen Vision-Tower. Das 1B ist ein dichtes qwen3_5_text-Backbone mit 24 Schichten, einem Kontext von 262.144 Token und drei Linear-Attention-Schichten auf jede Full-Attention-Schicht. Das 35B-A3B ist ein Sparse-Modell mit 256 Experten, das acht Experten pro Token weiterleitet, denselben Kontext von 262.144 Token beibehält und existiert, weil OpenBMB ein großes Modell wollte, das Experten aus dem Speicher streamen kann, statt sie im Arbeitsspeicher zu halten. Beide stehen unter Apache-2.0. Die Gewichte erschienen am 6. und 7. Oktober 2026, die Modellkarte folgte am 12. Oktober, und ModelBest veröffentlichte am 15. Oktober eine englische Pressemitteilung.

Die ehrliche Formulierung lautet also nicht „2B versus 1B“. Sie lautet „ein Modell, das alles erledigen muss“ gegen „eine Familie, bei der du wählst, wie viel Modell jede Frage verdient“. Wenn deine Pipeline eine Frage pro Bild stellt, ist der Zuschnitt von LFM3-VL-2B einfacher und am unteren Ende stärker. Wenn deine Pipeline zehntausend billige Fragen und eine teure stellt, ist der Zuschnitt von MiniCPM konstruktionsbedingt günstiger.

Was Liquids eigene Tabelle aussagt und was es kostet, sie zu lesen

Die 62-Benchmark-Suite stammt von Liquid, wurde auf vLLM 0.27.1 ausgeführt, auf eine Skala von 0–100 normalisiert, wobei der Reasoning-Modus für jedes Modell aktiviert ist, außer bei den anders gekennzeichneten Zeilen. Dass ein Anbieter einen Konkurrenten benchmarkt, ist normal und lesenswert, aber der Harness gehört dem Anbieter, das Prompt-Set gehört dem Anbieter und die Aggregation gehört dem Anbieter. Betrachten Sie die Zeilen als Behauptungen.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Das Muster ist konsistent: Mit aktiviertem Reasoning ist das dichte 2B-Modell besser beim mehrstufigen visuellen Schlussfolgern und bei der Diagramminterpretation und etwa gleichauf bei einfacher OCR. Mit deaktiviertem Reasoning schrumpft der Abstand auf etwa 4,6 Punkte, was zeigt, dass der Großteil des Vorteils mit Test-Time-Tokens erkauft wird und nicht mit Parametern. Das ist wichtiger für die Latenz als für die Qualität, und die Latenz ist die Achse, die dieser Vergleich üblicherweise ignoriert.

Der unabhängige Test, der die Rangfolge umkehrt

Ende Oktober veröffentlichte WebBrain einen Benchmark mit 100 Browser-Screenshots, der vollständig offline in Q4_K_M GGUF auf zwei RTX 5060 Ti-Karten lief, mit einem festen Satz Screenshots, einem Produktions-Prompt und einer deterministischen Bewertungsrubrik. MiniCPM-V 4.7 1B erzielte 37 strikte Bestehensfälle von 100 und eine durchschnittliche Rubrik-Punktzahl von 68,2 Prozent bei 1,30 Sekunden pro Screenshot. LFM3-VLD-2B – eine Schwestervariante des Liquid-Modells, nicht der exakte LFM3-VL-2B-Checkpoint – erzielte 4 strikte Bestehensfälle und 44,7 Prozent bei 2,20 Sekunden.

Der Vorbehalt ist wichtig und wirkt in beide Richtungen. Unter dem strikten Regex für nummerierte Überschriften erzielte MiniCPM null bestandene Durchläufe, weil es Abschnittsüberschriften als Textlabels statt als Ziffern schrieb. Die Zahl von 37 bestandenen Durchläufen stammt aus einer Neubewertung derselben Ausgaben anhand des Abschnittsnamens. Das ist ein echter Formatierungsfehler, und wenn Ihr nachgelagerter Parser nummerierte Überschriften erwartet, ist er disqualifizierend. Doch die inhaltliche Bewertung liegt nicht knapp daneben: 68,2 gegenüber 44,7, bei 60 Prozent der Latenz, und das bei einer Aufgabe – dem Lesen eines dichten Browser-Viewports –, die viel näher an der Produktion liegt als ein Diagramm-Benchmark.

Dies ist die einzige unabhängige Bewertung, die jedes der beiden Modelle in dieser Stufe hat; sie ist ein Harness auf einem GPU-Paar, und das getestete Liquid-Modell ist die VLD-Variante. Sie ist dennoch aussagekräftiger als das 62-Benchmark-Aggregat, weil sie misst, was man mit einem kleinen Vision-Modell tatsächlich tut: auf einen Bildschirm schauen und eine feste Frage schnell beantworten.

Die Lizenz ist der stille Entscheider

MiniCPM-V 4.7 wird unter Apache-2.0 ohne Umsatzbedingung veröffentlicht. LFM3-VL-2B wird unter der LFM Open License v1.0 veröffentlicht, die Liquid als kostenlos für die kommerzielle Nutzung unter 10 Millionen US-Dollar Jahresumsatz beschreibt. Oberhalb dieser Grenze ändern sich die Bedingungen, und Sie müssen sie lesen.

Bei einem Hobbyprojekt ist der Unterschied theoretischer Natur. Bei einem Produkt ist es das Erste, wonach ein Anwalt fragen wird, und es ist die eine Zeile in jeder Vergleichstabelle, die kein Benchmark außer Kraft setzen kann. Ein Modell, das beim Diagrammverständnis vier Punkte besser ist und an einen Umsatzschwellenwert gekoppelt ist, ist nicht automatisch die bessere Abhängigkeit. Hier leistet die Entscheidung für Apache-2.0 bei beiden Größen von MiniCPM-V 4.7 mehr als die Benchmark-Zahlen: Sie macht ein Gespräch überflüssig.

Kadenz: die Zahl, die keine der beiden Tabellen meldet

Der esp32-eye Katzenmonitor ist das klarste öffentliche Beispiel dafür, wie das MiniCPM 1B tatsächlich eingesetzt wird. Es läuft als Q4_K_M GGUF hinter llama-server auf einem MacBook und wird höchstens alle 1,5 Sekunden aufgerufen, gesteuert durch eine Hintergrunddifferenzprüfung, sodass die meisten Frames es nie erreichen. Derselbe Build stellte fest, dass das 1B unzuverlässig darin war, vier ähnliche Katzen auseinanderzuhalten, und verlagerte die Identitätsbestimmung auf das 35B, statt eine Vermutung auszuliefern.

Das ist das Deployment-Profil, das die Benchmark-Tabellen nicht erfassen. Ein Modell, das Sie alle 1,5 Sekunden aufrufen, muss klein genug sein, um resident zu bleiben, schnell genug, dass die Antwort vor dem nächsten Frame eintrifft, und permissiv genug, dass Sie es ausliefern können. Das 1B erfüllt alle drei. LFM3-VL-2B belegt 1,25 GB in Q4 und braucht im unabhängigen Test 2,2 Sekunden pro Screenshot – gut für eine Pipeline pro Bild und zu langsam für ein 1,5-Sekunden-Gate auf derselben Hardware.

Wenn du einen gehosteten Endpunkt statt einer lokalen Datei möchtest, ist heute keines der beiden Modelle im Katalog von OrcaRouter, daher lautet die ehrliche Antwort, dass das 1B-Modell dort läuft, wo du es platzierst, und das 35B-Modell über OpenBMBs eigene API läuft. Was ein Router jedoch bietet, ist die umgebende Architektur: ein Schlüssel für mehr als 200 Modelle, 0 % Aufschlag auf die Listenpreise der Anbieter, und automatisches Failover, wodurch du eine Pipeline mit zwei Modellen am Laufen hältst, wenn der teure Teil ein einzelner externer Endpunkt ist. Es macht ein nicht gehostetes Modell nicht gehostet, und das sollte man klar sagen.

Welchen soll man wählen?

Wenn du eine Bildpipeline mit einem einzigen Modell baust und den stärksten Generalisten der 2B-Klasse in den Benchmarks willst, die beide Labore veröffentlichen, ist LFM3-VL-2B die vertretbare Wahl – mit dem schriftlich festgehaltenen Lizenzvorbehalt. Wenn du einen Agenten baust, der Bildschirme in einer Schleife betrachtet, sieht der unabhängige Browsertest das MiniCPM 1B sowohl bei der Punktzahl als auch bei der Latenz vorn, und seine Formatierungsdisziplin ist das, was du in deinem Parser korrigieren solltest, nicht im Modell.

Wenn du ein Modell brauchst, das ein Dokument mit 262.144 Token lesen, ein Video ansehen und sich auf MMMU behaupten kann, ist keines der kleinen Modelle die Antwort: Das ist die 35B-A3B-Klasse, für die OpenBMB 80,2 auf MMMU, 91,2 auf OCRBench und 68,9 auf LongVideoBench meldet – alles Herstellerangaben, nichts davon unabhängig reproduziert. Die eigentliche Entscheidung ist nicht, welches 2B-Modell gewinnt. Sie lautet, ob es sich deine Pipeline leisten kann, eine einfache Frage günstig und eine schwierige Frage selten zu stellen – und wenn ja, ist das Zwei-Modell-Design günstiger als jedes einzelne Modell, das versucht, in beidem gut zu sein.

Eine letzte Kalibrierung. Die 13,9-Punkte-Differenz, die Liquid veröffentlicht, ist auf Liquids Testsuite real, und die 23,5-Punkte-Differenz, die WebBrain veröffentlicht, ist auf WebBrains Testsuite real, und sie weisen in entgegengesetzte Richtungen, weil sie unterschiedliche Aufgaben messen. Wer nur die eine ohne die andere zitiert, verkauft Ihnen eine Schlussfolgerung. Die nützliche Frage ist nicht, welches Modell besser ist; sie lautet, wie oft am Tag Sie fragen müssen und wie viel Sie bereit sind, für die Antwort zu zahlen.