MiniCPM-V 4.7 vs. Gemma 4 12B: Der eine liefert Benchmarks, der andere ein Bild davon

Öffne die Modellkarte von MiniCPM-V 4.7 und scrolle zum Evaluationsabschnitt. Du findest drei Bilder: ein Frontier-Diagramm zu Leistung gegenüber Inferenzzeit, einen Gesamtvergleich für Vision-Language und einen Gesamtvergleich für Sprache. Eine Tabelle findest du nicht. Öffne nun die Karte von Gemma 4 12B und scrolle an dieselbe Stelle. Du findest MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision und eine Fehlerrate beim Dokumentenparsen – jeweils mit einer Zahl, die du in eine Tabellenkalkulation kopieren kannst. Beide Modelle sind Open-Weight, beide sind Apache 2.0, beide sind als multimodale Modelle positioniert, die auf Hardware laufen, die dir gehört – und nur eines von beiden lässt dich seine Arbeit überprüfen. Die dokumentierten KI-Fehler und Agenten-Vorfälle hinter Releases wie diesem sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, Schweregrad, Konfidenznote und Widerspruchs-Flag trägt.

Diese Asymmetrie ist der eigentliche Vergleich. MiniCPM-V 4.7, veröffentlicht von OpenBMB am 12. Oktober 2026, und Gemma 4 12B, veröffentlicht von Google DeepMind am 3. Juni 2026, sind nicht dieselbe Art von Objekt, und der Unterschied ist nicht die Größe. Er liegt darin, wie viel von ihrer eigenen Behauptung jeder Anbieter bereit ist, in Text zu fassen.

Was jeder Anbieter Ihnen in Zahlen sagen wird

Die Modellkarte von Gemma 4 12B veröffentlicht seine Werte im Vergleich zu fünf Geschwistermodellen und einem Vorgänger, wobei der Evaluations-Harness je Benchmark benannt ist. Speziell für die 12B-Unified-Variante meldet der Anbieter 77,2 auf MMLU Pro, 77,5 auf AIME 2026 ohne Tools, 72,0 auf LiveCodeBench v6, 78,8 auf GPQA Diamond, ein Codeforces-ELO von 1659, 69,0 auf Tau2 gemittelt über drei Läufe, 83,4 auf MMMLU und — die Zahl, die am ehrlichsten einordnet, was ein 12B-Modell ist — 5,2 auf Humanity's Last Exam ohne Tools. Auf der Vision-Seite meldet es 69,1 auf MMMU Pro, 79,7 auf MATH-Vision und 0,164 durchschnittliche Editierdistanz auf OmniDocBench 1.5, wobei niedriger besser ist.

Das sind Anbieterzahlen. Keine unabhängige Stelle muss ihnen zustimmen, und bei einem so breit eingesetzten Modell werden einige davon den Kontakt mit einer anderen Testumgebung nicht überstehen. Aber sie sind falsifizierbar, und das ist die Eigenschaft, auf die es ankommt. Wenn du bei deiner eigenen Evaluation auf MMLU Pro 62 erhältst, weißt du, dass mit deinem Setup oder mit der Karte etwas nicht stimmt.

Die Model Card von MiniCPM-V 4.7 enthält vier numerische Aussagen im Fließtext und überhaupt keine Benchmark-Tabelle. Die 35B-A3B-Variante dekodiert mit 13 oder mehr Tokens pro Sekunde und benötigt dabei etwa 3 GB Speicher auf einem iPhone 17 Pro Max. Lookahead Expert Scheduling liefert auf realen Geräten eine 5-fache Beschleunigung. Die 1B-Variante schlägt Qwen3.5 0.8B sowohl bei der Gesamtpunktzahl als auch bei der Inferenzeffizienz. Und im Instruct-Modus erreicht 35B-A3B eine höhere Gesamtpunktzahl in weniger Inferenzzeit als Qwen3.6 35B-A3B. Alles andere – jede Achse des Vergleichs – steckt in den Diagrammbildern.

Das ist keine Unehrlichkeit. Diagramme transportieren Informationen, und ein Frontier-Plot ist wohl eine bessere Zusammenfassung eines Geschwindigkeits-Qualitäts-Kompromisses als eine Tabelle mit Scores auf verschiedenen Benchmarks, die bei unterschiedlichen Batch-Größen gemessen wurden. Aber ein Diagramm lässt sich nicht zitieren, nicht neu ableiten und nicht mit dem Diagramm eines anderen Anbieters vergleichen, ohne dass jemand Pixelpositionen abliest. Wenn die einzige öffentliche Bewertung eines Modells ein Bild ist, ist die richtige Haltung, das Modell als ungemessen zu behandeln, bis jemand es misst.

Die beiden Architekturen lösen unterschiedliche Probleme.

Liest man über die Bewertungsabschnitte hinaus, weichen die Designs stark voneinander ab, was ein nützlicheres Signal ist als jede einzelne Punktzahl.

Gemma 4 12B ist encoderfrei. Es gibt keinen separaten Vision-Tower und keinen separaten Audio-Encoder: Rohe Bild-Patches und Audiosignale werden über leichtgewichtige lineare Layer direkt in den Embedding-Raum des Sprachmodells projiziert. Googles angegebener Grund sind Latenz und Single-Pass-Fine-Tuning – ein Modell, ein Trainingslauf, alle Modalitäten. Der Kompromiss besteht darin, dass das Unternehmen darauf wettet, dass ein reiner Decoder-Transformer lernen kann, gut genug zu sehen, ohne dediziertes visuelles Frontend. Der eigene MMMU-Pro-Wert von 69,1 gegenüber 76,9 für das 31B-Schwestermodell, das über einen rund 550 Mio. Parameter großen Vision-Encoder verfügt, deutet darauf hin, dass diese Wette beim feinen visuellen Schlussfolgern etwas kostet.

MiniCPM-V 4.7 geht den entgegengesetzten Weg. Es behält einen dedizierten Vision-Tower – 1152 Hidden-Breite, 27 Schichten, 980-Pixel-Kacheln – und setzt seinen technischen Aufwand darauf, diesen Tower kostengünstig zu machen. Die von LLaVA-UHD v4 übernommene frühe Kompression innerhalb des ViT reduziert visuelle Token bereits im Encoder statt danach, und ein gemischter 4×/16×-Downsampling-Schalter lässt den Aufrufer pro Anfrage zwischen Detailtreue und Kosten wählen. Auf der Sprachseite ist das 35B-A3B ein 256-Experten-Mixture, das 8 Experten pro Token aktiviert, über 40 Schichten in einem 3:1-Muster aus linearer Attention zu voller Attention geschichtet.

Die praktische Konsequenz dieses Designs ist, dass der Videopfad von MiniCPM ungewöhnlich explizit ist. Die Karte gibt max_num_frames mit 128 an, einen Parameter stack_frames, der Unterframes zwischen Hauptframes zu einem Raster zusammensetzt, sowie separate Slice-Count-Hinweise für Bilder (36) gegenüber Video (1). Wenn man etwas baut, das Bildschirmaufzeichnungen oder Vorlesungsvideos liest, ist genau diese Kontrolle darüber, was gesampelt wird, das entscheidende Merkmal. Gemma 4 12B verarbeitet ebenfalls Video, als Sequenzen von Frames, doch seine Karte dokumentiert das Format statt der Sampling-Ökonomie.

Die Reihen, die tatsächlich den Ausschlag geben

• Parameter — insgesamt 35,21 Mrd., 8 von 256 Experten aktiv, plus ein dichtes Schwestermodell mit 1,55 Mrd. gegenüber 11,95 Mrd. dicht

• Eingabemodalitäten — Text, Bild, Video, wobei OCR- und PDF-Parsing gesondert genannt werden, vs. Text, Bild, Video und natives Audio

• Kontext — 262,144 Tokens vs. 262,144 Tokens beim 12B, 128K bei den Geschwistermodellen der E-series

• Lizenz — Apache 2.0, Gewichte herunterladbar vs. Apache 2.0, Gewichte herunterladbar

• Veröffentlichte Evaluierung — Frontier- und Vergleichsdiagramme, vier in Prosa formulierte Behauptungen gegenüber einer vollständigen numerischen Tabelle für acht Geschwistermodelle

• Unabhängige Bewertung — zum Zeitpunkt dieses Textes gibt es keinen Artificial Analysis-Eintrag für eine der beiden 4.7-Varianten, im Vergleich zu einer Artificial Analysis-Seite mit Intelligenz-Einstufung und Durchsatz

• Speicher bei BF16 – rund 70 GB Gewichte für das 35B-A3B, etwa 3,1 GB für das 1B gegenüber rund 24 GB

• Bereitgestellte quantisierte Formate — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 gegenüber dem Upstream-Checkpoint sowie Community-GGUF- und QAT-Builds von Google und Drittanbietern

• Vom Anbieter benannte Serving-Pfade — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs. Transformers, wobei das breitere Ökosystem von der Community bereitgestellt wird

• On-Device-Story – iOS-, Android- und HarmonyOS-Apps plus Day-0-Unterstützung für Rockchip, Houmo, Intel, AMD und Arm gegenüber einem für Laptops und Consumer-GPUs optimierten Design

Drei Workloads, drei Antworten

Bildschirm- und Dokumentverständnis in großem Umfang. Darauf ist das Design von MiniCPM-V 4.7 ausgerichtet, und hier ist seine Dokumentation am stärksten. Der 4×-Downsampling-Modus, die 36-Slice-Einstellung, die OCR- und PDF-Parsing-Rezepte im Cookbook sowie die expliziten Frame-Sampling-Steuerungen für Video beschreiben allesamt eine Pipeline, die gerenderte Inhalte in strukturierten Text umwandelt. Auch Gemma 4 12B ist hier glaubwürdig – seine Bearbeitungsdistanz von 0,164 bei OmniDocBench ist ein echter Wert für Dokument-Parsing –, doch die Karte des Anbieters behandelt Dokument-Parsing als eine Fähigkeit unter vielen und nicht als das organisierende Prinzip.

Alles, was hören muss. Gemma 4 12B verarbeitet Audio nativ, mit CoVoST bei 38,5 und FLEURS bei 0,069 auf seinem Datenblatt. MiniCPM-V 4.7 nicht. OpenBMBs Audio-Arbeit liegt in der separaten MiniCPM-o-Reihe, und das Datenblatt von 4.7 führt überhaupt keine Audio-Modalität auf. Wenn Ihre Eingabe Sprache enthält, ist der Vergleich vorbei, bevor er beginnt — ein Modell braucht einen Transkriptionsschritt davor, das andere nicht.

Eine einzelne Consumer-GPU mit festem Budget. Gemma 4 12B passt bei 4 Bit unter 8 GB und lässt Platz für Kontext; das 35B-A3B passt bei 4 Bit nicht auf eine einzelne Consumer-Karte, und die Performance-Story seiner Karte dreht sich um Smartphones, die 3 GB resident halten, nicht um eine GPU, bei der 70 GB Expertengewichte ausgelagert werden müssen. Wenn die Einschränkung „eine Karte, die Sie bereits besitzen“ lautet, ist das 12B die Antwort und die 1B-Variante das einzige MiniCPM, das infrage kommt.

Die Lücke, die ein Käufer einpreisen sollte

Beide Modelle sind kostenlos herunterladbar, daher ist die Lizenzzeile ein Gleichstand, und die eigentlichen Kosten liegen in allem, was danach kommt. Für Gemma 4 12B hatte das Ökosystem viereinhalb Monate Zeit aufzuholen: quantisierte Builds von Google selbst, GGUF-Konvertierungen aus der Community, QAT-Checkpoints und unabhängige Indexierung, mit der man es auf derselben Skala mit hundert anderen Modellen vergleichen kann. Bei MiniCPM-V 4.7 steckt man erst acht Tage in einer neuen Architektur — ein neuer model_type, ein neues Attention-Layout, eine Mindestversion von Transformers — und die eigene Modellkarte des Anbieters beginnt mit einem Hinweis auf CUDA-Versionskonflikte, die die Videodekodierung über torchcodec zum Scheitern bringen.

Das ist keine Kritik am Modell. Es ist die übliche Steuer, die man zahlt, wenn man irgendetwas in seinen ersten zwei Wochen einführt, und es ist der Grund, warum ein stilles Release mit einer reinen Diagramm-Bewertung ein schlechter Kandidat für einen Produktionsweg und ein guter Kandidat für einen Side-by-Side-Test ist. Der Weg, diesen Test günstig zu machen, besteht darin, den bestehenden Dienst weiterlaufen zu lassen, während man den Neuling bewertet, was eher ein Routing-Problem als ein Modellierungsproblem ist.

OrcaRouter betreibt über 200 gehostete Modelle hinter einem einzigen OpenAI-kompatiblen Endpunkt bei 0 % Aufschlag, der Listenpreis des Anbieters wird direkt weitergegeben, sodass die Kosten für das Ausprobieren eines zweiten Modells eine Konfigurationsänderung statt eines zweiten Vertrags sind. Seine Routing-DSL kann ein Primär- und ein Fallback-Modell in einem einzigen Aufruf enthalten, und automatisches Failover hält den primären Pfad am Leben, wenn ein Anbieter gerade Probleme hat. Der Hinweis zur Abdeckung ist hier der wichtige Teil: Unser Katalog enthält Gemma 4 26B-A4B und Gemma 4 31B, nicht dieses 12B, und er enthält MiniCPM-V 4.7 überhaupt nicht. Bei beiden Modellen, um die es in diesem Artikel geht, handelt es sich um Checkpoints, die Sie selbst ausführen – der Router ist das, was um sie herum liegt, und kein Weg, sie aufzurufen.

Was würde es klären

Der Vergleich ist derzeit in einer Weise unausgewogen, die sich leicht benennen und leicht beheben lässt. Gemma 4 12B hat Zahlen, über die man diskutieren kann. MiniCPM-V 4.7 hat Behauptungen, die man nur annehmen oder ablehnen kann: 13 Token pro Sekunde, 3 GB, 5× Beschleunigung, besser als ein namentlich genannter Wettbewerber bei einem ungenannten Gesamtwert. Jede einzelne davon wäre als Tabellenzeile nützlicher, und OpenBMB ist eindeutig in der Lage, eine solche zu erstellen — die früheren Karten der Familie enthielten standardmäßige Benchmark-Tabellen.

Die nützliche Haltung ist also bewusst asymmetrisch. Wenn Sie diese Woche eine Entscheidung brauchen, ist Gemma 4 12B das Modell, dessen Verhalten Sie aus veröffentlichten Kennzahlen vorhersagen können, und seine Audio-Unterstützung ist eine Fähigkeit, die noch so viel Geduld nicht zu MiniCPM-V 4.7 hinzufügen wird. Wenn Sie für Smartphones, für HarmonyOS, für ein Rockchip-Board oder für das Lesen von Bildschirmen und Dokumenten bauen, bei denen der 4×-Downsampling-Pfad genau richtig ist, ist das Engineering von MiniCPM-V 4.7 spezifischer auf Ihr Problem zugeschnitten als alles, was G​oogle in dieser Größe ausgeliefert hat — und die fehlende Tabelle ist ein Grund, es selbst zu messen, statt ein Grund, es abzutun.

Eine letzte Sache, die es wert ist, klar gesagt zu werden, weil sie der Teil ist, der zu keines der beiden Anbieter-Framings passt. Keines dieser Modelle konkurriert um denselben Käufer wie eine Frontier-API. Sie konkurrieren mit der Entscheidung, überhaupt kein Modell lokal zu betreiben. Das stärkste Argument für Gemma 4 12B ist, dass vier Monate Ökosystem bedeuten, dass der langweilige Weg funktioniert; das stärkste Argument für MiniCPM-V 4.7 ist, dass ein 1B-Modell mit 3 GB an Orten läuft, an die ein 12B nicht kommen kann. Wähle zuerst die Einschränkung, dann das Modell — die Benchmark-Tabelle wird, wenn sie kommt, nur Modelle innerhalb einer Kategorie neu anordnen, die du bereits gewählt hast.