MiniCPM-V 4.7s „3B Active Parameters" stehen nicht in der Model Card — ich habe sie aus den Gewichten gemessen

Die am häufigsten wiederholte Zahl zu MiniCPM-V 4.7 35B-A3B steht nirgends in seiner eigenen Dokumentation. Die Behauptung – „nur 3B aktive Parameter (!) – es läuft sogar auf einem iPhone“ – stammt aus einem Drittanbieter-Beitrag vom 13. Oktober 2026, und die Modellkarte des Anbieters, das Repository-README und die Launch-Notizen nennen überhaupt keine Zahl aktiver Parameter. Das ist weniger eine Kritik an der Behauptung als vielmehr eine Lücke, die es zu schließen lohnt: Der Checkpoint kodiert seine eigene Antwort. Bevor ich hier also irgendetwas anderes tat, habe ich den Safetensors-Index und jeden Shard-Header für openbmb/MiniCPM-V-4.7-35B-A3B heruntergeladen und gezählt. Zum Vergleich: Das andere Modell im selben Beitrag – Qwen3.8-27B, veröffentlicht am 13. August 2026 – ist ein dichtes 27B-Modell und weist keine solche aufzulösende Mehrdeutigkeit auf: Bei jedem Token ist jeder Parameter aktiv. Die interessante Frage ist, ob „3B aktiv“ den Kontakt mit den Gewichten übersteht, und die Antwort lautet: Es übersteht ihn, aber nur, wenn man das Wort „aktiv“ so definiert wie der Anbieter, und die ehrliche Zahl liegt näher bei 4B, sobald man die Teile mitzählt, die zwangsläufig mitlaufen.

Das Hauptbuch, vom Kontrollpunkt selbst gelesen

Die Indexdatei listet 40 Sprachschichten plus einen Vision-Tower und einen Projektor auf, insgesamt 35.212.875.824 Parameter in BF16 – 70,43 GB Gewichte zum Herunterladen. Das entspricht dem „35B“ im Namen. Die MoE-Frage ist, welcher Anteil davon pro Token berührt wird:

• Insgesamt gespeichert — 35,21 Mrd. Parameter, 70,43 GB in BF16. Jeder Experte liegt auf der Festplatte, unabhängig davon, ob er genutzt wird.

• Router-Budget — 8 Experten pro Token ausgewählt, von 256, pro MoE-Schicht. In config.json als num_experts_per_tok: 8 konfiguriert. Jeder Experte ist klein: 3,15 Mio. Parameter.

• MoE-Pfad pro Schicht — 8 Experten (25,17 M) + ein geteilter Experte (3,15 M) + das Router-Gate (0,52 M) ≈ 28,83 M.

• Attention-Pfad pro Schicht — die Architektur ist hybrid: 30 der 40 Schichten nutzen lineare Attention (je 33,72 Mio.), 10 nutzen Full Attention (je 27,26 Mio.). Insgesamt ≈ 2,44 Mrd. über alle 40 Schichten für Attention plus MoE-Arithmetik, pro Token wiederholt.

• Hinzu kommt, was man nicht überspringen kann – Token-Embeddings 508,2 Mio., LM-Head 508,2 Mio., Vision-Tower 522,3 Mio., Projektor 30,7 Mio.

• Die beiden vertretbaren Antworten — ~2,44 Mrd. aktiv allein auf dem Attention-und-MoE-Pfad; ~4,01 Mrd., wenn man Embeddings, Output-Head, Vision-Tower und Projektor mitzählt, die eine Vision-Anfrage tatsächlich beansprucht.

Also ist „3B aktiv“ nicht falsch. Es ist eine Aufrundung von 2,44B nach oben und liegt in der Lücke zwischen den beiden oben genannten Zahlen. Es ist nur keine Zahl, die OpenBMB veröffentlicht hat, und es ist nicht dasselbe wie das Suffix „A3B“ – dieses Suffix ist Teil des Modellnamens, und die eigenen Materialien des Anbieters machen daraus nie eine Messgröße.

Warum das Suffix und die Nummer nicht dasselbe sind

Namenskonventionen im Open-Weights-Ökosystem implizieren eine Anzahl aktiver Parameter: Ein Modell namens 30B-A3B oder 235B-A22B sagt dir, dass es ungefähr so viele Parameter pro Token aktiviert. Diese Implikation ist meist verlässlich – aber sie ist eine Konvention, kein Vertrag, und MiniCPM-V 4.7 ist ein Fall, in dem weder die Modellkarte noch die README noch der Launch-Post das „A3B" in eine Zahl umwandelt, mit der man den Speicherbedarf planen kann. Bis jemand nachzählt, ist das Suffix ein Etikett.

Die obige Zählung ist reine Arithmetik, keine Schlussfolgerung aus diesem Label. Sie ist auch der Grund, warum sich die Zahlen ~2,44B und ~4,01B unterscheiden: Ob man die Embedding-Tabelle und den Output-Head mitzählt, ist eine echte Entscheidung, keine Pedanterie. Bei einem dichten Modell sind Embeddings nur ein kleiner Teil eines 27B-Budgets. Bei einem Sparse-Modell, bei dem der Compute-Pfad pro Token nur wenige Milliarden Parameter umfasst, sind eine 508M-Embedding-Tabelle und ein 508M-LM-Head kein Rauschen mehr – zusammen machen sie etwa ein Fünftel des aktiven Pfads aus, und sie werden in voller Breite gespeichert, während die Experten quantisiert sind.

Eine Konsequenz, die es wert ist, klar ausgesprochen zu werden: Das Verhältnis von gespeicherten zu aktiven Parametern liegt hier nach der engen Lesart bei etwa 8,8 zu 1. Das ist der ganze Grund, warum ein 35B-Modell als Handymodell angepriesen werden kann, und es ist auch der Grund, warum es keines ist – nicht in der Weise, wie ein dichtes 3B-Modell eines ist. Der Speicher schrumpft nicht, wenn der Router einen Experten ignoriert.

Die iPhone-Behauptung ist eine separate Behauptung mit einer separaten Beweisgrundlage.

Alles Konkrete zur On-Device-Leistung in dieser Version ist vom Anbieter berichtet und nicht reproduziert. Die konkrete Zahl lautet 13+ Token pro Sekunde bei etwa 3 GB Speicher auf einem iPhone 17 Pro Max, wobei derselbe Checkpoint auf einem iPad M4 demonstriert wurde. OpenBMB führt dies auf drei zusammenwirkende Techniken zurück — Lookahead Expert Scheduling, das Cross-Layer-Routing vorhersagt und Experten vorlädt, feingranulare schichtweise Quantisierung und DSpark Speculative Sampling — und beschreibt das Ergebnis als das erste Open-Source-MoE-Modell, das reibungslos auf dem Gerät läuft, ohne an Fähigkeiten zu verlieren. Es gibt keine unabhängige Messung dieses Durchsatzes in öffentlichen Aufzeichnungen, keine Reproduktion durch Dritte und keine veröffentlichte Aufschlüsselung darüber, welche Quantisierung die 3-GB-Zahl voraussetzt.

Das ist aus einem bestimmten Grund wichtig: 3 GB ist die Zahl, die entscheidet, ob die Behauptung für Sie interessant ist, und es ist die Zahl, über die wir am wenigsten wissen. Ein 35B-MoE, dessen Expertengewichte größtenteils im Flash-Speicher liegen, ist kein 3-GB-Modell, sondern ein Modell, dessen residentes Working Set zufällig in 3 GB passt, sobald Routing-Vorhersagen, Prefetching und ein quantisierter Experten-Cache alle ihre Aufgabe erfüllen. Das sind genau die Bedingungen, unter denen Benchmark-Durchsatz und Durchsatz in der Praxis auseinanderdriften – der erste Prompt wärmt den Cache, und das Verhalten, das Ihnen in einer Demo 13 Tokens pro Sekunde beschert, ist ein Schedule, keine Eigenschaft der Gewichte.

Behandle die 13 Tokens pro Sekunde als eine Aussage über eine Technik, nicht über den Checkpoint. Der Checkpoint ist das, was du heute verifizieren kannst: 35,21B gespeichert, 8 von 256 Experten pro Token geroutet, ~2,44B bis ~4,01B aktiv, je nachdem, was man zählt, Apache-2.0, Day-0-Quantisierungen in GGUF, AWQ, GPTQ, int4 und FP8 sowie eine Anbieterliste unterstützter Chips, die Rockchip, Houmo, Intel, AMD und Arm umfasst.

Was die aktive Anzahl entscheidet und was nicht

Die Anzahl aktiver Parameter ist ein Compute-Proxy. Sie sagt Ihnen, wie viel Matrixmultiplikation pro Token stattfindet, was sich darin niederschlägt, wie schnell ein GPU-gebundenes Decoding läuft. Sie sagt Ihnen nicht, wie viel Speicher Sie benötigen, um das Modell zu halten; das wird von der Gesamtsumme bestimmt – 70,43 GB an BF16-Gewichten oder ungefähr ein Viertel davon bei 4-Bit, bevor Sie einen KV-Cache berücksichtigen. Bei einem Modell mit 256K-Kontext ist dieser Cache ebenfalls kein Rundungsfehler.

• Dekodierungsgeschwindigkeit – bestimmt durch die aktiven Parameter (~2,44B–4,01B hier). Darum geht es bei der Behauptung von 13 Tokens/s.

• Residenter Speicher — bestimmt durch die Gesamtzahl der Parameter (35,21 Mrd. gespeichert), dann reduziert durch Quantisierung und durch das jeweils resident bleibende Expertenset.

• Speicherung und Laden — bestimmt durch die vollen 70,43 GB bei BF16. Sparse-Routing reduziert den Download nicht.

• Bandbreite, nicht FLOPS — auf einem Smartphone ist der entscheidende Engpass, Experten durch einen Speicherbus zu bekommen, weshalb es die Scheduling-Technik gibt und weshalb eine reine Anzahl aktiver Experten nichts über die Latenz auf Mobilgeräten vorhersagt.

Das praktische Fazit: Wenn du eine GPU mit genügend Speicher hast, um die quantisierten Gewichte zu halten, bestimmt die Anzahl der aktiven Parameter deinen Durchsatz, und „3B aktiv“ ist eine gute Sache. Wenn du der Grund dafür bist, dass der Satz „läuft auf einem iPhone“ in einem Beitrag auftaucht, ist die Gesamtzahl die Zahl, die über die Machbarkeit entscheidet, und die Scheduling-Arbeit des Anbieters ist der Teil, der die Gesamtzahl erträglich macht. Beide Lesarten derselben Schlagzeile sind korrekt, und sie sind nicht dieselbe Lesart.

Der Vergleich in diesem Beitrag braucht zwei Beschriftungen, nicht nur eine

Der Rahmen, der hier die Runde machte, war lokal versus teure Hardware: MiniCPM-V 4.7 35B-A3B als das Modell, das dir dieselbe Fähigkeit ohne das Rig liefert, gegen Qwen3.8-27B als das Modell, das klüger war, aber das Rig brauchte. Die Fähigkeitshälfte davon stammt aus Qwens eigener Modellkarte und ist, wie alles andere auf dieser Seite, vom Anbieter angegeben. Qwens veröffentlichte Zahlen für Qwen3.8-27B umfassen 90,3 bei LiveCodeBench v6, 89,2 bei GPQA Diamond, 84,3 bei OSWorld-Verified und 79,0 bei QwenSWEBench, und unser eigener Katalogeintrag für dieses Modell merkt an, dass dies ungewöhnlich starke agentische und Coding-Ergebnisse für ein dichtes 27B-Modell sind. Ob es „klüger als Opus 4.6“ war, ist eine Behauptung aus dem Social-Media-Post, und ich habe keine unabhängige Bewertung vor mir, die das klärt – also werde ich es nicht als Tatsache wiederholen.

Der strukturelle Unterschied ist der, der sich tatsächlich nachprüfen lässt: Qwen3.8-27B ist dense, seine 27B Parameter sind also alle aktiv, und Speicherbedarf und Rechenaufwand sind dieselbe Zahl. MiniCPM-V 4.7 35B-A3B trennt diese beiden Zahlen um etwa den Faktor neun voneinander. Das ist das gesamte Architekturargument, und es ist stichhaltig. Es ist nur nicht dasselbe wie ein Benchmark-Vergleich, und der Beitrag, der es berühmt gemacht hat, vermischte beides.

Wo ein Router die Entscheidung ändert und wo nicht

Zwei Dinge sind hier wahr und es lohnt sich, sie zu trennen, denn sie weisen in entgegengesetzte Richtungen.

Der erste Punkt ist, dass wir MiniCPM-V 4.7 nicht anbieten. Es ist nicht in unserem Katalog. Wenn Sie es möchten, führt der Weg über Ihre eigene Hardware – genau dafür ist das Release gedacht, mit Gewichten, Quantisierungen und Anleitungen für die Bereitstellung auf dem Gerät, die zusammen damit veröffentlicht werden. Eine gehostete API hilft in keiner Weise dabei, ein Modell auf einem Telefon auszuführen, und es wäre irreführend, etwas anderes nahezulegen.

Der zweite Punkt ist, dass das Modell, an dem dieses gemessen wird, sich nicht in dieser Position befindet. Qwen3.8-27B ist über unsere API verfügbar, selbst gehostet auf unserer eigenen Infrastruktur, zu 0,33 $ pro Million Eingabe-Tokens und 2,40 $ pro Million Ausgabe-Tokens. Wenn die Frage, die Sie eigentlich stellen, lautet: „Soll ich meine gehosteten Qwen3.8-27B-Aufrufe durch ein lokal bereitgestelltes MiniCPM-V 4.7 ersetzen?“, dann ist die ehrliche Version der Antwort, dass Sie den Versuch durchführen sollten, bevor Sie sich festlegen: Die On-Device-Durchsatzangabe ist nicht reproduziert, und der Fähigkeitsvergleich ist die eigene Karte der anderen Seite. Das ist die Situation, für die es Failover gibt — leiten Sie einen Bruchteil des Datenverkehrs auf einen neuen Pfad, behalten Sie den bewährten dahinter und lassen Sie eine schlechte Woche Sie einen Bruchteil einer Arbeitslast statt der Arbeitslast kosten. Ein Modell mit 0 % Aufschlag hält außerdem die Rechnung ehrlich: Wenn ein Anbieter einen Preis ändert, ändert sich die Zahl, die Sie zahlen, noch am selben Tag, weil es keine Margenebene zwischen deren Listenpreis und Ihrer Rechnung gibt.

Was ein Router nicht leisten kann, ist, die Frage „lokal oder gehostet“ verschwinden zu lassen. Diese wird von Ihrer Hardware, Ihren Datenschutzvorgaben und davon entschieden, ob ein 70-GB-Download akzeptabel ist – und die Anzahl der aktiven Parameter – egal, wie man sie rundet – ändert keinen dieser drei Punkte.

Was würde es klären

Drei Dinge, in absteigender Reihenfolge ihrer Nützlichkeit. Eine von OpenBMB veröffentlichte Angabe zu den aktiven Parametern, damit die Zahl, die alle wiederholen, nicht länger die Berechnung eines Dritten ist — meine eingeschlossen, und meine ist aus den Shard-Headern reproduzierbar, falls du ihr widersprichst. Eine unabhängige Messung der 13 Tokens pro Sekunde auf einem Telefon, mit Angabe der Quantisierungseinstellungen, denn eine zeitplanabhängige Zahl ohne ihre Einstellungen ist keine Spezifikation. Und eine echte Bewertung, die MiniCPM-V 4.7 35B-A3B mit Qwen3.8-27B bei denselben Aufgaben vergleicht, denn der Vergleich, der dieses Modell bemerkenswert gemacht hat, ist derzeit das Diagramm eines Anbieters gegen das Datenblatt eines anderen Anbieters.

Bis dahin ist die sichere Zusammenfassung enger gefasst als der Beitrag: Die Gewichte sind real, die Sparsity ist real, der Download ist 70,43 GB, und pro Token verrichtet das Modell Arbeit im Wert von irgendwo zwischen 2,4 und 4 Milliarden Parametern – je nachdem, wie man die Teile zählt, die man nicht umgehen kann. Das ist ein echtes Ingenieursergebnis. Es ist noch kein gemessener Smartphone-Benchmark, und es ist kein Benchmark-Sieg über ein dichtes 27B-Modell.

Quellenangabe: Parameter, Expertenanzahl, Layer-Typen, Kontextlänge und Downloadgröße wurden direkt aus config.json und den safetensors-Shard-Headern von openbmb/MiniCPM-V-4.7-35B-A3B am 13. Oktober 2026 ausgelesen. Die Geschwindigkeit auf dem Gerät, der Speicherwert, die Benchmark-Ergebnisse und die Evaluationszahlen zu Qwen3.8-27B sind vom Anbieter angegeben und nicht reproduziert. Die Behauptungen „3B aktive Parameter" und „intelligenter als Opus 4.6" stammen aus einem Social-Media-Beitrag eines Dritten, nicht von einem der beiden Anbieter.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agenten-Vorfälle, in denen eine Zahl wie diese zitiert wird, sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, Schweregrad, Vertrauensgrad und Umstritten-Kennzeichnung enthält.