MiniCPM-V 4.7 bekommt eine Modellkarte: OpenBMB veröffentlicht die Benchmarks, die Lizenz und die On-Device-Behauptung

In den ersten sechs Tagen seines Lebens war MiniCPM-V 4.7 ein 70-GB-Ordner voller bfloat16-Tensoren ohne README – keine Modellkarte, kein Lizenz-Tag, keine Benchmark-Tabelle, nichts, was einem verriet, wofür es gedacht war. Das änderte sich am 12. Oktober 2026, als OpenBMB eine vollständige Modellkarte committete, und zwar zu openbmb/MiniCPM-V-4.7-35B-A3B, eine Apache-2.0-Lizenz erklärte, die README des MiniCPM-o-Repositoriums neu schrieb, um mit der neuen Serie zu beginnen, und es als Open-Source-MLLM-Release ankündigte, das sich an iOS-, Android- und HarmonyOS-Geräte richtet. Derselbe Dokumentationsdurchgang betraf auch das 1B-Schwestermodell, das nun die identische Karte trägt. In diesem Beitrag geht es um das Delta – was die Karte tatsächlich behauptet, welche dieser Behauptungen man selbst überprüfen kann und welche davon heute nur als Pixel in einem vom Anbieter gelieferten PNG existieren.

Was kam am 12. Oktober an, und was war bereits da?

Die Gewichte haben sich nicht bewegt. openbmb/MiniCPM-V-4.7-1B wurde am 6. Oktober 2026 um 17:40 UTC erstellt und openbmb/MiniCPM-V-4.7-35B-A3B am 7. Oktober um 07:07 UTC; beide melden weiterhin einen Zeitstempel der letzten Änderung vom 12. Oktober, weil dieser letzte Tag mit Prosa verbracht wurde, nicht mit Parametern. Das Commit-Log im 35B-Repository für den 12. Oktober ist ein Dokumentations-Sprint: Modellkarte hinzufügen um 16:08, Modellkarte aktualisieren um 16:15, 35BA3B umbenennen um 16:23, Metadaten hinzufügen um 16:26, absolute Asset-URLs um 16:50, vier Get-started hinzufügen Commits bis 17:07, und LES-Dokument verlinken um 17:09. Alles unterhalb dieser Zeile in der Historie ist init. Das Repository ging von achtzehn Dateien und ohne Modellkarte zu einem dokumentierten Release mit Bildern, Evaluationsdiagrammen, Deployment-Anweisungen und einer Lizenz über, und zwar innerhalb von etwa einer Stunde.

Das ist wichtig dafür, wie du die Ankündigung liest, denn ein Launch-Post ist nicht dasselbe wie ein Launch. Am 12. Oktober hat sich am Checkpoint nichts geändert. Was sich geändert hat, ist, dass MiniCPM-V 4.7 aufgehört hat, ein unerklärter Upload zu sein, und zu einem Produkt geworden ist, das man auf dem Papier bewerten kann.

Die beiden Varianten und warum sie nicht dasselbe Release sind

Die Ankündigung beschreibt zwei Modelle, die unterhalb des Vision-Towers architektonisch nichts miteinander zu tun haben – eines ist ein sparse Mixture-of-Experts, das andere ein kleines dichtes Modell.

• MiniCPM-V 4.7 35B-A3B — 35,2 Milliarden Gesamtparameter als dünn besetztes MoE, 256 Experten mit 8 aktiven pro Token, 40 Textschichten, Hidden-Size 2.048, 16 Query-Heads gegenüber 2 Key-/Value-Heads, maximale Position 262.144 Token, Vokabular 248.144.

• MiniCPM-V 4.7 1B — ein dichtes qwen3_5_text Backbone, 24 Schichten bei Hidden Size 1.024, 8 Query-Heads gegenüber 2 Key/Value-Heads, derselbe 262.144-Token-Kontext, Vokabular 248.094, einzelne 3,1 GB große safetensors-Datei.

• Geteilter Vision-Turm — minicpmv4_7_vision, 27 Schichten bei Hidden-Size 1.152, Patch-Größe 14, Bildgröße 980, eingefügt in Schicht 6 des Text-Stacks.

• Komprimierung — gemischtes 4x- und 16x-Downsampling visueller Token, mit der Intra-ViT-Frühkomprimierungstechnik, die OpenBMB LLaVA-UHD v4 zuschreibt; Standard ist 16x, und 4x ist die Einstellung für feinere Details.

• Attention-Muster — ein sich wiederholendes Drei-zu-eins-Muster in beiden Varianten: drei linear_attention-Schichten, gefolgt von einer full_attention-Schicht, zehnmal über die 40 Textschichten des 35B-Modells hinweg.

• Lizenz — Apache-2.0 für beide, angegeben im Front Matter der Karte, und damit das erste Mal, dass eines der beiden Repositories überhaupt Bedingungen nennt.

Der 35B-A3B ist der, den die Ankündigung an erster Stelle nennt, und derjenige mit der interessanten Engineering-Story: Das ganze Verkaufsargument ist, dass ein Sparse-MoE mit 35 Milliarden gespeicherten Parametern dazu gebracht werden kann, auf einem Smartphone reibungslos zu laufen.

Die Behauptung, dass es auf dem Gerät läuft, ist die eigentliche Neuheit, und es ist ein Scheduling-Problem.

Wer schon einmal versucht hat, ein MoE auf einem Mobilgerät auszuführen, kennt das Fehlerbild. Die Gesamtparameter liegen im Speicher, pro Token wird nur eine Handvoll aktiviert, und auf einem Gerät ohne RAM oder Bandbreite, um jeden Experten zu halten, werden Gewichte ein- und ausgelagert. Das Ergebnis dekodiert mit einer Geschwindigkeit, die eine Konversation unmöglich macht. Der naheliegende Workaround – den Router für den gesamten Prompt auf eine feste Teilmenge von Experten festzulegen – macht es schnell und entzieht still und leise Fähigkeiten, weil Token keine Experten mehr erreichen können, die das Modell sonst gewählt hätte.

OpenBMBs Antwort sind drei kombinierte Techniken, und die Karte ist ungewöhnlich präzise darin, was jede einzelne bewirkt:

• Lookahead Expert Scheduling (LES) — ein Cross-Layer-Routing-Prädiktor lädt Experten vor, die wahrscheinlich von der nächsten Schicht benötigt werden, priorisiert unter den Experten diejenigen, die der echte Router tatsächlich ausgewählt hat, und überlappt deren Berechnung mit dem Laden von allem anderen, das noch erforderlich ist. Die Karte betont, dass die Vorhersage nur Prefetching und Scheduling steuert; die Berechnung folgt weiterhin dem eigenen Token-Level-Routing des Modells, und Experten, die die Vorhersage verpasst hat, werden wie gewohnt geladen und ausgewertet.

• Feingranulare schichtweise Quantisierung — verkleinert den Speicherbedarf der Expertengewichte und den Speicherverkehr, sodass das Lademuster in den Speicher und die Bandbreite des Geräts passt.

• DSpark spekulatives Sampling — integriert den Draft-Modell-Pfad in die Geräte-Inferenzschleife, neben Scheduling und Quantisierung.

Die Schlagzeilen-Zahl lautet 13+ Token pro Sekunde auf einem iPhone 17 Pro Max für das 35B-A3B. Das ist eine Herstellermessung, auf einem Gerät, das wir nicht gesehen haben, mit einer App, die wir nicht ausgeführt haben, und es ist die einzige Zahl in dieser Veröffentlichung, die man am ehesten mit Vorsicht behandeln sollte, bis jemand außerhalb des Labors sie reproduziert. Es ist außerdem die Behauptung, auf der die gesamte Rahmung „erste Open-Source-MoE, die reibungslos auf dem Gerät läuft, ohne Leistungseinbußen“ beruht – eine Behauptung, die sich per Definition schwer falsifizieren lässt, weil „ohne Leistungseinbußen“ an einer Vergleichsbasis gemessen wird, die der Hersteller wählt.

Der Teil der Karte, der tatsächlich neue Informationen darstellt: die Ökosystemliste

Vor dem 12. Oktober gab es überhaupt kein veröffentlichtes Serving-Rezept. Die Karte nennt nun die Frameworks, mit denen das Modell voraussichtlich arbeiten soll, und die Liste ist breit genug, um nützlich zu sein, unabhängig davon, wie die Benchmarks ausfallen:

• Inferenz — SGLang, vLLM, llama.cpp und Ollama, mit einem transformers serve-Pfad für einen OpenAI-kompatiblen lokalen Endpunkt und einem OpenVINO-Pfad für Intel-CPU, -GPU und -NPU.

• Feinabstimmung — SWIFT und LLaMA-Factory sowie ein Trainingsrezept, das OpenBMB Self-Replay Fine-Tuning nennt, positioniert als kostengünstige Möglichkeit, Fähigkeiten zu erweitern und gleichzeitig Vergessen zu begrenzen.

• Quantisierung — GGUF, BNB, AWQ, GPTQ und FP8, mit separaten Repositories, die für AWQ-, GPTQ-, int4-, FP8- und GGUF-Varianten des 35B-Modells veröffentlicht wurden.

• Hardware — Day-0-Unterstützung wird für Rockchip-, Houmo-, Intel-, AMD- und Arm-Chip-Plattformen beansprucht, neben der Bereitstellung für iOS, Android und HarmonyOS.

• Werkzeuge — ein Cookbook mit Aufgabenanleitungen für Single-Image-Chat, Multi-Image-Chat, Video, OCR, PDF-Parsing und visuelles Grounding, dazu ein Edge-Deployment-Repository mit den Handy-Apps.

• Spekulative Dekodierung — getrennte DSpark-Draft-Checkpoints sowohl für die 35B- als auch die 1B-Zielmodelle.

Der praktische Effekt ist, dass MiniCPM-V 4.7 sich von „Man müsste den Loader selbst schreiben“ zu „Es gibt einen dokumentierten Weg in mindestens vier Serving-Stacks“ bewegt hat. Wenn Sie auf die Karte gewartet haben, bevor Sie Zeit in einen lokalen Test investieren, ist das Warten vorbei; wenn Sie auf unabhängige Belege gewartet haben, dass die On-Device-Zahlen echt sind, dann nicht.

Was die Benchmarks belegen und was nicht.

Der Bewertungsabschnitt der Karte ist ehrlich darüber, was er ist: vom Anbieter gemeldet, nicht unabhängig reproduziert. Es werden zwei Vergleichsaussagen explizit gemacht, und beide werden als Vergleiche und nicht als absolute Punktzahlen angegeben. Im Instruct-Modus wird für 35B-A3B behauptet, dass er in kürzerer Inferenzzeit eine höhere Gesamtpunktzahl erreicht als Qwen3.6 35B-A3B – eine Leistungs-gegen-Latenz-Aussage, keine Aussage über die reine Qualität. Von der 1B-Variante wird behauptet, dass sie die Kernfähigkeiten von MiniCPM-V 4.6 verbessert und Qwen3.5 0.8B sowohl bei der Gesamtpunktzahl als auch bei der Inferenzeffizienz deutlich übertrifft.

Hier ist der Teil, der hervorgehoben werden sollte. Die tatsächlichen Zahlen stehen nicht im Text. Der Evaluierungsabschnitt besteht aus fünf verlinkten Bildern – einem Gesamtleistungsdiagramm für die Vision-Language-Aufgaben des 35B-Modells, einem Sprachdiagramm, dem 1B-Diagramm, einer Leistungs-Effizienz-Grenzkurve und einem GIF zum Geschwindigkeitsvergleich auf dem Gerät – und der Text um sie herum trägt die Erzählung, nicht die Zahlen. Im README gibt es keine Tabelle pro Benchmark, also gibt es keinen maschinenlesbaren Score, den man zitieren könnte, und folglich nichts, was dieser Artikel als Zahl anführen könnte. „Höherer Gesamtscore als Qwen3.6 35B-A3B“ – präziser wird der öffentliche Kenntnisstand derzeit nicht.

Daraus folgen zwei Konsequenzen. Erstens: MiniCPM-V 4.7 taucht auf den neutralen Drittanbieter-Leaderboards, die wir normalerweise für einen auditierten Vergleich heranziehen würden, gar nicht auf – kein Reasoning-Index, kein Agentic-Index, kein unabhängig bewerteter multimodaler Score. Zweitens ist das Aggregat, das OpenBMB darstellt, die eigene zusammengesetzte Kennzahl des Anbieters über die von ihm ausgewählten Benchmark-Gruppen, was bedeutet, dass die Behauptung „höherer Gesamtscore“ nur so aussagekräftig ist wie die Gewichtung dahinter – und diese Gewichtung ist ebenfalls nicht veröffentlicht. Nichts davon macht die Zahlen falsch. Es macht sie ungeprüft, was etwas anderes ist, und der Unterschied ist genau dort am wichtigsten, wo die Zahlen am stärksten sind.

Was Sie heute selbst überprüfen können

Zieht man das Marketing ab, bleibt ein solider, überprüfbarer Kern, der vollständig aus dem Repository lesbar ist, ohne irgendjemandem vertrauen zu müssen:

• Gewichtsbytes — sechzehn Safetensors-Shards beim 35B-Modell mit insgesamt 70.425.903.448 Bytes, konsistent mit einem BF16-35,2B-Checkpoint; das 1B-Modell ist eine einzelne 3,1 GB große Datei.

• Architektur — jede strukturelle Zahl oben steht in config.json, offen veröffentlicht, und stimmt mit dem Text der Karte überein.

• Lizenz — Apache-2.0, im Frontmatter der Karte deklariert und jetzt eindeutig. Für die kommerzielle Nutzung ist dies die wichtigste Zeile in der Veröffentlichung, und sie ist neu.

• Quantisierte Varianten — AWQ-, GPTQ-, int4-, FP8- und GGUF-Repositories existieren und sind herunterladbar, die Bereitstellung ist auf Gewichtsebene also keine theoretische Angelegenheit.

• Akzeptanzsignale — das 35B-Repository steht Stand 13. Oktober bei ungefähr 166 Downloads und 38 Likes, ein Anstieg gegenüber den nahezu bei null liegenden Werten, die es trug, als es ein unerklärter Upload war, aber immer noch eine kleine Zahl für eine Veröffentlichung, die beansprucht, an der Pareto-Front zu liegen.

Was sich nicht verifizieren lässt, ist die Behauptung, die das Release trägt: dass dies das erste Open-Source-MoE ist, das auf einem Handy läuft, ohne Abstriche zu machen, bei mehr als 13 Tokens pro Sekunde. Das hängt von einem Dritten mit einem iPhone und einer Stoppuhr ab.

Wo ein Router passt – und wo nicht

MiniCPM-V 4.7 wird nicht von OrcaRouter bereitgestellt. Es ist ein Checkpoint mit offenen Gewichten, was bedeutet, dass das Modell selbst von Ihnen gehostet wird – auf einer Workstation, auf einer GPU-Box oder auf dem Smartphone, auf das die Karte abzielt. Die Stelle, an der eine Routing-Schicht ihren Wert beweist, liegt auf der anderen Seite dieser Anordnung: der Punkt, an dem ein selbst gehostetes Vision-Modell entscheidet, dass es überfordert ist, und das schwierige Bild an etwas Größeres weitergibt. OrcaRouter stellt über 200 gehostete Modelle hinter einen einzigen Schlüssel, gibt den Listenpreis jedes Anbieters mit 0 % Aufschlag weiter sodass eine Preisänderung eines Anbieters noch am selben Tag live ist, und schaltet automatisch um, wenn ein Anbieter schlechter wird – genau die Form, die ein Hybrid-Setup braucht, bei dem das günstige lokale Modell die Routinearbeit erledigt und ein gehostetes Modell die Fälle auffängt, die es nicht tragen kann.

Was als Nächstes ansehen

Drei Dinge würden dieses Release von einer dokumentierten Behauptung zu einer feststehenden Tatsache machen. Eine unabhängige Messung des 35B-Modells auf dem Gerät — jemand mit einem iPhone 17 Pro Max, der veröffentlichten App und einer eigenen Zeitmessung — würde die Zahl klären, auf der die gesamte Präsentation beruht. Eine Tabelle mit tatsächlichen Punktzahlen pro Benchmark anstelle von Diagrammen würde es erlauben, die Pareto-Behauptung gegen die angegebene Baseline zu überprüfen. Und ein Lauf auf einer neutralen Bestenliste würde MiniCPM-V 4.7 neben Modelle stellen, die unter Bedingungen bewertet wurden, die es nicht selbst gewählt hat. Bis dahin lautet die ehrliche Zusammenfassung, dass OpenBMB ein echtes, gut dokumentiertes Modell unter Apache-2.0 ausgeliefert hat, mit einer glaubwürdigen und unbewiesenen Effizienz-Story, und dass der Unterschied zwischen diesen beiden Dingen genau der Unterschied zwischen einer Karte und einem Benchmark ist.