Hero-Titelkarte mit der Aufschrift „WeMM-Video-9B: Warum seine 4-Bit-Builds immer noch 13 GiB groß sind“, mit dem Untertitel „Tencent hat am 17. November 2026 neunzehn WeMM-Video-Repositories ohne Launch-Post veröffentlicht“, mit vier Speicherchip-Zeilen für BF16-Basis mit 19,54 GiB auf fünf Shards verteilt, FP8 Block128 mit 13,10 GiB, AWQ W4A16 mit 12,86 GiB und NVFP4 W4A16 mit 13,07 GiB, einer hervorgehobenen Zeile mit der Angabe 0,42 GiB zwischen allen vier komprimierten Builds und einer Fußzeile mit dem Hinweis, dass die Größen aus der Dateiauflistung des jeweiligen Hugging-Face-Repositorys gemessen werden und Herstellerangaben sind, ohne unabhängige Überprüfung.
Engineering & Research

WeMM-Video-9B: Warum seine 4-Bit-Builds immer noch 13 GiB groß sind

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Eine Vier-Bit-Quantisierung sollte bei etwa einem Viertel der Gewichtsdatei landen, aus der sie hervorgegangen ist. WeMM-Video-9B umfasst in BF16 19,54 GiB, und sein AWQ-W4A16-Build kommt auf 12,86 GiB. Das ist eine Kürzung um 34 %, nicht um 75 % — und die Builds FP8, AWQ, NVFP4 und GGUF liegen alle innerhalb von 0,42 GiB voneinander, sodass die Wahl zwischen ihnen Ihnen so gut wie keinen Speicher einbringt. Die Manifeste der Exporter selbst erklären, warum: Die 4-Bit-Pipelines komprimieren nur die dichten Feed-Forward-Matrizen — 4,83 Milliarden Parameter von 10,49 Milliarden —, während Vision-Tower, Audio-Tower, Embedding, Output-Head und Attention-Gewichte alle ihre ursprüngliche Präzision behalten, und 5,7 Milliarden Parameter zu je zwei Bytes setzen eine Untergrenze, unter die kein W4-Rezept gehen kann. Tencent veröffentlichte die Gewichte, die Quantisierungsrezepte und einen technischen Bericht mit zwölf Autoren vom 17. bis 19. November ohne Launch-Post, und der Teil, den noch niemand schriftlich festgehalten hat, ist die Arithmetik — die zudem der Teil ist, der entscheidet, ob dieses Modell auf die GPU passt, die Sie bereits besitzen. In den Tabellen von Tencent selbst schlägt es Qwen3-Omni-30B-A3B-Instruct bei 35 der 37 gemeinsamen audiovisuellen Kennzahlen, die beide teilen; bei der Frage, ob seine Vier-Bit-Builds sicher einzusetzen sind, ist die Beweislage dünner, als neunzehn Repositories vermuten lassen.

Ein 10,49B-Stack, der ein 9B-Label trägt

Das Repository tencent/WeMM-Video-9B wurde am 17. November 2026 um 08:55:54 UTC erstellt, vierzehn Sekunden nach seinem AWQ-Geschwister und elf Minuten nach dem 35B-A3B-Flaggschiff. Unter der Tencent-Organisation existieren neunzehn WeMM-Video-Repositories, alle innerhalb eines Fünf-Minuten-Fensters an jenem Morgen erstellt, was die Signatur eines Upload-Skripts ist und nicht die eines Menschen, der ein Modell nach dem anderen veröffentlicht. Das GitHub-Projekt Tencent/WeMM-Video wurde sechs Stunden früher um 02:29 UTC erstellt, sein substanzieller erster Commit landete am 19. November, und README-Überarbeitungen trafen noch am 20. November ein. Das Paper, arXiv 2611.26409, wurde am 19. November um 16:58 UTC eingereicht.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

Nichts davon wurde angekündigt. Wir konnten keinen Tencent-Blogbeitrag, keine Launch-Seite zu WeChat Vision, keine Pressemitteilung und keine kostenpflichtige Stufe finden, die auf die Familie hinweisen. Zum Zeitpunkt des Schreibens zeigten alle neunzehn Repositories null Downloads und zusammengenommen drei Likes. Artificial Analysis führt kein WeMM-Modell auf. Keine dieser Tatsachen sagt etwas über die Qualität aus – sie besagen, dass der Distributionsschritt übersprungen wurde.

Der „9B“ im Namen bezeichnet das Sprach-Backbone, nicht den Checkpoint. Hugging Face verzeichnet 10.488.603.384 Parameter über 1.305 Tensoren, und wenn man die fünf safetensors-Shards nach ihren Namen liest, lassen sie sich in vier Gruppen einordnen:

• Sprachmodell — 7,94 Mrd. Parameter, einschließlich eines 1,02 Mrd. Token-Embeddings.

• Ausgabekopf — 1,02 Mrd. Parameter. Die Embeddings sind entkoppelt, daher ist dies eine zweite vollständige Kopie des Vokabulars mit 248.320 Token bei 4.096 Hidden-Dimensionen.

• Audio-Turm — 1,08 Mrd. Parameter. Ein Encoder und Decoder im Whisper-Stil, jeweils 32 Schichten mit einer Breite von 1.280, die einen zweischichtigen Q-Former speisen, der 0,1-Sekunden-Fenster zu 10 Audio-Tokens pro Sekunde komprimiert.

• Vision-Tower — 0,46 Mrd. Parameter. 27 Blöcke mit Hidden-Size 1.152, Patch-Größe 16, räumlichem Merge 2 und temporalem Patch 2.

Rund ein Fünftel der Datei sind also Ohren und Augen. Das Paper legt die Herkunft ausdrücklich dar: Die dichten 2B-, 4B- und 9B-Modelle basieren auf Qwen3.5-2B, Qwen3.5-4B und Qwen3.5-9B, das Mixture-of-Experts-Modell auf Qwen3.6-35B-A3B, die Audio-Encoder werden aus Qwen2.5-Omni initialisiert, und die nativen visuellen Encoder werden beibehalten statt ausgetauscht und ab der zweiten Vor-Trainingsphase eingefroren, da sie „bereits ausreichend starke visuelle Repräsentationen liefern“.

Das Backbone selbst ist ein Hybrid: 32 Schichten, Hidden-Size 4.096, 16 Attention-Heads gegenüber 4 Key-Value-Heads bei Head-Dimension 256, mit einer Full-Attention-Schicht nach jeweils drei Linear-Attention-Schichten und einem float32-SSM-Cache – weshalb jeder Serving-Befehl im Repository ein mamba-ssm-cache-dtype float32 Flag trägt. Position-Embeddings sind mit 262.144 Token angegeben; verschachtelte multimodale RoPE-Abschnitte sind 11/11/10. Die Lizenz ist Apache 2.0 mit einer Drittanbieter-Ausnahme, die auf der Modellkarte nicht aufgeschlüsselt ist.

Vier Builds, vier nahezu identische Größen

Hier ist die gesamte Quantisierungsleiter – gemessen an der Dateiliste des jeweiligen Repositorys statt an einer gerundeten Zahl auf einer Karte:

• BF16 base — 19,54 GiB verteilt auf fünf Shards.

• FP8 Block128 — 13,10 GiB, eine Datei. Benötigt eine FP8-fähige GPU und ein gepatchtes vLLM 0.18.0.

• AWQ W4A16 — 12,86 GiB, group-128 INT4 im compressed-tensors-Format. Gepatchtes vLLM 0.18.0.

• NVFP4 W4A16 — 13,07 GiB, ModelOpt 0.45.0 gemischte Präzision mit Gruppengröße 16. Gepatchtes vLLM 0.31.0 mit Marlin, SM120-Referenzkonfiguration.

• GGUF Q4_K_M — 13,28 GiB als Paket aus drei Dateien: 10,41 GiB Sprache, 2,01 GiB Audio, 0,86 GiB Vision-Projektor.

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

Die Spanne über diese vier komprimierten Builds beträgt 0,42 GiB und ist damit kleiner als der Puffer, den man für ein Treiber-Update lassen würde. Wenn Sie zwischen ihnen wählen würden, um sie auf eine Karte zu bekommen, wählen Sie die falsche Variable: Entscheiden Sie danach, welche GPU Sie besitzen und welche Runtime Sie patchen können, denn dort liegt der Speicherunterschied nicht.

Die naive Erwartung – ein Viertel von 19,54 GiB, also etwa 4,9 GiB – liegt um den Faktor zweieinhalb daneben. Selbst der Spielraum gegenüber BF16 ist bescheiden: 6,68 GiB, die AWQ einspart, also echte 34 %, aber bei Weitem nicht das „viermal kleiner“, das ein W4-Label impliziert.

Was die Exporteure schützen, und warum

Sowohl die AWQ- als auch die GGUF-Manifeste geben genau an, welche Tensoren sie ändern durften, und die Antwort erklärt das Größenplateau.

• Nur die dichten Feed-Forward-Matrizen werden quantisiert. Das AWQ-Manifest verzeichnet 96 quantisierte Sprachmatrizen – drei pro Schicht über 32 Schichten hinweg, jeweils 4.096 mal 12.288. Das sind 4,83 Mrd. Parameter von 10,49 Mrd. bzw. 46 % des Checkpoints. Alles andere behält seine Präzision.

• Der Attention-Pfad ist auf BF16 zurückgesetzt. Das AWQ-Manifest enthält einen attention_restoration-Block, der 152 Attention-Projektionsmatrizen und 32 Input-Normen auflistet, die samt ihren SHA-256-Hashes aus dem Quell-Checkpoint zurückkopiert wurden. Die GGUF-Scope-Datei meldet dieselbe Anzahl — protected_attention_BF16: 152 — und ergänzt, dass die Embedding- und Output-Tensoren die einzigen beiden weiteren geschützten Elemente sind.

• Das Frontend und beide Medientürme gelangen nie in den Quantisierer. 881 Tensoren sind im AWQ-Manifest als geschützte Frontend-, Embedding- und Head-Tensoren aufgeführt – 333 aus dem visuellen Turm, 545 aus dem Audio-Turm, das Token-Embedding, der losgelöste Ausgabe-Head und die finale Norm. In BF16 sind das etwa 3,57 Mrd. Parameter bzw. 7,1 GB der 21,0-GB-Datei, die vollständig außerhalb des Komprimierungsschritts liegen.

Die Konsequenz ist die Zahl, die ein Deployment-Plan tatsächlich braucht: Veranschlage 13–13,5 GiB VRAM für die Gewichte, egal welchen Build du wählst, und addiere dann den KV-Cache und den float32-SSM-Cache obendrauf. Ein „4-bit 9B“, das 13 GiB an Gewichten benötigt, ist kein Problem des Modells – allein das Vokabular umfasst 248.320 Token, die zweimal eingebettet werden, und der Audio-Tower ist ein Whisper mit 1,08B Parametern, der mittendrin sitzt –, aber es ist der Unterschied zwischen „passt auf eine 16-GB-Karte mit Spielraum zum Arbeiten“ und „passt überhaupt nicht“.

Validiert für das Laden, nicht auf Gleichheit validiert

Jede Quantisierungskarte in dieser Familie meldet einen Smoke-Test, und jedes Manifest meldet etwas Direkteres. Lesen Sie beide nebeneinander, denn die Kluft zwischen ihnen ist das gesamte Risiko bei der Verwendung eines komprimierten Builds.

• FP8 Block128 — Karte: gepatchtes vLLM lud es auf einer H20 und schloss Text-, Bild-, Audio- und Video-mit-Audio-Generierungsprüfungen ab, und ein Laufzeit-Präzisionsaudit bestätigte den W8A8-Pfad. Manifest: Status quantized_and_independently_reloaded_native_inference_pending, mit native_inference_validated: false und native_low_precision_gemm_validated: false als separate Flags erfasst.

• AWQ W4A16 — Karte: gepatchtes vLLM lud es auf einer H20, absolvierte dieselben vier Prüfungen, und das Präzisionsaudit bestätigte INT4-Feed-Forward-Gewichte gegenüber BF16-Attention. Manifest: Status quantized_unvalidated, mit einer diagnostic_variant, die einen BF16-Attention-Referenzbuild neben dem INT4-Build benennt.

• NVFP4 W4A16 — Karte: gepatchtes vLLM 0.31.0 lud „die PRO-5000-Referenzgewichte“ und führte sie aus und bestand fünf Generierungsprüfungen, einschließlich stillem Video. Manifest: Dieselben drei Behauptungen sind als Flags erfasst, und jede einzelne davon steht auf false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — unter einem Status von cpu_NVFP4_weight_artifact_independently_reread. Was das Manifest jedoch belegt, ist eine numerische Prüfung: 96 Matrizen und 4.831.838.208 Elemente unabhängig dequantisiert, mittlerer relativer RMSE 0,095 gegenüber einem Grenzwert von 0,35, wobei 1.209 geschützte Tensoren als bitgenau bestätigt wurden. Diese Elementanzahl entspricht genau den 4,83 Milliarden, die die Scope-Angabe nennt, woran man erkennt, dass die Arithmetik in diesem Beitrag und die des Exporters übereinstimmen.

• GGUF Q4_K_M — Karte: Die native CPU-Laufzeitumgebung lud das Bundle und erzeugte Text-, Bild-, Audio- und Videoausgaben. Manifest-Status exported_unvalidated; Bereichsstatus quantized_candidate_not_validated.

„Es ließ sich laden und generierte“ ist ein echtes Ergebnis und wertvoll – viele quantisierte multimodale Checkpoints scheitern genau an diesem Schritt. Es ist nicht das Ergebnis, das über ein Deployment entscheidet, denn keine dieser Modellkarten nennt auch nur einen einzigen Genauigkeitswert für den komprimierten Build im Vergleich zu seiner eigenen BF16-Quelle. Es gibt kein gemessenes Delta bei MMAU, bei Video-MME, bei der Transkriptions-WER. Die einzige überhaupt gemachte Präzisionsaussage ist struktureller Natur und stammt aus dem AWQ-Audit: INT4 im Feed-Forward, BF16 in der Attention. Das beschreibt die Datei. Es sagt nichts darüber aus, was die Kompression gekostet hat, und bei einem Modell, dessen Vorsprung gegenüber Qwen3-Omni-30B-A3B-Instruct auf Video-MME mit Audio 7,8 Punkte beträgt, ist die Höhe dieser Kosten keine Rundungsfrage.

Die praktische Regel für diese Familie ist also, einen Benchmark, der Ihnen wichtig ist, auf genau dem Build, den Sie ausliefern wollen, gegen die BF16-Basis erneut auszuführen, bevor Sie einer Tabelle aus dem Paper vertrauen. Das sind ein paar Stunden Arbeit, und es ist die einzige Möglichkeit herauszufinden, ob das INT4-Feed-Forward unter den Videoergebnissen eingesetzt werden kann oder ob die 34 % Einsparung mit den Zahlen bezahlt werden, mit denen die Karte wirbt.

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

Darunter sitzen zwei mechanische Fallen.

Das erste ist das GGUF. „GGUF Q4_K_M“ klingt nach „läuft in llama.cpp oder Ollama“. Das stimmt nicht. Das Bundle ist für die eigene native Runtime von Tencent gebaut, die man aus dem Repository kompiliert; der Quick Start der Modellkarte ist install-cpu/bin und ein native/run_hf.py-Launcher, und der Serving-Leitfaden leitet GGUF ausschließlich an diese Runtime weiter. Wenn Ihre Pipeline nach llama.cpp aussieht, ist dieser Checkpoint nicht die Abkürzung, die er zu sein scheint.

Der zweite Punkt ist ein Dokumentationsfehler, den es zu benennen lohnt, weil er jeden verwirren wird, der die Manifeste der Reihe nach liest. Alle drei FP8-Manifeste – für die 2B-, die 4B- und die 9B-Variante – tragen dasselbe official_repo-Feld: Qwen/Qwen3.5-35B-A3B-FP8. Es handelt sich um einen per Copy-and-Paste übernommenen Provenienz-String im Rezeptdatensatz, nicht um die Aussage, dass ein 9B-Checkpoint heimlich ein 35B-Mixture-of-Experts ist. Nichts sonst in der Datei stützt diese Lesart: Die Quellenliste desselben Manifests verweist auf die fünf Shards von tencent/WeMM-Video-9B mit passenden Hashes, und der Architekturblock verzeichnet ein dichtes Modell mit 32 Schichten und null Experten. Das 35B-A3B ist ein echtes separates Modell; es ist außerdem die einzige Größe in der Familie ohne eigenes FP8-Repository und verfügt nur über Base, AWQ, GGUF und NVFP4.

9B gegen 30B – in T​encent-Tabellen

Jede unten aufgeführte Benchmark-Zahl stammt von den Autoren selbst, aus arXiv 2611.26409, und kein Dritter hat irgendeine davon reproduziert. Das Paper sagt es selbst: Bestehende Modelle werden mit „offiziellen Ergebnissen, wo verfügbar, und ansonsten unseren eigenen Bewertungen“ angegeben. Betrachten Sie diesen Abschnitt als Beschreibung einer Behauptung, nicht als Messung.

In der gemeinsamen audio-visuellen Tabelle schlägt das 9B-Modell im Thinking-Modus Qwen3-Omni-30B-A3B-Instruct bei 35 der 37 Werte, die beide Spalten gemeinsam haben, liegt bei einem gleichauf und verliert bei einem – gegen ein Modell, das rund dreimal so groß ist:

• Video-MME mit Audio — 85,1 gegenüber 77,3. MiniCPM-o-4.5-9B liegt bei 69,2.

• Video-MME-v2 mit Audio — 51,6 gegenüber 36,3, eine Differenz von 15,3 Punkten.

• Daily-Omni — 83,6 gegen 70,7, obwohl MiniCPM-o-4.5-9B mit 80,2 daraus ein Dreierergebnis statt eines klaren Siegs macht.

• SciVideoBench und MMOU — 64,2 gegenüber 49,9 und 71,7 gegenüber 60,5.

• EvaOmni und OmniReasoningBench — 50,7 gegenüber 26,1 und 43,9 gegenüber 24,1.

• Die einzige Niederlage — FutureOmni, 53,7 gegen 55,1. MiniCPM-o-4.5-9B erreicht dort 56,1.

Die Tabelle zum stummen Video ist die nützlichere, weil sie eine Kontrolle aus derselben Familie enthält: Qwen3.5-9B, das Backbone, auf dem dieser Checkpoint aufbaut. Liest man die beiden Spalten nebeneinander, hat das Post-Training eine Form. Es gewinnt bei temporalem Grounding und zeitlicher Wahrnehmung – F-16-NBA 88,7 gegen 75,8, TimeLens-QVHighlights 66,8 gegen 64,3, TimeLens-ActivityNet 55,3 gegen 52,2, TOMATO 48,5 gegen 45,0 – und verliert bei der Zusammenfassung langer Videos und der allgemeinen Erkennung: MLVU 82,4 gegen 84,4, LVBench 68,2 gegen 70,0, VideoVista 82,2 gegen 84,7, VSI-Bench 54,5 gegen 58,3, MVBench 71,4 gegen 74,4. Das ist also kein einheitliches Upgrade gegenüber dem Backbone, den es erbt. Es ist ein Modell, das darauf abgestimmt ist, wann und wo etwas passiert ist, zu messbaren Kosten bei den aggregierten Video-Scores und beim räumlichen Schlussfolgern, worin das Backbone bereits besser war.

Audio ist der Bereich, in dem das 9B nicht mehr gewinnt. Im Instruct-Modus erzielt das 9B 70,9 auf MMAU-Pro gegenüber 64,8 von Qwen3.5-Omni-Flash und 76,8 auf MMSU gegenüber 72,2 – verliert aber MMAU mit 77,0 zu 80,4 und MMAR mit 72,8 zu 74,0 und verliert die Spracherkennung schlichtweg: LibriSpeech-Wortfehlerrate 1,5 und 3,1 gegenüber 1,3 und 2,4, WenetSpeech-Zeichenfehlerrate 5,4 und 6,8 gegenüber 4,4 und 5,5. Text und Wissen erzählen dieselbe Geschichte: MMLU-Pro 81,6 gegenüber 82,5 des Qwen3.5-9B-Backbones, GPQA 77,8 gegenüber 81,7, HMMT 75,0 gegenüber 82,9. Wenn das Transkript das Produkt ist, gewinnt ein dedizierter Erkennner immer noch.

Ein Vergleich in der Arbeit sollte sorgfältig gelesen werden. Die omnimodale Tabelle führt die WeMM-Modelle im Thinking-Modus aus, während die Audio-Tabelle sie im Instruct-Modus ausführt, da die Autoren die standardmäßigen Audio-Benchmarks als direkte Wahrnehmungsaufgaben eingeschätzt haben. Das ist eine vertretbare Aufteilung, und sie bedeutet auch, dass eine WeMM-Zeile in der einen Tabelle nicht mit einer Konkurrenzzeile in der anderen vergleichbar ist.

Standardmäßig acht Sekunden Video

Die Diskrepanz zwischen dem, was der Checkpoint akzeptieren kann, und dem, was die mitgelieferten Rezepte ihm übergeben, ist groß genug, um Ergebnisse zu verändern, daher gehört sie in jeden Evaluierungsplan.

• Frame-Budget – der Prozessor verwendet standardmäßig 2 fps, mindestens 4 Frames, höchstens 128 Frames und insgesamt 100.663.296 Pixel. Das vLLM-Rezept überschreibt alle vier auf 2 fps, 16 Frames und 262.144 Pixel. Bei 2 fps entsprechen sechzehn Frames acht Sekunden Abdeckung aus der Mitte eines Clips.

• Kontext — die Textkonfiguration deklariert 262.144 Positions-Embeddings. Jeder Serving-Befehl, den T​encent veröffentlicht, übergibt max-model-len 8192 oder context-length 8192, und nichts im Repository erklärt, wie man den größeren Wert erreicht.

• Audiokosten — 10 Tokens pro Sekunde, ein Budget von 8.192 Tokens entspricht also etwa dreizehn Minuten Audio und sonst nichts. Ein Video mit seiner Tonspur verbraucht dieses Budget gleichzeitig für Frames und Audio.

• Medien pro Anfrage — vier Bilder, zwei Videos, zwei Audioelemente, gemäß den aktuell geltenden Limits.

Niemand außerhalb von WeChat Vision hat veröffentlicht, welches Sampling die Benchmark-Läufe verwendet haben. Wenn Sie eine Zahl aus der obigen Tabelle reproduzieren, ist das die erste Unbekannte, die geklärt werden muss, und die mitgelieferte 16-Frame-Standardeinstellung ist der falsche Ausgangspunkt.

Was Sie heute tatsächlich damit machen können

OrcaRouter stellt WeMM-Video-9B nicht bereit, und sein Katalog führt überhaupt keinen WeMM-Checkpoint auf. Es gibt keinen gehosteten Preis, den man nennen könnte, und keinen Endpoint zum Aufrufen, daher ist dies derzeit eine Self-Hosting-Aufgabe: Patchen Sie vLLM oder SGLang aus dem Overlay-Verzeichnis des Repositorys, legen Sie die exakte Kombination aus PyTorch, Transformers und CUDA 12.9 fest, die das Patch-Manifest für Ihre Engine-Version nennt, und planen Sie 13 GiB zuzüglich Cache ein. Der GGUF-Weg erfordert Tencents native Runtime, die aus dem Quellcode gebaut werden muss.

Für die Vision-Hälfte der Arbeit gibt es bereits offene Alternativen auf der Plattform — Qwen3-VL-235B-A22B-Thinking und Qwen3-VL-8B-Thinking beide nehmen Bilder und Videoframes entgegen — erreichbar über einen OpenAI-kompatiblen Schlüssel zusammen mit 200+ anderen Modellen, zu 0 % Aufschlag gegenüber dem Listenpreis des Anbieters. Keines von beiden hört irgendetwas, und für die Audio-Hälfte gibt es kein WeMM-Äquivalent. Wenn du ein selbst gehostetes 9B ausprobieren möchtest, ohne einen Produktionspfad darauf zu legen, ist das Routing hinter einer Failover-Regel der günstige Weg herauszufinden, ob die gepatchte Runtime bei deiner Parallelität standhält, bevor du ihm eine Karte zuteilst.

Die Vier-Bit-Builds sind unterdessen eher das, worauf man warten sollte, als das, was man übernehmen sollte. Ihre eigenen Manifeste bezeichnen sich selbst als unvalidiert, und die Größenarithmetik besagt, dass die Kompression, die sie bieten, eine Einsparung von 34 % bei den Gewichten darstellt — gut zu haben, aber kein Grund, ein Deployment dafür umzuarchitektieren. Das Signal, auf das man achten sollte, ist nicht ein weiteres Quantisierungs-Repository. Es ist das erste Manifest dieser Familie, das das Wort pending weglässt, gefolgt von der ersten unabhängigen Reproduktion einer Tabelle, die derzeit an genau einer Stelle existiert: im PDF der Autoren.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt