Sensitivitätsbewusste Quantisierung erklärt: Wie OrcaSAQ entscheidet, welche Gewichte mehr Bits erhalten

Sensitivitätsbewusste Quantisierung ist die Praxis, das Bit-Budget dort einzusetzen, wo es darauf ankommt: Tensoren, denen die Quantisierung am meisten schadet, erhalten mehr Bits, und alles andere bleibt bei einer niedrigeren Basis-Bitbreite. Dieser Artikel erklärt, wie OrcaSAQ — unsere kalibrierungsfreie, architekturbewusste Mixed-Precision-Methode, veröffentlicht mit der GLM-5.3-Flash-Quantisierungsfamilie orcarouter/GLM-5.3-Flash-MLX — entscheidet, welche der 37.338 Tensoren in einem Mixture-of-Experts-Modell mit 320 Milliarden Parametern zusätzliche Bits verdienen, und zwar vollständig ohne Kalibrierungsdatensatz. Die übertragbare Lehre für alle, die ein anderes MoE quantisieren: Shared Experts und Down-Projektionen verdienen die zusätzlichen Bits, und man findet sie allein mithilfe der eigenen Quantisierungsmetadaten des Upstream-Releases.

Die kurze Antwort

Sensitivitätsbewusste Quantisierung ist gemischte Präzision mit einer Strategie: Die Bitbreite jedes Tensors richtet sich danach, wie empfindlich er gegenüber Quantisierungsfehlern ist, statt einer einheitlichen Breite für das gesamte Modell. Die Forschungsliteratur misst die Sensitivität mit Hesse-Matrizen, Fisher-Information oder der Divergenz zwischen den Ausgaben der ursprünglichen und der quantisierten Schichten und weist dann den Schichten, die am meisten schaden, Bits zu. OrcaSAQ gehört zu einer kleineren Familie, die die Messung vollständig überspringt. Es kodiert die Sensitivitätsrangfolge in der Architektur selbst: Es verwendet architektonische und Tensor-Rollen-Priors, um zu entscheiden, welche Gewichte fragil sind, und quantisiert dann alles andere mit einer Ziel-Basispräzision.

Was Ihnen das bringt, ist eine schnelle, deterministische, kalibrierungsfreie Pipeline. Es gibt keinen Kalibrierungskorpus, der zusammengestellt werden müsste, keine schichtweise Empfindlichkeitssuche und keine Neuabstimmung pro Modell – so lässt sich dasselbe Rezept an dem Tag, an dem die neuen Gewichte erscheinen, auf eine neue Architektur übertragen. Was es aufgibt, ist Anpassung: Eine kalibrierungsgetriebene Methode wie GPTQ oder AWQ betrachtet die tatsächliche Aktivierungsverteilung Ihres Modells und Ihrer Daten und holt bei gleicher durchschnittlicher Bitbreite in der Regel mehr Qualität heraus. OrcaSAQs Wette ist, dass bei Mixture-of-Experts-Modellen die Rolle eines Tensors das meiste von dem verrät, was ein Kalibrierungslauf verraten würde – zu einem Bruchteil der Kosten.

Zwei Möglichkeiten, die sensitiven Gewichte zu finden.

Vor der Policy stellt sich die Frage: Woher weiß man, welchen Tensoren die Quantisierung schadet? Die beiden Antworten bilden den gesamten Designraum.

• Kalibrierungsgesteuert. Lassen Sie einen kleinen Korpus durch das Modell laufen, messen Sie den Fehler, den jeder Tensor oder Block verursacht, und weisen Sie Bits zu, um den gesamten Rekonstruktionsfehler zu minimieren. GPTQ verwendet eine hessianbasierte Näherung für den Quantisierungsfehler pro Schicht; AWQ verwendet Aktivierungsstatistiken, um die wichtigen Gewichte zu identifizieren, die geschützt werden müssen. Die Stärke liegt in der Anpassung an Ihre tatsächlichen Daten; die Kosten sind ein kuratierter Korpus, Vorwärtsdurchläufe und inverse-Hessian-Lösungen für jede Schicht, und Ergebnisse, die sich verschieben, wenn sich der Kalibrierungssatz ändert.

• Kalibrierungsfrei.Lege die Sensitivitätsrangfolge fest, bevor du Daten siehst, anhand der Architektur. In einem MoE kennst du bereits die tragenden Rollen: den Experten, der bei jedem Token feuert, und die Projektion, die in den Residualstrom schreibt. Kodiere diese Rangfolge als feste Richtlinie und wende sie mechanisch an.

OrcaSAQ steht fest im zweiten Lager, und dieser Artikel ist eine Verteidigung dieses Lagers in Sachen MoE-Quantisierung — mit einer nüchternen Darstellung dessen, was man dafür aufgibt.

Die Richtlinie: Welche Tensoren mehr Bits erhalten.

OrcaSAQs Bit-Zuteilungsrichtlinie ist in der Modellkarte für orcarouter/GLM-5.3-Flash-MLX angegeben und lässt sich auf drei Regeln plus eine Ausnahme reduzieren. Die Basispräzision ist der Build, den du erstellst — 6, 4, 3 oder 2 Bit — und die Richtlinie hebt bestimmte Tensorrollen darüber an:

• Gemeinsamer Experte: Basis +2 Bits. Der gemeinsame Experte feuert bei jedem Token, daher wird sein Quantisierungsfehler in jede einzelne Ausgabe des Modells übertragen. Er ist der Tensor mit der größten Hebelwirkung im Modell und erhält die meisten Bits.

• down_proj: Basis +1 Bit. In einem SwiGLU-MLP-Block ist die Down-Projektion der residuale Engpass — ihre Ausgabe wird direkt in den Residualstrom eingespeist, den jede tiefere Schicht liest. Ein Fehler hier korrumpiert direkt alles, was nachgelagerte Schichten sehen.

• gate_proj und up_proj: Basispräzision. Dies sind die Expansions- und Gating-Pfade; ihre Ausgaben werden elementweise innerhalb der Aktivierung multipliziert. Ein geringer Fehler dort wird durch das Gating teilweise ausgeglichen, daher tolerieren sie die Basisbreite.

• Nie quantisiert, in BF16 geführt: die 34 Linear-Attention-Schichten, der gelernte Sparse-Indexer, die Hyper-Connection-Arrays, die Normen, embed_tokens, lm_head und der gesamte Vision-Tower. Diese waren im Upstream-Release nicht FP8 und bleiben in voller Präzision erhalten.

Bits werden auf die nächste von MLX unterstützte Breite aufgerundet: {2,3,4,5,6,8}. Konkret: Bei GLM-5.3-Flash — 320B insgesamt / 18B aktiv, 288 geroutete Experten plus 1 gemeinsamer Experte mit Top-8-Routing, 45 Schichten — vergibt die 4-Bit-Variante dem gemeinsamen Experten 6 Bits, jeder Down-Projektion 5 Bits und den Gate- und Up-Projektionen 4 Bits. Die 6-Bit-Variante rundet die Down-Projektionen auf 8 Bits auf. Die Gruppengröße beträgt 64 für die 4- und 6-Bit-Varianten, 32 für 2- und 3-Bit, und der gemeinsame Experte verwendet immer 64.

Lohnt sich die Shared-Expert-Regel? Bei einer 2-Bit-Basis liegt der Shared Expert bei 4 Bits und bei einer 6-Bit-Basis bei 8 – in beiden Fällen kosten die zusätzlichen zwei Bits Speicher, den die gerouteten Experten anderweitig hätten nutzen können, und die eigenen Zahlen der Modellkarte, die weiter unten besprochen werden, deuten darauf hin, dass sich dieser Trade-off lohnt. Es ist dieselbe Überlegung, die den 2bit-lite-Build überhaupt erst lieferbar macht: Der immer aktive Experte ist der eine Ort, an dem ein wenig zusätzliche Präzision am meisten bringt.

Die Auswahlregel: _scale_inv als freies Sensitivitätssignal

Die Bit-Allokationsrichtlinie geht davon aus, dass Sie bereits wissen, welche Tensoren Kandidaten sind. Die Auswahl dieser Menge ist der Punkt, an dem OrcaSAQ am cleversten ist, denn die Regel ist mechanisch und benötigt keine Daten: Ein Tensor wird genau dann re-quantisiert, wenn die FP8-Veröffentlichung ihn mit einem _scale_inv-Begleiter ausgeliefert hat.

Warum das funktioniert: Das Upstream-Basismodell GLM-5.3-Flash ist FP8 — blockweise e4m3, 128×128-Blöcke, mit einem dynamischen Aktivierungsschema. Blockweise FP8-Quantisierung speichert einen Skalenwert pro Block und dessen Kehrwert zusammen mit dem Gewicht; das Vorhandensein von _scale_inv im Checkpoint ist ein verlässlicher Marker dafür, dass der Tensor im Upstream den Quantisierungspfad durchlaufen hat. Das Upstream-Release hat Ihnen bereits gesagt, welche Tensoren sicher zu quantisieren sind — keine Hesse-Matrix, kein Kalibrierungskorpus, keine Vorwärtsdurchläufe.

Für GLM-5.3-Flash sind das die MoE- und dense-MLP-Linear-Layer sowie die vier Projektionen jedes deepseek_sparse_attention Blocks — q_a_proj, q_b_proj, kv_a_proj_with_mqa, und o_proj — über die 11 Sparse-Layer in den Tiefen 3, 7, 11 … 43, plus dem MTP-Block, 12 × 4 = 48 Tensoren. Alles andere trug nie den Marker und bleibt BF16: die 34 linear_attention-Layer, der Sparse-Indexer und der Vision-Turm. Der MTP-Layer — Layer 45 — ist in den quantisierten Gewichten enthalten und wird nicht als separates Modul exportiert.

Der Punkt, den es sich zu stehlen lohnt, ist der Trick selbst. Ein Modell-Release, das seine Gewichte vorab quantisiert, hat bereits einen Großteil der Arbeit erledigt, zu entscheiden, was quantisiert werden kann; der _scale_inv-Marker ist diese Entscheidung, serialisiert in das Dateiformat. OrcaSAQ liest sie wieder aus. Genau das macht die Pipeline deterministisch und übertragbar — jedes Modell, das FP8-Gewichte mit Skalen-Metadaten ausliefert, kann nach derselben Regel verarbeitet werden, ganz ohne Datenpipeline.

Der Haken: Pro-Modul-Konfiguration, nicht Top-Level-Bits

Wenn Sie Ihren eigenen MLX-Quantisierer schreiben — und genau für Sie ist dieser Abschnitt gedacht — dann ist das Nützlichste in der Modellkarte eine Warnung: Die Top-Level-bits und group_size in config.json reichen nicht aus.

Insgesamt werden 37.338 Tensoren quantisiert. Die Zuordnung erfolgt in config.json → Quantisierung als pro-Modul-{group_size, bits}-Overrides, die nach MLX-Modulpfad indiziert sind – zum Beispiel model.layers.3.mlp.switch_mlp.down_proj. Aufgrund der Fusion der gerouteten Experten einer Schicht durch MLX zu einer einzigen switch_mlp, decken 173 Einträge alle 37.338 Tensoren ab.

Und der Loader liest diese Einträge beim Laden. Wenn Sie die gesamte Datei mit der Basisbreite quantisieren, erhält jeder Tensor mit erhöhter Präzision – der Shared Expert mit Basis +2, jede Down-Projektion mit Basis +1 – die falsche Breite, und das Modell wird in falscher Form geladen. Die modulweise Zuordnung ist keine Optimierung, die Sie überspringen können; sie ist der Ladepfad. Wenn Sie Ihren eigenen Quantisierer schreiben, geben Sie die Overrides für jeden Tensor aus, den die Policy anhebt, und prüfen Sie sie gegen den Top-Level-Standard, bevor Sie ausliefern.

Rechnet sich die Police selbst?

Die Belege stammen von uns selbst, gemessen an einem Modell: GLM-5.3-Flash. Jeder Build wurde dequantisiert und durch denselben glm5_next Forward-Pass geschickt, sodass die einzige Variable die Quantisierung ist. Die Zahlen unten stammen aus der Modellkarte und sind weder Benchmarks des Anbieters noch Zahlen Dritter — betrachten Sie sie als einen einzelnen Datenpunkt, nicht als Gesetz.

• Perplexity, im Vergleich zur FP8-Referenz bei 2.7797: 6-Bit 2.7864 (+0.24%), 4-Bit 2.8620 (+2.96%), 3-Bit 3.0566 (+9.96%), 2-Bit 4.3622 (+56.9%).

• Top-1-Token-Übereinstimmung mit der Referenz, gleiche Reihenfolge: 97,76 %, 96,13 %, 92,06 %, 86,56 %.

Das Ergebnis ist genau das, was die Policy vorhersagt. Alles bis hinunter zu 3 Bit degradiert sanft — das ist die Signatur eines Bit-Budgets, das für die richtigen Tensoren ausgegeben wurde — und 2 Bit ist eine Klippe, weil unterhalb eines gewissen Punktes die rollenbasierten Erhöhungen aufhören, den Schaden zu decken. Bei 4 Bit ist +2,96 % Perplexität für einen Build, der etwa 38 % kleiner ist als die FP8-Referenz, ein wirklich guter Kompromiss, und es ist dieselbe Policy, nur aggressiver angewendet, die den 102-GB-2bit-lite-Build überhaupt erst ladbar macht. Unabhängige Praktiker, die dieselbe Basis quantisieren, berichten dieselbe Reihenfolge — die obersten Stufen nahe dem Rauschboden, 4 Bit real, aber bescheiden — mit unterschiedlichen absoluten Zahlen aus einem anderen Evaluierungskorpus.

Was wird auf Ihre eigene MoE übertragen?

Das wiederverwendbare Denken für ein Modell, das nicht unseres ist:

• Finde die daueraktiven Experten. Was bei jedem Token feuert — normalerweise ein gemeinsamer oder stets weitergeleiteter Experte — bekommt deine großzügigsten Bits. Sein Fehler pflanzt sich überall fort.

• Finden Sie die verbleibenden Engpässe. Die Projektion, die in den Residualstrom schreibt (typischerweise die Down-Projektion jedes MLP-Blocks), erhält Basis +1. Ein Fehler dort wird von jeder tieferen Schicht gesehen.

• Belassen Sie die Expansions- und Gating-Pfade auf dem Basiswert. Wenn eine Ausgabe innerhalb einer Aktivierung elementweise multipliziert wird, wird der Quantisierungsfehler in ihr teilweise absorbiert.

• Niemals quantisiertes Upstream bedeutet: auch von dir niemals quantisiert. Wenn das Basis-Release diese Tensoren in voller Genauigkeit enthielt, übernimm sie ebenfalls in voller Genauigkeit.

• Verwenden Sie die Skalenmetadaten des Upstream-Releases als Ihre Auswahlregel.Wenn das Basismodell seine Gewichte quantisiert, sind die Skalen-/Inversskalen-Marker, die es hinterlässt, eine kostenlose Karte dessen, was quantisierbar ist — keine Sensitivitätssuche erforderlich.

• Erfassen Sie die Überschreibungen pro Modul. Eine globale Bitbreite wird jeden erzeugten Tensor beim Laden verformen. Schreiben Sie die Modulpfad-Zuordnung.

Und wenn du überhaupt einen Kalibrierungssatz halten kannst, nutze ihn, um die Policy zu prüfen — nicht, um sie zu ersetzen. Führe eine kalibrierungsgesteuerte Quantisierung bei denselben durchschnittlichen Bits durch und prüfe, ob die Reihenfolge des Rollen-Priors dem entspricht, was die Daten sagen. Bei einem dichten Modell oder einer brandneuen Architektur ist diese Prüfung der Unterschied zwischen einem vertretbaren Standardwert und einer Vermutung.

Wo OrcaSAQ die falsche Wahl ist

Dies ist der Abschnitt, der die Methode ehrlich halten sollte, denn der kalibrierungsfreie Handel ist real.

• Wenn die Qualitätsobergrenze Vorrang vor der Pipeline-Geschwindigkeit hat und Sie über einen Kalibrierungssatz verfügen. GPTQ- oder AWQ-artige Methoden passen sich den tatsächlichen Aktivierungsstatistiken Ihres Modells und Ihrer Daten an und übertreffen bei gleicher durchschnittlicher Bitbreite in der Regel eine feste rollenbasierte Richtlinie. Wenn Sie ein Modell einmal quantisieren und nie wieder re-quantisieren, sind die zusätzlichen Kalibrierungsstunden ein einmaliger Aufwand, der messbare Qualität einbringt.

• Dichte Modelle ohne MoE. Der Rollen-Prior — geteilter Experte, Gate/Up/Down — existiert nicht, also verliert die Policy die Struktur, die sie vertrauenswürdig macht. Es bleibt nur „alles, was vorgelagert quantisiert ist, bleibt quantisiert", was eine schwächere Aussage ist.

• Modelle ohne FP8-Upstream-Release. Die _scale_inv-Auswahlregel hat nichts, woran sie sich orientieren kann. Sie müssen die quantisierbare Menge auf andere Weise festlegen, und das Argument der mechanischen Übertragbarkeit bricht zusammen.

• Brandneue Architekturen. Die Priors sind genau die Annahmen, die möglicherweise nicht zutreffen. Eine kalibrierungsgetriebene Methode würde einen fragilen Tensor erkennen, den eine rollenbasierte Richtlinie übersehen hat; OrcaSAQ wird es nicht tun, weil es nie hinschaut.

• Sub-3-Bit-Ziele. Die Richtlinie rettet dich nicht. Bei 2 Bit liegt das Modell bei +56,9 % Perplexität, unabhängig davon, wohin die zusätzlichen Bits gingen; der 2bit-lite-Build existiert, damit er hineinpasst, nicht für Qualität.

• Wenn Sie Garantien benötigen.Per-Tensor-Garantien, Budgets für quantisierungsbewusstes Training (QAT) oder die bestmögliche Qualität für eine feste Größe ohne Rücksicht auf Pipeline-Kosten fallen alle in den Bereich der Kalibrierung.

Das Fazit

Sensitivitätsbewusste Quantisierung ist die Praxis; OrcaSAQ ist ein deterministisches, kalibrierungsfreies Rezept dafür. Die dauerhaften Lehren sind die Skalenanhebungen der Shared-Expert- und Down-Projection, die mechanische _scale_inv-Auswahlregel und die Pro-Modul-Konfiguration, die der Loader tatsächlich liest. Für ein MoE mit 320 Milliarden Parametern wie GLM-5.3-Flash erzeugt dieses Rezept einen 4-Bit-MLX-Build mit +2,96 % Perplexität — und das orcarouter/GLM-5.3-Flash-MLX-Repository bietet dieselbe Richtlinie bei 2, 3, 4 und 6 Bit, mit einem separaten 2bit-lite-Build für 128-GB-Maschinen. Unsere GLM-5.3-Flash-MLX-Schritt-für-Schritt-Anleitung behandelt, welchen Build man auf welcher Maschine ausführen sollte, Schritt für Schritt.

Wenn Ihre Priorität das letzte Quäntchen Qualität bei fester Größe ist und Sie ein Kalibrierungskorpus zusammenstellen können, nutzen Sie die kalibrierungsgesteuerten Werkzeuge und lassen Sie diese sich anpassen. Wenn Ihre Priorität eine reproduzierbare, schnelle, datenfreie Quantisierung ist, die auf die nächste Architektur übertragbar ist — oder Sie schlicht keine Daten-Pipeline aufbauen möchten — dann ist die rollenbasierte Strategie eine vertretbare Standardwahl. Und wenn Sie von vornherein lieber nicht quantisieren möchten, wird die Vollpräzisionsvariante von GLM-5.3-Flash über OrcaRouter als z-ai/glm-5.3-flash bereitgestellt. Die Wahl hängt davon ab, wie viel Pipeline Sie bereit sind zu betreiben, nicht davon, ob sensitivitätsbewusste Quantisierung sich lohnt.

Lieber gar nichts quantisieren? z-ai/glm-5.3-flash ist das Modell mit voller Präzision, das auf OrcaRouter zu Anbieterpreisen mit 0% Aufschlag angeboten wird.