Eine generierte zweispaltige Scoreboard-Karte mit dem Titel „ScaleDown Classify vs. Microsoft-Decision-1 — die Anzeigetafel“, bei der die Zeilen von ScaleDown Classify eine nicht beschriebene Methode, vom Anbieter behauptete Ergebnisse, keine Sprachliste, einen 1-Mio.-Token-Kontext, eine Erklärung in einem Satz und private Gewichte anzeigen, gegenüber der im Detail dokumentierten Methode von Microsoft-Decision-1, keinen ausgewiesenen Ergebnissen, 25 mit Vorbehalt versehenen Sprachen, einem 32.768-Token-Kontext, keiner Erklärung und keinem Fine-Tuning-Pfad.
Engineering & Research

ScaleDown Classify vs. Microsoft-Decision-1: Der eine veröffentlicht Zahlen, der andere die Methode

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

ScaleDown Classify und Microsoft-Decision-1 sind die beiden geschlossenen, gehosteten Optionen in diesem Vergleich. Keine von beiden liefert Gewichte, keine ist etwas, das man herunterlädt, und beide beruhen auf derselben Prämisse: dass eine Entscheidung – welche Kategorie, welche Option, welche von diesen – aus den Wahrscheinlichkeiten eines Modells herausgelesen werden sollte, statt von einer Generierungsschleife als Text ausgeschrieben zu werden. Microsoft-Decision-1 ist seit dem 8. Oktober 2026 auf Microsoft Foundry allgemein verfügbar als ein von Microsoft nachtrainierter dichter Decoder mit 9 Milliarden Parametern, mit 25 unterstützten Sprachen und einem Kontext von 32.768 Token. ScaleDown Classify ist eine gehostete Rubrik-Engine zu 0,05 US-Dollar pro Million Eingabe-Token und 0 US-Dollar pro Million Ausgabe-Token, mit einem Eingabelimit von 1 Mio. Token und einer Obergrenze von zwanzig Labels. Was sie trennt, ist nicht die Leistungsfähigkeit. Es ist das, was jedes Unternehmen über sein eigenes Modell zu veröffentlichen bereit ist, und sie haben entgegengesetzte Hälften gewählt.

Die Umkehrung der Offenlegung

Die Foundry-Dokumentation von Microsoft-Decision-1 beschreibt seine Evaluierung in ungewöhnlicher Ausführlichkeit. Öffentliche und Community-Entscheidungsbenchmarks plus zurückgehaltene interne Sets. Metriken einschließlich Genauigkeit und Kalibrierungsfehler. Die Optionsreihenfolge wurde variiert. Gepaarte statistische Tests. Eine identische Testumgebung für jedes Modell, mit dem es verglichen wird. Und dann berichtet sie, dass das Modell „mit führenden Entscheidungsmodellen auf Augenhöhe abschneidet und vor anderen offenen Entscheidungsmodellen liegt, die mit derselben Methodik evaluiert wurden“ – und druckt überhaupt keine Zahlen ab. Keine Genauigkeitsangabe, kein Kalibrierungsfehler, keine Tabelle pro Benchmark.

Was Microsoft veröffentlicht, ist eine Liste mit Einschränkungen, und die ist gut. Die Bewertungsergebnisse verschieben sich je nach Formulierung und Reihenfolge der Optionen. Eine schlecht formulierte Frage liefert trotzdem eine Bewertung. Die Kalibrierung ist bei vertrauten Aufgabentypen am stärksten. Es werden keine Erklärungen erzeugt. Als genannte Stärken des Modells gelten Schlussfolgern, Regelanwendung und Robustheit gegenüber der Formatierung von Prompts; als genannte Schwächen gelten spezialisiertes Domänenwissen und die Leistung bei nicht-englischen Sprachen.

ScaleDown Classify stellt das Spiegelbild dieser Richtlinie dar. Seine Dokumentation geht ins operative Detail darüber, wie man eine Anfrage schreibt — das Bewertungsraster wird als wichtigster Teil einer Klassifizierungsanfrage beschrieben, als direkte Ja/Nein-Frage formuliert, unter Vermeidung von Verneinungen, überschneidungsfrei gehalten, damit die Wahrscheinlichkeitsmasse nicht unvorhersehbar aufgeteilt wird — und das Marketing des Anbieters enthält Genauigkeits- und Kostenaussagen, darunter ein Modell mit rund einer halben Milliarde Parametern, das bei einer einfachen Klassifizierungsaufgabe 91,7 % erreicht, gegenüber 88,6 % bei einem Modell mit 72 Milliarden Parametern. Nichts davon ist an eine beschriebene Methodik geknüpft, und ScaleDown Classify weist auf keinem öffentlichen Harness einen veröffentlichten erwarteten Kalibrierungsfehler auf.

Die Wahl besteht also zwischen einem Anbieter, der Ihnen sagt, wie er gemessen hat, aber nicht, was er gefunden hat, und einem Anbieter, der Ihnen sagt, was er gefunden hat, aber nicht, wie er gemessen hat. Keines von beiden ist eine vollständige Offenlegung, und keines von beiden sollte als eine solche behandelt werden.

A screenshot of ScaleDown's /classify API reference page, captured 14 October 2026, showing the POST /classify endpoint description, the text, chunks and optional document input fields, and the required labels array of name-and-rubric objects that the documentation describes as the most important part of the request.

Sprachen: Die eine veröffentlicht eine Anzahl, die andere veröffentlicht nichts.

Microsoft-Decision-1 listet 25 unterstützte Sprachen auf und erklärt klar, dass Abdeckung, Qualität und Kalibrierung „je nach Sprache variieren können“, wobei nicht englischsprachige und insbesondere ressourcenärmere Sprachen als Bereiche mit unterdurchschnittlicher Leistung genannt werden. Das ist eine brauchbare Offenlegung: Sie sagt Ihnen, dass das Modell mehrsprachig ist, sie sagt Ihnen ungefähr, wie mehrsprachig, und sie sagt Ihnen, wo Sie ihm nicht vertrauen sollten.

Die Classify-Dokumentation von ScaleDown veröffentlicht keine Sprachenliste. In der API-Referenz steht nichts darüber, welche Sprachen die Rubrikbewertung verarbeitet oder ob Formulierungen der Rubrik in einer nicht englischen Sprache dasselbe Verhalten zeigen, und die Rubrik-Anleitung – formuliere sie als direkte Ja/Nein-Frage, vermeide Verneinungen – ist so geschrieben, dass sie implizit einen englischsprachigen Aufrufer annimmt, der englische Rubriken schreibt. Für einen Klassifikator, der in der Praxis auf internationale Support-Tickets gerichtet wird, ist das die Lücke, die vor Ihrer Entscheidung geschlossen werden muss, und es ist eine Lücke, die nur Ihre eigene Evaluierung schließen kann.

Wenn Sie einen dokumentierten Sprachumfang benötigen, endet dieser Vergleich hier und Microsoft gewinnt standardmäßig. Wenn Sie nur Englisch verwenden, ist die Anzahl kein Faktor und der Rest der Entscheidung dreht sich um Eingabelänge und Schwellenwerte.

Kontext: 32.768 Tokens gegenüber einer Million

Microsoft dokumentiert einen einzelnen Aufruf über bis zu 32.768 Token. ScaleDown dokumentiert ein Eingabelimit von 1 Mio. Token und gibt an, dass die Kalibrierung pro Chunk identisch ist, unabhängig davon, ob ein Chunk allein oder als Teil eines Stapels aus fünfzig Chunks gesendet wird, wobei das gemeinsame Profil einmal pro Anfrage abgerechnet wird. Auf die reine Zahl bezogen ist das ein dreißigfacher Unterschied und die größte einzelne Kluft zwischen den beiden Produkten.

Was es bringt, ist nicht der Durchsatz – es ist die Frage, ob du eine Chunking-Schicht brauchst. Ein Support-Thread, ein Ticket mit seiner Historie, eine kurze abgerufene Passage: All das passt in 32k mit Platz für ein Frage-Schema, und die beiden Modelle sind bei dieser Größe ungefähr gleichwertig. Ein vollständiger Vertrag, ein mehrseitiges Richtlinien-Dokument, ein langer abgerufener Kontext oder ein gescanntes Formular: Nichts davon passt in 32k, und der Dokumentpfad von Classify – base64-JPEG, PNG, TIFF oder PDF, ein- oder mehrseitig, wobei der extrahierte Text in einem Feld ocr_text zurückgegeben wird – bedeutet, dass das Dokument als Bytes statt als vorverarbeiteter Text hineingehen kann.

Beide Zahlen stammen von den Anbietern selbst. ScaleDowns Behauptung von einer Million Token wurde nicht unabhängig bestätigt, und Katalogeinträge Dritter für das Modell geben die Kontextlänge als nicht zutreffend an, statt die Zahl zu wiederholen, was eine Einschränkung des Katalogs und kein Widerspruch ist.

Erklärungen: Der eine weigert sich, der andere verlangt das Doppelte.

Microsoft-Decision-1 liefert keine Erklärungen, und die Modellseite führt das als Einschränkung auf, nicht als Designentscheidung. ScaleDown Classify gibt eine Erklärung in einem Satz zu seinem Top-Label zurück, und die Dokumentation ist präzise darin, was dieser Satz ist: Sie wird generiert, nachdem das Top-Label festgelegt wurde, erklärt also die Entscheidung, statt sie infrage zu stellen, sie ist freiformuliert und sendet die Labels und Rubriken erneut mit doppelt so vielen abgerechneten Eingabe-Tokens. Sie ist nur bei Single-Label-Anfragen mit einer einzelnen Text- oder Dokumenteingabe verfügbar — Multi-Label- und Batch-Anfragen geben sie nie zurück.

Für eine menschliche Prüfungswarteschlange ist dieser Satz häufig der Unterschied zwischen einem Prüfer, der eine Klassifizierung akzeptiert, und einem Prüfer, der sie erneut durchführt, was den 2x-Aufschlag für den Anteil des Traffics, der einen Menschen erreicht, leicht zu rechtfertigen macht. Für eine automatisierte Pipeline ist er reiner Ballast auf der Rechnung und sollte abgeschaltet sein.

Beide sind geschlossen, und das verändert, was du testen kannst.

• Gewichte — keiner von beiden liefert sie mit; ScaleDown bietet Enterprise-Self-Hosting und Lizenzierung auf Anfrage an, Microsofts Seite dokumentiert überhaupt keinen Fine-Tuning-Pfad

• Optionsobergrenze — ScaleDown 20 Labels pro Anfrage, 16 im Multi-Label-Modus, unabhängig bewertet; die Obergrenze für das Optionsset von Microsoft-Decision-1 wird auf der Modellseite nicht angegeben

• Batch-Inferenz — ScaleDown dokumentiert bis zu 50 Chunks pro Anfrage gegen ein gemeinsames Label-Profil; Microsofts Seite führt Batch-Inferenz als deaktiviert auf

• Abrechnungsangabe — Der Tarif von Classify ist angegeben, mit 0,05 $ pro Million Eingabe-Tokens und 0 $ pro Million Ausgabe-Tokens; der Pro-Token-Tarif von Foundry ist nicht auf der Modellseite angegeben

• Preisstruktur — Classify multipliziert sich mit Ihrer Label-Anzahl im Multi-Label-Modus und verdoppelt sich, wenn Reasoning aktiviert ist; der Foundry-Tarif gilt pro Token ohne veröffentlichten Label-Multiplikator

• Leere Antwort — Classify liefert auch dann einen Gewinner, wenn nichts passt, also schreibst du den Schwellenwert; Das von Microsoft angegebene Verhalten ist, dass eine schlecht formulierte Frage dennoch eine Bewertung zurückgibt

Die Konsequenz daraus, dass beide geschlossen sind, ist in beiden Fällen dieselbe: Man kann das Artefakt nicht inspizieren, also ist die einzige Verifikation verhaltensbasiert. Das macht ein zurückgehaltenes Set eigener gelabelter Daten unverzichtbar, und es macht die Kosten eines Anbieterwechsels zu einem erneuten Durchlauf dieser Evaluation statt zu einer Codeänderung.

A screenshot of the OrcaRouter models catalogue, captured 14 October 2026, showing the header '210 models, 16 providers, one API key, one bill' and the filter row for input modalities, context length, input price, status, access tier, series and supported parameters.

Wo OrcaRouter in einer Pipeline sitzt, die auf einem von beiden aufbaut

Keines dieser Modelle ist in unserem Katalog, und nichts hier ist eine Verfügbarkeitsaussage — beide sind strukturierte Scoring-Endpunkte und keine Chat-Completions-Ziele, und eine Routing-Schicht ist nicht das, was eines von beiden braucht. Was wir anbieten, ist die Schicht über ihnen: die über 200 generativen Modelle hinter einem einzigen OpenAI-kompatiblen Schlüssel, die den Entwurf erzeugen, den der Klassifikator bewertet, zum Listenpreis des Anbieters, durchgereicht mit 0 % Aufschlag, mit einer Routing-DSL, um mehrere Modelle zu einem Aufruf zusammenzusetzen, und automatischem Failover, wenn ein Serving-Pfad degradiert. Wenn ein Entscheidungsmodell vorgibt, was Ihre Generierungsschicht ausliefern darf, dann liegt in der Generierungsschicht Ihr Verfügbarkeitsrisiko, und das ist die Hälfte, die ein einziger Schlüssel bündeln kann.

Welches soll man wählen?

Wählen Sie Microsoft-Decision-1, wenn Sie einen dokumentierten Sprachumfang benötigen, wenn Sie bereits in Azure sind oder wenn die Compliance-Position eines großen Anbieters für Ihre Beschaffung wichtiger ist als eine veröffentlichte Genauigkeitszahl. Akzeptieren Sie, dass Sie es ausschließlich anhand Ihrer eigenen Daten bewerten werden, weil Microsoft beschlossen hat, Ihnen nichts anderes zu geben.

Wählen Sie ScaleDown Classify, wenn Ihre Eingaben über 32k Token hinausgehen, wenn Sie den Extraktionsschritt in den Klassifizierungsaufruf eingebettet haben möchten oder wenn Sie eine Rubrik pro Label wünschen, die Sie umschreiben können, ohne irgendetwas neu zu trainieren. Akzeptieren Sie, dass das Genauigkeitsargument vom Anbieter selbst stammt und nicht reproduziert wurde, dass keine Kalibrierungszahl veröffentlicht ist und dass Sie Ihren eigenen Konfidenzschwellenwert und ein Auffanglabel schreiben werden.

Die Messung, die dies entscheiden würde – beide Modelle mit identischen Eingaben, derselben Reihenfolge der Optionen, demselben Schwellenwert-Durchlauf, durchgeführt von jemandem ohne Eigeninteresse –, wurde von keinem der beiden Anbieter veröffentlicht. Bis einer von ihnen sie durchführt, lautet die ehrliche Lesart, dass Microsoft der sicherere Standard und ScaleDown das leistungsfähigere Instrument ist.

A generated two-column scoreboard comparing ScaleDown Classify and Microsoft-Decision-1 across published methodology, published results, supported languages, context length, explanation output and weight access, with a footer reading that both vendors self-report and neither publishes independently audited results.

Auch bei einem solchen Vergleich zeigen sich die Fehlermodi: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, einen Schweregrad, einen Konfidenzgrad und eine Strittig-Kennzeichnung mitführt.