Eine generierte Titelkarte für einen Vergleich von pplx-decider und Decider, bezeichnet als still und ohne Ankündigung veröffentlicht, mit Angabe von pplx-deciders 27B-Checkpoint, der am 2026-10-01 erscheint, und seiner Überarbeitung vom 2026-10-05, Deciders Bandbreite von 0,8B bis 34,7B, dem gemeinsamen Frageformat mit 2 bis 255 Optionen sowie Apache-2.0-Lizenzierung auf beiden Seiten.
Engineering & Research

pplx-decider vs. Decider: Perplexitys Silent 27B gegen Mapikas Open Ladder

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Zwei Entscheidungsmodelle befinden sich gerade auf Hugging Face, die Fragen auf dieselbe Weise beantworten und sich in fast nichts anderem einig sind. pplx-decider ist ein 27B-Checkpoint von Perplexity, der am 2026-10-01 erschien – ohne Ankündigung, ohne Blogbeitrag, ohne Preisseite und ohne Inferenzanbieter, der es bereitstellt; eine Revision, pplx-decider-v1.1, folgte am 2026-10-05 auf demselben Backbone. Decider ist Mapikas Familie derselben Modellklasse – decider-0.8b bis decider-35b-a3b, eine offene Reproduktion in der System-One-Linie, veröffentlicht mit vollständigen Trainingsnotizen. Beide nehmen einen Block benannter Fragen plus ein Dokument und geben in einem einzigen Vorwärtsdurchlauf eine kalibrierte Wahrscheinlichkeit pro Antwort zurück. Keines von beiden schreibt einen Satz Prosa. Was folgt, ist das, was für jedes tatsächlich aktenkundig ist, und eine klare Markierung, wo immer die Aufzeichnung endet.

Zuerst: Was macht „decision model“ in diesem Satz?

Keines von beiden ist ein Chat-Modell, das gebeten wurde, sich knapp zu fassen. Sie sind im üblichen Sinne überhaupt keine Sprachmodelle – es gibt keine Dekodierungsschleife, kein Sampling, nichts, das Token für Token abläuft. Ein einzelner Vorwärtsdurchlauf über Ihr Dokument liefert eine Wahrscheinlichkeit für jede Option, die Sie angegeben haben.

Die Form des Aufrufs ist es, die den Vergleich wert macht, geschrieben zu werden. Man übergibt einen Zustand (ein Ticket, einen JSON-Datensatz, einen Screenshot, einen Vertrag) und eine Liste benannter Fragen. Jede Frage benennt ihren Antworttyp: Auswahl aus 2 bis 255 beschrifteten Optionen, eine Ja/Nein/Unbekannt-Anzeige oder eine Punktzahl auf 2 bis 10 beschriebenen Stufen. Antworten kommen in der Reihenfolge zurück, in der man sie angefragt hat, als Zahlen zwischen 0 und 1, und die Zahl ist als Wahrscheinlichkeit zu lesen, nicht als sauberes Label — 0,62 bei „Wird eine Erstattung verlangt?“ ist die gesamte Ausgabe, und ein Aufrufer entscheidet über den Schwellenwert.

Dieses Design eliminiert Latenz und Kosten, denn ein Dokument mit sechzig Fragen kostet einen Durchlauf, nicht sechzig. Es bedeutet außerdem, dass die üblichen Methoden zur Beurteilung eines Sprachmodells nicht greifen: Es gibt keine Reasoning-Spur zum Lesen, keine Gedankenkette, mit der man sich auseinandersetzen könnte, keine Möglichkeit, es zu bitten, sich selbst zu erklären. Man bekommt Wahrscheinlichkeitsmasse und sonst nichts. Beide Projekte machen ausdrücklich klar, dass dies der Kompromiss ist.

Was ausgeliefert wurde – und was niemand gesagt hat

Das pplx-decider-Repository ist ungewöhnlich vollständig für ein Modell, hinter dem kein Launch-Post steht. Die Gewichte stehen unter Apache-2.0. Das Basismodell ist Qwen/Qwen3.8-27B, wie auf der Karte angegeben. Es gibt einen veröffentlichten Readout-Head in bf16 mit der Form [255, 5120] – genau die Form, die man für 255 auswählbare Optionen über einem 5.120 breiten Hidden State erwarten würde. Die Karte dokumentiert das Eingabebudget, die Obergrenze für Optionen, die drei Fragetypen und die Form des Endpunkts — POST /v1/systemone.

Was fehlt, ist der Satz, den ein Launch-Post enthalten würde. Auf der Karte steht kein Veröffentlichungsdatum, es gibt keine Ankündigung, keinen Benchmark-Post von Perplexity, keinen Preis und keine Drittplattform, die es bereitstellt. Die Download-Zahlen bewegen sich in der Größenordnung, die man bei einem Repository erhält, das gefunden statt beworben wurde. Liest man beides zusammen, lautet die ehrliche Beschreibung: Das Artefakt ist öffentlich, die Absicht dahinter nicht. Alles Folgende über pplx-decider stammt aus dem Repository und seinen Karten. Nichts von dem, was unten folgt, wurde unabhängig reproduziert, und niemand außerhalb des Labors hat einen eigenen Run veröffentlicht.

Der Eintrag in der Ollama-Bibliothek macht diese Lücke im Kleinen sichtbar. Ihre Seite listet das Tag als 27b mit 17 GB und einem 256K-Kontextfenster auf – ein quantisierter Build, deutlich unter den ungefähr 49 GiB, die die bf16-Gewichte belegen –, während das Repository ein viel kleineres Eingabebudget für Text und Bilder dokumentiert und angibt, dass überdimensionierte Eingaben abgelehnt statt abgeschnitten werden. Diese beiden Aussagen beschreiben nicht offensichtlich dasselbe Limit, und nichts Veröffentlichtes bringt sie miteinander in Einklang. Betrachte die Zahl der Runtime als die Behauptung der Runtime.

A screenshot of the pplx-decider entry on the Ollama library, showing the 27b tag at 17 GB with a 256K context window and a roughly one-hour-old update, vision and 27b badges, the CLI and API tabs, a worked example asking whether a refund is being requested, a vendor-reported accuracy panel reading pplx-decider 85.7% against Jev 84.5% and Qwen3.8-27B 74.8%, and individual benchmark rows for RAGTruth, FinancialPhraseBank, TabFact, JudgeBench and WinoGrande.

Das Interessante daran: zwei Fremde, eine Schnittstelle

Mapikas Decider-Familie und pplx-decider wurden unabhängig voneinander entwickelt, auf unterschiedlichen Grundlagen, aus unterschiedlichen Gründen, und sie konvergierten auf dasselbe Wire-Format. Decider-Modelle sprechen ebenfalls die Aufrufform von System One – benannte Fragen, Auswahl aus 2 bis 255 Optionen, keine Textgenerierung, akzeptierte Zustände bis ungefähr 32k. Ein Client, der für den einen geschrieben wurde, ist so gut wie ein Client für den anderen.

Diese Konvergenz ist die nützliche Tatsache in diesem Vergleich. Welche man wählt, ist kein Rewrite; es ist ein Austausch einer Basis-URL und eines Modellstrings. Die interessante Frage ist nicht mehr „welche API integriere ich“, sondern „welchem Readout vertraue ich bei meinen Dokumenten“ – und die beiden Projekte beantworten diese Frage auf sehr unterschiedliche Weise.

Ein Kontrollpunkt gegen eine Leiter

Der strukturelle Unterschied ist der am leichtesten zu erkennende. Perplexity brachte eine einzige Größe auf den Markt. Mapika brachte eine Bandbreite auf den Markt und veröffentlichte die Größentabelle:

• Katalog — pplx-decider: ein 27B-Checkpoint plus eine v1.1-Revision auf demselben Backbone. Decider: mehr als sieben veröffentlichte Größen, von decider-0.8b mit 1,4 GB über decider-2b, decider-2b-vision, decider-4b, decider-12b bis hin zu decider-35b-a3b mit 65 GB bf16 oder 19,6 GB in nvfp4.

• Basismodelle — pplx-decider: Qwen/Qwen3.8-27B, eine Linie. Decider: eine Mischung — Qwen3.5-0.8B, Qwen3.5-2B und Qwen3.5-4B für die kleinen Größen, Qwen3.5-35B-A3B für die große und gemma-4-12B-it und gemma-4-31B-it unter den Chat-Varianten.

• Aktivierung — pplx-decider: dichtes 27B, also läuft jeder Parameter bei jedem Aufruf. Decider: decider-35b-a3b ist ein Mixture — 34,7B insgesamt, wovon etwa 3B über 256 geroutete Experten aktiv sind, 8 davon pro Token live.

• Vision — pplx-decider: multimodal, und das Repository sagt es; Text, JSON und Bilder einschließlich Screenshots, Belege und Formulare, wobei Vision-Tokens ungefähr width × height / 1024 kosten. Decider: ein separater decider-2b-vision-Checkpoint statt eines Flags in der Hauptlinie, sodass Bildarbeit eine andere Modellwahl ist, kein anderes Argument.

• Lizenz — Apache-2.0 auf beiden Seiten, was die einzige Stelle ist, an der dieser Vergleich langweilig ist.

• Trainings-Offenlegung — pplx-decider: eine Datenpipeline, die auf Bespoke Labs' Bespoke Nimble aufbaut, mit Benchmark-Teilmengen, die über Datensatz-ID und Prüfsumme fixiert sind, und den Verbesserungen von v1.1, die dem Entfernen der kausalen Maske und dem Hinzufügen von Daten einschließlich tasksource zugeschrieben werden. Decider: Notizen je Version mit Elementanzahl, Hardware und Wall-Clock-Zeit — decider-35b-a3b trainiert auf 4× B300 für 394 Minuten über 1.543.567 Elemente — plus benannte Fehlermodi und der Anteil der tatsächlich trainierten Parameter, 2,45 Mrd. von 34,7 Mrd.

Keines von beiden ist ein entscheidender Vorteil. Ein einzelner Checkpoint ist einfacher zu durchdenken, leichter bereitzustellen und lässt sich unmöglich verkleinern. Eine Leiter ermöglicht es, decider-0.8b hinter einen günstigen Vorfilter zu setzen und das 35B nur für die Elemente aufzuwenden, die es brauchen – aber nur, wenn man bereit ist, die Routing-Logik zu pflegen, die entscheidet, was was ist.

A screenshot of the decider-35b-a3b model card on Hugging Face, showing the Text Classification task, the Qwen/Qwen3.5-35B-A3B-Base foundation, 34.7B parameters in BF16 at 65.0 GB, Apache-2.0 licensing, and a family size list running from decider-0.8b at 1.4 GB through decider-35b-a3b-nvfp4 at 19.6 GB.

Die Zahlen und wer sie erstellt hat

Beide Sätze der Schlagzeilenkennzahlen sind vom Anbieter gemeldet, und keinem von beiden liegt eine unabhängige Replikation bei. Das wiegt hier schwerer als sonst, denn es gibt keine Bestenliste für Entscheidungsmodelle von Drittanbietern, die den Stellenwert der Bild- oder Sprach-Arenen hat.

Perplexitys eigene Zahlen für pplx-decider setzen es bei 85,7 % über 11 öffentliche Benchmarks hinweg an, gegenüber 84,5 % für Jev und 74,8 % für die Qwen3.8-27B-Basis, aus der es trainiert wurde. Zu den gemeldeten Einzelwerten zählen RAGTruth 88,8, FinancialPhraseBank 84,2, TabFact 90,6, JudgeBench 78,3 und WinoGrande 83,3, wobei das vollständigere Set Circa, Belebele, TruthfulQA binary, BBH, ContractNLI und einen öffentlichen Hard-Split von JevBench umfasst. Die Revision v1.1 meldet einen suite-gewichteten Gesamtwert von 61,56 gegenüber 56,4 für v1 und 57,9 für Jev, mit dem größten Zuwachs in einer einzelnen Kategorie bei Sprachaufgaben. Der Vergleich mit Jev stammt vom Anbieter, wurde auf der eigenen Suite des Anbieters berechnet, und die Gewichtung ist nicht veröffentlicht.

Mapikas Berichterstattung hat eine andere Textur: Zahlen kommen mit Vorbehalten, die sie untergraben. decider-35b-a3b berichtet 0,855 in-task und 0,810 held-out gegenüber einer Zero-Shot-Basis von 0,732 sowie 0,676 auf dem öffentlichen Hard-Split von JevBench — unter den 0,730 von Jev 1.13.0. Die Karte gibt außerdem an, dass es keine Reinforcement-Phase gibt, weshalb Sampled Play bei 86,4 % liegt, gegenüber 93,2 % bei decider-2b v10, und dass das Modell bei den schwierigsten Elementen übermäßig selbstsicher ist, mit einem erwarteten Kalibrierungsfehler von 0,15 auf der Hard-Stufe. decider-2b v11 wird mit 0,802 in-task und 0,752 held-out bei einem ECE von 0,156 angegeben, gegenüber einem angegebenen Veröffentlichungsrichtwert von 0,08 — ein verfehltes Ziel, das die Autoren selbst ausweisen.

Zwei dokumentierte Fehlermodi sollten bei jeder Evaluierung berücksichtigt werden, die Sie durchführen. Das Auswählen eines Datensatzes anhand seiner Position in einem langen JSON-Array wird als die ungenaueste Eingabeform beschrieben, die die Familie verarbeitet, und das Bündeln mehrerer unabhängiger Fragen in einem einzigen Aufruf kann bis zu 12 % der Antworten umkippen, wenn das Unabhängigkeits-Flag deaktiviert ist. Beides gehört zu den Dingen, die ein Datenblatt verbirgt und eine Karte einmal erwähnt.

Was es kostet, eines von beiden zu betreiben

• Kleinster brauchbarer Decider — decider-0.8b ist 1,4 GB. pplx-decider hat keine kleine Variante, daher liegt seine Untergrenze bei den vollen 27B.

• Größter Decider — decider-35b-a3b mit 65 GB bf16 oder 19,6 GB nvfp4, mit nur etwa 3B aktiven Parametern pro Token.

• Latenz, Decider-Seite — decider-2b benötigt 4 ms pro Anfrage mit CUDA-Graphen auf einer B300, gegenüber 18,9 ms im Eager-Modus, und rund 2.700 Entscheidungen pro Sekunde bei Batch 32. Das 35B ist eine andere Welt: etwa 47 ms für ein 92-Token-Ticket mit drei Fragen, 368 ms für 64 Tickets.

• Latenz, aufseiten von pplx-decider — keine veröffentlicht. Die Karten nennen überhaupt keine Durchsatz- oder Latenzwerte, was für ein Repository, das nicht gestartet wurde, normal ist.

• Kosten pro Entscheidung – hier zahlt sich das Design auf beiden Seiten aus. Sechzig Fragen zu einem Dokument sind so oder so ein einziger Forward-Pass, sodass die Kosten pro Entscheidung drastisch sinken, je mehr Fragen Sie zu demselben Dokument stellen.

Hier ist das ehrliche Bild des Routings. OrcaRouter bedient pplx-decider nicht, und es bedient Mapikas Decider-Familie nicht – keines von beiden erscheint im Katalog, und nichts in diesem Artikel sollte als gegenteilige Behauptung gelesen werden. Was der Katalog in dieser Klasse heute führt, ist typesafe/jev-1.13, ein Entscheidungsmodell derselben Form wie System One mit einem 65.536-Token-Fenster, das über denselben Endpunkt POST /v1/systemone bereitgestellt wird, zu 0,042 $ pro Million Eingabe-Tokens, was ein nützlicher Anker dafür ist, was ein geroutetes Entscheidungsmodell kostet. Wenn Sie einen nicht angekündigten Checkpoint wie pplx-decider evaluieren, ist der Weg, dies zu tun, ohne einen Produktionspfad darauf zu setzen, ihn selbst neben einem gerouteten Modell hinter einer API für 200+ Modelle laufen zu lassen – der Listenpreis des Anbieters wird mit 0 % Aufschlag durchgereicht, sodass der Preis hier am selben Tag dem Listenpreis entspricht, sobald diese Projekte dann tatsächlich einen Inferenzanbieter erreichen. Bis dahin ist ein selbst gehosteter pplx-decider neben einem gerouteten typesafe/jev-1.13 der Vergleich, der Ihnen tatsächlich etwas verrät.

A generated two-column scoreboard comparing pplx-decider v1.1 and Decider 35b-a3b across six dimensions, contrasting pplx-decider's vendor-reported 61.56 suite overall, single dense 27B size, built-in vision and 8,192-token input budget with no published calibration error against Decider's 0.810 held-out score, 0.8B-to-34.7B range, roughly 3B active parameters, separate vision checkpoint and published hard-tier ECE of 0.15, with a footer noting both columns are vendor-reported and the suites are not subtractable.

Zu welchem man greifen sollte

Wenn du heute ein Entscheidungsmodell brauchst, auf deiner eigenen Hardware, in einer Größe deiner Wahl, mit Trainingsnotizen, die du prüfen kannst, und einer Lizenz, die nichts von dir verlangt, dann ist die Antwort ein Decider-Checkpoint, und die einzige wirkliche Frage ist, welche Sprosse. Beginne bei decider-2b; die v11-Zahlen zeigen, dass sich die Familie gegenüber ihrem eigenen v10 genau auf dem schwierigen Split verbessert, der für dich relevant wäre, und die dokumentierte ECE-Lücke sagt dir, dass du eine Temperatur neu fitten musst, bevor du den Wahrscheinlichkeiten im Produktivbetrieb vertraust.

Nimm pplx-decider, wenn du dieselbe Schnittstelle mit einem größeren dichten Modell dahinter willst, wenn Bildeingaben wichtig sind und du lieber keinen zweiten Checkpoint betreiben möchtest, oder wenn du zu den Teams gehörst, die lieber den Readout-Head eines Frontier-Labors selbst evaluieren, als auf einen Launch-Post zu warten, der vielleicht nie kommt. Seine Vorteile sind echt, aber unverifiziert: ein größeres Backbone, eine Benchmark-Tabelle, die es schmeichelhaft aussehen lässt, und eine Trainings-Pipeline, die bis hinunter zu Prüfsummen auf Datensatzebene dokumentiert ist.

Worauf man achten muss, ist kein Benchmark. Es geht darum, ob pplx-decider überhaupt einen Inferenzanbieter erreicht. Ein Repository mit Gewichten und ohne Ankündigung ist ein Signal, kein Produkt; sobald es auf einem gehosteten Endpunkt erscheint, wird die Preis-Latenz-Frage, die die Karten von Decider bereits beantworten, zu einem echten Vergleich statt zu einer Wunschvorstellung.

Betreiben Sie einen selbstgehosteten pplx-decider neben einem gerouteten Entscheidungsmodell hinter dem Listenpreis des Anbieters, der mit 0 % Aufschlag durchgereicht wird, sodass, wenn eines der beiden Projekte einen Inferenzanbieter erreicht, der gelistete Preis am selben Tag der Preis ist, der hier gilt.

Ein neuer Checkpoint, an einer veröffentlichten Rangliste gemessen, ist auch ein guter Ort, um die Aufzeichnung zu überprüfen: Die dokumentierten KI-Vorfälle und Agentenfehler rund um Modelle dieser Klasse finden sich in dem OrcaRouter AI Incident Archive, wo jeder Eintrag eigene Quellen, Schweregrad, Vertrauensstufe und Umstritten-Flag trägt.