pplx-decider auf Ollama: Perplexitys stilles 27B-Entscheidungsmodell wird lauffähig

Perplexity veröffentlichte die Gewichte von pplx-decider-v1.1-27b am 05.10.2026, und den ersten Checkpoint, den es ablöste, pplx-decider (Repo-Name pplx-decider-v1-27b), am 01.10.2026. Beide sind Fine-Tunes von Qwen3.8-27B, die in Wahrscheinlichkeiten statt in Sätzen antworten, und beide gehören zur selben System-One-Linie wie Jev 1.13 von TypeSafe. Neu ist nicht das Modell: Ab heute ist pplx-decider ein Eintrag in Ollamas eigener Modellbibliothek, mit einem einzigen Befehl installierbar. Bevor dieser Eintrag erschien, bedeutete das Ausführen dieses Checkpoints eine CUDA-GPU mit Platz für rund 49 GiB bf16-Gewichte. Jetzt ist es ein quantisierter 17-GB-Download auf einem Laptop. Diese eine Änderung ist das Thema dieser Seite, und das Modell, das sie ausführbar macht, ist vierzehn Tage alt.

Was hat sich konkret geändert?

Der Eintrag in der Ollama-Bibliothek heißt pplx-decider, und die Bibliothek hat im Laufe des Herbstes stetig Entscheidungsmodelle gesammelt — Laya, Nimble, Kev, Clef, Strands Decider. Dieser ist die neueste Ergänzung, und in der gepflegten Registry stellt er drei Tags bereit (pplx-decider:latest, pplx-decider:27b und pplx-decider:27b-q4_K_M) die auf denselben Manifest-Digest verweisen. Ein einzelnes Artefakt, keine Größenleiter.

• Format — GGUF, bereitgestellt von llama.cpp, gegenüber den bf16-Safetensors-Shards auf Hugging Face

• Downloadgröße — etwa 17 GB bei q4_K_M, gegenüber rund 49 GiB Gewichten plus Arbeitsspeicher für den bf16-Checkpoint

• Vision-Ebene — das Manifest führt neben der Modellebene einen separaten ~927 MB großen Projektor mit, sodass Bildeingaben zusammen mit den Textgewichten ausgeliefert werden

• Hardware — ein Consumer-Rechner statt einer CUDA-Maschine

Die Schnittstelle ist Ollamas /v1/systemone-Endpunkt, den es in v0.35.0 hinzugefügt und in v0.35.1 für Clef-Modelle erweitert hat. Außerdem hat sie gerade ein Kommandozeilen-Frontend bekommen: v0.40.4, veröffentlicht am 2026-10-12, hat Entscheidungsmodelle zu ollama run hinzugefügt, sodass eine Ja/Nein-Frage, eine Label-Auswahl oder eine Rubrikbewertung direkt von einem Terminal aus mit --ask, --choice und --level abgefragt werden kann. Dieses Release ist drei Tage alt; das Modell, dessen Nutzung es bequem macht, ist zwei Wochen alt.

Was das Repository tatsächlich dokumentiert

Der Checkpoint ist kein Chat-Modell mit einem knappen Prompt. Seine Karte beschreibt ein natives Entscheidungs-Layout: das Qwen3.8-27B-Backbone unter dem veröffentlichten Klassennamen, plus eine separate readout.safetensors, die einen bf16 [255, 5120] Decision Head enthält – einen 255-Wege-Readout über die Optionsslots, keinen Sprach-Head mit vollem Vokabular. Es gibt keine Decoding-Schleife. Jede Option jeder Frage wird in einem einzigen Forward-Pass bewertet, weshalb die Antwort null Ausgabe-Tokens meldet.

Drei Details in der Karte sind wichtiger als die Benchmark-Tabelle, denn sie sind diejenigen, die eine naive Integration zum Scheitern bringen:

• Attention-Modus. Full-Attention-Schichten verwenden einen gespeicherten nichtkausalen Modus, und die Modellkarte gibt klar an, dass die standardmäßige kausale Inferenz das evaluierte Setup nicht reproduziert. Lädt man den Checkpoint mit einem gebrauchsfertigen kausalen Loader, erhält man Zahlen, die nicht mit den veröffentlichten übereinstimmen.

• Kalibrierungstemperatur. Das mitgelieferte DecisionModel.predict wendet eine gespeicherte Temperatur an. Wenn Sie Logits direkt auslesen, wenden Sie sie genau einmal an – bei zweimaliger Anwendung oder gar keiner wird jede Wahrscheinlichkeit, auf die Sie dann verzweigen, falsch skaliert.

• Ein echtes Entscheidungslimit. Text und alle Bilder für eine Entscheidung müssen in ein 8.192-Token-Budget passen, und Eingaben über dem Limit werden abgelehnt statt gekürzt. Training und die berichtete Evaluation begrenzten Bilder auf 512×512; die Anhebung der Obergrenze ist jetzt über max_image_pixels konfigurierbar, standardmäßig 2048×2048, aber die Karte warnt, dass höhere Auflösungen außerhalb der Trainingsverteilung liegen.

Das Repository ist ansonsten ungewöhnlich vollständig für ein Modell, das niemand angekündigt hat: elf safetensors-Shards, eine decision_config.json, ein Chat-Template und eine release-manifest.json, die Datei-Prüfsummen und Checkpoint-Herkunft aufzeichnet. Die Lizenz ist Apache 2.0.

Zwei Teile der Dokumentation sind auseinandergedriftet. Die v1.1-Karte weist dich noch immer an, dich gegenüber „diesem privaten Repository“ zu authentifizieren – das Repository ist heute öffentlich einsehbar. Und die ältere v1-Karte trägt einen new_version-Zeiger auf v1.1, was das ehrliche Signal dafür ist, dass v1 abgelöst wurde.

Das Einzige, was du prüfen solltest, bevor du damit planst

Der Ollama-Eintrag gibt ein 256K-Kontextfenster an. Diese Zahl scheint vom Basismodell übernommen zu sein – Qwen3.8-27B hat tatsächlich 262.144 Positionen – und sie ist nicht der Vertrag, den der Entscheidungs-Checkpoint für sich selbst dokumentiert. Der Checkpoint lehnt jede Entscheidung ab, deren Text plus Bilder 8.192 Token überschreitet. Plane eine Pipeline mit 256K, gib ihr einen Vertrag mit 40.000 Token plus vier Seitenbilder, und die Anfrage schlägt fehl, statt gekürzt zu werden. Die größere Zahl beschreibt die Architektur; die kleinere beschreibt die API, die Sie tatsächlich aufrufen.

Die Bildunterstützung hat einen ähnlichen Haken. Die Ollama-Modellkarte für pplx-decider zeigt eine Bildanfrage an /v1/systemone, aber Ollamas eigene Funktionsseite für diesen Endpunkt gibt an, dass Bilder „nur für Clef-Modelle“ sind. Eines dieser beiden Dokumente ist veraltet. Betrachten Sie multimodalen Input auf diesem Pfad als unverifiziert, bis Sie ihn selbst getestet haben — der zugrunde liegende Checkpoint nimmt eindeutig Bilder entgegen, und das Manifest liefert eindeutig einen Projektor mit, doch das dokumentierte Gate der Laufzeitumgebung ist enger, als die Modellkarte impliziert.

Eine Lieferantennummer und eine andere Nummer

Perplexitys eigene Evaluierung für den v1.1-Checkpoint meldet einen Decision Index von 61,56 gegenüber 57,9 für Jev in derselben Suite und 56,4 für den Checkpoint, den er ersetzt hat, mit den größten Zuwächsen in den Kategorien Sprache (69,45) und Retrieval (61,26). Diese Zahlen sind vom Anbieter berichtet und wurden auf Perplexitys Seite erzeugt; für den früheren Checkpoint geht die Karte noch weiter und besagt, dass die Ergebnisse über die Perplexity-API gemessen wurden. Das ist legitim zu veröffentlichen und schwach, sich darauf zu verlassen.

Das unabhängige Bild ist nützlicher. Ein offenes Community-Leaderboard für diese Modellklasse, der Jev Decision Index, bewertet pplx-decider-v1.1-27b auf seinem eigenen Panel, und seine Datenveröffentlichung vom 14.10.2026 berichtet, dass der Checkpoint 110.179 von 110.201 bewerteten Fällen über 42 Benchmarks auf einer einzelnen RTX PRO 6000 abschließt. In diesem Ranking erreicht das Modell einen ausgewogenen Skill-Score von 62,75 und den sechsten Rang, wobei Jev mit 60,11 auf Rang zwölf liegt. Zwei Dinge, die die Anbietertabelle nicht zeigt, ergeben sich aus denselben Daten:

• Wo er stark ist. ARC-Easy 99,3, ARC-Challenge 97,0, Ja/Nein-Entscheidungen bei Funktionsaufrufen (BFCL) 97,2, FinEntity 95,4, BPoMP 95,2, CLINC150 91,5. Klassische Klassifikations- und Retrieval-Aufgaben sind der Bereich, in dem dieser Checkpoint seinen Wert beweist.

• Wo es nicht der Fall ist. Humanity's Last Exam 16,2, ChessBench 17,7, SATA-Bench 28,2, ACOS 28,2, der schema-gesteuerte Dialogdatensatz 33,2, BRIGHT 50,9, GPQA Diamond 56,1. Hartes mehrstufiges Reasoning ist nicht das, was ein One-Pass-Readout liefert, und ein Stack, der Reasoning-Arbeit still an ein Entscheidungsmodell weiterleitet, wird selbstsicher falsche Zweige produzieren.

Die Kalibrierung verdient eine eigene Zeile, denn sie ist der eigentliche Kern eines Modells, das Wahrscheinlichkeiten statt Labels zurückgibt. Bei 34.829 unabhängig bewerteten Entscheidungen erzielte der Checkpoint im Durchschnitt 76,1 Prozent Genauigkeit gegenüber 82,9 Prozent mittlerer Konfidenz – ein erwarteter Kalibrierungsfehler von 0,071 und ein Brier-Score von 0,335, wobei 2,0 Prozent der Fälle über 0,95 Konfidenz lagen und dennoch falsch waren. Das ist eine brauchbare, aber nicht fehlerfreie Wahrscheinlichkeitsoberfläche, und sie ist messbar besser kalibriert als Jevs 0,074 ECE auf demselben Board. Wenn Sie einen Schwellenwert von 0,9 festlegen und ihn als nahezu sicher behandeln, sind diese 2 Prozent die Zahl, an der Sie Ihr Design ausrichten sollten.

Die Latenz auf derselben Hardware lag bei einem Median von 104 ms und einem p95 von 835 ms über 110.000 Entscheidungen, was das praktische Argument für ein Entscheidungsmodell gegenüber einem kleinen Sprachmodell in einer Gating-Position ist: Der p95 ist das Budget, nicht der Mittelwert.

Was eine Entscheidung kostet

Perplexity betreibt für diese Checkpoints eine eigene gehostete Decisions API – POST https://api.perplexity.ai/v1/decisions, wobei pplx-decider-v1.1-27b die Standardmodell-ID ist und der frühere Checkpoint weiterhin adressierbar bleibt. Diese Preisseite nennt 0,02 $ pro Million Eingabe-Tokens, Ausgabe-Tokens kostenlos und keine Gebühr pro Anfrage, mit einer Obergrenze von 128 Fragen pro Anfrage, 262.144 Eingabe-Tokens und 10 Anfragen pro Sekunde pro Organisation.

Dagegen kostet der lokale Pfad nichts pro Entscheidung, sobald die 17 GB einmal gelandet sind. Für eine Triage-Warteschlange, die pro Ticket eine Handvoll eingetippter Fragen abarbeitet, entscheidet sich diese Rechnung von selbst — und es ist bemerkenswert, dass die gehostete Obergrenze von 262.144 Eingabe-Tokens nicht das Limit ist, das Ihre lokale Kopie durchsetzen wird, denn das Budget des Checkpoints selbst beträgt 8.192.

Wo die lokale Route nicht die Antwort ist, ist der Rest des Stacks rund um die Entscheidung. Dies ist ein 27B-Modell, das eine Wahrscheinlichkeit pro Option zurückgibt; es wird nicht die Antwort entwerfen, das Ticket zusammenfassen oder das Tool aufrufen. Wenn du die Entscheidung und das Schreiben hinter einem einzigen Key willst, dafür ist OrcaRouter da — eine API über 200+ Modelle mit Provider-Listenpreis ohne Aufschlag pro Token durchgereicht, plus die Routing-DSL, wenn du ein Entscheidungsmodell und ein Schreibmodell in einem einzigen Aufruf zusammensetzen willst. Zwei Teile dieser besonderen Geschichte sind bereits auf der Plattform: Der Basis-Checkpoint wird als Qwen3.8-27B bereitgestellt, sodass du das Fine-Tuning auf demselben Key gegen seine eigene Grundlage vergleichen kannst, und das Referenzmodell, gegen das es gemessen wird, wird als Jev 1.13 über dieselbe systemone-Endpunktform bereitgestellt. Perplexitys Decider ist keiner, den wir führen — er ist über Perplexitys eigene API und mehrere Drittplattformen verfügbar — wenn du ihn also speziell brauchst, sind der lokale Pull oben und Perplexitys Endpunkt deine Routen.

Drei Fragen, die das Repository nicht beantwortet

Welcher Checkpoint steckt im quantisierten Artefakt? Der Eintrag in der Ollama-Bibliothek ist nach der Familie benannt, nicht nach einer Version, und sein Benchmark-Block verlinkt das v1 Repository – die Tabelle mit den 11 Benchmarks zeigt 85,7 Prozent, was der Gesamtwert der v1-Karte ist und nicht die Decision-Index-Suite von v1.1. v1.1 ist nach Perplexitys eigenen Angaben der stärkere Checkpoint, und es ist nicht offensichtlich derjenige, den du herunterlädst. Prüfe den Digest, bevor du auf dieser Annahme aufbaust.

Hat Perplexity beabsichtigt, dass irgendetwas davon öffentlich sein sollte? Weder eine Ankündigung noch ein Blogbeitrag, Changelog-Eintrag oder Hinweis zur API-Verfügbarkeit für diese Gewichte ist aufgetaucht. Die Checkpoints wurden von Tausenden gelesen – 2.740 Downloads bei v1 und 3.154 bei v1.1 zum Zeitpunkt des Verfassens –, doch Aufmerksamkeit für eine Modellkarte ist nicht dasselbe, wie wenn ein Anbieter sagt, dass sie unterstützt wird. Betrachten Sie das öffentliche Repository als das maßgebliche Artefakt und alles andere als Schlussfolgerung.

Kommt eine vom Anbieter gehostete, offiziell angekündigte Version?Unbekannt. Die Existenz einer dokumentierten, bepreisten Decisions API auf Seiten von Perplexity legt nahe, dass der gehostete Weg das beabsichtigte Produkt ist und die Gewichte diesem vorgelagert sind. Aber das ist eine Vermutung über die Absicht, kein Fakt aus einem Dokument, und sie ist als solche gekennzeichnet.

Wer sollte umziehen, und wer nicht?

Wenn deine Pipeline bereits anhand typisierter Provider-Entscheidungen verzweigt – Ticket-Routing, Rückerstattungserkennung, Gating von Agent-Schritten –, dann ist dies ein zwei Wochen alter Checkpoint mit unabhängig reproduzierten Scores, einer Apache-2.0-Lizenz und, Stand heute, einem 17-GB-Pfad auf Hardware, die dir gehört. Die Evaluierung legt nahe, dass er besser kalibriert ist als das Referenzmodell und auf einem öffentlichen Board etwa zwei Ränge besser abschneidet, und die lokale Kopie beseitigt den Preis pro Entscheidung vollständig. Zieh ihn, lass ihn gegen deine eigenen gelabelten Beispiele laufen und vergleiche ihn mit dem, was du jetzt verwendest. Das Entscheidungsbudget von 8.192 Tokens ist die Einschränkung, gegen die du zuerst testen solltest, nicht die 256K, die das Listing bewirbt.

Wenn Sie Reasoning statt Klassifikation benötigen, warten Sie. Das unabhängige Panel verortet diesen Checkpoint bei anspruchsvollen Wissens-Benchmarks im niedrigen Teen-Bereich, und eine Wahrscheinlichkeitsfläche, die bei einer Frage, die sie nicht wirklich beantworten kann, selbstsicher ist, ist im Produktivbetrieb schlechter als ein langsames Modell, das zuerst nachdenkt. Was für ein Entscheidungsmodell spricht, ist der Median von 104 ms und die Tatsache, dass sechzig Fragen einen Durchlauf kosten – und nichts davon hilft, wenn die Antworten falsch sind.

Den Entscheidungsschritt auf eigener Hardware auszuführen, ist ebenfalls ein guter Zeitpunkt, um sich anzusehen, was in dieser Klasse bereits schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle mit Entscheidungsmodellen sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Konfidenzstufe und Streitfall-Kennzeichnung enthält.