pplx-decider op Ollama: het stille 27B-beslissingsmodel van Perplexity wordt uitvoerbaar

Perplexity publiceerde de gewichten van pplx-decider-v1.1-27b op 2026-10-05, en de eerste checkpoint die het verving, pplx-decider (repo-naam pplx-decider-v1-27b), op 2026-10-01. Beide zijn fine-tunes van Qwen3.8-27B die in waarschijnlijkheden antwoorden in plaats van in zinnen, en beide zitten in dezelfde System One-lijn als TypeSafe's Jev 1.13. Wat nieuw is, is niet het model: vanaf vandaag is pplx-decider een vermelding in Ollama's eigen modellenbibliotheek, installeerbaar met één commando. Voordat die vermelding verscheen, betekende het draaien van deze checkpoint een CUDA-GPU met ruimte voor ongeveer 49 GiB aan bf16-gewichten. Nu is het een gekwantiseerde pull van 17 GB op een laptop. Die enkele verandering is waar deze pagina over gaat, en het model dat het uitvoerbaar maakt is veertien dagen oud.

Wat is er concreet veranderd

De vermelding in de Ollama-bibliotheek heet pplx-decider, en de bibliotheek heeft gestaag beslissingsmodellen verzameld — Laya, Nimble, Kev, Clef, Strands Decider — gedurende de herfst. Dit is de nieuwste toevoeging, en in het onderhouden register toont het drie tags (pplx-decider:latest, pplx-decider:27b en pplx-decider:27b-q4_K_M) die naar dezelfde manifest-digest verwijzen. Eén artefact, geen reeks van groottes.

• Formaat — GGUF geserveerd door llama.cpp, versus de bf16 safetensors-shards op Hugging Face

• Downloadgrootte — ongeveer 17 GB bij q4_K_M, tegenover ruwweg 49 GiB aan gewichten plus werkgeheugen voor het bf16-checkpoint

• Visielaag — het manifest bevat een aparte projector van ~927 MB naast de modellaag, dus beeldinvoer wordt samen met de tekstgewichten meegeleverd

• Hardware — een consumentenmachine in plaats van een CUDA-box

De interface is Ollama's /v1/systemone-endpoint, die het in v0.35.0 heeft toegevoegd en in v0.35.1 heeft uitgebreid voor Clef-modellen. Het heeft ook net een command-line-front-end gekregen: v0.40.4, uitgebracht op 2026-10-12, voegde beslissingsmodellen toe aan ollama run, zodat een ja/nee-vraag, een labelkeuze of een rubriekscore direct vanaf een terminal kan worden gesteld met --ask, --choice en --level. Die release is drie dagen oud; het model dat er gemakkelijk door te gebruiken is, is twee weken oud.

Wat de repository eigenlijk documenteert

De checkpoint is geen chatmodel met een beknopte prompt. De bijbehorende modelkaart beschrijft een native beslissingsindeling: de Qwen3.8-27B-backbone onder de vrijgegeven klassenaam, plus een aparte readout.safetensors die een bf16 [255, 5120] beslissingshead bevat — een 255-weg-readout over de optieslots, geen volledig-vocabulaire taalhead. Er is geen decoderingslus. Elke optie van elke vraag wordt in één forward pass gescoord, wat verklaart waarom het antwoord nul uitvoertokens rapporteert.

Drie details in de kaart zijn belangrijker dan de benchmarktabel, want zij zijn degenen die een naïeve integratie laten stuklopen:

• Aandachtsmodus. Full-attention-lagen gebruiken een opgeslagen niet-causale modus, en de kaart zegt duidelijk dat standaard causale inferentie de geëvalueerde opzet niet reproduceert. Laad het checkpoint met een kant-en-klare causale loader en je krijgt cijfers die niet de gepubliceerde zijn.

• Calibratietemperatuur. De meegeleverde DecisionModel.predict past een opgeslagen temperatuur toe. Als je logits rechtstreeks uitleest, pas die dan precies één keer toe — hem twee keer toepassen, of helemaal niet, verschuift de schaal van elke waarschijnlijkheid waarop je vervolgens vertakt.

• Een echte beslissingslimiet. Tekst en alle afbeeldingen voor één beslissing moeten binnen een budget van 8.192 tokens passen, en invoer die de limiet overschrijdt, wordt afgewezen in plaats van afgekapt. Training en de gerapporteerde evaluatie beperkten afbeeldingen tot 512×512; het verhogen van de limiet is nu configureerbaar via max_image_pixels, met een standaardwaarde van 2048×2048, maar de kaart waarschuwt dat hogere resoluties buiten de trainingsdistributie vallen.

De repository is overigens ongewoon compleet voor een model dat niemand heeft aangekondigd: elf safetensors-shards, een decision_config.json, een chatsjabloon en een release-manifest.json dat bestandschecksums en checkpointherkomst vastlegt. De licentie is Apache 2.0.

Twee stukken van de documentatie zijn uit elkaar gelopen. De v1.1-kaart zegt nog steeds dat je je moet authenticeren bij "deze privérepository" — de repository is vandaag openbaar. En de oudere v1-kaart bevat een new_version-verwijzing naar v1.1, wat het eerlijke signaal is dat v1 is vervangen.

Het enige dat je moet controleren voordat je eromheen plant

De Ollama-vermelding adverteert met een contextvenster van 256K. Dat getal lijkt te zijn overgenomen van het basismodel — Qwen3.8-27B heeft inderdaad 262.144 posities — en het is niet het contract dat het beslissingscheckpoint voor zichzelf documenteert. Het checkpoint wijst elke beslissing af waarbij de tekst plus afbeeldingen meer dan 8.192 tokens beslaan. Zet een pipeline op voor 256K, voer er een contract van 40.000 tokens plus vier pagina-afbeeldingen aan, en het verzoek mislukt in plaats van te worden ingekort. Het grotere getal beschrijft de architectuur; het kleinere beschrijft de API die je daadwerkelijk aanroept.

Beeldondersteuning kent een vergelijkbare kanttekening. De Ollama-modelkaart voor pplx-decider toont een afbeeldingsverzoek aan /v1/systemone, maar de eigen capaciteitenpagina van Ollama voor dat endpoint vermeldt dat afbeeldingen "alleen voor Clef-modellen" zijn. Een van die twee documenten is verouderd. Behandel multimodale invoer op dit pad als niet-geverifieerd totdat je het zelf hebt uitgevoerd — het onderliggende checkpoint accepteert duidelijk afbeeldingen, en het manifest levert duidelijk een projector mee, maar de gedocumenteerde poort van de runtime is enger dan de modelkaart suggereert.

Een leveranciersnummer, en een ander nummer

De eigen evaluatie van Perplexity voor het v1.1-checkpoint meldt een Decision Index van 61,56 tegenover 57,9 voor Jev op dezelfde suite en 56,4 voor het checkpoint dat het verving, met de grootste winsten per categorie bij taal (69,45) en retrieval (61,26). Die cijfers zijn door de leverancier gerapporteerd en zijn aan de kant van Perplexity geproduceerd; voor het eerdere checkpoint gaat de kaart verder en zegt dat de resultaten zijn gemeten via de Perplexity API. Dat is legitiem om te publiceren, maar zwak om op te vertrouwen.

Het onafhankelijke beeld is nuttiger. Een open community-ranglijst voor deze modelklasse, de Jev Decision Index, scoort pplx-decider-v1.1-27b op zijn eigen panel en de datarelease van 2026-10-14 meldt dat het checkpoint 110.179 van de 110.201 gescoorde gevallen over 42 benchmarks voltooit op één enkele RTX PRO 6000. Op die ranglijst behaalt het model een gebalanceerde vaardigheidsscore van 62,75 en een zesde plaats, met Jev op de twaalfde plaats met 60,11. Twee dingen die de leverancierstabel niet toont, komen uit dezelfde data naar voren:

• Waar hij sterk in is.ARC-Easy 99.3, ARC-Challenge 97.0, ja/nee-beslissingen bij functieaanroepen (BFCL) 97.2, FinEntity 95.4, BPoMP 95.2, CLINC150 91.5. Klassieke classificatie- en retrieveringstaken zijn waar dit checkpoint zijn waarde bewijst.

• Waar het niet is. Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, de schema-gestuurde dialoogset 33.2, BRIGHT 50.9, GPQA Diamond 56.1. Moeilijk redeneren in meerdere stappen is niet wat een uitlezing in één doorgang je oplevert, en een stack die redeneerwerk stilletjes naar een beslissingsmodel doorstuurt, zal zelfverzekerde maar verkeerde vertakkingen produceren.

Kalibratie verdient een eigen regel, want het is het hele punt van een model dat waarschijnlijkheden teruggeeft in plaats van labels. Op 34.829 onafhankelijk gescoorde beslissingen scoorde de checkpoint gemiddeld 76,1 procent nauwkeurigheid tegenover 82,9 procent gemiddelde confidence — een verwachte kalibratiefout van 0,071 en een Brier-score van 0,335, waarbij 2,0 procent van de gevallen boven een confidence van 0,95 zat en toch fout was. Dat is een bruikbaar maar niet foutloos waarschijnlijkheidsoppervlak, en het is meetbaar beter gekalibreerd dan de 0,074 ECE van Jev op hetzelfde scorebord. Als je een drempel van 0,9 instelt en die als bijna-zekerheid behandelt, is die 2 procent het getal waar je omheen moet ontwerpen.

Latentie op dezelfde hardware kwam uit op een mediaan van 104 ms en een p95 van 835 ms over 110.000 beslissingen, wat het praktische argument is voor een beslissingsmodel in plaats van een klein taalmodel in een poortwachterspositie: de p95 is het budget, niet het gemiddelde.

Wat een beslissing kost

Perplexity draait voor deze checkpoints zijn eigen gehoste Decisions API — POST https://api.perplexity.ai/v1/decisions, met pplx-decider-v1.1-27b als standaardmodel-ID, terwijl het eerdere checkpoint nog steeds adresseerbaar is. Die prijspagina vermeldt $0,02 per miljoen invoertokens, uitvoertokens gratis en geen kosten per verzoek, met een limiet van 128 vragen per verzoek, 262.144 invoertokens en 10 verzoeken per seconde per organisatie.

Daar staat tegenover dat de lokale route niets per beslissing kost zodra de 17 GB geland zijn. Voor een triagewachtrij die per ticket een handvol getypte vragen afhandelt, wijst die rekensom zichzelf uit — en het is de moeite waard om op te merken dat het gehoste plafond van 262.144 invoertokens niet de limiet is die je lokale kopie zal afdwingen, omdat het budget van de checkpoint zelf 8.192 is.

Waar de lokale route niet het antwoord is, is de rest van de stack rond de beslissing. Dit is een 27B-model dat één waarschijnlijkheid per optie retourneert; het stelt het antwoord niet op, vat het ticket niet samen en roept de tool niet aan. Als je de beslissing en het schrijfwerk achter één enkele sleutel wilt, is dat waarvoor OrcaRouter dient — één API over 200+ modellen met de lijstprijs van de provider doorgegeven zonder markup per token, plus de routing-DSL wanneer je een beslissingsmodel en een schrijfmodel in één aanroep wilt samenbrengen. Twee onderdelen van dit specifieke verhaal staan al op het platform: het basis-checkpoint wordt aangeboden als Qwen3.8-27B, zodat je de fine-tune op dezelfde sleutel kunt vergelijken met zijn eigen basis, en het referentiemodel waarmee het wordt gemeten, wordt aangeboden als Jev 1.13 via dezelfde systemone-endpointvorm. De decider van Perplexity hebben wij niet in ons aanbod — die is beschikbaar via Perplexity's eigen API en verschillende platforms van derden — dus als je die specifiek nodig hebt, zijn de lokale pull hierboven en Perplexity's endpoint jouw routes.

Drie vragen die de repository niet beantwoordt

Welk checkpoint zit in het gekwantiseerde artefact? De Ollama-bibliotheekvermelding is vernoemd naar de familie, niet naar een versie, en het benchmarkblok linkt naar de v1-repository — de tabel met 11 benchmarks vermeldt 85,7 procent, het algemene cijfer van de v1-kaart en niet de Decision Index-suite van v1.1. v1.1 is het sterkere checkpoint volgens de eigen berekening van Perplexity, en het is niet duidelijk dat het degene is die je aan het ophalen bent. Controleer de digest voordat je op die aanname voortbouwt.

Was het de bedoeling van Perplexity dat dit openbaar werd? Er is geen aankondiging, blogpost, changelog-item of kennisgeving over API-beschikbaarheid voor deze gewichten opgedoken. De checkpoints zijn door duizenden gelezen — 2.740 downloads voor v1 en 3.154 voor v1.1 op het moment van schrijven — maar aandacht voor een modelkaart is niet hetzelfde als een leverancier die zegt dat het ondersteund wordt. Beschouw de openbare repository als het gezaghebbende artefact en al het overige als gevolgtrekking.

Komt er een officieel aangekondigde versie die door de leverancier wordt gehost? Onbekend. Het bestaan van een gedocumenteerde, geprijsde Decisions API aan de kant van Perplexity suggereert dat de gehoste route het beoogde product is en dat de gewichten zich upstream daarvan bevinden. Maar dat is een vermoeden over de intentie, geen feit uit een document, en het wordt als zodanig bestempeld.

Wie moet verhuizen, en wie niet?

Als je pipeline al vertakt op getypeerde providerbeslissingen — ticketroutering, terugbetalingsdetectie, het conditioneel toelaten van agentstappen — dan is dit een checkpoint van twee weken oud met onafhankelijk gereproduceerde scores, een Apache 2.0-licentie en, sinds vandaag, een pad van 17 GB naar hardware die je zelf bezit. De evaluatie suggereert dat het beter gekalibreerd is dan het referentiemodel en ongeveer twee rangen beter staat op een openbaar leaderboard, en de lokale kopie haalt de prijs per beslissing volledig weg. Haal het op, draai het tegen je eigen gelabelde voorbeelden en vergelijk het met wat je nu gebruikt. Het beslissingsbudget van 8.192 tokens is de beperking waartegen je eerst moet testen, niet de 256K die de listing adverteert.

Als je redeneren nodig hebt in plaats van classificeren, wacht dan. Het onafhankelijke panel plaatst deze checkpoint in de lage tien op moeilijke kennisbenchmarks, en een waarschijnlijkheidsoppervlak dat zelfverzekerd is over een vraag die het niet echt kan beantwoorden, is in productie slechter dan een langzaam model dat eerst nadenkt. Het argument voor een beslissingsmodel is de mediaan van 104 ms en het feit dat zestig vragen één pass kosten — en niets daarvan helpt waar de antwoorden fout zijn.

Het uitvoeren van de beslissingsstap op je eigen hardware is ook een goed moment om te kijken naar wat er in deze categorie al is misgegaan: de gedocumenteerde AI-incidenten en agentfouten met beslissingsmodellen zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.