pplx-decider-flash: Perplexity's stille 4B-beoordelaar, gelezen uit de repo

Perplexity heeft pplx-decider-flash-v1.2 op 15 oktober 2026 om 16:57 UTC naar Hugging Face geüpload, ongeveer negen uur na de upload van pplx-decider-v1.2, het grote beslissingsmodel dat marketing 27B noemt en de modelkaart 26B. We konden geen lanceerbericht op de bedrijfsblog vinden. Wat volgde was een thread van het ontwikkelaarsaccount op X, een sectie in de Decisions API-documentatie en drie dagen later een GGUF-conversie. Dat is het volledige openbare verslag, en het is genoeg om het model nauwkeurig te beschrijven, maar niet genoeg om te zeggen of het goed presteert op jouw data.

Het volgende onderscheidt de drie dingen die mensen meestal door elkaar halen: wat de repository bewijst, wat de documentatie van de leverancier vermeldt, en wat niemand buiten Perplexity heeft geverifieerd. De laatste categorie is groter dan de eerste twee.

Wat er daadwerkelijk is verzonden, en op welke dag

De tijdlijn van de repository is ondubbelzinnig. Perplexity heeft pplx-decider-v1-27b op 1 oktober 2026 aangemaakt, pplx-decider-v1.1-27b op 5 oktober, beide v1.2-checkpoints op 15 oktober, en pplx-decider-flash-gguf-v1.2 op 18 oktober. Het Flash-checkpoint was de tweede upload die dag, wat de gebruikelijke vorm van een gepaarde release is: eerst het vlaggenschip, daarachter het gedistilleerde kleine broertje, zodat beide onder dezelfde aankondiging vallen.

Die volgorde is van belang voor de framing. Dit is geen uitgelekt model of een verdwaalde repository die zijn papierwerk voor was. Het is een gecoördineerde release met een bewust lichte publieke voetafdruk — een ontwikkelaarsthread in plaats van een lanceringsessay, documentatie in plaats van een benchmarkhub. De Hugging Face API meldt per 4 november 4.667 downloads op het basis-checkpoint en 9.428 op de GGUF-conversie, en 63 likes. Downloadaantallen op Hugging Face zijn een zwak signaal: ze tellen verzoeken, niet unieke gebruikers, en spiegelverkeer blaast ze op. Ze passen bij een echt maar bescheiden publiek voor open gewichten, niet bij een virale drop.

Wat de repository je vertelt

De modelkaart is ongewoon technisch voor een leveranciersrelease, en het meeste wat kenbaar is, komt daaruit.

• Backbone — Qwen3.5-4B, met een aparte BF16-uitleeshead van vorm [255, 2560] in plaats van een taal-modelhead met volledige vocabulaire omvang. Dit is een beslissingscheckpoint, geen chatmodel met een classificatiewrapper.

• Grootte — 25 bestanden met een totale omvang van ongeveer 9 GiB in BF16, wat je nodig hebt om de gewichten te bewaren; het werkgeheugen komt daar nog bovenop.

• Parametraantal — de API-documentatie zegt 4B, de kop van de modelkaart zegt 5B in BF16, en een index van derden vermeldt 4,5B. De backbone is een 4B-model. Beschouw "4B-klasse" als de eerlijke beschrijving en noem niet één enkel getal alsof het gemeten is.

• Attention — full-attention-lagen werken niet-causaal over het hele verzoek, terwijl linear-attention-lagen causaal blijven. Dit is het detail dat je zal bijten: een standaard causale serving-stack levert andere getallen op, en prompts die voor v1.1 zijn geschreven, zijn niet zomaar overdraagbaar.

• Uitleespositie — de head slaat aan bij elke <|fim_suffix|> markering in plaats van bij het laatste token, waardoor één enkele forward pass meerdere vragen tegen één state kan scoren.

• Context — max_length is standaard ingesteld op 262.144 tokens, overeenkomstig de backbone. Tijdens de training werden sequenties tot ongeveer 32.000 tokens gebruikt, en de modelkaart vermeldt expliciet dat langere invoer wordt ondersteund maar minder gevalideerd.

• Afbeeldingen — beperkt tot 1,6 megapixel (1.638.400 pixels), minimaal 65.536 pixels, waarbij een afbeelding van 1,6 MP ongeveer 1.600 posities inneemt.

• Kalibratie — een opgeslagen temperatuur van 1,554. Op een ontwikkelingsset van 1.497 vragen meldt de kaart een nauwkeurigheid van 88,8%, een verwachte kalibratiefout van 0,021 en een Brier-score van 0,163; zonder de temperatuur stijgt de fout naar 0,057. Een leverancier die zijn eigen kalibratiecijfers publiceert — en de kosten van het overslaan daarvan — vertelt je iets wezenlijks over het beoogde gebruik.

Eén regel in de kaart overleeft het contact met de API niet. Er staat dat de repository privé is en een token met toegang vereist. De Hugging Face API retourneert gated: false en private: false, en de gewichten worden gedownload zonder toegangsaanvraag. Een verouderde regel in een kaart is iets kleins, maar het is precies het soort klein detail dat aangeeft dat de kaart vóór publicatie is geschreven en daarna niet opnieuw is gelezen.

Wat de API-documentatie toevoegt

De prijsstelling is waar het Flash-argument begint. Op de Decisions APIpplx-decider-flash-v1.2 kost $0,01 per miljoen inputtokens. Outputtokens zijn gratis en er zijn geen kosten per verzoek, omdat er geen outputtokens in de gebruikelijke zin zijn — het model retourneert waarschijnlijkheden en een verwachte score, en de documentatie telt elke vraag als één outputtoken voor de boekhouding.

Dezelfde pagina bepaalt de operationele grenzen:

• Alias — pplx-decider-flash-latest volgt de nieuwste versie, dus een drempelwaarde die je vorige week hebt afgesteld kan na een update stilzwijgend naar een ander model verwijzen. Zet de versie-id vast in alles wat ertoe doet.

• Snelheidslimieten — 4.000.000 tokens per minuut en 240.000.000 per uur, met een plafond van 10 verzoeken per seconde dat op organisatieniveau wordt gedeeld door beide beslissingsmodellen.

• Vraagtypen — noul retourneert P(ja) van 0 tot 1, choice retourneert waarschijnlijkheden over maximaal 255 opties, en score retourneert een verdeling over rubriekniveaus.

• Vragenbudget — de documentatie raadt één vraag per verzoek aan. Dat is geen stijladvies; het is het verschil tussen de prijs die je is geoffreerd en de prijs die je betaalt.

De factureringsregel die de aanbeveling omkeert

Het 27B-model beantwoordt elke vraag in een verzoek in één gegroepeerde doorgang en brengt de state één keer in rekening. Flash beantwoordt elke vraag afzonderlijk, zonder de andere te zien, en brengt de state opnieuw in rekening voor elke vraag. De documentatie geeft het uitgewerkte voorbeeld: drie vragen tegen een state van 10.000 tokens kosten op Flash ongeveer 30.000 invoertokens.

Maak de rekensom. Eén vraag op een state van 10.000 tokens kost $0,0001 op Flash en $0,0002 op de 27B. Twee vragen kosten $0,0002 op Flash en $0,0002 op het grotere model — een gelijkspel. Drie vragen kosten $0,0003 op Flash en $0,0002 op de 27B. Het omslagpunt ligt bij twee vragen per state. In de eigen documentatie van Perplexity staat dat het grotere model "meestal minder kost dan Flash" bij drie of meer vragen; het exacte punt ligt één vraag eerder, en het geldt bij elke lijstprijs waarbij Flash precies de helft van het 27B-tarief is.

Dit is het nuttigste onderdeel van de release, en het is makkelijk te missen omdat de kop een korting van 50% is. Een 4B-model tegen de halve prijs is alleen goedkoper zolang je het één ding tegelijk vraagt.

Het getal dat je moet wantrouwen

Perplexity rapporteert voor beide modellen scores van 0.3 op de Decision Index. Flash scoort 60.05 met één vraag per verzoek en 58.88 met gezamenlijke verzoeken; de 27B scoort 68.09 gezamenlijk en 67.75 één per verzoek. Op de Vision Decision Index is Flash 72.53 tegenover 77.43.

De categorieopsplitsing is informatiever dan de kop, omdat ze laat zien waar de 4B terrein prijsgeeft. Over de cijfers van Flash uit de gezamenlijke run tegenover die van de 27B uit de gezamenlijke run:

• Kennis — 42,0 vs 56,3. Dit is de grootste kloof, 14,3 punten, en degene die bepaalt of het model überhaupt met open wereldkennis kan omgaan.

• Taal — 63,3 vs 72,8.

• Retrieval — 64,8 tegen 68,4. Het kleinste verschil met 3,6 punten, wat past bij de beoogde taak: beoordelen of een passage een vraag beantwoordt is een lichtere taak dan het antwoord kennen.

• Hulpmiddelen — 76,7 vs 84,4.

• Kunst — 46,8 vs 56,2.

• Totaal — 58,88 vs 68,09.

Elk van die cijfers is afkomstig van een benchmark die Perplexity onderhoudt. De 27B-kaart — de leraar in deze distillatie — is ongewoon openhartig over de trainingskant: een deel van het werk bracht het model, zo staat er, "in domain" voor sommige Decision Index-taken door de officiële trainingssplits op te nemen die verschillende benchmarks meeleveren, waarbij de splits "gedecontamineerd tegen de testsets" zijn zodat de vergelijking eerlijk blijft. Dat is een zorgvuldiger standpunt dan de berichtgeving rond de release deed vermoeden, en het laat het scorebord nog steeds in handen van de leverancier. Geen enkele derde partij heeft de splitdiscipline gecontroleerd, en niemand heeft de cijfers gereproduceerd.

Er zit een kleinere eigenaardigheid in de eigen cijfers van de leverancier die tegen de marketing indruist. Flash scoort hoger wanneer het één vraag tegelijk beantwoordt — 60,05 versus 58,88. Groeperen schaadt de 4B in het algemeen, ook al helpt het bij nauw samenhangende 'selecteer alles wat van toepassing is'-taken, wat precies is wat de documentatie zegt. Het model wordt verkocht op de snelheid van gezamenlijke verzoeken en meet beter zonder.

Wat nog niet kenbaar is

De hiaten zijn specifiek, en daarom is dit een stuk over wat we weten in plaats van een recensie.

• Geen onafhankelijke benchmark. Niets buiten Perplexity heeft reproducties van de Decision Index of een rechtstreekse vergelijking op een neutrale testomgeving gepubliceerd.

• Geen serviceniveau voor latency. Het enige snelheidscijfer dat de leverancier publiceert, is een documentatietest van 19 oktober waarbij circa 248.000 invoertokens 16 seconden kostten op Flash tegenover 53 seconden op de 27B. Dat is een meting aan leverancierszijde zonder opgegeven hardware of percentiel.

• Geen meertalige evaluatie. De kaart en documentatie beschrijven tekst en afbeeldingen; geen van beide rapporteert nauwkeurigheid buiten het Engels.

• Geen gepubliceerd volume aan trainingsdata. De modelkaart zegt dat Flash is gedistilleerd uit de 27B op basis van de trainingsverzoeken van het grotere model, waarbij de student de volledige waarschijnlijkheidsverdelingen van de leraar leerde in plaats van alleen de antwoorden, en dat verschillende runs werden gecombineerd via gewichtsgemiddelde. Er staat niet bij hoeveel data daarbij betrokken was, waar die vandaan kwam, of waar de kennisafsluitdatum ligt.

• Geen gepubliceerde foutanalyse. Voor een model waarvan de uitvoer een waarschijnlijkheid is waarop je een drempel toepast, is er geen uitsplitsing van waar het faalt — per vraagtype, per aantal opties, per taal of per beeldinhoud.

Waar een model als dit zich in een stack bevindt

{{1}}Het is de moeite waard om duidelijk te maken waarvoor Flash dient{{/1}}, want de naam roept de verkeerde verwachting op. Het schrijft niets. Je geeft het een toestand — tekst, JSON, afbeeldingen — en een of meer getypeerde vragen, en het geeft een waarschijnlijkheid of een verdeling terug waarop je code een drempel toepast. De natuurlijke architectuur is een goedkope poort vóór iets duurs: {{2}}de aanvraag classificeren, beslissen of er moet worden opgehaald, een tool kiezen en dan genereren{{/2}}.

Die gate vervangt de generatielaag niet, en dit is waar routing van belang is. OrcaRouter stelt meer dan 200 generatiemodellen achter één API-sleutel beschikbaar zonder markup op de lijstprijzen van providers, zodat een prijsverlaging van een upstream leverancier dezelfde dag live is in plaats van te wachten op de spreadsheet van een wederverkoper. Als de gate verkeerd classificeert, zorgt automatische failover ervoor dat het verzoek niet sterft bij de volgende hop. Wat we niet doen, is pplx-decider-flash hosten: het staat niet in onze catalogus, en de eerlijke manier om het vandaag te draaien is de eigen API van de leverancier of de Apache-2.0-gewichten op je eigen GPU.

De rekensom voor self-hosting is redelijk als je de hardware al hebt. Ongeveer 9 GiB aan BF16-gewichten past op een consumentenkaart van 16 GB, en de verslaggeving over de release herhaalde een bewering van de CEO van Perplexity dat Flash draait op een M4 Mac met 16 GB geheugen. Geen gepubliceerde doorvoercijfers onderbouwen dat, en de noncausale attention betekent dat je het niet zomaar in een standaard causale-inferenceserver kunt stoppen en de scores van de kaart kunt verwachten.

Wat zou deze beoordeling veranderen?

Vier dingen, in volgorde van nut. Een neutrale reproductie van Decision Index 0.3 die ofwel de 60,05 bevestigt ofwel de kloof verklaart. Een gepubliceerde latentieverdeling van de API in plaats van één enkele documentatietest. Bewijs over meertalige inputs, aangezien een 4B-classifier precies het soort model is waar teams niet-Engelstalig verkeer op zullen richten zonder het te controleren. En een technische post van de maker zelf die de trainingsdata achter die distillatie beschrijft.

Tot dan is de verdedigbare positie smal en nuttig: pplx-decider-flash-v1.2 is een echt, downloadbaar, Apache-2.0, 4B-klasse beslissingsmodel met een gepubliceerde prijs, een gedocumenteerde kalibratietemperatuur en een factureringsregel die het duurder maakt dan zijn grote broer zodra je vragen in batches verwerkt. Alles daarbuiten is het eigen scorebord van Perplexity, en dat moet je behandelen als een hypothese om te testen op je gelabelde data, niet als een resultaat.