pplx-decider-flash vs pplx-decider: De 4B is goedkoper tot je drie vragen stelt

Op de prijslijst pplx-decider-flash-v1.2 kost de helft van wat pplx-decider-v1.2 kost: $0.01 per miljoen inputtokens tegen $0.02. Volgens de factureringsregels blijft die korting precies één vraag lang geldig. Stel twee vragen over dezelfde status en de twee modellen kosten hetzelfde. Stel er drie en het 4B-model is het duurdere, omdat Flash de status bij elke vraag opnieuw factureert, terwijl de 27B die maar één keer factureert. Het goedkopere model is alleen goedkoper als je er telkens maar één kleine vraag aan stelt.

Die omkering is het nuttige deel van deze vergelijking. De rest is een bekende afweging qua grootte: een 4B-checkpoint dat wint op latentie en geheugen ten opzichte van een model met 26 miljard parameters dat wint op nauwkeurigheid, waarbij beide onder dezelfde Apache-2.0-licentie en met dezelfde standaardcontext van 262,144 tokens worden aangeboden.

Twee checkpoints, één release, verschillende taken

Perplexity publiceerde beide op 15 oktober 2026, het grote model om 07:40 UTC en Flash om 16:57. Ze delen een ontwerp: een Qwen-backbone, een 255-weg readout-head in plaats van een taalmodel-head, niet-causale full-attention-lagen en een opgeslagen kalibratietemperatuur. Ze delen geen backbone. pplx-decider-v1.2 is gebouwd op Qwen3.8-27B en neemt in BF16 ongeveer 52 GiB in beslag. pplx-decider-flash-v1.2 is gebouwd op Qwen3.5-4B en neemt ongeveer 9 GiB in beslag.

De naamgeving is losser dan de cijfers. Het grote model wordt verkocht als 27B, maar op de eigen kaart staat 26B in BF16. Flash wordt in de API-documentatie als 4B verkocht, terwijl de kop van de kaart 5B in BF16 zegt en de backbone een 4B-model is. Geen van beide discrepanties verandert een deploymentbeslissing; beide zijn het weten waard voordat je een parameteraantal in een capaciteitsplan noemt.

De prijslijst, vóór het sterretje

• Invoerprijs — pplx-decider-flash-v1.2 tegen $0,01 per miljoen tokens versus pplx-decider-v1.2 tegen $0,02.

• Outputprijs — gratis op beide, zonder kosten per verzoek. Elke vraag telt uitsluitend voor de administratie als één outputtoken.

• Snelheidslimieten — 4.000.000 tokens per minuut en 240.000.000 per uur, met een maximum van 10 verzoeken per seconde, gedeeld door beide modellen op organisatieniveau.

• Aliassen — pplx-decider-flash-latest en pplx-decider-latest gaan beide naar de nieuwste versie, dus een drempelwaarde die op de ene versie is afgestemd, kan stilzwijgend een andere tegenkomen.

De asterisk is niet verborgen. In de documentatie van Perplexity staat duidelijk dat Flash is gebouwd voor één vraag per verzoek, dat het verzenden van meerdere vragen onafhankelijke antwoorden oplevert zonder dat ze elkaar beïnvloeden, en dat de state voor elke vraag opnieuw in rekening wordt gebracht. Het werkt zelfs het voorbeeld uit: drie vragen op een state van 10.000 tokens kosten ongeveer 30.000 inputtokens.

Waar de tweede vraag de korting tenietdoet

De algemene vorm is eenvoudig. Voor een toestand van s tokens en q vragen kost Flash q × s × $0,01 per miljoen en de 27B kost s × $0,02 per miljoen. De Flash-rekening overstijgt het grote model bij de derde vraag.

• Eén vraag, 10.000-tokenstatus — Flash $0.0001 vs 27B $0.0002. Flash wint met de helft.

• Twee vragen, dezelfde status — Flash $0.0002 vs 27B $0.0002. Gelijkspel, geen korting.

• Drie vragen — Flash $0.0003 vs 27B $0.0002. De 4B is 50% duurder.

• Vijf vragen — Flash $0.0005 vs 27B $0.0002. De 4B is tweeënhalf keer zo duur.

In absolute zin gaat het om fracties van een cent, waardoor de regel gemakkelijk over het hoofd wordt gezien en waarom die bij volume cumuleert. Een gate die een miljoen verzoeken met drie vragen uitvoert tegen staten van 10.000 tokens, kost ongeveer $300 op Flash en $200 op de 27B. Het model dat er 50% goedkoper uitziet, is 50% duurder bij de workload waar batching normaal gesproken een optimalisatie zou zijn.

De documentatie van Perplexity zegt dat het grotere model bij drie of meer vragen "meestal minder kost dan Flash". Het exacte omslagpunt is twee. Als uw vragen echt gekoppeld zijn — select-all-that-apply-facetten van één beslissing — is de gecombineerde route ook de juiste. Als het onafhankelijke kandidatenscores zijn, adviseert de documentatie om ze op te splitsen in afzonderlijke verzoeken, waardoor de rekening van Flash verder oploopt, terwijl die van de 27B ongewijzigd blijft.

De nauwkeurigheidskloof, categorie per categorie

Beide modellen worden gescoord op Decision Index 0.3, de eigen samengestelde index van Perplexity. De hoofdscore is 60,05 voor Flash met één vraag per verzoek, tegenover 68,09 voor de 27B met gezamenlijke verzoeken. De uitsplitsing per categorie, waarbij gezamenlijke runs met gezamenlijke runs worden vergeleken, laat zien waar het verschil van 9,2 punten tussen de gezamenlijke runs vandaan komt.

• Kennis — 42,0 vs 56,3. Een verschil van 14,3 punten, en degene die de meeste implementaties zou moeten beslissen. Als de vraag vereist dat je iets weet in plaats van iets beoordeelt, is de 4B geen vervanging.

• Taal — 63,3 vs 72,8.

• Retrieval — 64,8 vs 68,4. Het kleinste verschil: 3,6 punten. Beoordelen of een passage een bewering ondersteunt is precies de taak waarvoor Flash is gebouwd, en de cijfers weerspiegelen dat.

• Hulpmiddelen — 76,7 vs 84,4. Beide modellen presteren hier in absolute zin het best, wat aansluit bij het routeringsscenario.

• Kunst — 46,8 vs 56,2.

• Visie — 72,53 tegen 77,43 op de Vision Decision Index, een gat van 4,9 punten dat kleiner is dan het tekstgat en Flash competitiever maakt bij afbeeldingen dan bij proza.

Voor elk cijfer hierboven geldt het voor de hand liggende voorbehoud: de benchmark is eigendom van de leverancier en geen enkele derde partij heeft hem gereproduceerd. De 27B-kaart stelt dat het trainingswerk de officiële trainingssplits van verschillende Decision Index-taken omvatte, gedecontamineerd ten opzichte van de testsets; dat is een beweerde praktijk, geen gecontroleerde. Beschouw het categoriseprofiel als een hypothese over waar elk model sterk in is — kennis en kunst voor de 27B, retrieval en tools voor beide — en niet als een gemeten resultaat.

De asymmetrie van gezamenlijke verzoeken

Het groeperen van vragen helpt het grote model en schaadt het kleine, en de eigen cijfers van Perplexity zeggen dat.

• pplx-decider-v1.2 — 68,09 gezamenlijk vs. 67,75 één per verzoek. Groeperen voegt 0,34 punten toe.

• pplx-decider-flash-v1.2 — 58,88 gezamenlijk vs 60,05 één per verzoek. Groeperen kost 1,17 punten.

De documentatie legt het mechanisme uit: de {{1}}4B{{/1}} verliest nauwkeurigheid wanneer hij meerdere vragen tegelijk beantwoordt, daarom is één vraag per verzoek de aanbevolen standaard. Wat de cijfers eraan toevoegen, is dat het verlies groot genoeg is om in de totaalscore zichtbaar te worden, niet alleen in randgevallen. Het model wordt op de markt gebracht op basis van single-pass-snelheid en meet beter zonder de single pass. Als je toch groepeert om doorvoer na te jagen, betaal je twee keer voor de snelheid — één keer in tokens en één keer in nauwkeurigheid.

Kalibratie: dichterbij dan de nauwkeurigheidskloof suggereert

Beide kaarten publiceren hun kalibratie eerlijk, wat zeldzaam genoeg is om te vermelden.

• Opgeslagen temperatuur — 1.554 op Flash versus 1.382 op de 27B.

• Nauwkeurigheid op de ontwikkelingsset — 88,8% op 1.497 vragen voor Flash vs. 91,3% voor de 27B.

• Verwachte kalibratiefout na temperatuur — 0,021 voor Flash vs. 0,014 voor de 27B.

• Brier-score — 0,163 vs. 0,134.

Flash is minder nauwkeurig en minder goed gekalibreerd, zoals verwacht bij een zevende van de omvang, maar de kalibratiekloof is 0,007 ECE — klein genoeg dat een drempelwaarde die op de 27B is afgestemd vaak overdraagbaar is. De 27B-kaart is ook openhartig dat achtergehouden beslissingsgegevens enigszins overmatig zelfverzekerd blijven, met ECE rond 0,05, dus geen van beide modellen vervangt het afstemmen van drempelwaarden op je eigen gegevens. De documentatie van Perplexity zegt precies dat: benchmark beide op gelabelde gegevens bij je beoogde drempelwaarden en behoud Flash alleen als het je nauwkeurigheidsdoel haalt.

Zelfhosting: 9 GiB tegenover 52 GiB

Beide zijn Apache-2.0, dus de prijs van de gehoste versie is een gemak in plaats van een lock-in. Het hardwareverschil is de scherpste scheiding tussen beide.

• Gewichten — ongeveer 9 GiB BF16 voor Flash versus ongeveer 52 GiB voor de 27B, plus werkgeheugen voor beide.

• Hardware — Flash past op een consumentenkaart van 16 GB; de 27B vereist een serieuze accelerator of een opsplitsing over meerdere GPU's.

• Serving — geen van beide past ongewijzigd in een standaard causale server. Full-attention-lagen draaien niet-causaal, en prompts die voor v1.1 zijn geschreven, zijn niet zonder meer over te nemen.

• Context — standaard 262.144 tokens voor beide, met training die slechts tot ongeveer 32.000 is gevalideerd, en de kaarten waarschuwen dat langere invoer minder goed is getest.

Flash zelf hosten is de enige variant in deze vergelijking waarin de 4B onvoorwaardelijk wint. Eén enkele 16GB-kaart, een permissieve licentie en geen kosten per token maken het een wezenlijk ander product dan een checkpoint van 52 GiB waarvoor een servingteam nodig is.

Een beslissingsregel die je kunt toepassen

• Eén vraag per staat, hoog volume — Flash. Het prijsvoordeel is reëel en het nauwkeurigheidsverlies is geconcentreerd in kennistaken die je elders kunt onderbrengen.

• Twee of meer vragen per staat — de 27B. Bij twee is het qua prijs gelijk, vanaf drie is het goedkoper, en in gezamenlijke modus is het nauwkeuriger; de kloof wordt groter met elke toegevoegde vraag.

• Kennisintensieve of rubric-intensieve beoordelingen — de 27B. Een achterstand van 14,3 punten op kennis is niet iets wat een betere prompt weet te dichten.

• Retrieval-gating en toolkeuze — Flash is verdedigbaar. De verschillen daar zijn 3,6 en 7,7 punten, en de workload is precies waarvoor het model is gebouwd.

• Implementatie op het apparaat of op één GPU — Flash, zonder echt alternatief in dit paar.

• Vision — beide, waarbij de 27B 4,9 punten voorloopt; als je de 27B al voor tekst gebruikt, levert het onderbrengen van vision bij Flash weinig op.

Aan welke kant van de splitsing je ook belandt, de beslisser is het goedkope deel van de pijplijn. De generatie waarvoor hij de poort is, is waar het geld naartoe gaat, en dat is de laag die het waard is om te optimaliseren. OrcaRouter zet meer dan 200 modellen achter één sleutel zonder opslag op de lijstprijzen van providers, zodat een prijsverlaging upstream dezelfde dag doorwerkt, en automatische failover dekt het geval waarin de poort een verzoek naar een model stuurt dat gedegradeerd is. De routing-DSL stelt modellen samen die wij aanbieden; geen van beide pplx-decider-checkpoints zit daarbij, dus een Flash-versus-27B-splitsing moet in je eigen code zitten. De gehoste beslisser in onze catalogus is TypeSafe's Jev, als jev-1.13 en jev-1.14.

De test heeft geen van beide leveranciers gepubliceerd.

Alles hierboven is een beslissing op basis van leveranciersdocumentatie. De test die dat zou beslechten is saai en concreet: neem duizend echte aanvragen, label ze en laat beide modellen draaien op je beoogde drempelwaarde met één vraag en met drie. Registreer nauwkeurigheid, kalibratiefout en het totale aantal gefactureerde tokens. De voorspelling op basis van de gepubliceerde cijfers is dat Flash de workload met één vraag wint op kosten en die met drie vragen verliest op zowel kosten als nauwkeurigheid. Als dat standhoudt, is de keuze een eigenschap van de vorm van je aanvragen, niet van je budget — en het team dat het meet, maakt de juiste keuze, terwijl iedereen die de prijslijst leest het model kiest dat op papier 50% goedkoper is en in productie 50% duurder.