pplx-decider-flash vs Laya: twee soorten beslissingsmodellen, één verkeerde vergelijking

De cijfers die de ronde doen, zijn netjes en nutteloos. De ene vergelijkingsindex geeft Laya een 69,5 en pplx-decider-flash-v1.2 een 68, een nek-aan-nekrace. Een andere geeft Flash een 73,7 en zet het op de eerste plaats van 48. Een derde geeft Flash 451 van de 504 tegen de 240 van Laya multilingual. Drie bronnen, drie oordelen, omdat elk een ander model op een andere taakset meet — en ten minste twee van de drie meten een Laya-variant zonder te zeggen welke. Dit is de vergelijking die er echt toe doet, en de eerste eerlijke zin is dat niemand die nog behoorlijk heeft uitgevoerd.

Wat je kunt vergelijken is de opzet van de twee systemen: waarvoor ze gebouwd zijn, wat ze kosten om te draaien, en wat elk van hen van je vraagt voordat het een bruikbare waarschijnlijkheid oplevert. Op die dimensies zijn ze geen naaste concurrenten. Het zijn verschillende producten die toevallig dezelfde functienaam delen.

Elk één alinea.

pplx-decider-flash-v1.2 is een multimodaal beslissingsmodel van de 4B-klasse van Perplexity, gebouwd op een Qwen3.5-4B-backbone met een aparte 255-weg readout-head. Je geeft het een toestand — tekst, JSON of een afbeelding van maximaal 1,6 megapixel — en getypte vragen, en het retourneert gekalibreerde waarschijnlijkheden in één forward pass. Het is ontworpen om zero-shot te werken: de opgeslagen temperatuur is 1,554 en de kaart meldt 88,8% nauwkeurigheid met een verwachte kalibratiefout van 0,021 op een ontwikkelingsset van 1.497 vragen. Het is Apache-2.0, ongeveer 9 GiB in BF16, en kost $0,01 per miljoen invoertokens op de API van Perplexity, met gratis uitvoer.

Laya is een familie van niet-autoregressieve beslissingsencoders van Convai Innovations, uitgebracht op 18 september 2026 en ook onder Apache-2.0. Het Engelse checkpoint is een fijngetunede ModernBERT-large met 421M parameters en een context van 512 tokens; het meertalige model is een mmBERT-base met 322M parameters en 1.024 tokens; een derde checkpoint, laya-typed-decisions, is degene die de hoofdscores behaalt. Het beantwoordt alle vragen in een gesprek in één enkele forward pass met mask-tokens per optie, zonder generatiestap en zonder beeldinvoer.

Waarom de vergelijkingstabellen van elkaar afwijken

De discrepantie begint bij de benchmark die elke leverancier zelf heeft gebouwd. Perplexity scoort zijn modellen op Decision Index 0.3, een samengestelde maatstaf over kennis, taal, retrieval, tools en kunsten. Convai scoort Laya op een benchmark met 400 cases en 2.000 getypeerde beslissingen, die het bedrijf ook publiceert. Geen van beide modellen is in het openbaar op de harness van de ander gedraaid.

De indexen van derde partijen vullen die leemte slecht in. De samengestelde index van Anchor Terminal plaatst Laya op de vierde plaats met 69,5 en Flash op de zesde met 68, een verschil van 1,5 punt dat ruim binnen de ruis valt van een samengestelde score die niemand kan auditen. Ollaya Bench rapporteert een totaalscore van 73,7 en rang één van de 48 voor Flash, met 82,4% macro-nauwkeurigheid, maar publiceert geen testharnas. Een door Jev geschreven taaksuite scoort Flash op 451/504 en Laya multilingual op 240 — een afstraffing, op een suite die is geschreven door de onderhouders van een concurrerend model. De pagina van PublicAI weet vast te leggen dat Flash Laya 322M en Laya multilingual verslaat, terwijl Flash ook met 3–0 verliest van een niet bij naam genoemde "Laya".

Die laatste vermelding is het hele probleem in het klein. "Laya" is niet één model. Flash vergelijken met een 421M Engelse encoder, een 322M meertalige encoder en een fijngetunede benchmarkspecialist levert drie verschillende antwoorden op, en slechts één daarvan is wat je daadwerkelijk zou inzetten.

Het scorebord dat we kunnen verdedigen

Dit zijn de dimensies waarop de twee systemen echt uiteenlopen, met de eigen gepubliceerde cijfers van elke partij en de bronvermelding zoals vermeld.

• Parameters — pplx-decider-flash-v1.2 is van de 4B-klasse (de API-documentatie zegt 4B, de kaartkop zegt 5B in BF16) versus Laya met 421M Engels en 322M meertalig.

• Context — 262.144 tokens op Flash, getraind tot ongeveer 32.000 tegenover 512 tokens op Laya Engels en 1.024 op meertalig.

• Modaliteit — Flash accepteert tekst, JSON en afbeeldingen tot 1,6 MP, terwijl Laya alleen tekst accepteert.

• Zero-shot gebruik — Flash wordt gekalibreerd geleverd, met een opgeslagen temperatuur en gepubliceerde foutmetrieken ten opzichte van Laya's basis-checkpoints, die de kaart zelf "een snelle basis om op te specialiseren, niet een zero-shot beslissingsengine" noemt.

• Latentie — Laya op 32,8 ms voor één vraag op een T4, 72,3 ms voor tien, 103–332 vragen per seconde bij batched verwerking, en 193–464 ms op CPU versus Flash, zonder gepubliceerde service-level-waarde van Perplexity; de enige waarde die de leverancier publiceert is een documentatietest waarbij ~248.000 invoertokens 16 seconden kostten.

• Prijs — Flash voor $0,01 per miljoen invoertokens, output gratis, op de API van Perplexity versus Laya zonder gehoste prijs, omdat het een weights-release is die je zelf draait.

Latentie en hardware: waar Laya niet dichtbij komt

Laya's hele pitch is dat een beslissing geen generatief model nodig heeft, en de latentiecijfers ondersteunen dat. Eén vraag in 32,8 ms op een T4 voor het meertalige checkpoint, 39,5 ms voor Engels; tien vragen in 72,3 ms; 103 tot 332 vragen per seconde bij batchverwerking. Op CPU, vooraf geladen, duurt het 193 tot 464 ms. Een encoder van 322M is klein genoeg om in een requestpad te zitten dat zich geen GPU kan veroorloven.

Flash is een andere deploymentklasse. Negen gigabyte aan BF16-gewichten passen op een consumentenkaart van 16 GB, en één benchmark van een derde partij meldt ongeveer 10,4 GB VRAM en 90–127 ms per beslissing op een RTX 5090. Dat is respectabel voor een 4B-model en ruwweg drie keer de T4-latentie van Laya op hardware die vele malen duurder is. Als je beperking milliseconden op goedkope hardware is, is de discussie al beslecht voordat nauwkeurigheid eraan te pas komt.

De fijnafstellingsvraag

Dit is het deel dat de vergelijkingstabellen verbergen, en het is doorslaggevend.

De opvallende nauwkeurigheid van 0,766 van Laya hoort bij laya-typed-decisions, een checkpoint dat is fijngetuned op de eigen trainingssplit van de benchmark. Het Engelse basischeckpoint scoort 0,362 op dezelfde benchmark, tegenover een baseline van 0,461 voor de meerderheidsklasse en 0,318 voor willekeurig gokken. Met andere woorden: het model dat je zo downloadt, is slechter dan altijd antwoorden met het meest voorkomende label. Convai zegt dat direct op de modelkaart. Een onafhankelijke reproductiestudie op arXiv meldde ook dat één hoofdmetriek, zachte nauwkeurigheid van 0,509 tegenover de gepubliceerde 0,471, niet kon worden gereproduceerd, en stelde dat de kalibratiedata door de opzet besmet zijn.

{{1}}Flash{{/1}}' claim heeft de tegenovergestelde vorm: een door de leverancier gerapporteerde 60,05 op Decision Index met één vraag per verzoek, van een model dat je wordt geacht te gebruiken zoals het is geleverd. Die claim is niet geverifieerd — Perplexity heeft de benchmark gebouwd, en de modelkaart zegt dat het trainingswerk de officiële trainingssplitsingen van verschillende Decision Index-taken omvatte, gedecontamineerd ten opzichte van de testsets. Dat is een verdedigbare praktijk die ronduit wordt vermeld, maar het betekent ook dat het model in-domeindata heeft gezien voor de benchmark waarop het wordt gescoord, en dat de decontaminatie een eigen claim van Perplexity is in plaats van een gecontroleerd feit. Maar de bewijslast ligt anders. Bij Laya moet je fine-tunen en opnieuw kalibreren voordat de gepubliceerde cijfers iets betekenen; de modelkaart raadt temperatuurfitting aan omdat ruwe waarschijnlijkheden te zelfverzekerd zijn, waarbij ECE na herkalibratie daalt van 0,466 naar 0,081. Bij {{1}}Flash{{/1}} vertrouw je op de kalibratie van een leverancier op data die je niet hebt gezien.

Geen van beide is gratis. De ene kost engineeringtijd, de andere verificatietijd.

Taal en cardinaliteit

Laya meertalig ondersteunt in principe meer dan 100 talen en in de praktijk 45 van de 51, volgens de eigen definitie van "bruikbaar" op de kaart: drie keer willekeurig. De XNLI-score buiten het Engels is 0,731, tegen 0,521 voor het Engelstalige checkpoint, en de MASSIVE-intentienauwkeurigheid over 13 andere talen is 0,451. Dat zijn bescheiden cijfers, maar ze bestaan, en Flash heeft helemaal geen gepubliceerde meertalige evaluatie. Als je verkeer niet Engelstalig is, is de leverancier met de meertalige evaluatie het veiligere startpunt, zelfs waar de scores laag zijn.

Cardinaliteit werkt de andere kant op. Laya degradeert sterk bij keuzevragen met hoge cardinaliteit: 0,425 op de 72 labels van Banking77 tegenover de 0,870 van Jev, omdat 77 opties bij standaardinstellingen elk ongeveer drie tot vier tokens krijgen. De kaart adviseert het optiebudget te verhogen of van grof naar fijn te splitsen. Flash accepteert tot 255 opties en heeft geen gepubliceerde benchmark voor hoge cardinaliteit, dus de veilige interpretatie is dat Flash is ontworpen voor het geval dat Laya als zwakte documenteert, en dat het niet heeft laten zien hoe het dat waarmaakt.

Wat duizend beslissingen kosten

Laya heeft geen prijs per beslissing, omdat je het zelf host. Op een T4 bij 103–332 vragen per seconde kost een miljoen beslissingen ergens tussen 50 minuten en drie uur aan GPU-tijd. Tegen gangbare cloudtarieven is dat enkele centen tot een paar dollar, plus het engineeringwerk om het te implementeren en monitoren.

Flash op de API is eenvoudig te berekenen. Een toestand van 400 tokens, één vraag: 1.000 beslissingen is 400.000 invoertokens, wat bij $0,01 per miljoen neerkomt op $0,004. Een miljoen beslissingen is ongeveer $4. Het zelf hosten van de gewichten haalt de kosten per token weg, maar zet je weer op een GPU met ongeveer 9 GiB aan gewichten en een niet-causaal aandachtspatroon dat standaard causale servers niet reproduceren.

De valkuil is batchen. Flash factureert de state opnieuw voor elke vraag, dus drie vragen per state verdrievoudigen de rekening. Als je gate meerdere dingen tegelijk vraagt, is het goedkope model niet goedkoop.

Dit is ook de laag waar de routeringsvraag opduikt. Een beslissingsmodel is een poort vóór de generatie, en aan de generatiekant zit het grootste deel van de kosten. OrcaRouter zet meer dan 200 modellen achter één sleutel zonder opslag op lijstprijzen, zodat een goedkopere generator of een prijsverlaging door een leverancier dezelfde dag nog doorwerkt, en automatische failover voorkomt dat een verkeerd gerouteerd verzoek helemaal mislukt. Wij hosten pplx-decider-flash of Laya niet. Het enige beslissingsmodel dat we wel aanbieden is TypeSafe's Jev, als jev-1.13 en jev-1.14, wat goed is om te weten als je een gehoste decider wilt zonder een GPU op te tuigen.

Hoe te kiezen, in volgorde

• Niet-Engelstalig verkeer — begin met Laya multilingual en meet daarna. Het is de enige kant met gepubliceerde cross-linguale cijfers.

• Onder de 100 ms op standaardhardware — Laya. Op een T4 antwoordt het in 33 ms; Flash heeft een moderne GPU nodig en doet er daar naar verluidt 90–127 ms over.

• Afbeeldingen in de staat — Flash, zonder echte concurrentie. Laya heeft geen visiepad.

• Lange toestanden — Flash. Een venster van 512 tokens sluit Laya uit voor alles wat op een document lijkt.

• Geen gelabelde data en geen tijd om te fine-tunen — Flash, in ieder geval als startpunt. Laya's basischeckpoint ligt onder de meerderheidsbaseline.

• Meer dan 20 opties per vraag — Flash, of Laya met een verhoogd optiebudget en een grof-naar-fijn-opsplitsing.

De eerlijke samenvatting is dat deze modellen concurreren om dezelfde functieomschrijving en bijna nooit om dezelfde deployment. Laya is een snelle, kleine, fine-tunbare encoder voor classificatie met grote volumes in talen die je kunt testen. Flash is een algemene, gekalibreerde, multimodale beoordelaar met een grote context en een leveranciersscorebord achter zich. De vergelijkingstabellen die hen 1,5 punt uit elkaar zetten, zijn niet zozeer onjuist als wel betekenisloos: ze middelen precies de eigenschappen weg die de keuze bepalen.