pplx-decider-flash vs Laya: Två typer av beslutsmodell, en felaktig jämförelse

Siffrorna som cirkulerar är prydliga och värdelösa. Ett jämförelseindex ger Laya 69,5 och pplx-decider-flash-v1.2 68, ett nästan dött lopp. Ett annat ger Flash 73,7 och placerar det först av 48. Ett tredje ger Flash 451 av 504 mot Laya multilinguals 240. Tre källor, tre utlåtanden, eftersom var och en mäter en annan modell på en annan uppsättning uppgifter – och minst två av de tre mäter en Laya-variant utan att säga vilken. Det här är jämförelsen som faktiskt spelar roll, och den första ärliga meningen är att ingen ännu har kört den ordentligt.

Det som går att jämföra är formen på de två systemen: vad de är byggda för att göra, vad de kostar att driva, och vad var och en kräver av dig innan den producerar en användbar sannolikhet. På dessa axlar är de inte nära konkurrenter. De är olika produkter som råkar dela en jobbtitel.

Ett stycke vardera.

pplx-decider-flash-v1.2 är en multimodell beslutsmodell i 4B-klassen från Perplexity, byggd på en Qwen3.5-4B-stomme med ett separat 255-vägs utläsningshuvud. Du ger den ett tillstånd – text, JSON eller en bild på upp till 1,6 megapixlar – och typade frågor, och den returnerar kalibrerade sannolikheter i en enda framåtpassning. Den är utformad för att fungera zero-shot: den sparade temperaturen är 1,554, och kortet rapporterar 88,8 % noggrannhet med ett förväntat kalibreringsfel på 0,021 på en utvecklingsuppsättning med 1 497 frågor. Den är Apache-2.0, cirka 9 GiB i BF16 och kostar 0,01 USD per miljon indatatoken på Perplexitys API med gratis utdata.

Laya är en familj icke-autoregressiva beslutsencoders från Convai Innovations, släppta den 18 september 2026 och även Apache-2.0. Den engelska checkpointen är en finjusterad ModernBERT-large med 421M parametrar och en kontext på 512 tokens; den flerspråkiga modellen är en mmBERT-base med 322M parametrar och 1 024 tokens; en tredje checkpoint, laya-typed-decisions, är den som står för toppresultaten. Den besvarar alla frågor i ett samtal i en enda framåtpassning med masktoken per alternativ, utan genereringssteg och utan bildindata.

Varför jämförelsetabellerna inte stämmer överens

Missmatchningen börjar med det benchmark som varje leverantör byggde. Perplexity poängsätter sina modeller på Decision Index 0.3, ett sammansatt mått på kunskap, språk, informationshämtning, verktyg och konst. Convai poängsätter Laya på ett benchmark för typade beslut med 400 fall och 2 000 beslut, som det också publicerar. Ingen av modellerna har körts på den andras testramverk offentligt.

Tredjepartsindexen fyller den luckan dåligt. Anchor Terminals sammanvägda mått placerar Laya på fjärde plats med 69,5 och Flash på sjätte plats med 68, en skillnad på 1,5 poäng som ligger väl inom bruset hos ett sammanvägt mått som ingen kan granska. Ollaya Bench rapporterar 73,7 totalt och en förstaplats av 48 för Flash, med 82,4 % makronoggrannhet, men publicerar ingen testram. En uppgiftssvit skriven av Jev ger Flash 451/504 och Laya multilingual 240 – en utklassning, i en svit skriven av underhållarna till en konkurrerande modell. PublicAI:s sida lyckas redovisa att Flash besegrar Laya 322M och Laya multilingual, samtidigt som Flash också förlorar 3–0 mot en namnlös "Laya".

Den sista posten är hela problemet i miniatyr. "Laya" är inte en enda modell. Att jämföra Flash med en engelsk encoder på 421M, en flerspråkig encoder på 322M och en finjusterad benchmark-specialist ger tre olika svar, och bara ett av dem är det du faktiskt skulle driftsätta.

Resultattavlan vi kan försvara

Detta är de dimensioner där de två systemen verkligen skiljer sig åt, med varje sidas egna publicerade siffror och angiven källa.

• Parametrar — pplx-decider-flash-v1.2 är i 4B-klassen (API-dokumentationen anger 4B, kortets rubrik anger 5B i BF16) jämfört med Laya på 421M engelska och 322M flerspråkig.

• Kontext — 262 144 token på Flash, tränad till cirka 32 000 jämfört med 512 token på Laya English och 1 024 på flerspråkig.

• Modalitet — Flash accepterar text, JSON och bilder upp till 1,6 MP, medan Laya endast accepterar text.

• Zero-shot-användning — Flash levereras kalibrerad, med en sparad temperatur och publicerade felmått mot Layas bascheckpoints, som kortet självt kallar ”en snabb bas att specialisera, inte en zero-shot-beslutsmotor”.

• Latens — Laya på 32,8 ms för en fråga på en T4, 72,3 ms för tio, 103–332 frågor per sekund i batch, och 193–464 ms på CPU jämfört med Flash utan någon publicerad servicenivåsiffra från Perplexity; den enda siffra som leverantören publicerar är ett dokumentationstest där ~248 000 indatatokens tog 16 sekunder.

• Pris — Flash för 0,01 USD per miljon input-token, output gratis, på Perplexitys API jämfört med Laya som inte har något hostat pris eftersom det är ett släpp av vikter som du kör själv.

Latens och hårdvara: där Laya inte är i närheten

Layas hela pitch är att ett beslut inte behöver en generativ modell, och latenssiffrorna stöder det. En fråga på 32,8 ms på en T4 för den flerspråkiga checkpointen, 39,5 ms för engelska; tio frågor på 72,3 ms; 103 till 332 frågor per sekund vid batchning. På CPU, förladdad, körs den på 193 till 464 ms. En 322M-encoder är tillräckligt liten för att rymmas i en förfrågningsväg som inte har råd med en GPU.

Flash är en annan driftsättningsklass. Nio gigabyte BF16-vikter får plats på ett 16 GB-konsumentkort, och ett tredjepartsbenchmark rapporterar cirka 10,4 GB VRAM och 90–127 ms per beslut på ett RTX 5090. Det är respektabelt för en 4B-modell och ungefär tre gånger Laya's T4-latens på hårdvara som kostar många gånger mer. Om din begränsning är millisekunder på billig hårdvara är argumentet över innan noggrannhet ens kommer in i bilden.

Finjusteringsfrågan

Det här är delen som jämförelsetabellerna döljer, och den är avgörande.

Layas huvudresultat på 0,766 i accuracy tillhör laya-typed-decisions, en checkpoint som finjusterats på benchmarkens egen träningsdel. Den engelska bascheckpointen får 0,362 på samma benchmark, jämfört med en majoritetsklassbaslinje på 0,461 och slumpgissning på 0,318. Med andra ord är modellen du laddar ner direkt sämre än att alltid svara med den vanligaste etiketten. Convai säger det direkt på kortet. En oberoende reproducerbarhetsstudie på arXiv rapporterade också att ett huvudresultatmått, soft accuracy på 0,509 mot det publicerade 0,471, inte kunde reproduceras, och hävdade att kalibreringsdata är kontaminerad genom sin konstruktion.

Flashs påstående har motsatt form: ett leverantörsrapporterat 60,05 på Decision Index med en fråga per förfrågan, från en modell som du förväntas använda i befintligt skick. Påståendet är overifierat – Perplexity byggde riktmärket, och dess kort säger att träningsarbetet omfattade de officiella träningsdelningarna av flera Decision Index-uppgifter, avkontaminerade mot testmängderna. Det är ett försvarbart förfarande som uttrycks rakt ut, men det innebär också att modellen har sett data från domänen för det riktmärke den poängsätts på, och avkontamineringen är Perplexitys eget påstående snarare än ett granskat faktum. Men bevisbördan är annorlunda. Med Laya måste du finjustera och kalibrera om innan de publicerade siffrorna betyder något; kortet rekommenderar temperaturanpassning eftersom råa sannolikheter är överdrivet självsäkra, med ECE som sjunker från 0,466 till 0,081 efter omkalibrering. Med Flash litar du på en leverantörs kalibrering på data som du inte har sett.

Ingen av dem är gratis. Den ena kostar utvecklingstid, den andra verifieringstid.

Språk och kardinalitet

Laya multilingual stöder i princip över 100 språk och i praktiken 45 av 51, enligt kortets egen "användbar"-tröskel på tre gånger slumpen. Dess XNLI-poäng utanför engelska är 0,731, jämfört med 0,521 för den engelskspråkiga checkpointen, och MASSIVE-intentnoggrannheten över 13 andra språk är 0,451. Det är blygsamma siffror, men de finns, och Flash har ingen publicerad flerspråkig utvärdering alls. Om din trafik inte är på engelska är leverantören med den flerspråkiga utvärderingen en säkrare utgångspunkt även när dess poäng är låga.

Kardinalitet går åt andra hållet. Laya försämras kraftigt på valfrågor med hög kardinalitet: 0,425 på Banking77:s 72 etiketter mot Jevs 0,870, eftersom 77 alternativ med standardinställningar får ungefär tre till fyra token var. Kortet råder att höja alternativbudgeten eller dela upp grovt till fint. Flash accepterar upp till 255 alternativ och har inget publicerat benchmark för hög kardinalitet, så den säkra tolkningen är att Flash är utformat för det fall som Laya beskriver som en svaghet och inte har visat sin beräkning.

Vad tusen beslut kostar

Laya har inget pris per beslut eftersom du hostar det själv. På en T4 vid 103–332 frågor per sekund är en miljon beslut någonstans mellan 50 minuter och tre timmar GPU-tid. Till vanliga molnpriser är det cent till några dollar, plus ingenjörsarbetet att driftsätta och övervaka det.

Flash på API:et är enkelt att räkna på. Ett tillstånd på 400 token, en fråga: 1 000 beslut är 400 000 indatatoken, vilket vid $0.01 per miljon är $0.004. En miljon beslut kostar ungefär $4. Att själv hosta vikterna tar bort kostnaden per token men för dig tillbaka till en GPU med ungefär 9 GiB vikter och ett icke-kausalt uppmärksamhetsmönster som vanliga kausala servrar inte reproducerar.

Fällan är att batcha. Flash debiterar tillståndet igen för varje fråga, så tre frågor per tillstånd tredubblar kostnaden. Om din gate frågar flera saker samtidigt är den billiga modellen inte billig.

Detta är också lagret där routningsfrågan uppstår. En beslutsmodell är en grind framför genereringen, och det är på genereringssidan som större delen av kostnaden ligger. OrcaRouter placerar över 200 modeller bakom en enda nyckel utan påslag på listpriser, så en billigare generator eller en leverantörsprissänkning slår igenom samma dag, och automatisk failover hindrar en felroutad begäran från att misslyckas helt. Vi hostar inte pplx-decider-flash eller Laya. Den enda beslutsmodell vi tillhandahåller är TypeSafe's Jev, som jev-1.13 och jev-1.14, vilket är värt att känna till om du vill ha en hostad beslutsfattare utan att sätta upp en GPU.

Hur man väljer, i tur och ordning

• Icke-engelsk trafik — börja med Laya multilingual och mät sedan. Det är den enda sidan med publicerade tvärspråkliga siffror.

• Under 100 ms på standardhårdvara — Laya. På en T4 svarar den på 33 ms; Flash kräver en modern GPU och uppges ta 90–127 ms där.

• Bilder i tillståndet — Flash, utan någon verklig konkurrens. Laya har ingen visionsväg.

• Långa tillstånd — Flash. Ett fönster på 512 token utesluter Laya för allt som liknar ett dokument.

• Ingen märkt data och ingen tid att finjustera — Flash, åtminstone som utgångspunkt. Layas bascheckpunkt ligger under majoritetsbaslinjen.

• Fler än 20 alternativ per fråga — Flash, eller Laya med en höjd alternativbudget och en grov-till-fin-uppdelning.

Den ärliga sammanfattningen är att dessa modeller konkurrerar om samma arbetsbeskrivning och nästan aldrig om samma driftsättning. Laya är en snabb, liten och finjusterbar encoder för klassificering i hög volym på språk som du kan testa. Flash är en allmän, kalibrerad multimodal bedömare med ett stort kontextfönster och en leverantörsresultattavla bakom sig. Jämförelsetabellerna som placerar dem 1,5 poäng ifrån varandra är inte så mycket fel som meningslösa: de jämnar ut precis de egenskaper som avgör valet.