pplx-decider-flash vs. Laya: Zwei Arten von Entscheidungsmodellen, ein falscher Vergleich

Die Zahlen, die kursieren, sind ordentlich und nutzlos. Ein Vergleichsindex bewertet Laya mit 69,5 und pplx-decider-flash-v1.2 mit 68 – ein fast Gleichstand. Ein anderer bewertet Flash mit 73,7 und setzt es auf Platz eins von 48. Ein dritter gibt Flash 451 von 504 gegenüber 240 für Laya multilingual. Drei Quellen, drei Urteile, weil jede ein anderes Modell auf einem anderen Aufgabensatz misst – und mindestens zwei der drei messen eine Laya-Variante, ohne zu sagen, welche. Das ist der Vergleich, auf den es tatsächlich ankommt, und der erste ehrliche Satz lautet, dass ihn noch niemand richtig durchgeführt hat.

Vergleichbar ist die Gestalt der beiden Systeme: wofür sie gebaut sind, was ihr Betrieb kostet und was jedes Einzelne von dir verlangt, bevor es eine brauchbare Wahrscheinlichkeit liefert. Auf diesen Achsen sind sie keine engen Rivalen. Sie sind verschiedene Produkte, die zufällig dieselbe Bezeichnung teilen.

Je einen Absatz.

pplx-decider-flash-v1.2 ist ein multimodales Entscheidungsmodell der 4B-Klasse von Perplexity, das auf einem Qwen3.5-4B-Backbone mit einem separaten 255-Wege-Readout-Head aufbaut. Man übergibt ihm einen Zustand – Text, JSON oder ein Bild mit bis zu 1,6 Megapixeln – sowie typisierte Fragen, und es liefert kalibrierte Wahrscheinlichkeiten in einem einzigen Forward-Pass. Es ist für den Zero-Shot-Einsatz konzipiert: Die gespeicherte Temperatur beträgt 1,554, und die Modellkarte weist auf einem Entwicklungsdatensatz mit 1.497 Fragen eine Genauigkeit von 88,8 % bei einem erwarteten Kalibrierungsfehler von 0,021 aus. Es steht unter Apache-2.0, ist in BF16 etwa 9 GiB groß und kostet auf Perplexitys API 0,01 $ pro Million Eingabe-Tokens, wobei die Ausgabe kostenlos ist.

Laya ist eine Familie nicht-autoregressiver Entscheidungs-Encoder von Convai Innovations, veröffentlicht am 18. September 2026 und ebenfalls unter Apache-2.0. Der englische Checkpoint ist ein feinabgestimmtes ModernBERT-large mit 421 Mio. Parametern und einem Kontext von 512 Token; das mehrsprachige Modell ist ein mmBERT-base mit 322 Mio. Parametern und 1.024 Token; ein dritter Checkpoint, laya-typed-decisions, ist derjenige, der die Spitzenwerte erzielt. Es beantwortet alle Fragen in einem Anruf in einem einzigen Forward-Pass mithilfe von Mask-Token pro Option, ohne Generierungsschritt und ohne Bildeingabe.

Warum die Vergleichstabellen nicht übereinstimmen

Die Diskrepanz beginnt mit dem Benchmark, den jeder Anbieter entwickelt hat. Perplexity bewertet seine Modelle mit Decision Index 0.3, einem zusammengesetzten Maß aus Wissen, Sprache, Retrieval, Tools und Künsten. Convai bewertet Laya mit einem Benchmark für typisierte Entscheidungen mit 400 Fällen und 2.000 Entscheidungen, den es ebenfalls veröffentlicht. Keines der Modelle wurde öffentlich auf dem Harness des anderen getestet.

Die Indizes von Drittanbietern füllen diese Lücke schlecht. Das Composite von Anchor Terminal setzt Laya mit 69,5 auf Platz vier und Flash mit 68 auf Platz sechs, ein Unterschied von 1,5 Punkten, der klar innerhalb der Rauschspanne eines Composites liegt, das niemand überprüfen kann. Ollaya Bench meldet für Flash 73,7 insgesamt und Platz eins von 48, bei 82,4 % Makro-Genauigkeit, veröffentlicht aber keinen Harness. Eine von Jev verfasste Task-Suite bewertet Flash mit 451/504 und Laya multilingual mit 240 — eine Abfuhr, und zwar auf einer Suite, die von den Maintainern eines konkurrierenden Modells geschrieben wurde. Die Seite von PublicAI bringt es fertig, festzuhalten, dass Flash Laya 322M und Laya multilingual besiegt und zugleich 3–0 gegen ein unbenanntes „Laya“ verliert.

Dieser letzte Eintrag ist das ganze Problem im Kleinen. „Laya“ ist nicht ein einziges Modell. Vergleicht man Flash mit einem 421M-Encoder für Englisch, einem 322M-Encoder für mehrere Sprachen und einem feinabgestimmten Benchmark-Spezialisten, ergeben sich drei verschiedene Antworten, und nur eine davon ist das, was man tatsächlich einsetzen würde.

Die Anzeigetafel, die wir verteidigen können

Dies sind die Bereiche, in denen die beiden Systeme tatsächlich voneinander abweichen, mit den jeweils eigenen veröffentlichten Zahlen der beiden Seiten und der angegebenen Quellenlage.

• Parameter — pplx-decider-flash-v1.2 ist 4B-Klasse (die API-Dokumentation gibt 4B an, der Kartenkopf gibt 5B in BF16 an) vs. Laya mit 421M für Englisch und 322M für Mehrsprachigkeit.

• Kontext — 262.144 Token bei Flash, trainiert auf etwa 32.000 gegenüber 512 Token bei Laya English und 1.024 bei mehrsprachigen Modellen.

• Modalität — Flash akzeptiert Text, JSON und Bilder bis zu 1,6 MP, während Laya nur Text akzeptiert.

• Zero-Shot-Nutzung — Flash wird kalibriert ausgeliefert, mit einer gespeicherten Temperatur und veröffentlichten Fehlermetriken gegenüber Layas Basis-Checkpoints, die die Karte selbst als „eine schnelle Basis zum Spezialisieren, nicht als Zero-Shot-Entscheidungsengine“ bezeichnet.

• Latenz — Laya bei 32,8 ms für eine Frage auf einer T4, 72,3 ms für zehn, 103–332 Fragen pro Sekunde im Batch-Betrieb und 193–464 ms auf CPU gegenüber Flash, ohne dass Perplexity eine veröffentlichte Service-Level-Kennzahl angibt; die einzige vom Anbieter veröffentlichte Zahl ist ein Dokumentationstest, bei dem ~248.000 Eingabe-Token 16 Sekunden dauerten.

• Preis — Flash zu 0,01 $ pro Million Eingabe-Tokens, Ausgabe kostenlos, über Perplexitys API im Vergleich zu Laya ohne gehosteten Preis, da es sich um ein Gewichte-Release handelt, das man selbst ausführt.

Latenz und Hardware: Wo Laya nicht nah heranreicht

Layas gesamtes Argument ist, dass eine Entscheidung kein generatives Modell benötigt, und die Latenzzahlen stützen das. Eine Frage in 32,8 ms auf einer T4 für den mehrsprachigen Checkpoint, 39,5 ms für Englisch; zehn Fragen in 72,3 ms; 103 bis 332 Fragen pro Sekunde im Batch-Betrieb. Auf der CPU, vorab geladen, läuft es in 193 bis 464 ms. Ein 322M-Encoder ist klein genug, um in einen Request-Pfad zu passen, der sich keine GPU leisten kann.

Flash ist eine andere Bereitstellungsklasse. Neun Gigabyte BF16-Gewichte passen auf eine 16-GB-Consumer-Karte, und ein Benchmark eines Drittanbieters meldet etwa 10,4 GB VRAM und 90–127 ms pro Entscheidung auf einer RTX 5090. Das ist für ein 4B-Modell respektabel und etwa das Dreifache von Layas T4-Latenz auf Hardware, die um ein Vielfaches mehr kostet. Wenn es Ihnen um Millisekunden auf günstiger Hardware geht, ist die Argumentation vorbei, bevor Genauigkeit ins Spiel kommt.

Die Feinabstimmungsfrage

Das ist der Teil, den die Vergleichstabellen verbergen, und er ist entscheidend.

Layas viel beachtete Genauigkeit von 0,766 gehört zu laya-typed-decisions, einem Checkpoint, der auf dem eigenen Trainings-Split des Benchmarks feinabgestimmt wurde. Der englische Basis-Checkpoint erreicht im selben Benchmark 0,362, gegenüber einer Mehrheitsklassen-Baseline von 0,461 und zufälligem Raten bei 0,318. Mit anderen Worten: Das Modell, das man unverändert herunterlädt, ist schlechter als wenn man immer mit dem häufigsten Label antwortet. Convai sagt das direkt auf der Model Card. Eine unabhängige Reproduktionsstudie auf arXiv berichtete außerdem, dass eine der prominenten Kennzahlen, die Soft Accuracy von 0,509 gegenüber den veröffentlichten 0,471, nicht reproduziert werden konnte, und argumentierte, dass die Kalibrierungsdaten konstruktionsbedingt kontaminiert seien.

Flashes Behauptung hat die entgegengesetzte Form: ein vom Anbieter gemeldeter Wert von 60,05 auf dem Decision Index bei einer Frage pro Anfrage, von einem Modell, das man so verwenden soll, wie es ausgeliefert wird. Diese Behauptung ist unüberprüft — Perplexity hat den Benchmark erstellt, und die Modellkarte sagt, dass die Trainingsarbeit die offiziellen Trainings-Splits mehrerer Decision-Index-Aufgaben umfasste, die gegen die Testsets von Kontamination bereinigt wurden. Das ist eine vertretbare Praxis, die klar benannt wird, bedeutet aber auch, dass das Modell In-Domain-Daten für den Benchmark gesehen hat, an dem es bewertet wird, und die Bereinigung ist eine Behauptung von Perplexity und keine geprüfte Tatsache. Doch die Beweislast ist eine andere. Bei Laya muss man fine-tunen und neu kalibrieren, bevor die veröffentlichten Zahlen irgendetwas bedeuten; die Karte empfiehlt Temperatur-Fitting, weil rohe Wahrscheinlichkeiten zu selbstsicher ausfallen, wobei die ECE nach dem Refitting von 0,466 auf 0,081 fällt. Bei Flash vertraut man der Kalibrierung eines Anbieters auf Daten, die man nicht gesehen hat.

Keines von beiden ist kostenlos. Das eine kostet Entwicklungszeit, das andere Verifikationszeit.

Sprache und Kardinalität

Laya multilingual unterstützt prinzipiell über 100 Sprachen und in der Praxis 45 von 51 – gemessen am eigenen „nutzbaren“ Schwellenwert der Karte von dreimal Zufall. Der XNLI-Score außerhalb des Englischen liegt bei 0,731 gegenüber 0,521 für den rein englischen Checkpoint, und die MASSIVE-Intent-Genauigkeit über 13 weitere Sprachen beträgt 0,451. Das sind bescheidene Zahlen, aber es gibt sie, und Flash hat überhaupt keine veröffentlichte mehrsprachige Evaluierung. Wenn Ihr Traffic nicht englischsprachig ist, ist der Anbieter mit der mehrsprachigen Evaluierung der sicherere Ausgangspunkt, selbst wenn seine Werte niedrig sind.

Bei der Kardinalität ist es umgekehrt. Laya verschlechtert sich bei Multiple-Choice-Fragen mit hoher Kardinalität stark: 0,425 bei den 72 Labels von Banking77 gegenüber 0,870 bei Jev, weil 77 Optionen bei Standardeinstellungen jeweils nur etwa drei bis vier Tokens erhalten. Die Karte rät, das Optionsbudget zu erhöhen oder grob nach fein aufzuteilen. Flash akzeptiert bis zu 255 Optionen und hat keinen veröffentlichten Benchmark für hohe Kardinalität, sodass die sichere Lesart ist, dass Flash für den Fall ausgelegt ist, den Laya als Schwäche dokumentiert, und die Rechnung nicht offengelegt hat.

Was tausend Entscheidungen kosten

Laya hat keinen Preis pro Entscheidung, weil Sie es selbst hosten. Auf einer T4 bei 103–332 Fragen pro Sekunde entsprechen eine Million Entscheidungen irgendwo zwischen 50 Minuten und drei Stunden GPU-Zeit. Zu gängigen Cloud-Tarifen sind das Cent bis ein paar Dollar, plus der Engineering-Aufwand für Deployment und Monitoring.

Flash auf der API lässt sich leicht berechnen. Ein Zustand mit 400 Tokens, eine Frage: 1.000 Entscheidungen sind 400.000 Eingabe-Tokens; bei 0,01 $ pro Million sind das $0.004. Eine Million Entscheidungen kostet etwa 4 $. Das Selbsthosten der Gewichte beseitigt die Kosten pro Token, bringt Sie aber zurück auf eine GPU mit rund 9 GiB Gewichten und einem nicht-kausalen Attention-Muster, das kausale Standard-Server nicht reproduzieren.

Die Falle ist Batching. Flash berechnet den State für jede Frage erneut, sodass drei Fragen pro State die Rechnung verdreifachen. Wenn dein Gate mehrere Dinge auf einmal abfragt, ist das günstige Modell nicht günstig.

Dies ist auch die Ebene, auf der die Routing-Frage auftaucht. Ein Entscheidungsmodell ist ein Gate vor der Generierung, und auf der Generierungsseite sitzt der größte Teil der Ausgaben. OrcaRouter stellt über 200 Modelle hinter einem Schlüssel ohne Aufschlag auf Listenpreise, sodass ein günstigerer Generator oder eine Preissenkung eines Anbieters noch am selben Tag greift und automatisches Failover verhindert, dass eine fehlgeleitete Anfrage komplett scheitert. Wir hosten weder pplx-decider-flash noch Laya. Das einzige Entscheidungsmodell, das wir anbieten, ist Jev von TypeSafe als jev-1.13 und jev-1.14, was gut zu wissen ist, wenn man einen gehosteten Decider möchte, ohne eine GPU hochfahren zu müssen.

Wie man der Reihe nach auswählt

• Nicht-englischsprachiger Traffic — beginnen Sie mit Laya multilingual und messen Sie dann. Es ist die einzige Seite mit veröffentlichten sprachübergreifenden Zahlen.

• Unter 100 ms auf Standardhardware — Laya. Auf einer T4 antwortet es in 33 ms; Flash benötigt eine moderne GPU und braucht dort Berichten zufolge 90–127 ms.

• Bilder im Zustand — Flash, ohne echte Konkurrenz. Laya hat keinen Vision-Pfad.

• Lange Zustände — Flash. Ein 512-Token-Fenster schließt Laya für alles aus, was einem Dokument ähnelt.

• Keine gelabelten Daten und keine Zeit für Fine-Tuning — Flash, zumindest als Ausgangspunkt. Layas Basis-Checkpoint liegt unter der Mehrheits-Baseline.

• Mehr als 20 Optionen pro Frage — Flash oder Laya mit erhöhtem Optionsbudget und einer Grob-zu-fein-Aufteilung.

Die ehrliche Zusammenfassung ist, dass diese Modelle um dieselbe Aufgabenbeschreibung konkurrieren und fast nie um dasselbe Einsatzszenario. Laya ist ein schneller, winziger, feinabstimmbarer Encoder für Massenklassifizierung in Sprachen, die Sie testen können. Flash ist ein Allzweck-, kalibrierter, multimodaler Judge mit großem Kontext und einer Anbieter-Rangliste im Rücken. Die Vergleichstabellen, die einen Abstand von 1,5 Punkten zwischen ihnen zeigen, sind weniger falsch als vielmehr bedeutungslos: Sie mitteln genau die Eigenschaften weg, die die Entscheidung bestimmen.