ERNIE 5.5 Flash Preview und die Behauptung „#2 Open Model“, die durch die eigene Leaderboard-Zeile widerlegt wird

Baidu zitierte am 12. November 2026 per Quote-Tweet eine Bestenlisten-Behauptung, die vollständig lautet: „Ernie 5.5 Flash Preview von @Baidu_Inc ist auf dem Weg, das offene Modell auf Platz 2 auf der Code Arena: WebDev zu werden, mit 1668 Punkten.“ Baidu ergänzte die Parameterzahlen – insgesamt 280 Milliarden, 14 Milliarden aktiv pro Token – und dankte der Community dafür, „es auf die Probe gestellt zu haben“. Dann ließ es den Rest so stehen. Das Problem ist, dass die Zeile, die diese 1668 erzeugt, nicht als offen gekennzeichnet ist. Auf demselben Code Arena WebDev Board, im selben Snapshot vom 10. November, ERNIE 5.5 Flash Preview trägt das Tag Proprietär, eine Punktzahl von 1668 ±16, das Label AutoEval und Stimmen, die als N/A aufgeführt sind. Die Modelle, die als diejenigen genannt werden, die es überholt – DeepSeek-V4.1-Flash mit 1664 und Kimi K3 mit 1658 –, sind gelistete Ranglisten-Zeilen mit 13.952 bzw. 22.405 menschlichen Stimmen, und die D​eepSeek-Zeile trägt ein MIT-Lizenz-Tag. Der Satz tut also drei Dinge gleichzeitig: Er berichtet eine echte Punktzahl, verspricht eine Lizenz, die noch nicht existiert, und beschreibt eine Rangfolge, die das Board nicht vergeben hat.

Nichts davon macht die Zahl falsch. Es macht die Zahl zu einer anderen Art von Objekt als der, den der Satz verkauft, und der Unterschied ist vollständig in den eigenen Spalten der Rangliste ablesbar.

Was Arena veröffentlichte – und die eine Zeile, die Baidu wegließ

Der Arena-Beitrag wurde am 12. November 2026 um 01:08:21 UTC veröffentlicht, eine Minute vor Baidus Kurs. Es lohnt sich, den vollständigen Text vor sich zu haben, denn die Behauptung und ihre Einschränkung stehen im selben Absatz:

"Ernie 5.5 Flash Preview von @Baidu_Inc ist auf dem Weg, das #2 Open Model in der Code Arena: WebDev zu werden, mit 1668 Punkten."

• „Die Gewichte werden bald unter Apache 2.0 als Open Source veröffentlicht."

• „Seine Punktzahl platziert es knapp über: DeepSeek-V4.1-Flash (Max) mit 1664, Kimi K3 (Max) mit 1658.“

Arena schränkte die Rangfolge zweimal ein – „mit der Tendenz, ... zu werden“ – und verknüpfte den Open-Weights-Status mit einem zukünftigen Ereignis mit dem Wort „bald“. Baidus Quote-Tweet gab den Score und die Parameterzahlen wieder, ließ den Apache-2.0-Satz vollständig weg und behielt die Formulierung „latest from @arena“ bei. Ein Leser, der nur Baidus Beitrag sah, wüsste nicht, dass die Open-Model-Hälfte der Behauptung eine zukunftsgerichtete Aussage ist, weil sie nur in der Hälfte stand, die herausgeschnitten wurde.

Das ist kein falsches Zitat. Es ist eine Auswahl, und sie verlagert die Beweislast auf den Leser, der es überprüfen möchte – was der Rest dieses Beitrags tut.

Die Zeile, Spalte für Spalte lesen.

Code Arena WebDev bewertet Front-End-Webentwicklungsarbeit: agentische Coding-Aufgaben mit mehreren Reasoning-Schritten und Tool-Nutzung, nicht Chat-Qualität und nicht allgemeines Coding. Der Snapshot vom 10. November enthält 995.980 Stimmen über 158 Modelle. Hier ist die Zeile von ERNIE 5.5 Flash Preview, so wie die Rangliste sie ausgibt, ohne hinzugefügte Interpretation:

• Punktzahl — 1668, veröffentlicht als 1668 +16/-16, also ein etwa 90-prozentiges Intervall von grob 1652 bis 1684.

• Rang — N/A. Die Zeile wird zwischen Rang 16 und Rang 17 ohne Rangnummer angezeigt.

{{1}}Stimmen{{/1}} — N/A. In der Zeile gibt es überhaupt keine menschliche Stimmenanzahl.

• Bezeichnung — AutoEval, ein verlinkter Tag, der auf Arenas eigene Erläuterung verweist.

• Lizenz-Tag — Proprietär.

• Preis — $0.28 für Eingabe, $1.13 für Ausgabe pro Million Tokens, was dem Listenpreis von Qianfan entspricht.

• Kontext — N/A, bei einem Modell, dessen Anbieterseite ein 1M-Token-Fenster angibt.

Drei dieser sieben Spalten sind N/A, und eine davon ist die Lizenzspalte, also die Spalte, von der die Behauptung abhängt. Vergleicht man das Band, über dem sie angeblich liegt, wird das Bild schärfer statt weicher:

• 1691 — Claude Opus 5 (Max), A​nthropic, Proprietär.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, gekennzeichnet als „Kimi K3.1 Pro License“, eine benutzerdefinierte Lizenz, die Arena weder als offen noch als proprietär kennzeichnet.

• 1682 — Gemini 4 Argon (High), G​oogle, proprietär.

• 1679 — GPT-6.1 Terra (Max), O​penAI, Proprietär.

• 1676 — Qwen3.8-Max (0902), Alibaba, proprietär, vorläufig.

• 1673 — GPT-6 Sol (Max), OpenAI, Proprietär.

• 1670 — Qwen3.8-Max, Alibaba, proprietär, vorläufig.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, proprietär, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), D​eepSeek, MIT, 13.952 Stimmen.

• 1658 — Kimi K3 (Max), Moonshot, 22.405 Stimmen.

Vergleiche diese Liste mit der Behauptung. Alles oberhalb von ERNIE in ihr ist proprietär, außer einer Zeile mit Sonderlizenz. Das erste wirklich offen lizenzierte Modell, auf das man stößt, ist die D​eepSeek-Zeile darunter. Also ist „#2 offenes Modell“ keine Beschreibung dafür, wo ERNIE in dieser Tabelle steht. Sie beschreibt, wo ERNIE stehen würde, wenn die Gewichte unter Apache 2.0 veröffentlicht würden und wenn AutoEval-Ergebnisse als gleichwertig mit von Menschen abgegebenen Bewertungen behandelt würden. Beide Bedingungen liegen in der Zukunft oder sind umstritten, und keine von beiden ist im Quote-Tweet sichtbar.

Was AutoEval tatsächlich ist und warum ±16 hier wichtig ist

Arena veröffentlichte seine AutoEval-Methodik am 30. Juli 2026 und überarbeitete sie zuletzt am 12. August. Der Mechanismus ist ein auf menschliche Präferenzen trainiertes Belohnungsmodell, das automatisch Stimmen abgibt: Live-Prompt-Antwort-Paare samplen, eine Antwort vom Zielmodell neu generieren, beide vom Belohnungsmodell bewerten lassen, die Bewertungsdifferenz in eine weiche Wahrscheinlichkeitsstimme umwandeln und diese synthetischen Stimmen dann mit den Live-Menschenstimmen zu den anderen Modellen kombinieren. Arena gibt an, die resultierenden Scores seien „klar als ‚AutoEval‘ gekennzeichnet und würden dann aktualisiert, sobald genügend menschliche Stimmen eintreffen, um sie zu validieren“, und berichtet von einer Rangkorrelation über 0,98 mit der Live-Evaluierung.

Das ist eine vertretbare Methode, um ein Signal am ersten Tag zu erhalten, und deshalb kann ein Modell am Tag seiner Veröffentlichung auf einem Board erscheinen. Laut Arenas eigener Beschreibung ist es außerdem ein Platzhalter. Die Zahl ist konstruktionsbedingt vorläufig und wird sich voraussichtlich ändern. Die Kennzeichnung in der Zeile von ERNIE ist keine Dekoration; sie ist eine Anweisung, 1668 vorbehaltlich einer Validierung als Schätzung zu behandeln.

Wenden wir nun den Fehlerbalken an, also den Teil der Zeile, den niemand zitiert hat. ERNIEs Intervall reicht von etwa 1652 bis 1684. DeepSeek-V4.1-Flash mit 1664 und Kimi K3 mit 1658 liegen beide darin. Ebenso Qwen3.8-Max mit 1670 und GPT-6 Sol mit 1673. Der Satz „seine Punktzahl setzt es knapp über DeepSeek-V4.1-Flash mit 1664 und Kimi K3 mit 1658“ ist für die Punktschätzungen arithmetisch wahr und als Vergleich statistisch nicht gestützt: Gemessen an der für diese Zeile selbst veröffentlichten Unsicherheit ist ERNIE von keinem Modell zwischen 1652 und 1684 unterscheidbar. Es könnte über DeepSeek liegen. Es könnte darunter liegen. Die Rangliste sagt derzeit nicht, was zutrifft.

Das ist keine Spitzfindigkeit, die auf einen Anbieter abzielt. Ein ±16-Intervall auf einer Rangliste, auf der die gesamten Top-25 etwa 200 Punkte umfassen, bedeutet, dass nahezu jedes benachbarte Zeilenpaar auf diesem Konfidenzniveau ein Gleichstand ist, und die ehrliche Lesart jedes einzelnen benachbarten Vergleichs – für jedes Modell – ist „gleichauf“. Ungewöhnlich ist hier nur, dass ein Anbieter den benachbarten Vergleich infolgedessen aufgebauscht hat.

Woher „#2“ stammt und auf welcher Lizenz es beruht

Von den Zahlen rückwärts gerechnet gibt es genau eine Möglichkeit, wie die Behauptung wahr wird, was erwähnenswert ist, weil es überprüfbar ist und weil Arena es nicht ausdrücklich dargelegt hat.

Fasse die offene Menge so auf, dass sie „jede Zeile bedeutet, die Arena nicht als Proprietary taggt“. Oberhalb von 1668 bleibt damit genau eine Zeile übrig: Kimi K3.1 Pro (Max) bei 1688, mit dem Tag „Kimi K3.1 Pro License“. Alles andere oberhalb von ERNIE ist als Proprietary getaggt. Nach dieser Lesart ist Kimi K3.1 Pro #1 und ERNIE 5.5 Flash Preview wäre #2 – nicht weil es das Feld geschlagen hat, sondern weil das Feld vor ihm proprietär ist.

Diese Rekonstruktion ist eine Schlussfolgerung, kein Zitat: Arenas Beitrag nennt das Modell nicht, das er als #1 betrachtet, und das Board legt seinen Klassifizierer für offen versus proprietär nicht über die Lizenz-Tags hinaus offen. Wenn diese Schlussfolgerung richtig ist, dann ist die tragende Tatsache der Behauptung eine Custom-Lizenz auf dem Modell eines anderen — Arena behandelt Kimi K3.1 Pro als offen, und die gesamte Formulierung „#2 open model“ erbt diese Klassifizierungsentscheidung. Wenn Arena stattdessen Custom-Lizenzen als geschlossen zählt, ist ERNIEs 1668 die oberste nicht-proprietäre Zeile und die Behauptung hätte „#1“ lauten müssen, was ein seltsamerer Satz gewesen wäre, den man über eine Vorschau veröffentlicht.

So oder so leistet der Satz mehr Arbeit als die Daten dahinter. Die Zahl ist real. Der Rang hängt von einer Lizenz ab, die niemand gesehen hat.

Die Distanz, die die Rahmung verbirgt

Eine weitere Zahl gehört in jede ehrliche Version dieses Beitrags, und ihr Fehlen ist das Aussagekräftigste daran. Die Spitze von Code Arena WebDev im selben Snapshot ist Claude Fable 5.2 mit 1836. ERNIE 5.5 Flash Preview mit 1668 liegt 168 Punkte dahinter — und wäre, wenn die AutoEval-Zeile gerankt würde, 17. von 158 und läge zwischen Qwen3.8-Max mit 1670 und DeepSeek-V4.1-Flash mit 1664.

Platz 17 auf einem Board mit 158 Modellen, einen Tag nach der Veröffentlichung, mit 14 Milliarden aktiven Parametern von insgesamt 280 Milliarden, ist ein wirklich gutes Ergebnis. Es ist die Art von Ergebnis, die einen Beitrag in der Launch-Woche rechtfertigt. Es ist nicht die Art von Ergebnis, die als Podiumsplatz verkleidet werden muss, und eine solche Darstellung lädt genau die Prüfung ein, die einen Anbieter mehr Glaubwürdigkeit kostet, als der ehrliche Satz gekostet hätte.

Was die Herstellerseite sagt – und was nicht

Baidus eigene Veröffentlichungsseite für ERNIE 5.5 Flash Preview ist auf den 11. November 2026 datiert, gibt „280B Gesamtparameter bei 14B aktiven Parametern und einem Kontext von 1M Token“ an und beschreibt das Modell als den ersten post-trainierten Checkpoint auf ERNIE 5.5 Flash Base, den am 5. November veröffentlichten Basisgewichten. Sie enthält keine Lizenzangabe, keine Angabe zu den Gewichten und keine Benchmark-Zahlen — die Benchmark-Verweise auf der Seite sind Schlagzeilen zu früheren ERNIE-Veröffentlichungen, nicht die Werte für dieses Modell.

Diese Lücke ist für die zu prüfende Behauptung von Bedeutung. „Die Gewichte werden bald unter Apache 2.0 als Open Source veröffentlicht“ erscheint in Arenas Beitrag. Es erscheint nicht auf der Release-Seite des Anbieters und auch nicht in der eigenen Verbreitung dieses Beitrags durch den Anbieter. Wenn die Apache-2.0-Zusage real und aktuell ist, ist die Release-Seite der natürliche Ort dafür – und dort steht sie nicht. Wenn sie real, aber noch nicht dokumentiert ist, dann ist die einzige öffentliche Quelle für eine Lizenzzusage zu diesem Modell eine Leaderboard-Ankündigung – ein dünner Ort für eine Lizenz, wenn ein Anbieter darauf eine Rangliste aufbaut.

Wie man dies nutzt, bevor sich die Zahlen einpendeln

Die praktische Frage für alle, die diese Woche ein Modell auswählen, ist nicht, ob 1668 ein guter Score ist. Sie lautet, ob eine vorläufige WebDev-Schätzung auf einem Preview-Checkpoint, bepreist mit 0,28 $ Eingabe und 1,13 $ Ausgabe, wobei obligatorisches Reasoning als Ausgabe abgerechnet wird, etwas ablösen sollte, das bereits in Produktion ist. Nach der verfügbaren Beweislage lautet die Antwort nein – aber der Weg, es zu testen, ist günstig, und er erfordert nicht, dass man entweder dem Beitrag oder diesem Artikel glaubt.

Führen Sie den Vergleich mit den gerouteten Modellen durch statt mit dem Leaderboard. DeepSeek-V4.1-Flash und Kimi K3 sind beide über OrcaRouter hinter einem einzigen OpenAI-kompatiblen Schlüssel verfügbar, zum Listenpreis des Anbieters ohne Aufschlag, sodass die Kontrollgruppe den eigenen Tarif des Anbieters kostet statt einen zweiten Vertrag und ein zweites SDK. Erstellen Sie zwanzig Frontend-Aufgaben, die Ihre tatsächliche Arbeit repräsentieren – Komponenten-Refactorings, einen Layout-Bug, der nur bei einem Breakpoint auftritt, eine Aufgabe zum Verdrahten einer Zustandsmaschine –, führen Sie jedes Modell zweimal aus und zählen Sie sowohl Ausgabe-Tokens als auch Korrektheit. Das ist die Messung, die Ihnen keine Leaderboard-Zeile liefert, denn es ist die eine Zahl, die Ihre sein muss: Kosten pro Aufgabe, nicht Preis pro Token.

Behandle ERNIE 5.5 Flash Preview selbst als das, was getestet wird, und nicht als das, was übernommen wird. Es ist auf Qianfan, nicht in unserem Katalog, und eine Preview, die der eigene Anbieter als intermediären Post-Training-Checkpoint bezeichnet, ist genau das Profil, das man hinter ein Primärmodell routet statt davor. Wenn du es wirklich auf einen Pfad setzt, setze es auf einen Pfad mit Failover, damit deine Nutzer an dem Tag, an dem Arena 1668 durch eine von Menschen abgestimmte Zahl ersetzt – oder an dem die Apache-2.0-Gewichte erscheinen oder eben nicht –, es aus einer Logzeile erfahren und nicht aus einem Ausfall.

Was würde es klären

Drei Dinge, in der Reihenfolge, in der sie wahrscheinlich eintreffen werden, von denen jedes das Fazit in diesem Artikel ändern würde, statt es lediglich auszuschmücken.

Menschliche Stimmen ersetzen das AutoEval-Label in dieser Zeile. Arena sagt, dass die Scores aktualisiert werden, sobald genug Stimmen eingehen. Wenn bei den Stimmen nicht mehr N/A steht, wird die 1668 mit den 1664 und 1658 vergleichbar, gegen die sie gesetzt wurde, und die ±16-Frage löst sich von selbst. Beobachte, wie sich das Intervall ebenso verengt, wie sich die Punktschätzung verschiebt.

• Gewichte, die unter einer benannten Lizenz veröffentlicht wurden. Ein tatsächliches Repository mit einer Apache-2.0-Datei klärt die Frage nach dem offenen Modell endgültig und macht die Bezeichnung „#2 offenes Modell“ rückwirkend fair. Eine Lizenzankündigung ohne Gewichte klärt nichts.

• Eine unabhängige WebDev-Messung. Arenas AutoEval ist Arenas eigenes Instrument, und jede Benchmark-Zahl, die Baidu für dieses Modell veröffentlicht hat, ist Baidus eigener Lauf auf Baidus eigenem Harness. Keines von beiden ist ein Drittanbieter-Ergebnis. Die erste wirklich unabhängige Frontend-Evaluierung von ERNIE 5.5 Flash Preview wird mehr wert sein als beide zusammen.

Bis dahin ist der zutreffende Satz der langweilige: Ein Preview-Checkpoint, den Baidu am 11. November ausgeliefert hat, landete bei 1668 auf Code Arena WebDev, eine AutoEval-Schätzung innerhalb eines Intervalls, das die nächsten vier Modelle darunter überlappt, in einer Zeile, die das Board weiterhin als Proprietary kennzeichnet, und sein Anbieter hat das als kurzfristige Nr. 2 unter den offenen Modellen hochgespielt. Jede Klausel davon ist heute überprüfbar. Die Version, die getweetet wurde, ist nicht so sehr falsch als vielmehr unfertig — und sie wurde veröffentlicht, als wäre sie fertig.