LMArena und die LLM-Leaderboards: Drei Maßstäbe, drei unterschiedliche Fragen

Am 19. Februar 2026 veröffentlichte Artificial Analysis einen Artikel mit der Schlagzeile „Gemini 3.1 Pro Preview: Der neue Spitzenreiter in der KI“. Es führte sechs von zehn Bewertungen an und lag vier Punkte vor Claude Opus 4.6. Ruft man heute die Seite desselben Modells auf, steht dort die Zahl 30, Rang 69 von 200. Google hat nichts geändert. Geändert hat sich der Maßstab: Am 19. September 2026 überarbeitete Artificial Analysis seinen Intelligence Index auf v4.3.2, nahm Terminal-Bench 2.1 zugunsten von Terminal-Bench 4.0 außer Betrieb, tauschte tau3-Banking gegen AutomationBench-AA aus und verankerte die GDPval-AA-Elo-Skala neu. Aus einem Spitzenreiter im Februar wurde im September ein Modell im Mittelfeld, weil sich das Messinstrument unter ihm verschoben hat.

Diese eine Episode liefert das gesamte Argument dafür, zu lernen, diese Leaderboards richtig zu lesen. Claude Opus 5.5 und Claude Fable 5.1, Kimi K3.1 Pro und MiniMax M3.1 Flash sowie jedes Modell dazwischen werden gleichzeitig nach mindestens drei unvereinbaren Maßstäben bewertet, und die Suchanfragen, die Leute hierher führen – lmarena, LLM-Ranking, welches Modell ist wirklich das beste – setzen voraus, dass es eine Antwort gibt. Es gibt drei, und sie beantworten unterschiedliche Fragen.

Drei Arten von Scoreboards, drei verschiedene Fragen

Jede Zahl, die Sie auf einer Bestenliste sehen, gehört zu einer von drei Familien, und die Familie bestimmt, was die Zahl Ihnen sagen kann und was nicht.

Die Crowd-Arena. LMArena zeigt zwei anonyme Modellausgaben für einen Prompt, eine Person wählt einen Gewinner aus, und die Stimmen werden zu einer Bewertung aggregiert. Sie misst Präferenzen unter Blindbedingungen bei Prompts, die niemand vorab ausgewählt hat. Ihre Stärke besteht darin, dass kein Anbieter die Testumgebung betreibt und niemand die Fragen von Hand auswählt. Ihre Schwäche ist, dass Wählende flüssige, selbstsichere und gut formatierte Antworten belohnen und ein von einer freiwilligen Person eingegebener Prompt nicht Ihre Arbeitslast ist. Eine hohe Arena-Bewertung bedeutet, dass Menschen die Ausgabe tendenziell bevorzugen; sie bedeutet nicht, dass die Ausgabe korrekt ist.

Der zusammengesetzte Index. Artificial Analysis führt eine feste Suite von Evaluierungen aus und kombiniert sie zu einem einzigen Intelligence Index, daneben separate Messwerte für Geschwindigkeit, Latenz, Preis und Kosten pro abgeschlossener Aufgabe. Für die Vorauswahl ist dies der nützlichste der drei, weil die Testumgebung für jedes Modell dieselbe ist und die umliegenden Spalten es ermöglichen, Qualität gegen Kosten abzuwägen. Seine Schwäche besteht darin, dass ein zusammengesetzter Wert redaktionelle Entscheidungen enthält: welche Evaluierungen zählen, wie sie gewichtet werden und was passiert, wenn eine davon ausgemustert wird. Die Revision v4.3.2 macht genau diese Schwäche sichtbar.

Das Anbieter-Datenblatt.Markteinführungsmaterial aus dem Labor, das das Modell entwickelt hat. Es ist die reichhaltigste Quelle – Hunderte Zeilen, die neuesten Benchmarks, die Konfigurationen, die sonst niemand ausgeführt hat – und zugleich die am wenigsten vergleichbare, weil jeder Anbieter den Harness, die Effort-Einstellung und die Gegner auswählt. In Anthropics Tabelle zu Claude Opus 5.5 liegt dessen Modell auf Terminal-Bench 4.0 mit 29 Punkten Vorsprung vor GPT-5.6 Sol; OpenAIs Sol-Material führt mit Terminal-Bench 2.1, wo Sol 91,9 Punkte erzielt, und enthält überhaupt keine Zeile für Opus 5.5, weil Opus 5.5 bei seiner Erstellung noch nicht existierte. Eine Tabelle mit ausschließlich günstigen Zeilen ist kein Beleg für einen umfassenden Sieg. Sie ist ein Beleg für Zeilenauswahl.

Die Zeile ist eine Konfiguration, kein Modell.

Die häufigste Fehlinterpretation einer Rangliste besteht darin, eine Zeile als ein Modell zu behandeln. Auf der eigenen LLM-Rangliste von Artificial Analysis erscheint Claude Opus 5.5 diese Woche dreimal:

• Claude Opus 5.5 bei maximalem Aufwand mit Fallback – Intelligenz-Index 58, Kosten pro Aufgabe 5,98 $, mediane Ausgabegeschwindigkeit 98 Token pro Sekunde, Latenz 706 ms, Ende-zu-Ende 711 ms.

• Claude Opus 5.5 bei xhigh-Aufwand mit Fallback — Intelligence Index 56, Kosten pro Aufgabe 3,46 $, Geschwindigkeit 82 Token pro Sekunde, Latenz 119 ms, Ende-zu-Ende 125 ms.

• Claude Sonnet 5.5 mit maximalem Aufwand — 56, 5,46 $, 141 Token pro Sekunde, 427 ms.

Zwei Indexpunkte trennen die ersten beiden Zeilen. Eine um 42 % geringere Kost pro Aufgabe und ein sechsfacher Latenzunterschied trennen sie ebenfalls. Am Modell hat sich nichts geändert; die Aufwandsstufe schon. Jede Argumentation der Form „Modell X erzielt einen höheren Score als Modell Y“ ist daher unvollständig, solange sie die Konfiguration nicht nennt, weshalb eine einzelne Direktvergleichszahl niemals allein eine Beschaffungsentscheidung entscheiden sollte.

Dieselbe Regel gilt für den Reasoning-Aufwand in den eigenen Unterlagen eines Anbieters. Anthropic merkt in einer Fußnote an, dass sein Claude-Opus-5.5-Lauf auf Terminal-Bench den xhigh-Aufwand statt des Standardwerts verwendete und dass bei standardmäßig mittlerem Aufwand der Vorsprung von FrontierCode gegenüber GPT-5.6 Sol von einer Schlagzeilen-Lücke auf sieben Punkte schrumpft. Beide Zahlen stimmen. Nur eine davon beschreibt, was Sie erhalten, wenn Sie den Parameter nicht setzen.

Die Versionsfalle, auf die die meisten schlechten Vergleiche zurückgehen

Benchmark-Namen werden über Generationen hinweg wiederverwendet, und die Zahlen wandern nicht zwischen ihnen. Drei Beispiele aus der Berichterstattung dieses Monats genügen, um die Form zu veranschaulichen.

• Terminal-Bench 2.1 gegenüber 4.0 — Googles Modellkarte für Gemini 3.5 Flash-Lite gibt 54,0 % bei Terminal-Bench 2.1 an; Artificial Analysis, das 4.0 ausführt, verzeichnet 1 %. Beide Angaben sind korrekt, und wer eine der beiden ohne die Versionsangabe zitiert, führt in die Irre – und zwar so, dass das Modell, das man bevorzugt, geschmeichelt wird.

{{1}}OSWorld-Verified{{/1}} versus {{2}}OSWorld 2.0{{/2}} — Anthropic meldet 85,0 % für Claude Mythos 5 auf {{1}}OSWorld-Verified{{/1}}. Andere Anbieter nennen für {{2}}OSWorld 2.0{{/2}} Werte im Sechzigerbereich. Sie in eine einzige Spalte zu packen, ist kein Vergleich der Modelle.

• Das richtige Modell, die falsche Version – Claude Mythos 5.1 erreicht 60,9 auf Terminal-Bench 4.0 gegenüber 52,0 von Muse Wonder, wobei dies der einzige gemeinsame Test zwischen diesen beiden Familien ist. Die veröffentlichten 88,0 von Mythos 5 beziehen sich auf Terminal-Bench 2.1. Eine Generation durch die andere zu ersetzen erzeugt eine 36-Punkte-Lücke, die es nicht gibt.

Die praktische Gewohnheit ist klein und lohnt sich: Wenn eine Zahl ohne Benchmark-Version und ohne Effort-Einstellung auftaucht, behandle sie als Behauptung und nicht als Messung.

Die Kosten pro Aufgabe sind nicht der Preis auf der Karte

Ranglisten haben still und leise die Spalte ergänzt, die für die Budgetierung am wichtigsten ist, und sie widerspricht regelmäßig der Preisliste. MiniMax M3.1 Flash kostet 0,15 US-Dollar pro Million Eingabe-Tokens und 0,60 US-Dollar für die Ausgabe; Gemini 3.5 Flash-Lite kostet 0,30 US-Dollar und 2,50 US-Dollar — viermal mehr bei der Ausgabe. Bei den Kosten pro abgeschlossener Aufgabe des Intelligence Index gewinnt Flash-Lite: 0,19 US-Dollar gegenüber 0,22 US-Dollar.

Diese Umkehrung ist kein Fehler. Die Kennzahl sind tatsächlich verbrauchte Tokens multipliziert mit den Preisen des Anbieters; sie misst also, wie viel Arbeit jedes Modell leistet, um dieselbe Aufgabe zu erledigen. MiniMax M3.1 Flash verbrauchte im gesamten Index etwa 180 Millionen Ausgabe-Tokens, gegenüber einem Median von nahezu 100 Millionen bei den Modellen, die Artificial Analysis verfolgt: Es ist ein wortreicher Reasoner, und Wortreichtum wird abgerechnet. Bei Aufgaben, bei denen das Abwägen eine korrekte Antwort erkauft, ist das ein guter Tausch. Bei Aufgaben, bei denen die Antwort nie infrage stand, ist es Verschwendung.

Das ist die Spalte, die Sie gegen Ihren eigenen Traffic laufen lassen sollten, bevor Sie einem Vergleich pro Token vertrauen, denn sie ist die einzige, die berücksichtigt, dass Modelle nicht gleich viele Tokens aufwenden, um an dieselbe Stelle zu gelangen.

Was eine Bestenliste nicht verrät

Zwei blinde Flecken verdienen eine eigene Überschrift, denn beide kosten Geld, wenn man sie ignoriert.

Enthaltung. Die AA-Omniscience-Evaluierung von Artificial Analysis vergibt MiniMax M3.1 Flash einen Wert von 16: 56 % der Faktenfragen wurden korrekt beantwortet, bei einer Halluzinationsrate von 93 %. Die zweite Zahl bedeutet nicht, dass 93 % der Antworten falsch waren – sie bedeutet, dass von den Antworten, die nicht korrekt waren, 93 % rundweg falsch waren statt Teilantworten oder Verweigerungen. Das Modell antwortet meist, wenn es ablehnen sollte. Gemini 3.5 Flash-Lite hat überhaupt keinen AA-Omniscience-Wert, was fehlende Daten sind, kein Unbedenklichkeitszeugnis.

Verfügbarkeit. Ein Score ist eine Aussage über einen Moment. Gemini 3.1 Pro ist seit sieben Monaten eine Preview ohne GA-Termin, ist Mitte September ohne Erklärung des Anbieters aus der Modellauswahl von AI Studio verschwunden und trägt weiterhin eine Platzierung. Grok 4.7 war einen Tag alt, als es im Index mit 46 bewertet wurde. Eine dieser Zahlen betrifft ein Modell, das man nächsten Monat aufrufen kann; die andere betrifft ein Modell, das im nächsten Quartal möglicherweise nicht mehr existiert. Das Leaderboard unterscheidet nicht zwischen ihnen.

Wo unser eigenes Board angesiedelt ist – und warum es eine vierte Sache ist

OrcaRouter betreibt ein KI-Modell-Leaderboard, das bewusst keines der oben genannten Verfahren nachbildet. Die Rangfolge basiert auf dem, was unser eigener Gateway beobachtet – Produktions-Traffic und Community-Stimmen im Battle Mode – und kombiniert das mit LMArena-Stimmen, unabhängigen Benchmarks und Ökosystem-Adoption unter festen, veröffentlichten Gewichtungen. Es wird täglich aktualisiert, führt Modelle innerhalb von 48 Stunden nach ihrem Erscheinen auf und gliedert sich in die Ansichten Text, Coding, Vision, Math, Reasoning und Agentic, statt vorzugeben, eine einzige Reihenfolge sei für jede Aufgabe geeignet.

Das verleiht ihm einen anderen Fehlermodus als den anderen drei, was man deutlich sagen sollte: Es kann nur Modelle bewerten, die wir routen, daher sind seine blinden Flecken kommerzieller statt methodischer Natur. Was es hinzufügt, ist das eine Signal, das keines der anderen hat – ob das System tatsächlich geantwortet hat, mit welcher Geschwindigkeit, zu welchem Mischpreis, bei Traffic, der nicht für einen Benchmark konstruiert wurde.

Einen in fünf Minuten lesen

• Ermitteln Sie die Benchmark-Version und die Effort-Einstellung, bevor Sie den Score lesen. Fehlt eine der beiden, ist die Zahl eine Behauptung.

• Lesen Sie die Spalte „Kosten pro Aufgabe“, nicht den Preis pro Token. Sie widersprechen sich häufiger, als sie übereinstimmen.

• Betrachten Sie einen zusammengesetzten Index als eine Auswahlliste, nicht als Urteil. Er ist eine Neugewichtung, und Neugewichtungen werden überarbeitet – dieselbe Überarbeitung, die Gemini 3.1 Pro herabstufte, stufte Dutzende Modelle herab, die niemand angefasst hatte.

• Trennen Sie Fähigkeitslücken von Score-Lücken. Eine Ausgabegrenze von 65.536 Tokens oder ein Modell, das keine Videos lesen kann, ist eine Tatsache über Ihre Arbeitslast; zwei Indexpunkte sind es nicht.

• Prüfe, wann das Modell veröffentlicht wurde und ob es noch eine Vorschau ist. Ein Ranking ohne Verfügbarkeitsdatum ist ein Ranking von etwas, das bei deiner Bereitstellung möglicherweise nicht vorhanden ist.

Das Leaderboard ist der Anfang der Frage, nicht ihre Antwort. Die einzige Messung, die eine Entscheidung besiegelt, ist dein eigener Traffic auf deinen eigenen Prompts – weshalb das Nützliche, das ein Gateway bieten kann, nicht ein weiteres Ranking ist, sondern die Möglichkeit, die beiden Kandidaten mit einem Key Seite an Seite laufen zu lassen und die Rechnungen zu vergleichen.

Quellenhinweis: Die Entwicklung von Gemini 3.1 Pro von Februar bis September, die Inhalte der Revision v4.3.2, die drei Claude-Opus-5.5-Zeilen, die AA-Omniscience-Zahlen, die Kosten-pro-Aufgabe-Werte und die Punktzahlen des Intelligence Index stammen von Artificial Analysis und wurden am 26. Oktober 2026 abgerufen. Die Zahlen zu Terminal-Bench 2.1 und 4.0, die Zahlen zu OSWorld-Verified und OSWorld 2.0, die Terminal-Bench-4.0-Werte 60,9 und 52,0, die MiniMax-Schätzung des Token-Verbrauchs und die Vergleiche der Herstellerdatenblätter stammen jeweils aus dem eigenen veröffentlichten Material von Anthropic, Google, MiniMax und OpenAI und sind Herstellerangaben, sofern sie oben nicht Artificial Analysis zugeschrieben werden. Die Beschreibung des OrcaRouter-Leaderboards, die Gewichtungen und die Aktualisierungsfrequenz sind unsere eigene veröffentlichte Methodik.