LMArena en de LLM-ranglijsten: drie maatstaven, drie verschillende vragen

Op 19 februari 2026 publiceerde Artificial Analysis een artikel met de kop "Gemini 3.1 Pro Preview: de nieuwe leider in AI". Het leidde zes van de tien evaluaties en stond vier punten voor op Claude Opus 4.6. Open vandaag de pagina van datzelfde model en het getal is 30, de 69e plaats van de 200. Google veranderde niets. Wat veranderde, is de meetlat: op 19 september 2026 herzag Artificial Analysis zijn Intelligence Index naar v4.3.2, nam het Terminal-Bench 2.1 buiten gebruik ten gunste van Terminal-Bench 4.0, verving het tau3-Banking door AutomationBench-AA en herijkte het de GDPval-AA Elo-schaal. Een leider van februari werd een middenmoter in september doordat het meetinstrument onder hem vandaan schoof.

Die ene aflevering is het hele argument om deze boards goed te leren lezen. Claude Opus 5.5 en Claude Fable 5.1, Kimi K3.1 Pro en MiniMax M3.1 Flash, en elk model daartussen worden door minstens drie onverenigbare zaken tegelijk gescoord, en de zoekopdrachten die mensen hierheen brengen — lmarena, llm ranking, welk model echt het beste is — gaan ervan uit dat er één antwoord is. Er zijn er drie, en ze beantwoorden verschillende vragen.

Drie soorten scoreborden, drie verschillende vragen

Elk getal dat je op een ranglijst ziet, komt uit een van drie families, en de familie bepaalt wat het getal je wel en niet kan vertellen.

De menigte-arena. LMArena toont twee anonieme modeluitvoeren voor één prompt, een persoon kiest een winnaar, en de stemmen worden geaggregeerd tot een beoordeling. Het meet voorkeur onder blinde omstandigheden op prompts die niemand vooraf heeft gekozen. De kracht ervan is dat geen enkele leverancier de harness draait en niemand de vragen met de hand uitkiest. De zwakte ervan is dat een stemmer vloeiende, zelfverzekerde, goed opgemaakte antwoorden beloont, en een prompt die door een vrijwilliger is getypt, is niet jouw werklast. Een hoge arena-beoordeling betekent dat mensen de uitvoer doorgaans verkiezen; het betekent niet dat de uitvoer correct is.

De samengestelde index. Artificial Analysis voert een vaste reeks evaluaties uit en combineert die tot één Intelligence Index, naast afzonderlijke metingen voor snelheid, latentie, prijs en kosten per voltooide taak. Dit is van de drie het nuttigst voor het opstellen van een shortlist, omdat de meetopzet voor elk model hetzelfde is en de omliggende kolommen je in staat stellen kwaliteit tegen kosten af te wegen. De zwakte ervan is dat een samengestelde index redactionele keuzes bevat: welke evaluaties meetellen, hoe ze worden gewogen en wat er gebeurt wanneer een ervan buiten gebruik wordt genomen. De revisie v4.3.2 maakt precies die zwakte zichtbaar.

Het leveranciersdocument.Lanceermateriaal van het lab dat het model heeft gebouwd. Het is de rijkste bron — honderden rijen, de nieuwste benchmarks, de configuraties die niemand anders heeft gedraaid — en het is de minst vergelijkbare, omdat elke leverancier de harness, de effort-instelling en de tegenstanders kiest. De Claude Opus 5.5-tabel van Anthropic zet het model 29 punten voor op GPT-5.6 Sol op Terminal-Bench 4.0; het Sol-materiaal van OpenAI begint met Terminal-Bench 2.1, waar Sol 91,9 scoort, en bevat helemaal geen rij voor Opus 5.5, omdat Opus 5.5 nog niet bestond toen het werd geschreven. Een tabel met alleen gunstige rijen is geen bewijs van een sweep. Het is bewijs van rijselectie.

De rij is een configuratie, geen model

De meest voorkomende verkeerde interpretatie van een leaderboard is dat je één regel als één model beschouwt. Op het eigen LLM-leaderboard van Artificial Analysis verschijnt Claude Opus 5.5 deze week drie keer:

• Claude Opus 5.5 bij maximale inspanning met fallback — Intelligence Index 58, kosten per taak $5,98, mediane outputsnelheid 98 tokens per seconde, latentie 706 ms, end-to-end 711 ms.

• Claude Opus 5.5 bij xhigh-inspanning met fallback — Intelligentie-index 56, kosten per taak $3,46, snelheid 82 tokens per seconde, latentie 119 ms, end-to-end 125 ms.

• Claude Sonnet 5.5 bij maximale inspanning — 56, $ 5,46, 141 tokens per seconde, 427 ms.

Twee indexpunten scheiden de eerste twee rijen. Een kostenverlaging van 42% per taak en een zesvoudig verschil in latentie scheiden ze eveneens. Aan het model is niets veranderd; de inspanningsinstelling wel. Elk argument van de vorm "model X scoort hoger dan model Y" is daarom onvolledig totdat het de configuratie noemt, en daarom zou één enkel head-to-head-cijfer nooit op zichzelf een inkoopbeslissing moeten beslechten.

Dezelfde regel geldt voor redeneerinspanning binnen het eigen materiaal van een leverancier. Anthropic vermeldt in een voetnoot dat de Claude Opus 5.5 Terminal-Bench-run van het bedrijf xhigh effort gebruikte in plaats van de standaardinstelling, en dat bij de standaardinstelling medium effort het voordeel van FrontierCode ten opzichte van GPT-5.6 Sol krimpt van een verschil van formaat naar zeven punten. Beide getallen zijn waar. Slechts één ervan beschrijft wat je krijgt als je de parameter niet instelt.

De versieval, die de meeste slechte vergelijkingen verklaart

Benchmarknamen worden over generaties heen hergebruikt, en de cijfers reizen niet mee van de ene naar de andere. Drie voorbeelden uit de berichtgeving van deze maand volstaan om het patroon te tonen.

• Terminal-Bench 2.1 versus 4.0 — Google's kaart voor Gemini 3.5 Flash-Lite meldt 54,0% op Terminal-Bench 2.1; Artificial Analysis, dat 4.0 draait, noteert 1%. Beide zijn correct, en het citeren van een van beide zonder de versie is misleidend op een manier die het model voortrekt dat je zelf verkiest.

• OSWorld-Verified versus OSWorld 2.0 — Anthropic rapporteert 85,0% voor Claude Mythos 5 op OSWorld-Verified. Andere leveranciers noemen OSWorld 2.0-scores in de zestig. Ze in één kolom zetten is geen vergelijking van modellen.

• Het juiste model, de verkeerde versie — Claude Mythos 5.1 scoort 60.9 op Terminal-Bench 4.0 tegenover Muse Wonder's 52.0, de enige gedeelde test tussen die twee families. Mythos 5's gepubliceerde 88.0 is Terminal-Bench 2.1. Het verwisselen van de ene generatie met de andere levert een kloof van 36 punten op die niet bestaat.

De praktische gewoonte is klein en de moeite waard om over te nemen: wanneer een getal verschijnt zonder een benchmarkversie en een instelling voor de inspanning, behandel het dan als een bewering in plaats van een meting.

De kosten per taak zijn niet de prijs die op de kaart staat.

{{1}}Ranglijsten hebben stilletjes de kolom toegevoegd die het meest van belang is voor budgettering, en die spreekt regelmatig de tariefkaart tegen.{{/1}} {{2}}MiniMax M3.1 Flash kost $0,15 per miljoen inputtokens en $0,60 voor output; Gemini 3.5 Flash-Lite kost $0,30 en $2,50 — vier keer meer voor output.{{/2}} {{3}}Op kosten per voltooide Intelligence Index-taak wint Flash-Lite: $0,19 tegen $0,22.{{/3}}

Die inversie is geen fout. De metriek is werkelijk verbruikte tokens vermenigvuldigd met de tarieven van de provider, dus meet die hoeveel werk elk model verricht om dezelfde taak te voltooien. MiniMax M3.1 Flash verbruikte ruwweg 180 miljoen outputtokens over de index, tegen een mediaan van bijna 100 miljoen voor de modellen die Artificial Analysis volgt: het is een breedsprakige reasoner, en breedsprakigheid wordt gefactureerd. Bij taken waar de beraadslaging een correct antwoord oplevert, is dat een goede ruil. Bij taken waar het antwoord nooit in twijfel was, is het verspilling.

Dit is de kolom die je op je eigen verkeer moet loslaten voordat je een vergelijking per token vertrouwt, omdat dit de enige is die rekening houdt met het feit dat modellen niet hetzelfde aantal tokens verbruiken om op hetzelfde punt uit te komen.

Wat een ranglijst je niet zal vertellen

Twee blinde vlekken verdienen een eigen kop, want beide kosten geld als ze worden genegeerd.

Onthouding.De AA-Omniscience-evaluatie van Artificial Analysis geeft MiniMax M3.1 Flash een score van 16: 56% van de feitelijke vragen werd correct beantwoord, en er is een hallucinatiegraad van 93%. Dat tweede cijfer betekent niet dat 93% van de antwoorden fout was — het betekent dat van de reacties die niet correct waren, 93% ronduit fout was in plaats van gedeeltelijke antwoorden of weigeringen. Het model antwoordt meestal wanneer het zou moeten weigeren. Gemini 3.5 Flash-Lite heeft helemaal geen AA-Omniscience-score, wat ontbrekende gegevens zijn, geen bewijs dat alles in orde is.

Beschikbaarheid. Een score is een uitspraak over een moment. Gemini 3.1 Pro staat al zeven maanden als preview te boek zonder GA-datum, verdween half september zonder enige uitleg van de leverancier uit de modelkiezer van AI Studio, en draagt nog steeds een ranglijstpositie. Grok 4.7 was één dag oud toen hij een 46 op de index kreeg. Het ene is een getal over een model dat je volgende maand kunt aanroepen; het andere is een getal over een model dat volgend kwartaal misschien niet meer bestaat. De ranglijst maakt geen onderscheid tussen die twee.

Waar ons eigen bestuur staat, en waarom het een vierde ding is

OrcaRouter beheert een ranglijst van AI-modellen die opzettelijk geen van het bovenstaande reproduceert. De ranglijst is gebaseerd op wat onze eigen gateway waarneemt — productieverkeer en stemmen van de community in Battle Mode — en combineert dat met LMArena-stemmen, onafhankelijke benchmarks en ecosysteemadoptie volgens vaste, gepubliceerde wegingen. De lijst wordt dagelijks bijgewerkt, neemt modellen binnen 48 uur na aankomst op en splitst zich in Tekst-, Programmeer-, Beeld-, Wiskunde-, Redeneer- en Agentische weergaven in plaats van te doen alsof één ordening elke taak dient.

Dat geeft het een andere faalmodus dan de andere drie, wat de moeite waard is om ronduit te zeggen: het kan alleen modellen rangschikken die wij routeren, dus de blinde vlekken zijn commercieel in plaats van methodologisch. Wat het toevoegt, is het ene signaal dat geen van de andere hebben — of dat ding daadwerkelijk antwoordde, met welke snelheid, tegen welke gecombineerde prijs, op verkeer dat niet voor een benchmark is samengesteld.

Eén lezen in vijf minuten

• Zoek de benchmarkversie en de effort-instelling op voordat je de score leest. Als een van beide ontbreekt, is het getal een bewering.

• Lees de kolom kosten per taak, niet de prijs per token. Ze zijn het vaker oneens dan eens.

• Behandel een samengestelde index als een voorselectie, niet als een eindoordeel. Het is een herweging, en herwegingen worden herzien — dezelfde herziening die Gemini 3.1 Pro degradeerde, degradeerde tientallen modellen die niemand had aangeraakt.

• Onderscheid capaciteitskloven van scorekloven. Een uitvoerplafond van 65.536 tokens of een model dat geen video kan lezen is een feit over uw werklast; twee punten op de index niet.

Controleer wanneer het model is uitgebracht en of het nog steeds een preview is. Een ranglijst zonder beschikbaarheidsdatum is een ranglijst van iets dat er misschien niet is wanneer je het inzet.

De ranglijst is het begin van de vraag, niet het antwoord erop. De enige meting die een keuze beslecht, is je eigen verkeer op je eigen prompts — daarom is het nuttige dat een gateway kan bieden niet nog een ranglijst, maar de mogelijkheid om de twee kandidaten naast elkaar te draaien op één sleutel en de facturen te vergelijken.

Bronvermelding: de beweging van Gemini 3.1 Pro van februari tot september, de inhoud van revisie v4.3.2, de drie rijen voor Claude Opus 5.5, de cijfers van AA-Omniscience, de waarden voor kosten per taak en de scores op de Intelligence Index zijn afkomstig van Artificial Analysis en gelezen op 26 oktober 2026. De cijfers voor Terminal-Bench 2.1 en 4.0, de cijfers voor OSWorld-Verified en OSWorld 2.0, de scores 60,9 en 52,0 op Terminal-Bench 4.0, de schatting van het tokenverbruik van MiniMax en de vergelijkingen met leveranciersgegevensbladen zijn respectievelijk afkomstig uit het eigen gepubliceerde materiaal van Anthropic, Google, MiniMax en OpenAI, en zijn door de leveranciers gerapporteerd, tenzij hierboven toegeschreven aan Artificial Analysis. De beschrijving, de gewichten en de updatefrequentie van het leaderboard van OrcaRouter vormen onze eigen gepubliceerde methodologie.