LMArena och LLM-topplistorna: Tre måttstockar, tre olika frågor

Den 19 februari 2026 publicerade Artificial Analysis en artikel med rubriken "Gemini 3.1 Pro Preview: Den nya ledaren inom AI". Den ledde sex av tio utvärderingar och låg fyra poäng före Claude Opus 4.6. Öppnar man i dag sidan för samma modell är siffran 30, med placeringen 69 av 200. Google ändrade ingenting. Det som ändrades var måttstocken: den 19 september 2026 reviderade Artificial Analysis sitt Intelligence Index till v4.3.2, pensionerade Terminal-Bench 2.1 till förmån för Terminal-Bench 4.0, bytte tau3-Banking mot AutomationBench-AA och förankrade om GDPval-AA Elo-skalan. En februariledare blev en septembermittfältare eftersom mätinstrumentet flyttades under den.

Det där enda avsnittet är hela argumentet för att lära sig läsa de här resultattavlorna ordentligt. Claude Opus 5.5 och Claude Fable 5.1, Kimi K3.1 Pro och MiniMax M3.1 Flash, och varje modell däremellan bedöms utifrån minst tre oförenliga saker samtidigt, och sökningarna som för hit folk – lmarena, llm ranking, vilken modell som faktiskt är bäst – utgår från att det finns ett svar. Det finns tre, och de besvarar olika frågor.

Tre typer av resultattavlor, tre olika frågor

Varje nummer du ser på en topplista kommer från en av tre familjer, och familjen avgör vad numret kan och inte kan berätta för dig.

Publikens arena. LMArena visar två anonyma modellsvar för en prompt, en person väljer en vinnare och rösterna aggregeras till ett betyg. Det mäter preferens under blinda förhållanden på promptar som ingen valde i förväg. Dess styrka är att ingen leverantör kör testramverket och att ingen handplockar frågorna. Dess svaghet är att en röstare belönar flytande, självsäkra och välformaterade svar, och en prompt som en volontär har skrivit är inte din arbetsbelastning. Ett högt betyg i arenan innebär att människor tenderar att föredra svaret; det betyder inte att svaret är korrekt.

Sammansatt index. Artificial Analysis kör en fast uppsättning utvärderingar och kombinerar dem till ett enda Intelligence Index, tillsammans med separata mått för hastighet, latens, pris och kostnad per slutförd uppgift. Detta är det mest användbara av de tre för att ta fram en kortlista, eftersom testramverket är detsamma för varje modell och de omgivande kolumnerna låter dig väga kvalitet mot kostnad. Dess svaghet är att ett sammansatt mått bäddar in redaktionella val: vilka utvärderingar som räknas, hur de viktas och vad som händer när en av dem tas ur bruk. Revisionen v4.3.2 är precis den svagheten synliggjord.

Leverantörens tabell.Lanseringsmaterial från labbet som byggde modellen. Det är den rikaste källan – hundratals rader, de nyaste benchmarkarna, de konfigurationer som ingen annan har kört – och den minst jämförbara, eftersom varje leverantör väljer testramverk, ansträngningsinställning och motståndare. Anthropics tabell för Claude Opus 5.5 placerar sin modell 29 poäng före GPT-5.6 Sol på Terminal-Bench 4.0; OpenAIs Sol-material lyfter fram Terminal-Bench 2.1, där Sol får 91,9, och innehåller inte en enda rad för Opus 5.5, eftersom Opus 5.5 inte existerade när det skrevs. En tabell med bara fördelaktiga rader är inte bevis på att man vunnit allt. Den är bevis på selektivt radurval.

Raden är en konfiguration, inte en modell

Den vanligaste feltolkningen av en topplista är att behandla en rad som en modell. På den egna LLM-topplistan från Artificial Analysis den här veckan förekommer Claude Opus 5.5 tre gånger:

• Claude Opus 5.5 vid maximal ansträngning med fallback – Intelligence Index 58, kostnad per uppgift 5,98 $, medianutmatningshastighet 98 tokens per sekund, latens 706 ms, end-to-end 711 ms.

• Claude Opus 5.5 vid xhigh-ansträngning med reservlösning — Intelligensindex 56, kostnad per uppgift 3,46 USD, hastighet 82 tokens per sekund, latens 119 ms, end-to-end 125 ms.

• Claude Sonnet 5.5 med maximal insats — 56, $5.46, 141 tokens per sekund, 427 ms.

Två indexpoäng skiljer de två första raderna åt. En minskning av kostnaden per uppgift med 42 % och en sexfaldig latensskillnad skiljer dem också åt. Ingenting hos modellen ändrades; det var inställningen för ansträngning som ändrades. Alla argument av formen "modell X får högre poäng än modell Y" är därför ofullständiga tills de anger konfigurationen, vilket är anledningen till att ett enda direkt jämförelsetal aldrig bör avgöra ett upphandlingsbeslut på egen hand.

Samma regel gäller för resonemangsinsatsen i en leverantörs eget material. Anthropic noterar i en fotnot att körningen av Claude Opus 5.5 på Terminal-Bench använde xhigh-insats i stället för standardinställningen, och att FrontierCodes försprång gentemot GPT-5.6 Sol vid standardinställningen medium minskar från en rubrikvänlig marginal till sju punkter. Båda siffrorna är sanna. Bara en av dem beskriver vad du får om du inte anger parametern.

Versionsfällan, som ligger bakom de flesta dåliga jämförelserna

Benchmarknamn återanvänds mellan generationer och siffrorna följer inte med mellan dem. Tre exempel från den här månadens bevakning räcker för att visa mönstret.

• Terminal-Bench 2.1 kontra 4.0 – Googles kort för Gemini 3.5 Flash-Lite anger 54,0 % på Terminal-Bench 2.1; Artificial Analysis, som kör 4.0, registrerar 1 %. Båda är korrekta, och att citera endera utan versionen är missvisande på ett sätt som smickrar vilken modell du än föredrar.

• OSWorld-Verified kontra OSWorld 2.0 – Anthropic rapporterar 85,0 % för Claude Mythos 5 på OSWorld-Verified. Andra leverantörer anger poäng i sextiotalet för OSWorld 2.0. Att sätta dem i en kolumn är inte en jämförelse av modeller.

• Rätt modell, fel version – Claude Mythos 5.1 får 60,9 på Terminal-Bench 4.0 mot Muse Wonders 52,0, vilket är det enda gemensamma testet mellan de två familjerna. Mythos 5:s publicerade 88,0 är Terminal-Bench 2.1. Att byta ut en generation mot den andra ger en 36-poängskillnad som inte finns.

Den praktiska vanan är enkel och värd att ta till sig: när en siffra förekommer utan benchmarkversion och effort-inställning bör du behandla den som ett påstående snarare än ett mätvärde.

Kostnaden per uppgift är inte priset på kortet

Topplistorna har i tysthet lagt till kolumnen som är viktigast för budgeteringen, och den motsäger regelmässigt prislistan. MiniMax M3.1 Flash kostar 0,15 USD per miljon indatatoken och 0,60 USD för utdata; Gemini 3.5 Flash-Lite kostar 0,30 och 2,50 USD – fyra gånger mer för utdata. I fråga om kostnad per slutförd Intelligence Index-uppgift vinner Flash-Lite: 0,19 USD mot 0,22 USD.

Den inversionen är inte ett fel. Måttet är faktiskt förbrukade tokens multiplicerat med leverantörens taxor, så det mäter hur mycket arbete varje modell utför för att slutföra samma uppgift. MiniMax M3.1 Flash förbrukade ungefär 180 miljoner utdatatokens i hela indexet, jämfört med en median på nära 100 miljoner för de modeller som Artificial Analysis följer: den är en mångordig resonerare, och mångordighet debiteras. På uppgifter där överläggningen ger ett korrekt svar är det en bra avvägning. På uppgifter där svaret aldrig var tveksamt är det slöseri.

Det här är kolumnen att köra mot din egen trafik innan du litar på någon jämförelse per token, eftersom det är den enda som tar hänsyn till att modeller inte gör av med samma antal tokens för att komma fram till samma ställe.

Vad en resultattavla inte berättar för dig

Två blinda fläckar förtjänar en egen rubrik, eftersom båda kostar pengar när de ignoreras.

Avstående. Artificial Analysis utvärdering AA-Omniscience ger MiniMax M3.1 Flash betyget 16: 56 % av faktiska frågor besvarades korrekt, och hallusinationsgraden är 93 %. Den andra siffran betyder inte att 93 % av svaren var fel — den betyder att av de svar som inte var korrekta var 93 % helt felaktiga snarare än partiella svar eller vägran. Modellen svarar vanligtvis när den borde avstå. Gemini 3.5 Flash-Lite har ingen AA-Omniscience-poäng alls, vilket är saknade data, inte ett friskhetsintyg.

Tillgänglighet. En poäng är ett uttalande om ett ögonblick. Gemini 3.1 Pro har varit en förhandsversion i sju månader utan något GA-datum, försvann från modellväljaren i AI Studio i mitten av september utan någon leverantörsförklaring och har fortfarande en placering. Grok 4.7 var en dag gammal när den fick 46 på indexet. Ett av dessa är en siffra om en modell du kan anropa nästa månad; det andra är en siffra om en modell som kanske inte finns nästa kvartal. Topplistan skiljer inte mellan dem.

Var vår egen styrelse hör hemma, och varför den är en fjärde sak

OrcaRouter driver en AI-modelltopplista som medvetet inte återger något av det ovanstående. Den rangordnar utifrån vad vår egen gateway observerar – produktionstrafik och communityröster i Battle Mode – och blandar det med LMArena-röster, oberoende benchmarks och ekosystemadoption enligt fasta, publicerade vikter. Den uppdateras dagligen, listar modeller inom 48 timmar efter ankomst och delas upp i vyerna Text, Coding, Vision, Math, Reasoning och Agentic i stället för att låtsas att en enda rangordning passar alla uppgifter.

Det ger den ett annat slags felbeteende än de andra tre, vilket är värt att säga rent ut: den kan bara rangordna modeller som vi dirigerar trafik till, så dess blinda fläckar är kommersiella snarare än metodologiska. Det den tillför är den enda signal som ingen av de andra har – huruvida saken faktiskt svarade, hur snabbt, till vilket blandat pris, på trafik som inte var konstruerad för ett benchmark.

Läsa en på fem minuter

• Ta reda på benchmarkversionen och ansträngningsinställningen innan du läser poängen. Om någon av dem saknas är siffran bara ett påstående.

• Läs kolumnen för kostnad per uppgift, inte priset per token. De är oense oftare än de är överens.

• Behandla ett sammansatt index som en kortlista, inte som ett utslag. Det är en omviktning, och omviktningar revideras — samma revidering som degraderade Gemini 3.1 Pro degraderade dussintals modeller som ingen hade rört.

• Separera förmågegap från poänggap. Ett utdatatak på 65 536 token eller en modell som inte kan läsa video är ett faktum om din arbetsbelastning; två indexpoäng är det inte.

Kontrollera när modellen släpptes och om den fortfarande är en förhandsversion. En rangordning utan ett tillgänglighetsdatum är en rangordning av något som kanske inte finns där när du driftsätter.

Topplistan är början på frågan, inte svaret på den. Det enda mått som avgör ett val är din egen trafik på dina egna prompter — vilket är anledningen till att det användbara en gateway kan erbjuda inte är ännu en rangordning, utan möjligheten att köra de två kandidaterna sida vid sida på en enda nyckel och jämföra fakturorna.

Källanmärkning: Gemini 3.1 Pros rörelse från februari till september, innehållet i revidering v4.3.2, de tre raderna för Claude Opus 5.5, siffrorna för AA-Omniscience, värdena för kostnad per uppgift och poängen i Intelligence Index kommer från Artificial Analysis, avlästa den 26 oktober 2026. Siffrorna för Terminal-Bench 2.1 och 4.0, siffrorna för OSWorld-Verified och OSWorld 2.0, poängen 60.9 och 52.0 i Terminal-Bench 4.0, MiniMax uppskattning av tokenförbrukning och jämförelserna med leverantörsblad kommer från egna publicerade material från Anthropic, Google, MiniMax och OpenAI, och är leverantörsrapporterade om de inte ovan tillskrivs Artificial Analysis. OrcaRouters beskrivning av leaderboarden, vikter och uppdateringskadens är vår egen publicerade metodik.