LMArena i rankingi LLM: trzy miary, trzy różne pytania

19 lutego 2026 r. Artificial Analysis opublikowało artykuł zatytułowany „Gemini 3.1 Pro Preview: nowy lider w AI”. Model prowadził w sześciu z dziesięciu ewaluacji i miał cztery punkty przewagi nad Claude Opus 4.6. Otwórz dziś stronę tego samego modelu, a liczba wynosi 30 — 69. miejsce na 200. Google niczego nie zmieniło. Zmieniła się miarka: 19 września 2026 r. Artificial Analysis zaktualizowało swój Intelligence Index do wersji v4.3.2, wycofało Terminal-Bench 2.1 na rzecz Terminal-Bench 4.0, zastąpiło tau3-Banking przez AutomationBench-AA i na nowo zakotwiczyło skalę Elo GDPval-AA. Lider z lutego stał się we wrześniu średniakiem, ponieważ przyrząd pomiarowy przesunął się pod nim.

Ten jeden odcinek to cały argument za tym, żeby nauczyć się właściwie czytać te rankingi. Claude Opus 5.5 i Claude Fable 5.1, Kimi K3.1 Pro i MiniMax M3.1 Flash oraz każdy model pomiędzy są jednocześnie oceniane według co najmniej trzech niekompatybilnych kryteriów, a wyszukiwania, które sprowadzają tu ludzi — lmarena, llm ranking, który model jest naprawdę najlepszy — zakładają, że istnieje jedna odpowiedź. Są trzy i odpowiadają na różne pytania.

Trzy rodzaje tablic wyników, trzy różne pytania

Każda liczba, którą zobaczysz w rankingu, pochodzi z jednej z trzech rodzin, a rodzina określa, co ta liczba może, a czego nie może ci powiedzieć.

Arena tłumu. LMArena pokazuje dwa anonimowe wyniki modeli dla jednego polecenia, osoba wybiera zwycięzcę, a głosy są agregowane w ocenę. Mierzy preferencje w warunkach ślepych na poleceniach, których nikt nie wybrał z góry. Jej mocną stroną jest to, że żaden dostawca nie prowadzi środowiska testowego i nikt ręcznie nie wybiera pytań. Jej słabą stroną jest to, że głosujący nagradza płynne, pewne siebie, dobrze sformatowane odpowiedzi, a polecenie wpisane przez wolontariusza nie jest Twoim obciążeniem. Wysoka ocena w arenie oznacza, że ludzie mają skłonność preferować dany wynik; nie oznacza, że wynik jest poprawny.

Indeks złożony.Artificial Analysis przeprowadza stały zestaw ewaluacji i łączy je w jeden Intelligence Index, obok osobnych miar szybkości, opóźnienia, ceny oraz kosztu na ukończone zadanie. To najbardziej użyteczne z trzech podejść przy tworzeniu shortlisty, ponieważ zestaw testowy jest taki sam dla każdego modelu, a sąsiednie kolumny pozwalają zważyć jakość wobec kosztów. Jego słabością jest to, że indeks złożony zawiera w sobie wybory redakcyjne: które ewaluacje się liczą, jak są ważone i co się dzieje, gdy jedna z nich zostaje wycofana. Rewizja v4.3.2 to dokładnie ta słabość ukazana w całej okazałości.

Arkusz dostawcy. Materiały premierowe z laboratorium, które zbudowało model. To najbogatsze źródło — setki wierszy, najnowsze benchmarki, konfiguracje, których nikt inny nie uruchomił — i zarazem najmniej porównywalne, ponieważ każdy dostawca sam wybiera harness, ustawienie wysiłku i przeciwników. Tabela Claude Opus 5.5 od Anthropic stawia swój model o 29 punktów przed GPT-5.6 Sol w Terminal-Bench 4.0; materiały OpenAI dotyczące Sol zaczynają się od Terminal-Bench 2.1, gdzie Sol uzyskuje 91,9, i nie zawierają żadnego wiersza dla Opus 5.5, ponieważ Opus 5.5 nie istniał, gdy je tworzono. Tabela zawierająca wyłącznie korzystne wiersze nie jest dowodem na dominację. Jest dowodem na selekcję wierszy.

Wiersz jest konfiguracją, a nie modelem

Najczęstszym błędem w odczytywaniu rankingu jest traktowanie jednego wiersza jako jednego modelu. W tym tygodniu na własnym rankingu LLM Artificial Analysis Claude Opus 5.5 pojawia się trzy razy:

Claude Opus 5.5 przy maksymalnym wysiłku z fallbackiem — Intelligence Index 58, koszt na zadanie 5,98 USD, mediana prędkości generowania 98 tokenów na sekundę, opóźnienie 706 ms, end-to-end 711 ms.

• Claude Opus 5.5 przy xhigh effort z fallbackiem — Intelligence Index 56, koszt na zadanie 3,46 USD, szybkość 82 tokeny na sekundę, opóźnienie 119 ms, end-to-end 125 ms.

• Claude Sonnet 5.5 przy maksymalnym wysiłku — 56, 5,46 USD, 141 tokenów na sekundę, 427 ms.

Dwa punkty indeksu dzielą dwa pierwsze wiersze. Oddziela je również 42-procentowa obniżka kosztu na zadanie oraz sześciokrotna różnica opóźnienia. W samym modelu nic się nie zmieniło; zmieniło się ustawienie wysiłku. Każdy argument w postaci „model X uzyskuje wyższy wynik niż model Y” jest zatem niepełny, dopóki nie wskazuje konfiguracji, dlatego pojedyncza liczba z bezpośredniego porównania nigdy nie powinna sama rozstrzygać decyzji zakupowej.

Ta sama zasada dotyczy wysiłku rozumowania w materiałach samego dostawcy. Anthropic w przypisie podaje, że uruchomienie Claude Opus 5.5 w Terminal-Bench wykorzystywało wysiłek xhigh zamiast domyślnego, a przy domyślnym średnim wysiłku przewaga FrontierCode nad GPT-5.6 Sol maleje z różnicy podanej w nagłówku do siedmiu punktów. Obie liczby są prawdziwe. Tylko jedna z nich opisuje to, co otrzymasz, jeśli nie ustawisz parametru.

Pułapka wersji, która odpowiada za większość błędnych porównań

Nazwy benchmarków są ponownie wykorzystywane w kolejnych generacjach, a liczby nie przenoszą się między nimi. Trzy przykłady z materiałów z tego miesiąca wystarczą, by pokazać ten schemat.

• Terminal-Bench 2.1 kontra 4.0 — karta Google dla Gemini 3.5 Flash-Lite podaje 54,0% w Terminal-Bench 2.1; Artificial Analysis, uruchamiając 4.0, odnotowuje 1%. Oba wyniki są poprawne, a cytowanie któregokolwiek bez podania wersji jest mylące w sposób, który schlebia temu modelowi, który wolisz.

• OSWorld-Verified kontra OSWorld 2.0 — Anthropic podaje 85,0% dla Claude Mythos 5 w OSWorld-Verified. Inni dostawcy podają wyniki OSWorld 2.0 na poziomie 60–69%. Umieszczanie ich w jednej kolumnie nie jest porównaniem modeli.

• Właściwy model, niewłaściwa wersja — Claude Mythos 5.1 uzyskuje 60,9 w Terminal-Bench 4.0 wobec 52,0 Muse Wonder, który to test jest jedynym wspólnym testem między tymi dwiema rodzinami. Mythos 5 ma opublikowany wynik 88,0 w Terminal-Bench 2.1. Podstawienie jednej generacji w miejsce drugiej tworzy 36-punktową różnicę, która nie istnieje.

Praktyczny nawyk jest niewielki i wart przyjęcia: gdy liczba pojawia się bez wersji benchmarku i ustawienia poziomu wysiłku, traktuj ją jako twierdzenie, a nie pomiar.

Koszt na zadanie to nie cena na karcie

Rankingi po cichu dodały kolumnę, która ma największe znaczenie przy planowaniu budżetu, i często przeczy ona cennikowi. MiniMax M3.1 Flash kosztuje 0,15 USD za milion tokenów wejściowych i 0,60 USD za tokeny wyjściowe; Gemini 3.5 Flash-Lite kosztuje 0,30 USD i 2,50 USD — czterokrotnie więcej za wyjście. Pod względem kosztu ukończonego zadania Intelligence Index wygrywa Flash-Lite: 0,19 USD wobec 0,22 USD.

To odwrócenie nie jest błędem. Metryka to faktycznie zużyte tokeny pomnożone przez stawki dostawcy, więc mierzy, ile pracy każdy model wykonuje, aby ukończyć to samo zadanie. MiniMax M3.1 Flash zużył około 180 milionów tokenów wyjściowych w całym indeksie, podczas gdy mediana dla modeli śledzonych przez Artificial Analysis wynosi blisko 100 milionów: to gadatliwy model rozumujący, a gadatliwość jest rozliczana. W zadaniach, w których namysł zapewnia poprawną odpowiedź, to dobry układ. W zadaniach, w których odpowiedź nigdy nie była wątpliwa, to marnotrawstwo.

To jest kolumna, którą należy uruchomić na własnym ruchu, zanim zaufasz jakiemukolwiek porównaniu na token, ponieważ jako jedyna uwzględnia fakt, że modele nie zużywają tej samej liczby tokenów, aby dotrzeć w to samo miejsce.

Czego ranking ci nie powie

Dwie ślepe plamy zasługują na własny nagłówek, ponieważ obie kosztują pieniądze, gdy się je zignoruje.

Wstrzemięźliwość.W ocenie AA-Omniscience Artificial Analysis MiniMax M3.1 Flash otrzymuje wynik 16: 56% pytań faktograficznych zostało poprawnie udzielonych odpowiedzi, a wskaźnik halucynacji wynosi 93%. Ta druga liczba nie oznacza, że 93% odpowiedzi było błędnych — oznacza, że spośród odpowiedzi, które nie były poprawne, 93% było całkowicie błędnych, a nie częściowych lub odmów. Model zazwyczaj odpowiada, gdy powinien odmówić. Gemini 3.5 Flash-Lite w ogóle nie ma wyniku AA-Omniscience, co oznacza brak danych, a nie czyste konto.

Dostępność. Wynik to stwierdzenie dotyczące danego momentu. Gemini 3.1 Pro od siedmiu miesięcy pozostaje w wersji zapoznawczej bez daty GA, w połowie września zniknął z selektora modeli AI Studio bez wyjaśnienia ze strony dostawcy i nadal ma ranking. Grok 4.7 miał zaledwie jeden dzień, gdy oceniono go na 46 w indeksie. Jedna z tych liczb dotyczy modelu, który możesz wywołać w przyszłym miesiącu; druga dotyczy modelu, który może nie istnieć w następnym kwartale. Tabela liderów ich nie rozróżnia.

Gdzie znajduje się nasza własna tablica i dlaczego jest czwartą rzeczą

OrcaRouter prowadzi ranking modeli AI, który celowo nie odtwarza żadnego z powyższych rozwiązań. Opiera się na tym, co obserwuje nasza własna brama — ruchu produkcyjnym i głosach społeczności w Battle Mode — i łączy to z głosami LMArena, niezależnymi testami porównawczymi oraz adopcją w ekosystemie przy stałych, publikowanych wagach. Jest aktualizowany codziennie, uwzględnia modele w ciągu 48 godzin od pojawienia się i dzieli się na widoki Text, Coding, Vision, Math, Reasoning i Agentic, zamiast udawać, że jedna kolejność sprawdza się w każdym zadaniu.

To daje mu inny tryb awarii niż pozostałym trzem, co warto powiedzieć wprost: może uszeregować tylko modele, do których kierujemy ruch, więc jego martwe punkty są komercyjne, a nie metodologiczne. Wnosi natomiast jeden sygnał, którego nie ma żadne z pozostałych — czy dana rzecz faktycznie odpowiedziała, z jaką szybkością, za jaką łączoną cenę, na ruchu, który nie został skonstruowany pod benchmark.

Przeczytanie jednego w pięć minut

• Znajdź wersję benchmarku i ustawienie poziomu wysiłku, zanim odczytasz wynik. Jeśli któregoś z nich brakuje, ta liczba to jedynie deklaracja.

• Czytaj kolumnę kosztu na zadanie, a nie cenę za token. Częściej się nie zgadzają, niż zgadzają.

• Traktuj indeks złożony jako listę kandydatów, a nie werdykt. To ponowne ważenie, a ponowne ważenia bywają rewidowane — ta sama rewizja, która zdegradowała Gemini 3.1 Pro, zdegradowała dziesiątki modeli, których nikt nie ruszał.

• Oddziel luki w możliwościach od luk w punktacji. Limit wyjścia wynoszący 65,536 tokenów albo model, który nie potrafi czytać wideo, to fakt dotyczący twojego obciążenia; dwa punkty indeksu już nie.

• Sprawdź, kiedy model został udostępniony i czy nadal jest wersją zapoznawczą. Ranking bez daty dostępności to ranking czegoś, czego może nie być w momencie wdrożenia.

Ranking jest początkiem pytania, a nie odpowiedzią na nie. Jedynym pomiarem, który rozstrzyga wybór, jest Twój własny ruch na Twoich własnych promptach — dlatego użyteczną rzeczą, jaką może zaoferować bramka, nie jest kolejny ranking, lecz możliwość uruchomienia dwóch kandydatów obok siebie na jednym kluczu i porównania faktur.

Uwaga dotycząca źródeł: {{1}}przebieg zmian Gemini 3.1 Pro od lutego do września{{/1}}, {{2}}zawartość wersji v4.3.2{{/2}}, {{3}}trzy wiersze Claude Opus 5.5{{/3}}, {{4}}dane AA-Omniscience{{/4}}, {{5}}wartości kosztu na zadanie{{/5}} i {{6}}wyniki Intelligence Index{{/6}} pochodzą od Artificial Analysis i odczytano je 26 października 2026 r. {{7}}Dane Terminal-Bench 2.1 i 4.0{{/7}}, {{8}}dane OSWorld-Verified i OSWorld 2.0{{/8}}, {{9}}wyniki 60,9 i 52,0 w Terminal-Bench 4.0{{/9}}, {{10}}szacunek zużycia tokenów MiniMax{{/10}} i {{11}}porównania z arkuszami dostawców{{/11}} pochodzą odpowiednio z {{12}}materiałów opublikowanych przez Anthropic{{/12}}, {{13}}materiałów opublikowanych przez Google{{/13}}, {{14}}materiałów opublikowanych przez MiniMax{{/14}} oraz {{15}}własnych materiałów opublikowanych przez OpenAI{{/15}} i są podane przez dostawców, o ile nie przypisano ich powyżej do Artificial Analysis. {{16}}Opis rankingu OrcaRouter{{/16}}, {{17}}wagi{{/17}} i {{18}}częstotliwość aktualizacji{{/18}} to nasza własna opublikowana metodologia.