LMArena와 LLM Leaderboards: 세 가지 척도, 세 가지 다른 질문

2026년 2월 19일, Artificial Analysis는 "Gemini 3.1 Pro Preview: AI의 새로운 선두주자"라는 제목의 글을 발표했다. 이 모델은 10개 평가 중 6개에서 1위를 차지했고 Claude Opus 4.6을 4점 차로 앞섰다. 오늘 같은 모델의 페이지를 열면 점수는 30, 200개 중 69위다. Google은 아무것도 바꾸지 않았다. 바뀐 것은 자다. 2026년 9월 19일 Artificial Analysis는 Intelligence Index를 v4.3.2로 개정하고, Terminal-Bench 2.1을 폐기하는 대신 Terminal-Bench 4.0을 채택했으며, tau3-Banking을 AutomationBench-AA로 교체하고 GDPval-AA Elo 척도의 기준점을 재설정했다. 2월의 선두주자가 9월의 중위권으로 밀린 것은 측정 도구가 그 아래에서 움직였기 때문이다.

그 단일 사례 하나만으로도 이런 게시판을 제대로 읽는 법을 배워야 하는 이유가 전부 설명된다. Claude Opus 5.5와 Claude Fable 5.1, Kimi K3.1 Pro와 MiniMax M3.1 Flash, 그리고 그 사이의 모든 모델은 최소 세 가지 서로 양립할 수 없는 기준으로 동시에 점수가 매겨지고 있으며, 사람들을 이곳으로 이끄는 검색어들—lmarena, llm ranking, which model is actually best—은 답이 하나뿐이라고 전제한다. 하지만 답은 세 가지이고, 그것들은 서로 다른 질문에 답한다.

세 가지 유형의 점수판, 세 가지 다른 질문

리더보드에서 보게 되는 모든 숫자는 세 가지 계열 중 하나에서 비롯되며, 그 계열이 해당 숫자가 무엇을 알려줄 수 있고 무엇을 알려줄 수 없는지를 결정합니다.

크라우드 아레나. LMArena는 하나의 프롬프트에 대해 두 개의 익명 모델 출력을 보여 주고, 사람이 승자를 고르며, 투표가 집계되어 평점이 됩니다. 이는 아무도 미리 선택하지 않은 프롬프트에서 블라인드 조건의 선호도를 측정합니다. 강점은 어떤 벤더도 하네스를 운영하지 않고 누구도 질문을 직접 고르지 않는다는 점입니다. 약점은 투표자가 유창하고 자신감 있으며 형식이 잘 갖춰진 답변에 보상을 준다는 것과, 자원자가 입력한 프롬프트가 당신의 워크로드가 아니라는 점입니다. 아레나 평점이 높다는 것은 사람들이 그 출력을 선호하는 경향이 있다는 뜻이며, 그 출력이 정확하다는 뜻은 아닙니다.

종합 지수. Artificial Analysis는 고정된 평가 제품군을 실행하고 이를 하나의 Intelligence Index로 결합하며, 속도, 지연 시간, 가격 및 완료된 작업당 비용에 대한 별도 지표도 함께 제공합니다. 이는 세 가지 중 후보를 추릴 때 가장 유용한데, 모든 모델에 동일한 하네스가 적용되고 주변 열을 통해 품질과 비용을 저울질할 수 있기 때문입니다. 약점은 종합 지수에 편집상의 선택이 내재된다는 점입니다. 어떤 평가가 포함되는지, 어떻게 가중치가 부여되는지, 그리고 그중 하나가 폐기될 때 어떻게 되는지입니다. v4.3.2 개정판은 바로 그 약점이 드러난 사례입니다.

벤더 시트. 모델을 만든 연구소에서 내놓은 출시 자료. 가장 풍부한 출처다. 수백 개의 행, 최신 벤치마크, 다른 누구도 돌려보지 않은 구성까지 담겨 있다. 그러나 가장 비교하기 어려운 자료이기도 하다. 하네스와 노력 설정, 상대 모델을 각 벤더가 제각기 고르기 때문이다. Anthropic의 {{KEEP}}Claude Opus 5.5{{/KEEP}} 표는 자사 모델이 {{KEEP}}Terminal-Bench 4.0{{/KEEP}}에서 {{KEEP}}GPT-5.6 Sol{{/KEEP}}보다 29점 앞선다고 제시한다. OpenAI의 {{KEEP}}Sol{{/KEEP}} 자료는 {{KEEP}}Terminal-Bench 2.1{{/KEEP}}을 앞세우며, 여기서 {{KEEP}}Sol{{/KEEP}}은 {{KEEP}}91.9{{/KEEP}}를 기록한다. 그런데 이 자료에는 {{KEEP}}Opus 5.5{{/KEEP}} 행이 아예 없다. 작성 당시 {{KEEP}}Opus 5.5{{/KEEP}}가 존재하지 않았기 때문이다. 유리한 행만 모아 놓은 표는 압승의 증거가 아니다. 행 선별의 증거다.

행은 모델이 아니라 구성입니다.

리더보드를 가장 흔히 잘못 읽는 방식은 한 줄을 하나의 모델로 보는 것입니다. 이번 주 Artificial Analysis 자체 LLM 리더보드에서 Claude Opus 5.5는 세 번 등장합니다:

• Claude Opus 5.5, 폴백 포함 최대 노력 — 인텔리전스 지수 58, 작업당 비용 $5.98, 출력 속도 중앙값 초당 98토큰, 지연 시간 706ms, 엔드투엔드 711ms.

• Claude Opus 5.5, xhigh effort 및 폴백 적용 — Intelligence Index 56, 작업당 비용 $3.46, 속도 초당 82토큰, 지연 시간 119ms, 종단 간 125ms.

• Claude Sonnet 5.5, 최대 노력 모드 — 56, $5.46, 초당 141 토큰, 427ms.

인덱스 2점 차이가 처음 두 행을 가른다. 작업당 비용 42% 절감과 6배의 지연 시간 차이도 이들을 구분한다. 모델 자체는 전혀 바뀌지 않았고, effort 설정이 바뀐 것이다. 따라서 "모델 X가 모델 Y보다 점수가 높다"는 형태의 어떤 주장도 구성을 명시하기 전까지는 불완전하며, 이 때문에 단일 일대일 수치만으로 조달 결정을 내려서는 안 된다.

같은 규칙은 벤더 자체 자료 안의 추론 노력에도 적용된다. Anthropic은 Claude Opus 5.5 Terminal-Bench 실행에서 기본값 대신 xhigh 노력을 사용했다고 각주로 밝히며, 기본 medium 노력에서는 FrontierCode의 GPT-5.6 Sol 대비 우위가 헤드라인 격차에서 7점으로 좁아진다고 설명한다. 두 수치 모두 사실이다. 다만 그중 하나만이 매개변수를 설정하지 않을 경우 실제로 얻게 될 결과를 설명한다.

대부분의 잘못된 비교의 원인이 되는 버전 함정

벤치마크 이름은 세대에 걸쳐 재사용되며, 그 숫자는 세대 간에 이어지지 않는다. 이번 달 보도의 세 가지 예시만으로도 그 양상을 보여주기에 충분하다.

• Terminal-Bench 2.1 대 4.0 — Gemini 3.5 Flash-Lite에 관한 Google의 카드는 Terminal-Bench 2.1에서 54.0%를 보고합니다. 4.0을 실행한 Artificial Analysis는 1%를 기록합니다. 둘 다 맞으며, 버전을 밝히지 않고 어느 쪽이든 인용하는 것은 선호하는 모델을 더 좋아 보이게 하는 방식으로 오해를 불러일으킵니다.

• OSWorld-Verified 대 OSWorld 2.0 — Anthropic은 OSWorld-Verified에서 Claude Mythos 5가 85.0%를 기록했다고 보고합니다. 다른 공급업체들은 OSWorld 2.0 점수를 60%대라고 언급합니다. 이 둘을 같은 열에 넣는 것은 모델 비교가 아닙니다.

• 올바른 모델, 잘못된 버전 — Claude Mythos 5.1은 Terminal-Bench 4.0에서 60.9점을 기록해 Muse Wonder의 52.0점을 앞섰는데, 이는 두 제품군 사이에 공통된 유일한 테스트입니다. Mythos 5의 공개된 88.0점은 Terminal-Bench 2.1입니다. 한 세대를 다른 세대로 바꿔치기하면 실제로는 존재하지 않는 36점의 격차가 생깁니다.

실용적인 습관은 작지만 받아들일 가치가 있습니다. 숫자가 벤치마크 버전과 effort 설정 없이 나타나면, 그것을 측정값이 아니라 주장으로 취급하세요.

작업당 비용은 카드에 표시된 가격이 아닙니다

리더보드에는 예산 책정에서 가장 중요한 열이 조용히 추가되었는데, 이 열은 정가표와 자주 어긋난다. MiniMax M3.1 Flash는 입력 토큰 100만 개당 $0.15, 출력은 $0.60이다. Gemini 3.5 Flash-Lite는 $0.30과 $2.50으로, 출력에서는 네 배 더 비싸다. 완료된 Intelligence Index 작업당 비용으로 보면 Flash-Lite가 이긴다: $0.22 대 $0.19.

그 역전은 오류가 아닙니다. 이 지표는 실제로 소비된 토큰에 공급자의 요율을 곱한 값이므로, 각 모델이 동일한 작업을 끝내기 위해 얼마나 많은 작업을 수행하는지를 측정합니다. MiniMax M3.1 Flash는 인덱스 전반에서 약 1억 8천만 개의 출력 토큰을 소비했으며, Artificial Analysis가 추적하는 모델들의 중앙값은 약 1억 개에 가깝습니다. 이 모델은 장황한 추론 모델이고, 장황함에는 비용이 청구됩니다. 숙고가 정답을 얻는 데 도움이 되는 작업에서는 좋은 거래입니다. 정답이 의심된 적 없는 작업에서는 낭비입니다.

이것은 어떤 토큰별 비교든 신뢰하기 전에 자체 트래픽에 대해 실행해 볼 열입니다. 모델이 같은 지점에 도달하는 데 같은 수의 토큰을 소비하지 않는다는 사실을 고려하는 유일한 열이기 때문입니다.

리더보드가 말해주지 않는 것

두 가지 사각지대는 각각 별도 제목으로 다룰 가치가 있습니다. 둘 다 무시하면 비용이 발생하기 때문입니다.

답변 보류.Artificial Analysis의 AA-Omniscience 평가는 MiniMax M3.1 Flash를 16점으로 평가합니다. 사실형 질문의 56%에 정확히 답했으며, 환각률은 93%입니다. 두 번째 수치는 답변의 93%가 틀렸다는 뜻이 아닙니다. 즉, 정답이 아닌 응답 가운데 93%가 부분 답변이나 답변 거부가 아니라 완전히 틀린 답변이었다는 의미입니다. 이 모델은 답변을 거부해야 할 때 보통 답변합니다. Gemini 3.5 Flash-Lite는 AA-Omniscience 점수가 전혀 없는데, 이는 데이터가 누락된 것일 뿐 문제없다는 보증이 아닙니다.

가용성. 점수는 특정 시점에 대한 진술일 뿐입니다. Gemini 3.1 Pro는 7개월째 프리뷰 상태로 GA 일정이 없고, 9월 중순에는 벤더의 설명도 없이 AI Studio 모델 선택기에서 사라졌는데도 여전히 순위를 유지하고 있습니다. Grok 4.7은 출시된 지 하루 만에 지수 46점을 받았습니다. 이 중 하나는 다음 달에 호출할 수 있는 모델에 대한 숫자이고, 다른 하나는 다음 분기에 존재하지 않을 수도 있는 모델에 대한 숫자입니다. 리더보드는 이 둘을 구분하지 않습니다.

우리 자체 보드가 어디에 자리하는지, 그리고 그것이 왜 네 번째 것인지

OrcaRouter는 위의 어느 것도 의도적으로 재현하지 않는 AI 모델 리더보드를 운영합니다. 자체 게이트웨이가 관찰한 것, 즉 프로덕션 트래픽과 커뮤니티 Battle Mode 투표를 기준으로 순위를 매기고, 이를 LMArena 투표, 독립 벤치마크, 생태계 채택도와 고정되어 공개된 가중치 아래 결합합니다. 매일 업데이트되며 모델이 등장한 지 48시간 이내에 목록에 올리고, 하나의 순위가 모든 작업에 적합한 척하는 대신 텍스트, 코딩, 비전, 수학, 추론, 에이전틱 뷰로 나눕니다.

그것은 다른 세 가지와는 다른 실패 모드를 갖게 하는데, 이는 분명히 말할 가치가 있다. 그것은 우리가 라우팅하는 모델만 순위를 매길 수 있으므로, 그 사각지대는 방법론적이라기보다 상업적이다. 그것이 더하는 것은 다른 어떤 것도 갖지 못한 단 하나의 신호다. 즉, 그 대상이 실제로 응답했는지, 얼마나 빠른 속도로, 어떤 블렌디드 가격으로, 벤치마크를 위해 구성되지 않은 트래픽에서 응답했는지다.

5분 만에 하나 읽기

• 점수를 읽기 전에 벤치마크 버전과 effort 설정을 확인하세요. 둘 중 하나라도 빠져 있다면 그 숫자는 주장일 뿐입니다.

• 토큰당 가격이 아니라 작업당 비용 열을 보세요. 두 값은 일치할 때보다 어긋날 때가 더 많습니다.

• 종합 지수는 최종 판정이 아니라 후보 명단으로 취급하세요. 그것은 가중치 재조정이며, 재조정은 개정됩니다 — Gemini 3.1 Pro를 강등시킨 바로 그 개정이 아무도 건드리지 않았던 수십 개 모델도 강등시켰습니다.

• 역량 격차와 점수 격차를 분리하세요. 65,536토큰 출력 상한이나 비디오를 읽을 수 없는 모델은 워크로드에 관한 사실입니다. 인덱스 2점은 그렇지 않습니다.

• 모델이 언제 출시되었는지, 그리고 아직 프리뷰 상태인지 확인하세요. 가용성 날짜가 없는 순위는 배포할 때 존재하지 않을 수도 있는 대상의 순위일 뿐입니다.

리더보드는 질문의 시작일 뿐, 그에 대한 답이 아닙니다. 어떤 선택을 확정짓는 유일한 측정치는 자신의 프롬프트에 대한 자신의 트래픽입니다. 그래서 게이트웨이가 제공할 수 있는 유용한 것은 또 하나의 순위가 아니라, 두 후보를 하나의 키로 나란히 실행해 청구서를 비교할 수 있는 능력입니다.

{{1}}출처 참고:{{/1}} {{2}}Gemini 3.1 Pro의 2월부터 9월까지의 변동{{/2}}, {{3}}v4.3.2 개정 내용{{/3}}, {{4}}Claude Opus 5.5의 세 행{{/4}}, {{5}}AA-Omniscience 수치{{/5}}, {{6}}작업당 비용 값{{/6}} 및 {{7}}Intelligence Index 점수{{/7}}는 {{8}}Artificial Analysis{{/8}}의 자료를 {{9}}2026년 10월 26일{{/9}}에 확인한 것입니다. {{10}}Terminal-Bench 2.1 및 4.0 수치{{/10}}, {{11}}OSWorld-Verified 및 OSWorld 2.0 수치{{/11}}, {{12}}60.9 및 52.0 Terminal-Bench 4.0 점수{{/12}}, {{13}}MiniMax 토큰 소비 추정치{{/13}} 및 {{14}}공급업체 시트 비교{{/14}}는 각각 {{15}}Anthropic, Google, MiniMax, OpenAI{{/15}}가 자체 공개한 자료에서 나온 것이며, 위에서 Artificial Analysis에 출처를 귀속한 경우를 제외하고는 공급업체가 보고한 자료입니다. {{16}}OrcaRouter의 리더보드 설명, 가중치 및 업데이트 주기{{/16}}는 {{17}}당사가 직접 공개한 방법론{{/17}}입니다.