LMArena y las tablas de clasificación de LLM: tres gobernantes, tres preguntas diferentes

El 19 de febrero de 2026, Artificial Analysis publicó un artículo titulado "Gemini 3.1 Pro Preview: El nuevo líder en IA". Lideró seis de diez evaluaciones y aventajaba por cuatro puntos a Claude Opus 4.6. Abre hoy la página de ese mismo modelo y la cifra es 30, en el puesto 69 de 200. Google no cambió nada. Lo que cambió es la regla de medición: el 19 de septiembre de 2026, Artificial Analysis revisó su Intelligence Index a la v4.3.2, retiró Terminal-Bench 2.1 en favor de Terminal-Bench 4.0, cambió tau3-Banking por AutomationBench-AA y reancló la escala Elo de GDPval-AA. Un líder de febrero pasó a ser un jugador de media tabla en septiembre porque el instrumento de medición se movió bajo sus pies.

Ese único episodio es todo el argumento a favor de aprender a leer bien estos foros. Claude Opus 5.5 y Claude Fable 5.1, Kimi K3.1 Pro y MiniMax M3.1 Flash, y todos los modelos intermedios están siendo puntuados por al menos tres cosas incompatibles a la vez, y las búsquedas que traen gente hasta aquí —lmarena, llm ranking, cuál modelo es realmente el mejor— dan por hecho que hay una sola respuesta. Hay tres, y responden a preguntas distintas.

Tres tipos de marcador, tres preguntas diferentes

Todos los números que veas en una tabla de clasificación provienen de una de tres familias, y la familia determina qué puede y qué no puede decirte el número.

La arena de la multitud. LMArena muestra dos salidas anónimas de modelos para un mismo prompt, una persona elige un ganador y los votos se agregan en una calificación. Mide la preferencia en condiciones ciegas con prompts que nadie eligió de antemano. Su fortaleza es que ningún proveedor ejecuta el sistema de evaluación y nadie selecciona las preguntas a mano. Su debilidad es que quien vota recompensa las respuestas fluidas, seguras y bien formateadas, y un prompt escrito por un voluntario no es tu carga de trabajo. Una calificación alta en la arena significa que la gente tiende a preferir la salida; no significa que la salida sea correcta.

El índice compuesto. Artificial Analysis ejecuta un conjunto fijo de evaluaciones y las combina en un único Intelligence Index, junto con medidas separadas de velocidad, latencia, precio y coste por tarea completada. Este es el más útil de los tres para preseleccionar, porque el arnés es el mismo para todos los modelos y las columnas circundantes permiten sopesar la calidad frente al coste. Su debilidad es que un compuesto incorpora decisiones editoriales: qué evaluaciones cuentan, cómo se ponderan y qué ocurre cuando una de ellas se retira. La revisión v4.3.2 es exactamente esa debilidad hecha visible.

La hoja del proveedor.Material de lanzamiento del laboratorio que construyó el modelo. Es la fuente más rica —cientos de filas, los benchmarks más recientes, las configuraciones que nadie más ha ejecutado— y es la menos comparable, porque cada proveedor elige el harness, el ajuste de esfuerzo y los oponentes. La tabla de Claude Opus 5.5 de Anthropic sitúa su modelo 29 puntos por delante de GPT-5.6 Sol en Terminal-Bench 4.0; el material de Sol de OpenAI abre con Terminal-Bench 2.1, donde Sol obtiene 91.9, y no contiene ninguna fila para Opus 5.5, porque Opus 5.5 no existía cuando se redactó. Una tabla con solo filas favorables no es prueba de un dominio absoluto. Es prueba de una selección de filas.

La fila es una configuración, no un modelo

La mala interpretación más común de una tabla de clasificación es tratar una línea como un modelo. En la propia tabla de clasificación de LLM de Artificial Analysis de esta semana, Claude Opus 5.5 aparece tres veces:

• Claude Opus 5.5 al máximo esfuerzo con respaldo — Índice de Inteligencia 58, costo por tarea de $5.98, velocidad de salida mediana de 98 tokens por segundo, latencia de 706 ms, de extremo a extremo 711 ms.

• Claude Opus 5.5 con esfuerzo xhigh y fallback — Índice de Inteligencia 56, coste por tarea 3,46 $, velocidad 82 tokens por segundo, latencia 119 ms, de extremo a extremo 125 ms.

• Claude Sonnet 5.5 con el máximo esfuerzo — 56, $5.46, 141 tokens por segundo, 427 ms.

Dos puntos de índice separan las dos primeras filas. Una reducción del 42 % en el coste por tarea y una diferencia de latencia de seis veces también las separan. Nada del modelo cambió; lo que cambió fue el ajuste de esfuerzo. Por lo tanto, cualquier argumento del tipo «el modelo X obtiene una puntuación más alta que el modelo Y» está incompleto hasta que se nombra la configuración, y por eso una sola cifra de comparación directa nunca debería decidir por sí sola una decisión de compra.

La misma regla se aplica al esfuerzo de razonamiento dentro del material propio de un proveedor. Anthropic señala en una nota al pie que su ejecución de Claude Opus 5.5 en Terminal-Bench usó el esfuerzo xhigh en lugar del predeterminado, y que con el esfuerzo medio predeterminado la ventaja de FrontierCode sobre GPT-5.6 Sol se reduce de una diferencia de titular a siete puntos. Ambas cifras son verdaderas. Solo una de ellas describe lo que obtendrás si no ajustas el parámetro.

La trampa de la versión, que explica la mayoría de las comparaciones erróneas

Los nombres de los benchmarks se reutilizan entre generaciones y las cifras no viajan entre ellas. Tres ejemplos de la cobertura de este mes bastan para mostrar la forma.

• Terminal-Bench 2.1 frente a 4.0 — la ficha de Google para Gemini 3.5 Flash-Lite reporta 54,0% en Terminal-Bench 2.1; Artificial Analysis, que ejecuta la 4.0, registra 1%. Ambos son correctos, y citar cualquiera de los dos sin la versión resulta engañoso de una manera que favorece al modelo que prefieras.

• OSWorld-Verified frente a OSWorld 2.0 — Anthropic informa un 85,0 % para Claude Mythos 5 en OSWorld-Verified. Otros proveedores citan puntuaciones de OSWorld 2.0 en los sesenta. Ponerlos en una misma columna no es una comparación de modelos.

• El modelo correcto, la versión equivocada: Claude Mythos 5.1 obtiene 60.9 en Terminal-Bench 4.0 frente a los 52.0 de Muse Wonder, que es la única prueba compartida entre esas dos familias. Mythos 5: su 88.0 publicado corresponde a Terminal-Bench 2.1. Sustituir una generación por la otra produce una brecha de 36 puntos que no existe.

El hábito práctico es pequeño y vale la pena adoptarlo: cuando aparece un número sin una versión de referencia y un ajuste de esfuerzo, trátalo como una afirmación en lugar de una medición.

El costo por tarea no es el precio que figura en la tarjeta

Las clasificaciones han añadido discretamente la columna que más importa para elaborar presupuestos, y a menudo contradice la lista de precios. MiniMax M3.1 Flash cuesta 0,15 dólares por millón de tokens de entrada y 0,60 de salida; Gemini 3.5 Flash-Lite cuesta 0,30 y 2,50 —cuatro veces más en salida—. En coste por tarea completada del Intelligence Index, Flash-Lite gana: 0,19 dólares frente a 0,22.

Esa inversión no es un error. La métrica son los tokens realmente consumidos multiplicados por las tarifas del proveedor, así que mide cuánto trabajo hace cada modelo para completar la misma tarea. MiniMax M3.1 Flash consumió aproximadamente 180 millones de tokens de salida en todo el índice frente a una mediana cercana a los 100 millones para los modelos que sigue Artificial Analysis: es un razonador verboso, y la verbosidad se factura. En las tareas en las que la deliberación compra una respuesta correcta, es un buen intercambio. En las tareas en las que la respuesta nunca estuvo en duda, es desperdicio.

Esta es la columna que debes aplicar a tu propio tráfico antes de confiar en cualquier comparación por token, porque es la única que tiene en cuenta que los modelos no gastan el mismo número de tokens para llegar al mismo lugar.

Lo que una tabla de clasificación no te dirá

Dos puntos ciegos merecen su propio encabezado, porque ambos cuestan dinero cuando se ignoran.

Abstención.La evaluación AA-Omniscience de Artificial Analysis puntúa a MiniMax M3.1 Flash con 16: el 56 % de las preguntas factuales respondidas correctamente y una tasa de alucinación del 93 %. Esa segunda cifra no significa que el 93 % de las respuestas fueran incorrectas, sino que, de las respuestas que no fueron correctas, el 93 % fueron directamente erróneas en lugar de respuestas parciales o negativas a responder. El modelo suele responder cuando debería abstenerse. Gemini 3.5 Flash-Lite no tiene ninguna puntuación AA-Omniscience, lo que son datos faltantes, no una garantía de buen estado.

Disponibilidad. Una puntuación es una afirmación sobre un momento. Gemini 3.1 Pro ha pasado siete meses como vista previa sin fecha de disponibilidad general, desapareció del selector de modelos de AI Studio a mediados de septiembre sin explicación del proveedor y sigue teniendo una clasificación. Grok 4.7 tenía un día de vida cuando se le puntuó con 46 en el índice. Una de esas es una cifra sobre un modelo al que se puede invocar el mes que viene; la otra es una cifra sobre un modelo que puede que no exista el próximo trimestre. La tabla de clasificación no distingue entre ellas.

Dónde se sitúa nuestro propio consejo y por qué es una cuarta cosa

OrcaRouter opera una clasificación de modelos de IA que, deliberadamente, no reproduce ninguna de las anteriores. Clasifica según lo que observa nuestra propia puerta de enlace —tráfico de producción y votos de la comunidad en Battle Mode— y lo combina con votos de LMArena, benchmarks independientes y adopción del ecosistema bajo pesos fijos y publicados. Se actualiza a diario, incluye modelos en un plazo de 48 horas desde su llegada y se divide en vistas de Texto, Programación, Visión, Matemáticas, Razonamiento y Agéntica, en lugar de pretender que un único orden sirva para todas las tareas.

Eso le da un modo de fallo distinto al de los otros tres, y vale la pena decirlo sin rodeos: solo puede clasificar los modelos que enrutamos, así que sus puntos ciegos son comerciales y no metodológicos. Lo que aporta es la única señal que ninguno de los otros tiene: si el sistema respondió de verdad, a qué velocidad, por qué precio combinado y sobre tráfico que no se construyó para un benchmark.

Leer uno en cinco minutos

• Localiza la versión del benchmark y el ajuste de esfuerzo antes de leer la puntuación. Si falta alguno de los dos, la cifra es solo una afirmación.

Lee la columna de coste por tarea, no el precio por token. Discrepan más a menudo de lo que coinciden.

• Trata un índice compuesto como una lista de candidatos, no como un veredicto. Es una reponderación, y las reponderaciones se revisan: la misma revisión que degradó a Gemini 3.1 Pro degradó a docenas de modelos que nadie había tocado.

• Separa las brechas de capacidad de las brechas de puntuación. Un techo de salida de 65.536 tokens o un modelo que no puede leer vídeo es un dato sobre tu carga de trabajo; dos puntos de índice no lo son.

• Comprueba cuándo se lanzó el modelo y si sigue siendo una vista previa. Una clasificación sin una fecha de disponibilidad es la clasificación de algo que podría no estar cuando lo despliegues.

La tabla de clasificación es el comienzo de la pregunta, no la respuesta. La única medición que resuelve una elección es tu propio tráfico en tus propios prompts — por eso lo útil que puede ofrecer una pasarela no es otra clasificación, sino la capacidad de ejecutar los dos candidatos uno al lado del otro con una sola clave y comparar las facturas.

Nota de fuentes: el movimiento de Gemini 3.1 Pro de febrero a septiembre, el contenido de la revisión v4.3.2, las tres filas de Claude Opus 5.5, las cifras de AA-Omniscience, los valores de coste por tarea y las puntuaciones del Intelligence Index son de Artificial Analysis, consultados el 26 de octubre de 2026. Las cifras de Terminal-Bench 2.1 y 4.0, las de OSWorld-Verified y OSWorld 2.0, las puntuaciones 60.9 y 52.0 de Terminal-Bench 4.0, la estimación de consumo de tokens de MiniMax y las comparativas con las hojas de proveedor proceden, respectivamente, del material publicado por Anthropic, Google, MiniMax y OpenAI, y son datos reportados por los proveedores salvo que se atribuyan arriba a Artificial Analysis. La descripción de la clasificación de OrcaRouter, sus ponderaciones y su cadencia de actualización corresponden a nuestra propia metodología publicada.