LMArena và Bảng xếp hạng LLM: Ba thước đo, ba câu hỏi khác nhau

Vào ngày 19 tháng 2 năm 2026, Artificial Analysis đăng một bài viết với tiêu đề "Gemini 3.1 Pro Preview: Nhà dẫn đầu mới trong AI". Mô hình này đứng đầu sáu trong mười bài đánh giá và bỏ xa Claude Opus 4.6 bốn điểm. Mở trang của chính mô hình đó hôm nay, con số là 30, xếp thứ 69 trong số 200. Google không thay đổi gì cả. Thứ đã thay đổi là thước đo: vào ngày 19 tháng 9 năm 2026, Artificial Analysis đã sửa đổi Chỉ số Thông minh của mình lên v4.3.2, loại bỏ Terminal-Bench 2.1 để thay bằng Terminal-Bench 4.0, thay tau3-Banking bằng AutomationBench-AA và neo lại thang Elo GDPval-AA. Một nhà dẫn đầu của tháng Hai đã trở thành vị trí tầm trung của tháng Chín vì công cụ đo đã dịch chuyển bên dưới nó.

Chỉ riêng tập đó đã là toàn bộ lý lẽ cho việc học cách đọc các bảng xếp hạng này cho đúng. Claude Opus 5.5 và Claude Fable 5.1, Kimi K3.1 Pro và MiniMax M3.1 Flash, cùng mọi mô hình ở giữa, đang bị chấm điểm bởi ít nhất ba thứ không tương thích cùng một lúc, và những tìm kiếm đưa người ta đến đây — lmarena, llm ranking, mô hình nào thực sự tốt nhất — đều giả định chỉ có một câu trả lời. Có ba câu trả lời, và chúng trả lời những câu hỏi khác nhau.

Ba kiểu bảng điểm, ba câu hỏi khác nhau

Mỗi con số bạn thấy trên bảng xếp hạng đều đến từ một trong ba họ, và họ đó quyết định con số có thể và không thể cho bạn biết điều gì.

Đấu trường đám đông. LMArena hiển thị hai đầu ra mô hình ẩn danh cho một lời nhắc, một người chọn người thắng, và các phiếu được tổng hợp thành một điểm xếp hạng. Nó đo lường sở thích trong điều kiện mù trên những lời nhắc mà không ai chọn trước. Điểm mạnh của nó là không nhà cung cấp nào điều hành bộ khung đánh giá và không ai tự tay chọn câu hỏi. Điểm yếu của nó là người bỏ phiếu thưởng cho những câu trả lời trôi chảy, tự tin, được định dạng tốt, và một lời nhắc do tình nguyện viên gõ không phải là khối lượng công việc của bạn. Điểm đấu trường cao nghĩa là mọi người có xu hướng thích đầu ra hơn; điều đó không có nghĩa là đầu ra đúng.

Chỉ số tổng hợp. Artificial Analysis chạy một bộ đánh giá cố định và kết hợp chúng thành một Chỉ số Trí tuệ duy nhất, cùng với các thước đo riêng biệt về tốc độ, độ trễ, giá và chi phí cho mỗi tác vụ hoàn thành. Đây là chỉ số hữu ích nhất trong ba chỉ số để lập danh sách rút gọn, vì bộ khung đánh giá là giống nhau cho mọi mô hình và các cột xung quanh cho phép bạn cân nhắc chất lượng so với chi phí. Điểm yếu của nó là một chỉ số tổng hợp chứa đựng các lựa chọn biên tập: những đánh giá nào được tính, chúng được gán trọng số ra sao, và điều gì xảy ra khi một trong số đó bị ngừng sử dụng. Bản sửa đổi v4.3.2 chính là điểm yếu đó được phơi bày rõ ràng.

Bảng thông số của nhà cung cấp.Tài liệu ra mắt từ phòng thí nghiệm đã tạo ra mô hình. Đây là nguồn phong phú nhất — hàng trăm dòng, những benchmark mới nhất, những cấu hình mà chưa ai khác từng chạy — và cũng là nguồn khó so sánh nhất, vì mỗi nhà cung cấp tự chọn harness, thiết lập mức nỗ lực và đối thủ. Bảng Claude Opus 5.5 của Anthropic đưa mô hình của mình dẫn trước GPT-5.6 Sol 29 điểm trên Terminal-Bench 4.0; tài liệu về Sol của OpenAI mở đầu bằng Terminal-Bench 2.1, nơi Sol đạt 91.9 điểm, và không hề có dòng nào cho Opus 5.5, vì Opus 5.5 chưa tồn tại khi tài liệu đó được viết. Một bảng chỉ có những dòng thuận lợi không phải bằng chứng của một màn thắng áp đảo. Đó là bằng chứng của việc chọn lọc dòng.

Dòng này là một cấu hình, không phải một mô hình

Cách hiểu sai phổ biến nhất về một bảng xếp hạng là coi một dòng là một mô hình. Trên bảng xếp hạng LLM của chính Artificial Analysis tuần này, Claude Opus 5.5 xuất hiện ba lần:

• Claude Opus 5.5 ở mức nỗ lực tối đa với cơ chế dự phòng — Chỉ số Thông minh 58, chi phí mỗi tác vụ $5.98, tốc độ đầu ra trung vị 98 token/giây, độ trễ 706 ms, toàn trình 711 ms.

• Claude Opus 5.5 ở mức nỗ lực xhigh với cơ chế dự phòng — Chỉ số Trí tuệ 56, chi phí mỗi tác vụ $3.46, tốc độ 82 token mỗi giây, độ trễ 119 ms, toàn trình 125 ms.

• Claude Sonnet 5.5 ở mức nỗ lực tối đa — 56, $5.46, 141 token mỗi giây, 427 ms.

Hai điểm chỉ số phân tách hai hàng đầu tiên. Mức giảm 42% chi phí trên mỗi tác vụ và chênh lệch độ trễ gấp sáu lần cũng phân tách chúng. Không có gì về mô hình thay đổi; thiết lập mức nỗ lực thì có. Do đó, bất kỳ lập luận nào có dạng “mô hình X đạt điểm cao hơn mô hình Y” đều chưa đầy đủ cho đến khi nêu rõ cấu hình, đó là lý do vì sao một con số so sánh trực tiếp duy nhất không bao giờ nên tự nó quyết định một quyết định mua sắm.

Quy tắc tương tự cũng áp dụng cho mức nỗ lực suy luận trong chính tài liệu của nhà cung cấp. Anthropic ghi chú rằng lần chạy Terminal-Bench của Claude Opus 5.5 đã dùng mức nỗ lực xhigh thay vì mặc định, và rằng ở mức nỗ lực trung bình mặc định, lợi thế của FrontierCode so với GPT-5.6 Sol thu hẹp từ một khoảng cách đáng chú ý xuống còn bảy điểm. Cả hai con số đều đúng. Chỉ một trong số đó mô tả điều bạn sẽ nhận được nếu bạn không đặt tham số.

Bẫy phiên bản, nguyên nhân dẫn đến phần lớn các so sánh sai lệch

Tên benchmark được dùng lại qua các thế hệ, nhưng các con số không đi kèm theo chúng. Ba ví dụ từ bản tin tháng này là đủ để cho thấy hình hài của vấn đề.

Terminal-Bench 2.1 so với 4.0 — thẻ mô hình của Google dành cho Gemini 3.5 Flash-Lite báo cáo 54.0% trên Terminal-Bench 2.1; Artificial Analysis, khi chạy 4.0, ghi nhận 1%. Cả hai đều đúng, và việc trích dẫn một trong hai mà không nêu phiên bản là gây hiểu lầm theo cách làm đẹp cho mô hình nào bạn thích hơn.

• OSWorld-Verified so với OSWorld 2.0 — Anthropic báo cáo 85,0% cho Claude Mythos 5 trên OSWorld-Verified. Các nhà cung cấp khác dẫn điểm OSWorld 2.0 trong khoảng sáu mươi. Việc đặt chúng chung một cột không phải là so sánh các mô hình.

• Đúng mô hình, sai phiên bản — Claude Mythos 5.1 đạt 60,9 trên Terminal-Bench 4.0 so với 52,0 của Muse Wonder, đây là bài kiểm tra chung duy nhất giữa hai dòng mô hình đó. Mythos 5 có con số 88,0 được công bố là Terminal-Bench 2.1. Việc thay thế thế hệ này bằng thế hệ kia tạo ra khoảng cách 36 điểm không hề tồn tại.

Thói quen thực tế này nhỏ nhưng đáng áp dụng: khi một con số xuất hiện mà không có phiên bản benchmark và thiết lập mức nỗ lực, hãy coi đó là lời tuyên bố chứ không phải phép đo.

Chi phí cho mỗi tác vụ không phải là giá ghi trên thẻ.

Bảng xếp hạng đã âm thầm bổ sung cột quan trọng nhất đối với việc lập ngân sách, và cột này thường xuyên mâu thuẫn với bảng giá. MiniMax M3.1 Flash có giá $0.15 mỗi triệu token đầu vào và $0.60 cho đầu ra; Gemini 3.5 Flash-Lite có giá $0.30 và $2.50 — gấp bốn lần ở đầu ra. Về chi phí cho mỗi tác vụ Intelligence Index đã hoàn thành, Flash-Lite thắng: $0.19 so với $0.22.

Sự đảo ngược đó không phải là lỗi. Chỉ số này là số token thực tế đã tiêu thụ nhân với mức giá của nhà cung cấp, vì vậy nó đo lượng công việc mà mỗi mô hình thực hiện để hoàn thành cùng một nhiệm vụ. MiniMax M3.1 Flash đã tiêu thụ khoảng 180 triệu token đầu ra trên toàn bộ chỉ số, so với mức trung vị gần 100 triệu của các mô hình mà Artificial Analysis theo dõi: đây là một bộ suy luận dài dòng, và sự dài dòng thì phải trả tiền. Với những nhiệm vụ mà việc cân nhắc giúp có được câu trả lời đúng, đó là một sự đánh đổi tốt. Với những nhiệm vụ mà câu trả lời chưa từng có gì phải nghi ngờ, thì đó là lãng phí.

Đây là cột bạn cần chạy đối chiếu với lưu lượng của riêng mình trước khi tin vào bất kỳ so sánh theo token nào, vì đây là cột duy nhất tính đến việc các mô hình không dùng cùng một số lượng token để đi đến cùng một đích.

Điều mà một bảng xếp hạng sẽ không nói cho bạn biết

Hai điểm mù xứng đáng có một tiêu đề riêng, vì cả hai đều gây tốn kém nếu bị bỏ qua.

Từ chối trả lời.Đánh giá AA-Omniscience của Artificial Analysis chấm MiniMax M3.1 Flash 16 điểm: 56% câu hỏi thực tế được trả lời đúng và tỷ lệ ảo giác là 93%. Con số thứ hai không có nghĩa là 93% câu trả lời bị sai — mà có nghĩa là trong số những phản hồi không đúng, 93% là sai hoàn toàn chứ không phải câu trả lời một phần hay từ chối trả lời. Mô hình thường trả lời khi lẽ ra nên từ chối. Gemini 3.5 Flash-Lite hoàn toàn không có điểm AA-Omniscience, đó là dữ liệu bị thiếu chứ không phải là một xác nhận không có vấn đề.

Tính sẵn có. Một điểm số là một phát biểu về một thời điểm. Gemini 3.1 Pro đã trải qua bảy tháng ở trạng thái bản xem trước mà không có ngày GA, biến mất khỏi bộ chọn mô hình của AI Studio vào giữa tháng Chín mà không có lời giải thích từ nhà cung cấp, và vẫn mang một thứ hạng. Grok 4.7 mới một ngày tuổi khi được cho điểm 46 trên chỉ số. Một trong hai là con số về một mô hình bạn có thể gọi vào tháng sau; cái còn lại là con số về một mô hình có thể không tồn tại vào quý sau. Bảng xếp hạng không phân biệt giữa hai điều đó.

Vị trí của hội đồng quản trị riêng của chúng ta, và lý do nó là điều thứ tư

OrcaRouter vận hành một bảng xếp hạng mô hình AI cố ý không tái tạo bất kỳ điều nào ở trên. Bảng xếp hạng dựa trên những gì cổng vào của chính chúng tôi quan sát được — lưu lượng sản xuất và phiếu bầu Battle Mode của cộng đồng — rồi kết hợp với phiếu bầu LMArena, các benchmark độc lập và mức độ áp dụng trong hệ sinh thái theo trọng số cố định, được công bố. Bảng được cập nhật hằng ngày, đưa các mô hình vào danh sách trong vòng 48 giờ sau khi xuất hiện, và tách thành các góc nhìn Text, Coding, Vision, Math, Reasoning và Agentic thay vì giả vờ rằng một thứ tự duy nhất phục vụ mọi công việc.

Điều đó khiến nó có một kiểu thất bại khác với ba cái còn lại, và đáng nói thẳng: nó chỉ có thể xếp hạng những mô hình mà chúng tôi định tuyến, nên điểm mù của nó mang tính thương mại chứ không phải phương pháp luận. Thứ nó bổ sung là tín hiệu duy nhất mà không cái nào khác có — liệu thứ đó có thực sự trả lời không, với tốc độ nào, với mức giá tổng hợp nào, trên lưu lượng vốn không được tạo ra cho một benchmark.

Đọc một trong năm phút

• Hãy tìm phiên bản benchmark và thiết lập mức nỗ lực trước khi bạn đọc điểm số. Nếu thiếu một trong hai, con số đó chỉ là một tuyên bố.

• Hãy xem cột chi phí trên mỗi tác vụ, không phải giá trên mỗi token. Hai con số này thường không khớp với nhau nhiều hơn là khớp.

• Hãy coi một chỉ số tổng hợp là danh sách rút gọn, không phải bản kết luận. Đó là một lần điều chỉnh lại trọng số, và những lần điều chỉnh lại trọng số sẽ được sửa đổi — cùng một bản sửa đổi đã hạ bậc Gemini 3.1 Pro cũng đã hạ bậc hàng chục mô hình mà không ai hề động tới.

• Phân biệt khoảng trống về năng lực với khoảng trống về điểm số. Giới hạn đầu ra 65.536 token hay một mô hình không đọc được video là một sự thật về khối lượng công việc của bạn; còn hai điểm chỉ số thì không.

• Kiểm tra thời điểm mô hình được phát hành và liệu nó vẫn còn là bản xem trước hay không. Một bảng xếp hạng không có ngày khả dụng là bảng xếp hạng của một thứ có thể không còn ở đó khi bạn triển khai.

Bảng xếp hạng là điểm khởi đầu của câu hỏi, không phải câu trả lời cho câu hỏi đó. Phép đo duy nhất định đoạt một lựa chọn là lưu lượng của chính bạn trên các prompt của chính bạn — đó là lý do điều hữu ích mà một cổng kết nối có thể mang lại không phải là một bảng xếp hạng khác, mà là khả năng chạy hai ứng viên song song trên một khóa và so sánh các hóa đơn.

Ghi chú nguồn: diễn biến từ tháng Hai đến tháng Chín của Gemini 3.1 Pro, nội dung bản sửa đổi v4.3.2, ba dòng Claude Opus 5.5, các số liệu AA-Omniscience, các giá trị chi phí theo từng tác vụ và điểm Intelligence Index là của Artificial Analysis, được đọc vào ngày 26 tháng 10 năm 2026. Các số liệu Terminal-Bench 2.1 và 4.0, các số liệu OSWorld-Verified và OSWorld 2.0, điểm Terminal-Bench 4.0 là 60,9 và 52,0, ước tính mức tiêu thụ token của MiniMax và các so sánh với bảng thông số nhà cung cấp lần lượt đến từ tài liệu đã công bố của chính Anthropic, Google, MiniMax và OpenAI, và do nhà cung cấp báo cáo trừ khi được ghi nguồn ở trên là của Artificial Analysis. Mô tả bảng xếp hạng, trọng số và nhịp cập nhật của OrcaRouter là phương pháp luận đã công bố của chính chúng tôi.