Solar Open 2 250B: Điểm Số Agent Tiên Phong Nhưng Không Có Nơi Để Chạy

Thẻ Hugging Face dành cho Solar Open 2 250B 250B đưa cho bạn một lệnh phục vụ, và lệnh đó không hoạt động. Nó yêu cầu vLLM cung cấp một trình phân tích suy luận tên là solar_open2, một trình phân tích lời gọi công cụ tên là solar_open2, và một bộ xử lý logits gọi là SolarOpen2TemplateLogitsProcessor — ba thứ không tồn tại trong bất kỳ phiên bản phát hành nào của vLLM. Hỗ trợ cho kiến trúc này xuất hiện trong nhánh chính dưới dạng một pull request chưa được hợp nhất vào ngày 5 tháng 8, hai tuần sau khi Upstage công bố các trọng số vào ngày 22 tháng 7. Khoảng trống đó vẫn là sự thật thú vị nhất về Solar Open 2 hiện tại, và nó là phần mà mọi bài viết ra mắt đều bỏ qua để nhường chỗ cho bảng điểm chuẩn. Vậy nên đây là phiên bản còn lại: những gì Upstage thực sự phát hành, những con số của họ chứng minh được và không chứng minh được điều gì, điểm số bên ngoài duy nhất hiện được ghi nhận thay đổi điều gì, và cần những gì để lấy được một token duy nhất từ mô hình này — so với DeepSeek V4 Flash, mô hình mà Upstage chọn làm thước đo chính.

Những gì Upstage thực sự đã phát hành

Mọi thứ bên dưới đều lấy từ config.json của chính kho lưu trữ và báo cáo kỹ thuật Solar Open 2 (arXiv 2607.20062) — các nguồn chính thống, nhưng là nguồn chính thống của nhà cung cấp. Chưa có phòng thí nghiệm độc lập nào công bố phép đo riêng cho mô hình này. Hiện đã xuất hiện một con số bên ngoài duy nhất: điểm Artificial Analysis Intelligence Index là 37 do báo chí đưa tin từ vòng đánh giá thứ hai của chính phủ, và con số này có một đoạn riêng trong phần điểm chuẩn bên dưới vì nó chỉ được đưa tin chứ không được tái lập.

• Kích thước — 250.287.794.944 tham số tổng cộng, khoảng 15 tỷ tham số hoạt động cho mỗi token

• Độ thưa — 320 chuyên gia định tuyến cộng 1 chuyên gia dùng chung, định tuyến top-8 trên mỗi token, và first_k_dense_replace được đặt thành 0, nghĩa là hỗn hợp bắt đầu từ lớp 0 mà không có lớp dense làm nóng nào mà các thiết kế MoE tương đương thường giữ lại.

• Hình dạng — 48 lớp, kích thước ẩn 4096, chiều đầu 128, 64 đầu truy vấn so với 8 đầu khóa/giá trị

• Attention — 12 lớp softmax (GQA), tại các chỉ số 0, 4, 8 và cứ thế đến 44; 36 lớp còn lại là attention tuyến tính. Ba phần tư ngăn xếp không có softmax trong đó.

• Vị trí — use_rope là false. Không có mã hóa vị trí nào cả.

• Ngữ cảnh — max_position_embeddings là 1,048,576

• Từ vựng — 196.608 token, bao gồm tiếng Anh, tiếng Hàn và tiếng Nhật

• Trọng số — bfloat16, tương đương 500,6 GB. Đó chỉ là 250,29 tỷ tham số nhân với hai byte, và nó khớp với dung lượng mà Nota AI báo cáo cho mô hình chưa lượng tử hóa.

• Huấn luyện — khoảng 11,9T token theo báo cáo: 10T tiền huấn luyện tổng quát, 1T trên tập con chất lượng cao được tuyển chọn, 0,9T cho phần mở rộng độ dài, với tỷ lệ thực-tổng hợp được nêu là 4:6, trong đó tiếng Anh trên 80% còn toán và mã mỗi loại ít nhất 15%.

• Giấy phép — Giấy phép Upstage Solar, có kèm các điều kiện ràng buộc (dưới đây)

Phiên bản tiền nhiệm, Solar Open 1, là một mô hình 100B được phát hành vào tháng 1. Solar Open 2 không chỉ là một bản cập nhật của nó mà còn là một thực thể hoàn toàn khác.

Kiến trúc chính là câu chuyện thực sự.

Cấu trúc lớp là một lớp softmax tiếp theo là ba lớp attention tuyến tính, lặp lại mười hai lần. Điều đó đã được công bố. Điều chưa được công bố là loại attention tuyến tính nào, và tại sao nó lại quan trọng.

Các lớp tuyến tính là {{1}}KDA — Kimi Delta Attention{{/1}}, cơ chế mà Moonshot AI giới thiệu cho Kimi Linear. Upstage không phát minh ra một cơ chế linear attention mới; họ tiếp nhận cơ chế của người khác và thay đổi một điểm. Sự thay đổi thể hiện rõ trong cấu hình khi {{2}}kda_allow_neg_eigval{{/2}} được đặt thành true, và báo cáo giải thích điều đó mang lại gì: KDA tiêu chuẩn giới hạn các giá trị riêng của phép chuyển trạng thái trong khoảng {{3}}[0,1]{{/3}}, nên mỗi bước chỉ có thể cộng thêm vào trạng thái hồi quy hoặc làm suy giảm nó. Bật cờ đó sẽ mở rộng cường độ ghi lên {{4}}beta = 2·sigmoid(·){{/4}}, một khoảng {{5}}(0,2){{/5}}, đẩy các giá trị riêng ra tới {{6}}[-1,1]{{/6}}. Một bước giờ có thể đảo dấu của những gì đã được lưu trữ. Nói một cách đơn giản: trạng thái có thể tự hiệu chỉnh thay vì chỉ tích lũy, đây là cơ chế mà Upstage công bố để giữ một chuỗi hoạt động dài của agent gắn kết qua nhiều lần gọi công cụ.

Mười hai lớp softmax là GQA với một cổng đầu ra sigmoid theo từng phần tử — use_gqa_gate là true trong cấu hình — mà báo cáo ghi nhận là giúp thêm tính phi tuyến và kiềm chế các điểm thu hút chú ý.

Và lý do không có RoPE bắt nguồn từ các lớp tuyến tính. Bởi vì trạng thái hồi quy mã hóa thứ tự token một cách nội tại, báo cáo lập luận rằng bạn có thể xóa bỏ hoàn toàn mã hóa vị trí và không còn bị ràng buộc vào phân bố độ dài mà bạn đã huấn luyện. RoPE, trong cách diễn giải này, là thứ giới hạn khả năng ngoại suy; loại bỏ nó đi, trần tối đa không còn là hàm của dữ liệu huấn luyện của bạn nữa.

Con số 1M là một tuyên bố về thiết kế, không phải là một phép đo.

Lập luận đó rất tinh tế và cũng chính là toàn bộ cơ sở cho tiêu đề 1M token. Báo cáo kỹ thuật không công bố RULER, không có thử nghiệm tìm kim trong đống cỏ khô, cũng không có bộ kiểm tra ngữ cảnh dài nào. Cửa sổ ngữ cảnh được lập luận từ kiến trúc, không phải được chứng minh trên một benchmark. Trong khi đó, bài viết mô tả triển khai công khai duy nhất mà chúng tôi tìm thấy — Backend.AI, phục vụ mô hình lượng tử hóa trên hai hệ thống DGX Spark — đặt max-model-len là 200,000, không phải 1,048,576. Giới hạn kiến trúc có thể thực sự là có thật. Chất lượng còn sống sót ở 500K hay 1M token thì đơn giản là không nằm trong bài báo.

Tuyên bố về hiệu quả cũng có cùng dấu hoa thị: báo cáo nêu rằng ngăn xếp lai cần khoảng một phần tư bộ nhớ và tính toán so với ngăn xếp toàn-softmax ở ngữ cảnh 1M, và riêng biệt rằng thiết kế lai đạt mức loss mục tiêu với số token huấn luyện ít hơn khoảng 3,2 lần so với toàn-softmax trên MMLU. Cả hai đều là số liệu của riêng Upstage. Hoàn toàn không có số liệu thông lượng hay độ trễ nào được công bố.

Thẻ benchmark, đọc một cách trung thực

Trên bộ đánh giá tiếng Anh, so với DeepSeek V4 Flash, Solar Open 2 250B đạt 86.2 trên MMLU-Pro so với 85.9 và 92.4 trên LiveCodeBench v6 so với 92.3 — chênh lệch đủ nhỏ để coi là nhiễu điểm số. Sau đó, nó đạt 16.6 trên APEX-Agents so với 13.2, đây là khoảng cách thực sự duy nhất và, không có gì đáng ngạc nhiên, đó là con số mà Upstage dẫn đầu.

Các điểm thua kém nằm trong cùng báo cáo nhưng ít được nhắc đến. SWE-Bench Verified: 70,4 so với 73,8. GDPval-AA v2, trên ELO: 1128 so với 1187. Terminal Bench Hard: 28,3, so với 41,7 của MiMo-V2.5. ArtifactsBench: 55,9, đứng sau cả hai đường cơ sở tiên phong. Công bằng cho Upstage, báo cáo đã nêu rõ các khoảng cách này và chúng chỉ ra điều gì — kỹ thuật phần mềm cấp kho lưu trữ và cấp terminal, cùng độ chính xác về số liệu trong các tệp văn phòng — thay vì che giấu chúng.

So sánh thực sự gây ấn tượng là so sánh nội bộ. So với Solar Open 1: LiveCodeBench v6 tăng từ 56.5 lên 92.4, SWE-Bench Verified từ 15.4 lên 70.4, APEX-Agents từ 2.4 lên 16.6. Dù bạn nghĩ gì về các cuộc so sánh trực tiếp, đó vẫn là một bước nhảy vọt thế hệ thực sự trong sáu tháng.

Trên tiếng Hàn, điểm trung bình của bộ benchmark là 85,4 so với 84,9 của DeepSeek V4 Flash — nhưng giá trị trung bình đang gây hiểu lầm. Solar Open 2 250B thua KMMLU-Pro (78,4 so với 78,9) và Ko-AIME'25 (97,7 so với 98,0), và thắng Ko-GDPval (86,8 so với 85,0). Lợi thế đến từ benchmark về khả năng giao hàng, không phải từ kiến thức hay toán học.

Điều này đưa chúng ta đến tuyên bố tiến xa nhất: Solar Open 2 250B sánh ngang với một mô hình có kích thước gấp hơn sáu lần. Cơ sở là Ko-GDPval, nơi nó đạt 86,8 so với 86,9 của DeepSeek-V4-Pro. Đó chỉ là một điểm chuẩn tiếng Hàn, và là một trận hòa chứ không phải một chiến thắng đối đầu — trong khi ở bộ đánh giá tiếng Anh, phiên bản nhỏ hơn của V4-Pro đã đánh bại Solar Open 2 250B trên SWE-Bench Verified. Một điểm chuẩn không thể khái quát thành một quy luật về hiệu quả kích thước. Một lưu ý liên quan: số liệu cơ sở cho APEX-Agents chênh lệch nhẹ giữa bài báo và các nguồn thứ cấp (13,2 so với 13,4 đối với cùng các mô hình), vì vậy hãy coi thứ tự xếp hạng chỉ mang tính định hướng thay vì chính xác tuyệt đối.

Về mặt sở thích, một bài kiểm tra mù theo cặp trên 835 cuộc hội thoại tiếng Hàn đã đưa Solar Open 2 250B vượt lên dẫn trước với tỷ lệ 44,1% so với 26,6%, trong đó báo cáo cho rằng thắng lợi về sự liên kết và trung thực của mô hình bắt nguồn từ nền tảng văn hóa chứ không phải từ đào tạo an toàn bổ sung. Điều đáng lưu ý là những gì còn thiếu: báo cáo không chứa bất kỳ đánh giá định lượng nào về tác hại, sự từ chối hoặc jailbreak.

Thẻ Hugging Face kể từ đó đã có thêm một vài con số trong phần kết quả đánh giá — GPQA Diamond 86.3, HLE 28.8 và MathArena AIME 2026 95.7 — nhưng chúng được trích xuất từ chính thẻ mô hình chứ không phải từ một lần chạy độc lập, nên chúng mang cùng nhãn như mọi thứ ở trên: số liệu của Upstage, chưa được tái lập.

Một con số từ bên ngoài giờ đã xuất hiện, không đến từ phòng thí nghiệm của Upstage. Vào ngày 13 tháng 8, truyền thông tài chính Hàn Quốc — Edaily, Seoul Economic Daily, ITDaily và iNews24, tất cả đều đăng tải cùng một số liệu — đã đưa tin về điểm đánh giá vòng hai của chương trình AI quốc gia của chính phủ, được đo bằng Chỉ số Trí tuệ của Artificial Analysis (AAII v4.1.1): Motif 3 đạt 47 điểm, Solar Open 2 250B đạt 37 điểm, A.X-K2 của SK Telecom đạt 35 điểm và K-EXAONE 2.0 0803 của LG AI Research đạt 31 điểm. Với 37 điểm, Solar Open 2 250B đứng thứ hai trong bốn ứng viên Hàn Quốc vào vòng chung kết, kém Motif 3 mười điểm. Nói cho chính xác: đây là số liệu do báo chí đưa tin — điểm số chưa xuất hiện trên bảng xếp hạng của chính Artificial Analysis, vốn vẫn không trả về kết quả nào cho mô hình này — và chính các bài đưa tin đó cũng nêu rằng AAII không có điểm chuẩn tiếng Hàn, một điểm mù thực sự đối với một mô hình mà kết quả trong nước là trọng tâm trong lời chào hàng của họ. Nhưng đây là số liệu đánh giá đầu tiên về Solar Open 2 250B không bắt nguồn từ Upstage, và nó nhất quán với phần còn lại của bài viết này: điểm về tác nhân và sản phẩm bàn giao đều mạnh, trong khi phần lớn những khía cạnh còn lại vẫn chưa được ai bên ngoài nhà cung cấp chứng minh.

Tại sao không ai có thể phục vụ nó trên phần mềm có sẵn

Model card kể câu chuyện rõ ràng hơn bất kỳ lời bình luận nào. Lượt tải tháng trước hiện đã vượt mốc 26.000, cùng với 743 lượt thích, mười sáu bản lượng tử hóa từ cộng đồng và ba bản fine-tune — và, trong ô Inference Providers, dòng chữ “Mô hình này không được triển khai bởi bất kỳ Inference Provider nào” vẫn còn nguyên, với mười hai người hiện được liệt kê là đã yêu cầu hỗ trợ từ nhà cung cấp trên thẻ. Quan tâm thực sự, nhưng không có bất kỳ endpoint lưu trữ nào.

Theo dõi các triển khai đang hoạt động, tất cả đều dẫn đến một fork. Bản dựng NVFP4 của Nota AI khóa cài đặt vào git+https://github.com/UpstageAI/vllm.git tại tag v0.22.0-solar-open2 — vLLM của chính Upstage. Bài viết về DGX Spark của Backend.AI đã cần fork đó cùng với FlashInfer đã được vá, vì FlashInfer upstream không hỗ trợ expert-parallel và không chấp nhận định dạng compressed-tensors.

Hỗ trợ mainline là pull request 51129 đối với vllm-project/vllm, được mở vào ngày 5 tháng 8 bởi một người đóng góp có tên là oesni. Hiện nó vẫn còn mở: vào ngày 10 tháng 8, mergify đã gắn cờ xung đột hợp nhất, vì vậy PR hiện mang nhãn needs-rebase và vẫn đang chờ được đánh giá. Những gì PR đó phải xây dựng là mô tả trung thực nhất về độ khó của mô hình này hiện có ở nơi công cộng:

• Một lớp KimiGatedDeltaAttention dành riêng cho Solar trong tệp solar_open2.py mới, mang beta 2·sigmoid(b) từ thay đổi giá trị riêng âm.

• Hoạt động vllm::solar_open2_kda_attention được đăng ký như một thao tác tách đồ thị CUDA.

Một bước khởi động trước (warmup) KDA prefill ở thời điểm profiling, giới hạn ở 2048 token, được thêm vào cụ thể vì các prefill thực tế chạy chậm hơn khoảng 23% khi không có nó.

• Trình phân tích cú pháp đầu ra suy luận và lời gọi công cụ cho cả chế độ streaming và không streaming

• Xác thực phục vụ trên 8×B200 báo cáo 107.02 GiB mỗi rank của KV cache, cùng với 463 bài kiểm thử đơn vị vượt qua

Đó là những con số của tác giả PR, chưa được ai khác tái tạo, và mã nguồn vẫn có thể thay đổi trước khi được hợp nhất. Nhưng hãy đọc danh sách đó bên cạnh phần kiến trúc, và bản chất của vấn đề sẽ trở nên rõ ràng: hai lựa chọn khiến Solar Open 2 250B chạy rẻ với ngữ cảnh dài — KDA ở ba phần tư số lớp và không dùng RoPE — chính là những lựa chọn mà các ngăn xếp suy luận đa dụng chưa có sẵn đường mã nào. Tính mở của trọng số và tính mở của đường dẫn để chạy chúng là hai điều khác nhau, và chỉ một trong hai đã được phát hành vào ngày 22 tháng 7.

Cái giá phải trả để khởi nghiệp

Bắt đầu với mức sàn bộ nhớ. 500,6 GB trọng số bfloat16 so với 141 GB của một chiếc H200 nghĩa là bốn GPU cho bạn 564 GB — còn khoảng 63 GB trên toàn bộ nút cho KV cache và các kích hoạt trước khi một yêu cầu duy nhất được xử lý. Đó là lý do bảng thông số ghi bốn chiếc H200 là mức tối thiểu và khuyến nghị tám chiếc, cũng là lý do FlexAI cung cấp nó dưới dạng endpoint 8×H100 chuyên dụng với bảng giá theo yêu cầu thay vì API dùng chung tính phí theo token.

{{1}}Lượng tử hóa kéo mức sàn đó xuống một quãng rất xa.{{/1}} {{2}}Bản dựng NVFP4 của Nota AI (trọng số và kích hoạt 4-bit, kích thước nhóm 16, định dạng compressed-tensors){{/2}} {{3}}đưa mô hình từ 500,6 GB xuống 153,3 GB,{{/3}} {{4}}và đánh giá của chính họ cho thấy chi phí độ chính xác là 0,22 điểm tính trung bình trên bốn benchmark — từ 81,57 xuống 81,35,{{/4}} {{5}}với Tau2-Bench từ 75,20 xuống 75,08, GPQA-Diamond từ 86,26 xuống 85,45, MMLU-Pro từ 86,19 xuống 86,15,{{/5}} {{6}}còn LiveCodeBench thì đi theo chiều ngược lại, từ 87,03 lên 88,55,{{/6}} {{7}}tức là nhiễu lượng tử hóa chứ không phải sự cải thiện.{{/7}} {{8}}Trở ngại nằm ở phần cứng: NVFP4 cần các lõi tensor FP4 ra mắt cùng Blackwell, nên chỉ có B200 hoặc GB200, còn Hopper thì không hỗ trợ.{{/8}} {{9}}Nếu bạn đang dùng H100, biến thể bạn cần là bản dựng INT4 tỉa toàn cục của họ — 117,8 GB sau khi tỉa, đủ nằm gọn trên hai thẻ H100.{{/9}}

Giờ đến bài toán quyết định điều đó. DeepSeek V4 Flash — một lần nữa, mô hình mà Upstage chọn làm chuẩn so sánh — có giá $0,15 mỗi triệu token đầu vào và $0,29 mỗi triệu token đầu ra trên OrcaRouter, tức là giá niêm yết của DeepSeek được chuyển thẳng qua với mức tăng giá 0%. Với tỷ lệ pha trộn 3:1 giữa token đầu vào và token đầu ra, giá pha trộn ra khoảng $0,185 mỗi triệu token. Nếu lấy mức giá minh họa $2 mỗi giờ GPU cho một node tám GPU, bạn sẽ tốn khoảng $11.700 mỗi tháng ngay cả khi chưa có ai gửi yêu cầu — tương đương khoảng 63 tỷ token hỗn hợp lưu lượng API, tức 2,1 tỷ token mỗi ngày, mỗi ngày, chỉ để đạt điểm hòa vốn. Nếu giảm xuống còn node hai GPU, điểm hòa vốn hạ xuống còn khoảng 16 tỷ token mỗi tháng. Hãy thay giá GPU của bạn vào; hình dạng không đổi. Tự vận hành mô hình 250B là một quyết định về mức độ sử dụng và kiểm soát, không phải về chiết khấu.

Để nói chính xác về những gì có và không có sẵn: Solar Open 2 250B không có trên OrcaRouter, và theo model card của chính nó, nó không có trên bất kỳ nhà cung cấp inference nào. Những gì có trên OrcaRouter là nhóm mô hình mà nó đang được so sánh — DeepSeek V4 Flash, Qwen3.8-Max và vài trăm mô hình khác chỉ với một khóa API ở mức giá niêm yết của nhà cung cấp, với khả năng chuyển đổi dự phòng giữa các nhà cung cấp nếu một bên gặp sự cố. Điều này quan trọng ở đây vì một lý do thực tế cụ thể: nếu câu hỏi bạn thực sự muốn trả lời là "liệu một mô hình được tinh chỉnh cho tác nhân có vượt trội hơn những gì chúng ta vẫn đang dùng trong production không", bạn có thể chạy nửa phép so sánh đó bằng cách thay đổi chuỗi model ngay chiều nay, trong khi báo giá GPU cho nửa còn lại vẫn đang trong quá trình mua sắm.

Hai chuỗi trên giấy phép

Giấy phép Upstage Solar cho phép sử dụng thương mại, tinh chỉnh và chưng cất, và Upstage mô tả nó dựa trên Apache-2.0 với các điều khoản thương hiệu được bổ sung. Hai nghĩa vụ bổ sung cần đọc kỹ là: mô hình phái sinh phải mang tiền tố "Solar" trong tên của nó, và bạn phải hiển thị ghi nhận "Built with Solar".

Đối với triển khai nội bộ thì đó chẳng có gì đáng bàn. Nếu bạn định chưng cất thứ này thành sản phẩm phân phối dưới thương hiệu riêng của mình, điều khoản đặt tên là một quyết định thương hiệu được ngụy trang thành điều khoản giấy phép, và đáng để một luật sư bỏ ra hai mươi phút trước khi bạn bắt đầu một đợt huấn luyện. Hãy đọc điều khoản trên repo thay vì tin vào các bài viết về nó — việc đưa tin về giấy phép này khá lỏng lẻo, bao gồm ít nhất một bài viết mô tả nó một cách thẳng thừng là Apache 2.0.

Ai nên hành động ngay, và ai nên chờ đợi

Hãy chuyển sang nếu chất lượng bàn giao bằng tiếng Hàn hoặc tiếng Nhật là sản phẩm của bạn và bạn có thể đặt trọng số lên phần cứng bạn đã sở hữu — sự kết hợp đó chính xác là thứ mà "open weights, no endpoint" phục vụ tốt, và cách Upstage tự định nghĩa cũng nói rõ rằng chủ quyền nghĩa là có thể tự triển khai và tự xác minh một mô hình, không chỉ đơn thuần là mô hình được huấn luyện trong nước. Hãy chuyển sang nếu bạn có GPU nhàn rỗi và khối lượng tác vụ agent đủ lớn để lấp đầy chúng, vì ở mức sử dụng thực tế, phép tính trên mỗi token sẽ đảo chiều. Hãy chuyển sang nếu yêu cầu kiểm toán hoặc yêu cầu về nơi cư trú dữ liệu có nghĩa là API chưa bao giờ nằm trong danh sách lựa chọn.

Khoan đã, nếu bạn muốn một điểm cuối (endpoint) tính phí theo token. Upstage đã tuyên bố ý định đưa Solar Open 2 250B lên một nền tảng bên thứ ba; tính đến thời điểm viết bài, điều đó vẫn chưa xảy ra — bản dùng thử Playground chỉ chạy đến 31 tháng 7, và thẻ mô hình (model card) vẫn không hiển thị nhà cung cấp nào. Khoan đã, nếu bạn đang dùng Hopper và trông cậy vào bản 4-bit, vì phiên bản NVFP4 cần Blackwell. Và hãy khoan đã, trước khi thiết kế bất cứ thứ gì xoay quanh con số ngữ cảnh 1M, vốn hiện là đặc tính của kiến trúc chứ không phải kết quả đo được.

Điều cần theo dõi là pull request 51129, mà vào ngày 10 tháng 8 đã nhận được nhãn cần rebase sau khi mergify phát hiện xung đột merge. Ngày Solar Open 2 250B xuất hiện trong một bản phát hành vLLM được gắn thẻ chính là ngày nó không còn là một dự án hạ tầng nữa mà trở thành một mô hình mà bất kỳ ai cũng có thể dùng thử. AAII được báo chí đưa tin là 37 mới chỉ là khởi đầu — một sự đánh giá bên ngoài đầu tiên, dù chỉ là tạm thời, và một con số vẫn chưa xuất hiện trên bảng xếp hạng của riêng Artificial Analysis. Bài kiểm tra thực sự là bài chạy trên phần mềm tiêu chuẩn, và nó vẫn chưa có ngày cụ thể.