Ultramarine 1 Flash vs GPT-5.6 Luna: Hai mô hình không bao giờ xuất hiện trên cùng một bảng điểm

Điều đầu tiên đáng chú ý ở cặp đôi này là những gì vắng mặt trong chính biểu đồ của nhà cung cấp. Paper Instruments công bố Ultramarine 1 Flash vào ngày 14 tháng 10 năm 2026 với sáu bảng điểm chuẩn và một đồ thị chi phí – chất lượng bao quát hơn ba mươi cấu hình mô hình. GPT-5.6 Luna không có trên đồ thị. Không phải ở mức effort thấp, không phải mức trung bình, cũng không phải mức tối đa. Người anh em cùng dòng của nó là GPT-5.6 Sol có mặt ở mọi mức effort; một mô hình tên GPT-6 Luna có mặt ở mức 58,3 với 0,11 đô-la một tác vụ; còn GPT-5.6 Luna hoàn toàn không xuất hiện. Và ở phía ngược lại, Artificial Analysis có một mục cho GPT-5.6 Luna — Chỉ số Thông minh 37, 0,18 đô-la cho mỗi tác vụ hoàn thành, 115,4 token đầu ra mỗi giây — và không có mục nào cho Ultramarine 1 Flash. Hai mô hình ra mắt cách nhau ba tháng, đều nhắm đến công việc giá rẻ, khối lượng lớn, vậy mà chưa có bên thứ ba nào từng đo một trong hai mô hình trên một bộ điểm chuẩn có chứa mô hình kia.

Sự vắng mặt đó chính là phép so sánh. GPT-5.6 Luna là phân khúc nhanh, tiết kiệm chi phí của OpenAI thuộc dòng GPT-5.6, ra mắt ngày 9 tháng 7 năm 2026, mang điểm số độc lập trên một tổ hợp gồm mười bài đánh giá. Ultramarine 1 Flash là một bản hậu huấn luyện bằng học tăng cường của GLM-5.3 Flash, có giá $0.15 cho đầu vào / $0.50 cho đầu ra mỗi triệu token, được xây dựng để tạo ra sổ làm việc Excel, bộ trình chiếu và bản ghi nhớ Word thay vì câu trả lời, và chỉ mang những con số của chính nhà sản xuất. Mọi thứ dưới đây nói về những gì có thể và không thể kết luận từ sự sắp xếp đó.

Nơi hai bản ghi thực sự nằm

Các số liệu của Luna là các đo lường của Artificial Analysis trên API riêng của OpenAI. Các số liệu của Ultramarine là các tỷ lệ đã công bố của Paper Instruments và các đánh giá đã công bố của chính nó, với thông số ngữ cảnh của nó được lấy từ cấu hình huấn luyện trong báo cáo kỹ thuật của nó.

• Điểm số độc lập — Intelligence Index 37 ở mức nỗ lực tối đa, đứng thứ tư trong số 148 mô hình cùng loại, dành cho GPT-5.6 Luna so với không có bất kỳ đánh giá độc lập nào đối với Ultramarine 1 Flash.

• Giá đầu vào, trên bảng giá — $0,20 mỗi triệu token so với $0,15. Mô hình Paper Instruments rẻ hơn 25% ở đầu vào.

• Giá đầu ra — 1,20 USD so với 0,50 USD mỗi triệu. Gấp 2,4 lần, mức chênh lệch lớn nhất trong cặp so sánh.

• Đầu vào đã lưu trong bộ nhớ đệm — 0,02 USD mỗi triệu (giảm 90%) cho Luna so với 0,03 USD (giảm 80%). Chênh nhau đúng một xu, nghiêng về phía OpenAI.

• Ngữ cảnh — 1,050,000 token trên bảng giá của Luna so với 131,072 trong cấu hình huấn luyện của Ultramarine. Gấp tám lần cửa sổ, và là dòng duy nhất mà khoảng cách không hề sát sao.

• Đầu ra tối đa — 128.000 token so với không được công bố.

• Chi phí đo được cho mỗi tác vụ đã hoàn thành — $0.18 trên Intelligence Index đối với Luna (nỗ lực tối đa) so với $0.13 trên PI Knowledge Work đối với Ultramarine 1 Flash. Hai bộ khác nhau, hai loại tác vụ khác nhau, hai con số trông có vẻ có thể so sánh được nhưng thực tế không phải.

• Token đầu tiên — 121,46 giây đối với Luna ở mức nỗ lực tối đa trên API của OpenAI, so với mức trung vị 1,85 giây cho phân khúc giá của nó; không được công bố cho Ultramarine 1 Flash dưới bất kỳ hình thức nào.

Token đầu tiên trong hai phút, và lý do nó là một cài đặt chứ không phải là một khiếm khuyết

Con số 121,46 giây đó xứng đáng có một mục riêng, bởi vì đó là kiểu con số thường bị coi là một khiếm khuyết trong khi thực chất nó chỉ là một tham số.

GPT-5.6 Luna ở mức nỗ lực suy luận tối đa sẽ chạy quá trình cân nhắc trước khi phát ra bất cứ thứ gì. Trên Intelligence Index, nó tạo ra 115,4 token đầu ra mỗi giây một khi đã bắt đầu và tổng cộng 150 triệu token đầu ra để hoàn thành bộ bài kiểm tra — đứng thứ 41 trong số 60 trong cùng hạng về độ dài dòng, được Artificial Analysis mô tả là có phần dài dòng so với mức trung vị 95 triệu. Điểm số 37 trên Index được đo ở thiết lập tối đa đó.

Mô hình hỗ trợ mức độ nỗ lực có thể cấu hình, nghĩa là cùng một bộ trọng số cần hai phút để bắt đầu có thể được điều chỉnh đến một mức phản hồi tức thì, với điểm số thấp hơn. OpenAI không công bố phân tích chi tiết theo từng mức nỗ lực trên hồ sơ Artificial Analysis, nên mức giảm đó không được tiết lộ — một lệnh gọi mặc định nằm đâu đó dưới 37, với mức chênh lệch mà không ai ngoài OpenAI đo được. Đối với một bước fan-out, nơi hàng trăm lệnh gọi rẻ tiền mỗi lệnh phác thảo một thứ gì đó ngắn, thì đó là cấu hình đúng. Đối với một tác vụ khó duy nhất ở cuối chuỗi, mức nỗ lực tối đa mới là đúng. Cả hai đều là cùng một mô hình và không cái nào bị cấu hình sai.

Ultramarine 1 Flash không công bố số liệu độ trễ, không công bố số liệu thông lượng và không công bố thời gian đến token đầu tiên. Báo cáo kỹ thuật của nó có tiết lộ phạm vi hoạt động mà nó được huấn luyện và đánh giá bên trong — ngữ cảnh 131.072 token, giới hạn 250 lượt cho vòng lặp tác tử, việc nén được kích hoạt ở 85% cửa sổ hoặc khi còn lại 30.000 token — và một khung thử nghiệm được xây dựng để nén bộ nhớ làm việc của chính nó là một khung thử nghiệm được xây dựng cho các tác vụ dài. Đó là một suy luận về hình dạng tác vụ, không phải bằng chứng về tốc độ, và lập trường trung thực là một bên của so sánh này có vấn đề độ trễ đã được đo lường còn bên kia thì không có đo lường nào.

Một benchmark có thể bàn giao đo lường được điều gì mà một chỉ số trí tuệ không thể?

Lý do hai mô hình không bao giờ gặp nhau không phải là sự trùng hợp ngẫu nhiên của lịch trình. Các bài kiểm chuẩn đo lường những thứ khác nhau một cách có chủ đích.

Chỉ số Intelligence Index mang lại cho Luna con số 37 là tổng hợp của mười đánh giá — AA-Briefcase, GDPval-AA, AutomationBench và những đánh giá khác — mỗi đánh giá đều có đáp án mà người chấm có thể kiểm tra. Đó là điều khiến nó có thể tái lập, và cũng là lý do một bên đánh giá không có lợi ích gắn với bất kỳ mô hình nào có thể chạy nó và công bố một con số có thể so sánh được cho tất cả mọi người.

PI Knowledge Work được xây dựng chính vì những phần có thể tái lập của công việc chuyên môn không phải là những phần quan trọng. Một bản ghi nhớ thẩm định thì không biên dịch được. Một bộ slide họp hội đồng quản trị không có kiểm thử đơn vị. Một mô hình định giá có dự báo trực tiếp bên trong sẽ sai theo cách mà một trình chấm trắc nghiệm không thể nhìn ra. Vì thế Paper Instruments viết các rubric thay vào đó, mỗi nhiệm vụ một bộ, với mỗi tiêu chí được vạch ra như một ranh giới trên các câu trả lời có thể chấp nhận, thay vì như một yêu cầu về một câu trả lời duy nhất. Báo cáo của họ đối chiếu một tiêu chí quá khớp, vốn bác bỏ hai trong ba câu trả lời đúng, với một tiêu chí mơ hồ, vốn chấp nhận ba câu trả lời sai, rồi cho thấy phiên bản viết lại khớp với ranh giới — đó là một minh chứng thỏa đáng cho thấy vì sao việc này khó và một lời cảnh báo thỏa đáng về việc điểm số của một rubric đơn lẻ nên mang trọng lượng đến mức nào.

Giá trị thực sự của những con số thu được, nói thẳng ra là: Ultramarine 1 Flash đạt 59.3 trên bộ kiểm thử đó với chi phí 0.13 đô la mỗi tác vụ. GPT-5.6 Sol, người anh em lớn hơn của Luna, đạt 55.1 với chi phí 2.09 đô la, và xuất hiện trên toàn bộ sáu bảng Paper Instruments — 45.4 trên JobBench so với 62.9 của Ultramarine, 46.8 trên FrontierFinance so với 53.3, 51.5 trên APEX-Agents 1.1 so với 57.0. Nhà cung cấp báo cáo rằng bộ của họ tương quan với Artificial Analysis Intelligence Index ở mức r = 0.81, một con số đáng nể và là con số gián tiếp. Chưa có bên thứ ba nào chạy Ultramarine 1 Flash trên bất kỳ thứ gì.

Sự so sánh được đo lường theo cùng một cách ở cả hai bên

Chỉ có đúng một loại phép đo trong cặp so sánh này mà con số của cả hai bên đều không phụ thuộc vào phương pháp luận của bên kia: hiệu quả token, được đo trong một bộ kiểm thử duy nhất bằng một harness duy nhất.

Artificial Analysis ghi nhận GPT-5.6 Luna cần 150 triệu token đầu ra để hoàn thành Intelligence Index, cao hơn 58% so với mức trung vị 95 triệu của cùng phân khúc. Đằng sau mức 0,18 USD mỗi tác vụ là con số đó — một mô hình nhanh viết ra rất nhiều không phải là cách rẻ nhất để mua một tác vụ hoàn chỉnh, và bảng xếp hạng mức độ dài dòng khiến lý do trở nên rõ ràng.

Paper Instruments đưa ra tuyên bố ngược lại về mô hình của chính mình, và làm điều đó theo cách có thể kiểm chứng chứ không chỉ là khẳng định suông. Trên cả sáu bài kiểm tra chuẩn của mình, Ultramarine 1 Flash phát ra ít hơn 6,5% token đầu ra so với GLM-5.3 Flash, mô hình mà nó được hậu huấn luyện từ đó — 30,5 triệu so với 32,7 triệu, bao gồm cả phần suy luận — đồng thời đạt điểm cao hơn ở cả sáu bài. Cả hai phía của so sánh đó đều là cùng một khung đánh giá trên cùng các tác vụ, nên nó không dễ bị đánh trúng bởi lời chỉ trích đang bao trùm mọi thứ khác ở đây. Đó cũng là hướng không tự nhiên mà có được: hậu huấn luyện thường khiến mô hình dài dòng hơn chứ không phải ngắn gọn hơn.

Đối với bất kỳ ai có hóa đơn bị chi phối bởi token đầu ra, đó là sự thật có tính chuyển giao cao nhất trong bản phát hành này. Nó không nói rằng Ultramarine 1 Flash tiết kiệm hơn GPT-5.6 Luna. Nó nói rằng mối quan hệ “ngắn hơn trong hai theo mô hình cơ sở” vẫn đúng, trên một bộ kiểm thử mà không ai ngoài công ty đã tái lập được.

Tự bạn chạy thử nghiệm

GPT-5.6 Luna được cung cấp trên OrcaRouter với giá 0,20 USD cho đầu vào và 1,20 USD cho đầu ra trên mỗi triệu token, với mức độ nỗ lực được thiết lập theo từng yêu cầu. Đó là giá niêm yết của nhà cung cấp được chuyển nguyên vẹn với không cộng thêm gì cho mỗi token, điều này có ý nghĩa quan trọng với một mô hình mà giá đã từng thay đổi một lần — mức giảm 80% mà OpenAI áp dụng hồi đầu năm được phản ánh ở đây mà không cần bất kỳ ai phải đàm phán lại hợp đồng. Cùng endpoint đó còn truy cập được GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash và GLM-5.3 Flash, trong đó mô hình cuối cùng là bản nền tảng mà Ultramarine 1 Flash được huấn luyện từ đó và được cung cấp với mức giá y hệt 0,15 / 0,50 USD.

Ultramarine 1 Flash không nằm trong danh mục của chúng tôi; con đường đến với nó là API riêng của nhà cung cấp và các nền tảng bên thứ ba bán lại nó. Sự bất đối xứng đó chính là hình thức thực tiễn của so sánh này. Một trong hai mô hình này bạn có thể đưa vào đường production ngay hôm nay với một fallback được định tuyến phía sau và chỉ số p50 đo được ở trước mặt bạn. Mô hình còn lại bạn thử nghiệm trên endpoint của nhà cung cấp và đánh giá dựa trên đầu ra của chính nó.

Đâu là bài kiểm tra đáng để chạy, và nó rẻ: gửi cùng một lô tài liệu cho cả hai, ở mức effort mặc định của Luna và ở mức tối đa của nó, rồi so sánh các artifact và hóa đơn. Toàn bộ lập luận của chuyên gia là đầu ra của nó cần ít phải làm lại hơn. Điều đó có thể đo được trong một buổi chiều và đó là bằng chứng duy nhất có thể giải quyết một cặp ghép mà chưa ai công bố một bảng điểm chung.

Lập trường, được trình bày dưới dạng những gì đã biết và những gì chưa biết

Được biết, có nguồn: GPT-5.6 Luna đạt 37 điểm trên một chỉ số được xây dựng từ mười bài đánh giá có thể kiểm chứng, với chi phí $0.18 cho mỗi tác vụ hoàn thành, cùng cửa sổ 1.050.000 token và token đầu tiên có thể mất hơn hai phút một chút ở mức nỗ lực đạt được 37 điểm đó. Nó rẻ trên mỗi token, có năng lực tương xứng với phân hạng của mình, và — theo chính đo lường của Artificial Analysis — có xu hướng viết nhiều hơn 58% so với các mô hình ngang hàng.

Được nhà sản xuất của nó báo cáo, chưa được tái lập: Ultramarine 1 Flash đạt 59,3 điểm trên một bộ tiêu chí chấm điểm gồm các sản phẩm bàn giao tài chính, pháp lý, tư vấn và vận hành với mức 0,13 đô la mỗi tác vụ, so với 8,19 đô la cho Claude Fable 5 ở 57,8 và 2,09 đô la cho GPT-5.6 Sol ở 55,1, và nó vượt qua chính mô hình cơ sở của mình trên cả sáu bộ, đồng thời tạo ra ít hơn 6,5% token.

Không rõ: liệu có điều nào trong số đó tồn tại được qua một tài liệu mà không ai tại Paper Instruments viết, độ trễ của mô hình trông ra sao khi chịu tải, và liệu dòng “Trọng số mô hình sắp ra mắt” trên trang của nhà cung cấp có trở thành một bản phát hành thực tế hay không.

Bất kỳ bài viết nào chọn ra một người thắng từ đó đều đã tự bịa ra một người thắng. Điều có thể nói một cách rành mạch là: nếu bạn cần một điểm số đã được kiểm chứng trước khi cam kết, thì GPT-5.6 Luna là mô hình duy nhất trong cặp này có được điều đó; còn nếu công việc của bạn là một sản phẩm bàn giao chứ không phải một câu trả lời, thì tuyên bố đáng chú ý lại nằm hoàn toàn ở phía bên kia, và chưa từng được kiểm nghiệm bởi bất kỳ ai không được trả tiền để kiểm nghiệm nó.

Những so sánh như thế này cũng là nơi các kiểu lỗi lộ diện: những sự cố AI được ghi nhận và các lỗi của agent đằng sau những mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.