Ultramarine 1 Flash so với Claude Haiku 4.5: Hai con số chi phí mỗi tác vụ không đo lường cùng một thứ

Hai mô hình trong so sánh này đều công bố chi phí cho mỗi tác vụ, và người ta dễ bị cám dỗ đặt các con số cạnh nhau rồi trừ đi. Paper Instruments cho biết Ultramarine 1 Flash hoàn thành một công việc với giá $0.13. Artificial Analysis đo Claude Haiku 4.5, ở cấu hình suy luận của nó, ở mức $0.28 cho mỗi tác vụ Intelligence Index đã hoàn thành. Một cái chưa bằng một nửa cái kia, và nếu đó là toàn bộ bức tranh thì quyết định sẽ chỉ mất mười giây. Nhưng đó không phải toàn bộ bức tranh, vì hai con số đó đến từ những bộ đánh giá khác nhau, yêu cầu mô hình làm những việc khác nhau, và hiểu được bộ nào giống với công việc của bạn chính là toàn bộ sự so sánh. Bản thân các mức giá còn cách xa nhau hơn nữa: $0.15 cho mỗi triệu token đầu vào và $0.50 đầu ra đối với mô hình của Paper Instruments, so với $1.00 và $5.00 của A​nthropic — chênh lệch 6.7 lần ở đầu vào và 10 lần ở đầu ra.

Có một sự bất đối xứng thứ hai. Claude Haiku 4.5 có điểm số được công bố từ một phòng thí nghiệm không phải là đơn vị tạo ra nó. Ultramarine 1 Flash có điểm số được công bố từ chính công ty đã huấn luyện nó, trên một bộ tiêu chí do công ty đó xây dựng. Ở đây, cả hai sự thật này đều quan trọng hơn bất kỳ con số benchmark đơn lẻ nào, và cả hai đều không xuất hiện khi so sánh trực tiếp.

Hai bảng giá, và dòng không giống nhau trên cả hai

Các số liệu Ultramarine là giá API đã công bố của Paper Instruments và các đánh giá đã công bố của chính họ. Giá Claude Haiku 4.5 là bảng giá của Anthropic; các số liệu đánh giá của nó là kết quả đo của Artificial Analysis, được ghi nhãn rõ nguồn gốc như vậy.

• Đầu vào — Ultramarine 1 Flash $0,15 mỗi triệu token so với Claude Haiku 4.5 $1,00. Mô hình của Anthropic có chi phí đầu vào cao hơn 6,7 lần.

• Đầu vào được lưu trong bộ nhớ đệm — $0,03 so với $0,10 mỗi triệu, mức giảm giá 90% ở phía Anthropic so với mức giảm giá 80% ở phía Paper Instruments. Khoảng cách tuyệt đối vẫn lớn, còn khoảng cách theo tỷ lệ thì thu hẹp lại.

• Đầu ra — $0,50 so với $5,00 mỗi triệu. Gấp 10 lần, và đây chính là dòng mà sự khác biệt thực sự thể hiện, vì công việc xử lý tài liệu tạo ra rất nhiều đầu ra.

• Bối cảnh — 131.072 token trong cấu hình huấn luyện mà báo cáo kỹ thuật nêu rõ, so với 200.000 trên bảng giá Haiku. Anthropic nắm giữ nhiều hơn khoảng 1,5 lần.

• Đầu ra tối đa — không được Paper Instruments công bố so với 64.000 token cho Claude Haiku 4.5. Một ô trống trong danh sách.

• Đầu vào — Claude Haiku 4.5 chấp nhận tải lên văn bản, hình ảnh và tệp. Ultramarine 1 Flash được xây dựng xoay quanh công việc với văn bản và tài liệu; nền tảng cơ sở của nó, GLM-5.3 Flash, vốn có khả năng đa phương thức gốc, nhưng Paper Instruments không công bố danh sách phương thức cho bản phái sinh này.

• Chi phí đo được cho mỗi tác vụ hoàn thành — $0,13 trên PI Knowledge Work đối với Ultramarine 1 Flash so với $0,28 trên Intelligence Index đối với Claude Haiku 4.5 (reasoning). Những con số mà người ta sẽ đem ra so kè với nhau. Phần tiếp theo giải thích vì sao chúng không cùng một đơn vị.

Mỗi điểm số thực sự bao gồm những gì

Hồ sơ đã công bố của Claude Haiku 4.5 có hai cấu hình và chúng đáng được tách riêng, vì kết quả tìm kiếm thường sẽ hiển thị cho bạn sai cấu hình. Artificial Analysis liệt kê cấu hình không suy luận ở mức Intelligence Index là 15 với 87,3 token đầu ra mỗi giây. Cấu hình suy luận — cấu hình có kèm con số chi phí mỗi tác vụ, và là cấu hình mà bài viết này dùng xuyên suốt — đo được ở mức Intelligence Index là 17, 90,0 token đầu ra mỗi giây, $1,00 cho đầu vào và $5,00 cho đầu ra mỗi triệu token, chiết khấu cache 90%, $0,28 cho mỗi tác vụ Index đã hoàn thành và 78 triệu token đầu ra về độ dài dòng. Cửa sổ ngữ cảnh của nó là 200.000 token với mốc kiến thức tháng 7 năm 2025, và nó chấp nhận văn bản và hình ảnh.

Intelligence Index được tổng hợp từ các đánh giá về toán học, lập trình, suy luận và agentic. Không có bài kiểm tra thành phần nào của nó yêu cầu một mô hình tạo ra bộ slide cho hội đồng quản trị, bản ghi nhớ thẩm định hay mô hình Excel có dự báo động bên trong, bởi vì những sản phẩm đầu ra đó không có một đáp án đúng duy nhất và một benchmark chấm điểm chúng sẽ cần một rubric cho mỗi nhiệm vụ.

Đó chính xác là thứ Paper Instruments đã xây dựng, và cũng chính là lý do vì sao việc so sánh không thể là một phép trừ. PI Knowledge Work là một bộ các sản phẩm bàn giao sẵn sàng cho khách hàng trong tài chính, luật, tư vấn và vận hành, được một mô hình chấm điểm theo rubric chấm từng nhiệm vụ dựa trên các rubric được biên soạn sẵn. Ultramarine 1 Flash đạt 59,3 ở đó với chi phí 0,13 đô la mỗi nhiệm vụ. Điểm 59,3 trên một rubric sản phẩm bàn giao dạng tài liệu và điểm 17 trên một chỉ số toán học và lập trình không phải là những đại lượng có thể so sánh được. Con số chi phí cũng vậy, vì một nhiệm vụ trên bộ này có thể dài hơn một bậc độ lớn so với một nhiệm vụ trên bộ kia.

Điều mà sự ghép cặp này thực sự hỗ trợ thì hẹp hơn và vẫn hữu ích. Claude Haiku 4.5 đã được đo lường bởi một người không có lợi ích liên quan, trên những bài kiểm tra mà không ai tại Anthropic thiết kế. Ultramarine 1 Flash thì chưa. Đó không phải là một lời chỉ trích các con số của Paper Instruments — công ty công bố phương pháp của mình với độ chi tiết bất thường — mà là một sự khác biệt về loại bằng chứng được đưa ra, và một người mua đặt lựa chọn đó trước một ủy ban rủi ro sẽ nhận ra điều đó ngay lập tức.

Nơi Claude Haiku 4.5 chiến thắng không cần tranh cãi

Ba nơi, và không nơi nào trong số đó là về việc trở nên thông minh hơn.

Đầu vào đa phương thức là rõ ràng nhất. Một hợp đồng được quét, ảnh chụp màn hình của một bảng tính bị lỗi, một bức ảnh chụp bảng trắng — tất cả những thứ đó đều đi vào Claude Haiku 4.5 thông qua một giao diện đã hỗ trợ điều này, không hề thay đổi, trong suốt một năm. Ultramarine 1 Flash dựa trên một mô hình nền tảng có thể đọc hình ảnh và video, nhưng nhà cung cấp không công bố danh sách phương thức nào cho sản phẩm phái sinh của nó, và không có ví dụ nào trong báo cáo kỹ thuật dựa vào một hình ảnh mà mô hình buộc phải xem xét. Nếu tài liệu của bạn đến dưới dạng được quét, điều này tự nó quyết định câu hỏi.

Độ trưởng thành vận hành là điều thứ hai. Một mô hình đã có một năm lưu lượng sản xuất phía sau thì các dạng lỗi của nó đã được tìm ra và ghi lại bởi những người không được trả tiền để tìm ra chúng. Một mô hình được công bố vào ngày 14 tháng 10 năm 2026 thì chưa, và tuần đầu tiên của bất kỳ endpoint mới nào là lúc bạn học được nó làm gì dưới tải.

Xác minh độc lập là điều thứ ba, và đây là điều có tính cộng dồn. Mỗi tháng tồn tại thêm của Haiku 4.5 là một tháng nữa mà ai đó đã chạy nó trên chính công việc của họ và ghi lại những gì đã xảy ra.

Nơi khoảng cách thu hẹp đến mức gần như không còn gì — và vì sao phép tính ấy lại gây hiểu lầm

Con số 10x trên tiêu đề về đầu ra là thật, và với một tác vụ xử lý tài liệu dài, nó tạo ra đúng hóa đơn mà bạn sẽ dự đoán. Điều mà tiêu đề che giấu là tính kinh tế theo từng tác vụ của hai mô hình có thể hội tụ, vì một tác vụ trên PI Knowledge Work không phải cùng khối lượng công việc như một tác vụ trên Intelligence Index — và vì mô hình A​nthropic trong thực tế là mô hình được cache rất nhiều.

Có một con số phản trực giác ở phía Paper Instruments đáng để đọc kỹ. Trên sáu bài đánh giá của nó, Ultramarine 1 Flash tạo ra ít hơn 6,5% token đầu ra so với mô hình GLM-5.3 Flash mà nó được hậu huấn luyện từ đó — 30,5 triệu so với 32,7 triệu, bao gồm cả phần suy luận — trong khi đạt điểm cao hơn ở cả sáu. Hiệu quả token được cải thiện không phải là hướng đi thông thường của một đợt hậu huấn luyện, và trên bảng giá theo mỗi triệu token, đó là khoản giảm giá thứ hai xếp chồng lên khoản thứ nhất. Đó là phép so sánh duy nhất trên trang Paper Instruments mà cả hai bên đều được đo bằng cùng một phương pháp trên cùng một bộ đánh giá, khiến nó trở thành con số đáng tin cậy nhất trong bản phát hành.

Ngược lại, Claude Haiku 4.5 là mô hình rẻ hơn trong một so sánh mà không ai quảng cáo: với mức $0.28 cho mỗi Index task hoàn thành, nó được định giá cho một bộ mà các tác vụ ngắn hơn và ít agentic hơn so với một bản ghi nhớ thẩm định. Đặt một sản phẩm pháp lý hoặc tài chính thực tế trước mỗi mô hình và con số $0.13 chưa bao giờ đo lường cùng một đơn vị công việc như con số $0.28.

Cả hai mô hình đều nằm trên một khóa thông qua OrcaRouter nếu bạn muốn giải quyết chuyện này bằng thực nghiệm thay vì bằng cách đọc. Claude Haiku 4.5 được phục vụ ở mức $1.00 và $5.00 mỗi triệu token với không cộng thêm gì trên mỗi token — giá niêm yết của nhà cung cấp được chuyển thẳng qua, nên một thay đổi giá từ nhà cung cấp sẽ có hiệu lực ngay phía chúng tôi trong cùng ngày, điều mà đối với một mô hình đã từng thay đổi giá thì không phải là một đặc tính nhỏ nhặt. Chạy cùng hai mươi tài liệu qua cả hai rồi đọc hóa đơn tốn ít hơn cả cuộc họp bàn xem nên chọn cái nào, và nó tạo ra một con số thay vì một cuộc tranh luận.

Quyết định, được diễn đạt như một ngã rẽ

Nếu đầu vào là tài liệu ai đó đã quét hoặc ảnh chụp màn hình, thì câu trả lời là Claude Haiku 4.5 và không có gì phải bàn thêm nữa.

Nếu đầu vào là văn bản và đầu ra là một sản phẩm hoàn chỉnh — một mô hình, một bộ slide, một bản ghi nhớ — và khối lượng đủ lớn đến mức $0,15 so với $1,00 trên đầu vào làm thay đổi hình dạng của dự án, thì Ultramarine 1 Flash đáng để thử nghiệm thí điểm trên chính công việc của bạn. Nó mới ra đời được một ngày. Con số $0,13 do nhà cung cấp báo cáo trên một bộ đánh giá do nhà cung cấp xây dựng, và chưa có đánh giá độc lập nào. Nhưng bảng giá là thật, so sánh hiệu quả token được đo theo cách duy nhất có thể đo một cách trung thực, và mức cải thiện so với mô hình nền của chính nó trên bốn benchmark mà nó dẫn đầu là nhất quán chứ không phải được chọn lọc có lợi.

Nếu khối lượng công việc của bạn bao gồm cả hai, động thái hữu ích không phải là chọn lấy một. Một quy tắc định tuyến có thể giữ luồng tài liệu quét trên mô hình Anthropic và gửi luồng văn bản-thành-đầu-ra tới bất kỳ mô hình nào trong hai đáp ứng được chuẩn chất lượng của bạn trên một mẫu — và nếu mô hình mới hơn gặp trục trặc, yêu cầu sẽ được chuyển sang mô hình cũ hơn mà không cần thay đổi mã và không cần ký thêm hợp đồng thứ hai.

Điều có thể giải quyết câu hỏi còn bỏ ngỏ là một đánh giá độc lập duy nhất về Ultramarine 1 Flash trên một bộ kiểm thử mà nhà sản xuất của nó không viết. Cho đến khi điều đó tồn tại, quan điểm trung thực là Claude Haiku 4.5 là mô hình mà bạn có thể dự đoán hành vi, còn Ultramarine 1 Flash là mô hình mà bạn ước mình có thể dùng được với mức giá của nó. Không có gì được công bố hôm nay nói rằng bạn không thể. Không có gì được công bố hôm nay, ngoại trừ trang của chính nhà cung cấp, nói rằng bạn có thể.

Những so sánh như thế này cũng là nơi các kiểu lỗi lộ diện: những sự cố AI được ghi nhận và các lỗi của agent đằng sau những mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.