Nemotron 3.5 Super so với GPT-6 Astra: chi phí cho một trang quét trên mỗi mô hình là bao nhiêu

OpenAI GPT-6 Astra tính phí một tài liệu quét theo token. NVIDIA Nemotron 3.5 Super tính phí nó theo giây GPU. Chỉ một câu đó đã là phần lớn của so sánh này, và đó không phải là câu mà bất kỳ nhà cung cấp nào trong hai bên sẽ đưa lên tiêu đề. Mô hình NVIDIA — 120 tỷ tham số tổng cộng với 12 tỷ tham số hoạt động trên mỗi token, một bộ mã hóa thị giác C-RADIO trên kiến trúc hỗn hợp chuyên gia lai giữa Mamba-2 và Transformer, được NVIDIA công bố vào ngày 15 tháng 10 năm 2026 dưới tên NVIDIA Nemotron 3.5 Super VL và được phát hành trên Ollama dưới dạng code>nemotron-3.5-super/code> — đã ra đời với trọng số đã ba ngày tuổi trên Hugging Face, được tải lên ngày 12 tháng 10. Astra là mô hình chủ lực của OpenAI: 1.050.000 token ngữ cảnh, 128.000 token đầu ra tối đa, đầu vào văn bản, hình ảnh và tệp, suy luận luôn bật, và giá niêm yết 10 USD cho mỗi triệu token đầu vào và 50 USD cho mỗi triệu token đầu ra.

Hai mức giá đó chênh nhau mười lần ở đầu vào và hai mươi lăm lần ở đầu ra, khiến câu hỏi thú vị trở nên sắc nét một cách bất thường. Ở khối lượng nào thì một checkpoint mở có chi phí cố định sẽ vượt qua đồng hồ tính tiền $10/$50 cho công việc xử lý tài liệu — và liệu câu trả lời có thay đổi khi tài liệu là một trang pixel thay vì một trang văn bản?

Họ không cạnh tranh cho cùng một yêu cầu.

Điều đầu tiên cần hiểu cho đúng là xét trên năng lực được đo lường, hai mô hình này không hề gần nhau, và cả hai nhà cung cấp đều không tuyên bố điều gì khác.

• Chỉ số của bên thứ ba — Astra đạt khoảng 54,7 trên bảng chấm điểm các mô hình này, với Coding Index là 76,9 và Agentic Index là 51,6, tất cả đều được ghi lại trong mục danh mục của chính Astra · checkpoint của NVIDIA ở mức khoảng 26. Đó là khoảng cách khoảng hai mươi tám điểm, và không bên cung cấp nào đo lường nó.

• Ngữ cảnh — 1.050.000 token cho Astra với giới hạn đầu ra 128.000 token · 1.000.000 cho checkpoint NVIDIA không hề có giới hạn đầu ra nào được công bố, cùng với lưu ý của chính thẻ rằng cài đặt bộ nhớ và thời gian chạy quyết định con số sử dụng được.

• Bề mặt suy luận — Astra chạy suy luận luôn bật với mức nỗ lực có thể cấu hình từ thấp đến tối đa, trả về toàn bộ dấu vết suy luận qua Responses API, và hỗ trợ đầu ra có cấu trúc, seed cùng tìm kiếm web như một công cụ · checkpoint NVIDIA có chế độ suy nghĩ bật/tắt được chuyển đổi qua chat template và một bảng benchmark đã công bố nhưng không có bề mặt được host dưới bất kỳ hình thức nào.

• Phương thức đầu vào — văn bản, hình ảnh và tệp cho Astra · văn bản, hình ảnh và video cho NVIDIA checkpoint, với bộ chiếu thị giác 1,6 GiB trên mọi thẻ đã phát hành để nhánh hình ảnh luôn hiện diện.

• Giá — 10 đô-la cho đầu vào và 50 đô-la cho đầu ra trên mỗi triệu token, với một bậc ngữ cảnh dài khi vượt quá 272.000 token gợi ý · không có giá, vì mô hình không có endpoint.

• Những gì bạn nhận được — một khóa API và một trace · bốn H100 hoặc hai GB200 BF16, hoặc một card 96 GB cho tag 4-bit mặc định 82,3 GiB, theo OpenMDW-1.1 với việc sử dụng thương mại được cho phép.

Đọc danh sách đó và kết luận là hiển nhiên: nếu công việc cần suy luận tiên tiến, thì Astra là mô hình cần dùng và cuộc so sánh kết thúc. Điều khiến trang này đáng đọc là trường hợp công việc không cần suy luận tiên tiến, vì đó là lúc một checkpoint 120 tỷ tham số với bộ mã hóa thị giác bắt đầu có ý nghĩa kinh tế — và nó chiếm một phần lớn hơn trong các pipeline tài liệu thực tế so với mức mà bất kỳ ai muốn thừa nhận.

Phép tính chi phí trang, được thực hiện bằng những con số thực tế

Hãy lấy một công việc cụ thể: một kho ngữ liệu gồm các hóa đơn được quét, 200 trang mỗi ngày, mỗi trang được kết xuất ở độ phân giải đủ cao để đọc được một số tham chiếu viết tay. Cứ cho là 1.500 token hình ảnh mỗi trang sau khi bộ mã hóa xử lý xong, cộng thêm một prompt 300 token và một câu trả lời 150 token. Như vậy là khoảng 1.950 token đầu vào và 150 token đầu ra mỗi trang, hay 390.000 token đầu vào và 30.000 token đầu ra mỗi ngày trên toàn bộ kho ngữ liệu.

Theo mức giá đã công bố của Astra, đó là $3.90 cho đầu vào và $1.50 cho đầu ra — khoảng $5.40 một ngày, tức khoảng $160 một tháng cho một công việc mà một GPU duy nhất có thể làm qua đêm. Tăng độ phân giải lên, thêm một trang khiến vượt qua tầng long-context trên 272,000 prompt token, hoặc chạy kho ngữ liệu hai lần vì lượt chạy đầu tiên bị sai, và con số chỉ dịch chuyển theo một hướng. Đây là hình dạng của vấn đề: với mức $10 và $50, một quy trình theo trang có một hóa đơn theo trang, và hóa đơn đó tăng đúng theo thứ vốn đang tăng — số lượng trang.

Trên checkpoint NVIDIA, cùng công việc đó chỉ tốn một phần nào đó của một giờ GPU mà 230.000 token tiêu thụ; ở mức 200 trang mỗi ngày thì đó là sai số làm tròn so với tiền điện. Hóa đơn chính là chiếc card, và chiếc card thì vẫn như vậy dù bạn xử lý 200 trang hay 20.000 trang.

Ba lưu ý trước khi bất kỳ ai vội vàng đi mua phần cứng. Thứ nhất là điều này không còn đúng ở khối lượng thấp — một card 96 GB và điện năng để chạy nó tốn mỗi tháng nhiều hơn mức hầu hết các nhóm chi cho token, và ở mức 200 trang một ngày thì bạn có khả năng sẽ lỗ. Thứ hai là cách lượng tử hóa của NVIDIA mà hầu hết mọi người thực tế sẽ chạy, q4_K_M, không có đánh giá nào được công bố ở đâu cả; mọi con số trên card của NVIDIA đều là BF16 hoặc NVFP4, nên độ chính xác của phiên bản bạn triển khai là không rõ. Thứ ba là đầu ra của Astra tốt hơn một cách có thể đo lường được, và trên một kho ngữ liệu nơi một số tham chiếu bị đọc sai là một chi phí thực sự, độ chính xác tốt hơn có thể lấn át mức chênh lệch giá ở bất kỳ quy mô nào.

Nơi Astra không chỉ tốt hơn mà còn tốt hơn về mặt cấu trúc

Sẽ là không trung thực nếu coi Astra như một lựa chọn thay thế đắt đỏ cho một phương án rẻ hơn. Trên nhiều khía cạnh, nó là một sản phẩm thuộc đẳng cấp khác, và sự khác biệt không nằm ở điểm số.

Astra trả về toàn bộ dấu vết suy luận thông qua Responses API. Đối với một pipeline phải biện minh cho một quyết định — xét duyệt yêu cầu bồi thường, đọc tuân thủ, một lượt mã hóa y tế — một dấu vết có thể kiểm toán không phải là một tính năng, mà là yêu cầu bắt buộc. Checkpoint NVIDIA có chế độ suy nghĩ mà bạn có thể bật và tắt trong chat template và hoàn toàn không có bề mặt dấu vết được lưu trữ, nghĩa là bạn phải tự xây dựng lớp kiểm toán.

Astra hỗ trợ đầu ra có cấu trúc với một lược đồ và một hạt giống. Trên một pipeline trích xuất tài liệu, nơi đầu ra phải tuân theo một bố cục bản ghi, một mô hình có thể bị ràng buộc theo lược đồ sẽ rẻ hơn để tích hợp so với một mô hình mà bạn phải xác thực và thử lại, và chi phí thử lại là vô hình cho đến khi nó không còn vô hình nữa.

Và bề mặt công cụ của Astra là một sản phẩm do chính bên thứ nhất phát triển: gọi hàm, response_format, seed và tìm kiếm web như một công cụ. Công thức triển khai của NVIDIA checkpoint tái sử dụng một trình phân tích cú pháp gọi công cụ mà nó không tự viết — công thức vLLM của chính nhà cung cấp đặt tên code>qwen3_coder/code> là trình phân tích cú pháp gọi công cụ và code>nemotron_v3/code> là trình phân tích cú pháp suy luận. Đó là một lựa chọn kỹ thuật hợp lý, đồng thời cũng có nghĩa là bề mặt gọi công cụ được mượn về thay vì được thiết kế cho mô hình này, và sẽ cần được kiểm thử trước khi có thể tin cậy.

Công thức vLLM cũng cho bạn biết nhà cung cấp kỳ vọng một replica sẽ xử lý những gì: song song tensor là 4, mức sử dụng bộ nhớ GPU là 0,85, tối đa 32 chuỗi đồng thời, một hình ảnh và một video mỗi prompt, cắt tỉa video ở 0,5, và giải mã suy đoán thông qua đầu MTP tích hợp với ba token suy đoán. Ba mươi hai chuỗi đồng thời là giới hạn trên một nút bốn GPU. Giới hạn của Astra là một giới hạn tốc độ.

Cái bẫy trong thiết lập mặc định của NVIDIA, và lý do tại sao nó xuất hiện đầu tiên trên các tài liệu

Đây là chi tiết sẽ quyết định liệu thí nghiệm đầu tiên có thành công hay không, và nó chỉ có thể thấy được nếu bạn đọc registry runtime thay vì bài đăng của nhà cung cấp.

Thẻ này chỉ định hai cấu hình lấy mẫu: temperature 1.0 với top_p 0.95 cho công việc văn bản, và temperature 0.6 với top_p 0.95 cho thị giác. Mặc định được phát hành trong manifest Ollama là cặp dành cho văn bản — code>{"temperature": 1.0, "top_p": 0.95}/code> với code>draft_num_predict: 3/code>. Vậy nên cấu hình mà hầu hết mọi người sẽ gặp mô hình thị giác này trong đó lại được tinh chỉnh cho nửa phần không phải thị giác của nó. Nếu việc đầu tiên bạn làm với nó là hướng nó vào một hóa đơn quét và kết quả lỏng lẻo hoặc bị ảo giác, thì cài đặt lấy mẫu chính là thứ đầu tiên cần thay đổi — trước khi bạn kết luận bất cứ điều gì về checkpoint.

Hai chi tiết registry nữa đáng biết trước khi bạn triển khai. Bốn trong số chín tag đã phát hành — code>:latest/code>, code>:120b/code>, code>:120b-a12b/code> và code>:120b-a12b-q4_K_M/code> — đều phân giải thành cùng một layer q4_K_M, nên tag được đặt tên theo tổng số tham số đầy đủ không phải là tệp bạn nhận được. Và cổng phiên bản được thực thi chứ không chỉ được khuyến nghị: cấu hình khai báo code>requires: 0.40.5/code>, nên trên runtime cũ hơn, thao tác pull hoàn toàn không hoạt động.

Hãy so sánh điều đó với kiểu hỏng hóc ở phía bên kia của so sánh này, vốn là một endpoint bị thay đổi. Astra là một dịch vụ được host; hành vi của nó có thể được sửa đổi. Không rủi ro nào trong hai là lý do để tránh mô hình. Đó là những rủi ro khác nhau và chúng đòi hỏi những biện pháp giảm thiểu khác nhau — thay đổi cấu hình ở một phía, tuyến dự phòng ở phía kia.

Câu trả lời định tuyến, vốn giống nhau cho cả hai.

Astra nằm trên key của chúng tôi. OrcaRouter định tuyến nó theo giá niêm yết của nhà cung cấp, chuyển thẳng không có phụ phí trên mỗi token — $10 và $50 mỗi triệu token, với bậc ngữ cảnh dài được định giá đúng như OpenAI định giá, có hiệu lực ngay ở phía chúng tôi trong cùng ngày thay vì đến kỳ gia hạn tiếp theo của bạn. Nếu câu hỏi là liệu Astra có xử lý được khối lượng tài liệu của bạn hay không, thì đó chỉ là một key và không cần mua sắm, và câu trả lời chỉ tốn vài đô token.

Checkpoint NVIDIA không nằm trên key của chúng tôi. Chúng tôi định tuyến hơn hai trăm mô hình một chút và không có mục NVIDIA Nemotron nào trong số đó, nên bài viết này không phải là tuyên bố rằng bạn có thể gọi nó ở đây. Nếu bạn cần checkpoint đó, các kênh xây dựng và phân phối của chính NVIDIA cùng bản pull cục bộ là lộ trình của bạn.

Điều nền tảng thực sự dùng để làm trong quyết định này là sắp xếp thứ tự. Trước tiên hãy chạy kho ngữ liệu với Astra và đo hai thứ: chi phí mỗi trang và tỷ lệ lỗi mỗi trang. Hai con số đó cùng nhau quyết định mọi thứ. Nếu tỷ lệ lỗi thấp và khối lượng thấp, hãy cứ dùng dịch vụ tính theo mức sử dụng mãi mãi — bạn sẽ không bao giờ thắng được nó bằng phần cứng. Nếu tỷ lệ lỗi thấp và khối lượng cao, bạn đã có căn cứ vững chắc để chuyển các trang phổ thông sang một card bạn sở hữu trong khi vẫn giữ những trang khó trên dịch vụ tính theo mức sử dụng. Nếu tỷ lệ lỗi cao, lợi thế giá đến mấy ở phía NVIDIA cũng không giúp được gì, vì phép toán của một hóa đơn bị đọc sai không phải là chuyện token.

Và dù bạn chọn cách nào, hãy định tuyến mô hình mới phía sau một phương án dự phòng. Một checkpoint có trọng số đã bốn ngày tuổi thì có bốn ngày lịch sử vận hành, và biện pháp bảo hiểm rẻ nhất chống lại điều đó là một mô hình thứ hai trên cùng một lệnh gọi. Astra là một thứ hợp lý để đặt phía sau một mô hình mở bốn ngày tuổi; nó cũng là mô hình mà hầu hết độc giả của trang này sẽ kết luận rằng họ không cần thay thế.