Nemotron 3.5 Bolt vs GPT-5.6 Sol: Một trong hai mô hình này có giá

Bạn không thể so sánh hai mô hình này về chi phí, và đó chính là điều hữu ích nhất ở phép so sánh này. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB là một tệp 24GB: tải nó về, và chi phí biên của token thứ một triệu chính là tiền điện. GPT-5.6 Sol là một flagship được lưu trữ, tính phí $4,00 mỗi triệu token đầu vào và $20,00 mỗi triệu token đầu ra, với thời gian tới token đầu tiên p50 được công bố là 1,63 giây và 535,5 triệu token lưu lượng trong bảy ngày qua. Một trong hai mô hình đó có bảng giá. Mô hình còn lại có một điều kiện tiên quyết về phần cứng, tức là một loại hóa đơn khác chỉ đến một lần.

Cả hai mô hình đều là thật và đều đang được phát hành. Checkpoint NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB đã nằm trên Hugging Face từ ngày 7 tháng 10 năm 2026 mà không có gì đính kèm ngoài một thẻ mô hình, và thông báo của chính nhà cung cấp về dòng Bolt đến sau đó vào ngày 15 tháng 10 — tám ngày sau, trong một bài đăng nêu tên cả mô hình này lẫn một phiên bản cùng dòng 4GB. GPT-5.6 Sol đã có trên bảng giá của OpenAI kể từ ngày 9 tháng 7 năm 2026. Nếu bạn đang cân nhắc giữa chúng trong tuần này, quyết định không phải là mô hình nào thông minh hơn. Mà là liệu khối lượng công việc có thể rời khỏi máy của bạn hay không.

Khoảng cách hai mươi mốt so với năm mươi chín đo lường điều gì

Artificial Analysis chấm Nemotron 3.5 Bolt 74B-A9B 21 điểm trên Chỉ số Thông minh của mình, xếp nó thứ tư trong số 67 mô hình thuộc lớp so sánh mà nó được đặt vào. GPT-5.6 Sol nằm ở khoảng cuối năm mươi trên cùng phiên bản chỉ số đó. Một khoảng cách vào khoảng gần bốn mươi điểm là cực kỳ lớn, và nói theo cách đó thì nó kết thúc cuộc tranh luận trước khi cuộc tranh luận bắt đầu.

Khoảng cách này thực ra cũng là hai phép đo khác nhau cùng khoác chung một con số. Con số 21 là điểm số tốt nhất mà bất kỳ mô hình trọng số mở nào đạt được ở quy mô này — Artificial Analysis ghi nhận mức trung vị của các mô hình trọng số mở tương đương là 8, và lưu ý rằng Bolt nằm "trong số những mô hình dẫn đầu về trí thông minh khi so sánh với các mô hình trọng số mở khác có cùng kích thước." Còn khoảng 59 là những gì một phòng thí nghiệm tiên phong tạo ra khi bộ nhớ không còn là giới hạn. Cả hai con số đều không sai. Chúng đang trả lời những câu hỏi khác nhau: bao nhiêu trí thông minh vừa trong 24GB, và bao nhiêu trí thông minh mà tiền có thể mua được.

Điều mà bảng đánh giá không thể đo được lại thú vị hơn điều mà nó có thể đo được. Trang Artificial Analysis cho Bolt liệt kê tốc độ là N/A và chi phí cho mỗi tác vụ Intelligence Index là N/A, vì lý do đơn giản là không có endpoint được host nào để gọi. Mọi con số tốc độ tồn tại cho mô hình này đều đến từ phép đo của chính NVIDIA: ghi chú nghiên cứu nêu mục tiêu thiết kế tối thiểu 80 token mỗi giây khi giải mã và báo cáo 84 token mỗi giây trên AIPerf SPEED-Bench trên RTX Spark, với 83,99 token mỗi giây trong một lần chạy llama.cpp trên Surface Laptop Ultra với 128GB. Những con số đó rất có thể là chính xác. Chưa có ai ngoài NVIDIA tái lập được chúng, và bạn nên coi chúng như một tuyên bố của nhà cung cấp cho đến khi có người làm được.

Nơi mô hình được host vượt trội về mặt cấu trúc

Ba khác biệt hoàn toàn không liên quan đến trí thông minh, và mỗi khác biệt đều khiến tệp cục bộ không đủ điều kiện cho một loại công việc.

• Ngữ cảnh — GPT-5.6 Sol phục vụ cửa sổ 1.050.000 token với đầu ra tối đa 128.000 token; Nemotron 3.5 Bolt phục vụ tối đa 262.144 token. Cửa sổ rộng gấp bốn lần không phải là một tính năng xa xỉ khi công việc là một kho mã nguồn hay một kho lưu trữ hợp đồng trong một yêu cầu. Cửa sổ của Bolt còn phải chia sẻ 24GB với KV cache, hình ảnh, khung hình video và lịch sử hội thoại, nghĩa là giới hạn thực tế đến sớm hơn so với thông số kỹ thuật gợi ý.

• Các loại đầu vào — GPT-5.6 Sol chấp nhận văn bản, hình ảnh và tệp; Nemotron 3.5 Bolt chấp nhận văn bản, hình ảnh và video và trả về văn bản. Đó là một lợi thế thực sự của Bolt ở mảng video và là một khoảng trống thực sự ở mảng tài liệu, vì một PDF được truyền dưới dạng tệp không cần phải được raster hóa, phân trang hay suy luận theo từng khung hình.

• Tính khả dụng — GPT-5.6 Sol chỉ là một URL. Nemotron 3.5 Bolt là một triển khai vLLM đòi hỏi silicon Ampere, Hopper hoặc Blackwell, hoặc chạy llama.cpp trên thiết bị RTX Spark hay DGX Spark. Một trong số đó bạn có thể dùng chỉ trong bốn phút.

Có một khác biệt thứ tư không hẳn nằm ở năng lực mà đúng hơn là ở cách đo lường: mỗi lần gọi mô hình chạy trên máy chủ đều tạo ra một mục chi phí riêng, còn mỗi lần gọi mô hình cục bộ thì không. Đối với một vòng lặp phân loại hoặc trích xuất khối lượng lớn, sự đảo ngược đó quan trọng hơn bốn mươi điểm chỉ số.

Việc sở hữu tệp thực sự mang lại những gì

Nemotron 3.5 Bolt 74B-A9B là một mô hình mixture-of-experts thưa với 74 tỷ tham số và 9 tỷ tham số hoạt động trên mỗi token, được xây dựng trên nền tảng lai giữa Mamba-2 và Transformer mà NVIDIA gọi là LatentMoE, cùng một bộ mã hóa thị giác C-RADIO v4-H được gắn thêm cho phần xử lý đa phương thức. Đây là một sản phẩm nén theo đúng nghĩa đen: NVIDIA đã lấy mô hình 120B-A12B Nemotron 3.5 Super VL, áp dụng một phương pháp tìm kiếm do router dẫn dắt mà họ gọi là Star Elastic để thu nhỏ nó thành 74B-A9B, rồi chạy chưng cất nhận biết lượng tử hóa xuống còn 2,0625 bit cho mỗi trọng số expert — một định dạng IQ2_XXS — để vừa vặn trong 24GB mà không cần huấn luyện lại từ đầu. Giấy phép là OpenMDW-1.1, cho phép sử dụng cho cả mục đích thương mại lẫn phi thương mại.

Có hai hệ quả kéo theo. Thứ nhất là mô hình chạy bên cạnh các ứng dụng khác trên một máy trạm chứ không phải thay thế chúng, và chính điều đó mới khiến một agent cục bộ trở nên khả thi. Thứ hai là nó được trang bị sẵn cơ chế suy đoán: một bộ soạn nháp LiLiCorr được dẫn qua DFlash đề xuất bảy token về phía trước, và đây chính là nguồn tạo ra một phần đáng kể trong 84 token mỗi giây đó.

Bảng benchmark của chính nhà cung cấp, thứ mà chưa ai ngoài NVIDIA tái lập được, xếp checkpoint 24GB vượt trên mọi baseline trong cùng bảng — một Qwen3.6 35B, một Gemma 4 26B và Nemotron 3.5 Lightning 30B-A3B của chính NVIDIA — ở GDPVal-AA-V2 (28.47), Terminal-Bench 2.1 (50.98), GPQA Diamond (86.43), SciCode (41.02) và BrowseComp (66.75). Hãy coi đó là những tuyên bố về việc một mô hình 74B đã nén so với các mô hình không nén chỉ bằng một phần ba kích thước của nó như thế nào, điều chính xác mà chúng được thiết kế để thể hiện, chứ không phải là so sánh với một flagship được host.

Định giá hai nửa một cách trung thực

Phần hosted có một mức giá rõ ràng, không thể nhầm lẫn. GPT-5.6 Sol nằm trong danh mục của OrcaRouter với mã openai/gpt-5.6-sol theo đúng giá niêm yết của nhà cung cấp OpenAI được chuyển nguyên với 0% phụ phí — 4,00 USD mỗi triệu token đầu vào và 20,00 USD mỗi triệu token đầu ra, cùng những con số xuất hiện trên trang của chúng tôi cũng như trên trang của nhà cung cấp, nghĩa là một thay đổi từ phía nhà cung cấp sẽ được áp dụng ở phía chúng tôi ngay trong cùng ngày thay vì phải chờ đến kỳ gia hạn hợp đồng tiếp theo. Một đầu vào 20.000 token với 3.000 token đầu ra tốn 0,08 USD cho phần vào và 0,60 USD cho phần ra, tức khoảng 0,68 USD mỗi lần gọi.

Phần cục bộ không có mức giá nào mà chúng tôi sẵn sàng tự bịa ra. Không có endpoint được lưu trữ nào cho Nemotron 3.5 Bolt, không có bảng giá, và không có nền tảng bên thứ ba nào đo lường nó mà chúng tôi có thể chỉ cho bạn. Định giá nó nghĩa là định giá một GPU, một mức tiêu thụ điện năng và một thời gian khấu hao — phép tính thuộc về bảng tính của bạn chứ không phải của chúng tôi, vì câu trả lời phụ thuộc hoàn toàn vào việc bạn chạy nó bao nhiêu.

Sự bất đối xứng đó chính là nơi một lớp định tuyến làm được điều gì đó cụ thể thay vì chỉ mang tính trang trí. Nemotron 3.5 Bolt không có trong danh mục của chúng tôi và chúng tôi không cung cấp nó; không có gì ở đây là lời đề nghị lưu trữ checkpoint của NVIDIA. Điều mà một endpoint duy nhất thực sự mang lại là khả năng giữ hai nửa cục bộ và được lưu trữ của một quy trình làm việc dưới cùng một khóa, để một yêu cầu có thể được gửi đến GPT-5.6 Sol khi nó cần cửa sổ một triệu token hoặc đầu vào là tệp, và đến triển khai Bolt của riêng bạn khi nó không cần — với quy tắc quyết định cái nào là cái nào được viết một lần thay vì bị mã hóa cứng trong mọi dịch vụ. Nếu nhà cung cấp dịch vụ lưu trữ suy giảm, chuyển đổi dự phòng tự động sẽ chuyển yêu cầu đi thay vì để yêu cầu thất bại.

Chọn cái nào?

• Chọn Nemotron 3.5 Bolt 74B-A9B 24GB khi dữ liệu không thể rời khỏi tòa nhà, khi khối lượng công việc có mang video, khi lưu lượng đủ cao đến mức tính phí theo token là chi phí chiếm ưu thế, hoặc khi bạn muốn một agent chạy trên phần cứng bạn đã sở hữu. Hãy chấp nhận cửa sổ 262K và điểm chỉ số chỉ bằng khoảng một phần ba so với mô hình được lưu trữ. Hãy xác minh các tuyên bố về thông lượng trên chính thiết bị của bạn trước khi bạn lập kế hoạch dung lượng dựa trên chúng.

• Hãy chọn GPT-5.6 Sol khi tác vụ cần ngữ cảnh rộng nhất, đầu vào tệp, khả năng suy luận mạnh nhất hiện có và có hợp đồng hỗ trợ phía sau. Trả $4 và $20 cho mỗi triệu token để có đặc quyền đó, và lưu ý rằng đầu ra tối đa 128K là một phản hồi đơn dài hơn mức mà một phạm vi bộ nhớ 24GB có thể cho phép một cách thoải mái.

• Chạy cả hai khi quy trình phân tách rạch ròi, mà với hầu hết hệ thống agent thì đúng là như vậy. Tệp cục bộ xử lý nửa phần tần suất cao, ít rủi ro, nhạy cảm về quyền riêng tư; mô hình được lưu trữ xử lý những yêu cầu cần độ vươn tới.

Câu hỏi bỏ ngỏ vẫn là câu hỏi mà bản Nemotron nén gần nhất đã nêu ra và chưa ai trả lời: phép đo độc lập đầu tiên về thông lượng và độ trễ của bộ trọng số 24GB, do một người không làm việc tại NVIDIA thực hiện. Cho đến khi điều đó tồn tại, mức sàn trí tuệ của mô hình này đã được xác minh từ bên ngoài còn mức trần tốc độ của nó thì chưa — và với một triển khai cục bộ, tốc độ là một nửa mà bạn cảm nhận được.