Ripple 65B Preview vs Nemotron 3.5 Bolt 74B: Hóa đơn VRAM phải trả trước tiên

Cả hai mô hình này đều được bán với cùng một lời hứa — bạn có thể chạy một agentic coder nghiêm túc trên phần cứng của chính mình. Ripple 65B Preview yêu cầu khoảng 130 GB bộ nhớ ở BF16 trước khi bạn nạp dù chỉ một token ngữ cảnh. Nemotron 3.5 Bolt 74B-A9B yêu cầu 24 GB, vì NVIDIA đã nén nó xuống 2,0625 bit. Đó là mức chênh lệch gấp năm lần về phần cứng bạn phải mua, và nó quyết định cuộc so sánh này trước khi bảng benchmark kịp lên tiếng.

Đó mới là phần thú vị, bởi trên một benchmark mà cả hai phòng thí nghiệm đều công bố ở cùng một phiên bản, mô hình gọn nhẹ lại không phải là bên thắng. Nemotron 3.5 Bolt 74B-A9B của NVIDIA báo cáo 50.98 trên Terminal-Bench 2.1. Ripple 65B Preview của Ricursive báo cáo 80.5 trên cùng bản sửa đổi. Ba mươi điểm, cùng một bài kiểm tra — nhưng được thực hiện trong những điều kiện khác biệt đến mức cách diễn giải trung thực sẽ hẹp hơn so với hàm ý của tiêu đề.

Phép tính, trước tiên hết.

Ripple 65B Preview là mô hình dense. Toàn bộ 65 tỷ tham số đều hoạt động trên mỗi token, vì vậy ở BF16, chỉ riêng trọng số đã là 65 × 2 byte = 130 GB, và đó là trước KV cache. Ricursive có phát hành một biến thể NVFP4, giúp đưa trọng số xuống còn khoảng một phần tư con số đó — tạm gọi là 33 GB cộng cache — và đó là bản dựng khiến việc triển khai trên một GPU hoặc DGX Spark trở nên thực tế. Mục tiêu mà công ty công bố là DGX Spark, với 250 token mỗi giây trên hai B200 ở batch size 8 trước khi có các kernel tùy chỉnh.

Nemotron 3.5 Bolt 74B-A9B là một mô hình Mixture-of-Experts với 9 tỷ tham số hoạt động, được tạo ra từ mô hình cha Nemotron 3.5 Super VL 120B-A12B của NVIDIA bằng cách cắt top-K chuyên gia từ 22 xuống 9 thông qua tìm kiếm dẫn hướng bởi router mà công ty gọi là Star Elastic. Ở 2,0625 bit trong IQ2_XXS, mô hình có khoảng 19 GB trọng số và vừa một card 24 GB ở batch size 1. Đó chính là toàn bộ mục tiêu thiết kế, và nó đã đạt được.

• Bộ nhớ — ~130 GB BF16 / ~33 GB NVFP4 so với ~19 GB ở 2,06 bit, card 24 GB ở batch 1

• Hình dạng — 65B dense so với tổng 74B / MoE active 9B

• Ngữ cảnh — 1M được quảng cáo so với 262,144, với các công thức vLLM khuyến nghị 64K trên card 28 GB

• Phương thức — chỉ văn bản so với đầu vào văn bản, hình ảnh và video

• Giấy phép — Apache 2.0 so với OpenMDW-1.1

• Giá — $0.20 / $0.60 mỗi triệu trên endpoint hosted đầu tiên so với không có giá mỗi token hosted nào cả

Cùng một khung thử nghiệm, các điều kiện khác nhau

Terminal-Bench 2.1 là trường hợp hiếm hoi mà cả hai phòng thí nghiệm đều trích dẫn cùng một phiên bản, khiến so sánh 80.5 với 50.98 trở nên chính đáng theo cách mà phần lớn các bàn luận benchmark giữa các mô hình không có được. Nhưng chính đáng không đồng nghĩa với công bằng, và có hai điểm bất đối xứng bạn phải ghi nhớ.

Đầu tiên là lượng tử hóa. Con số 50.98 của NVIDIA là con số do nhà cung cấp báo cáo cho một mô hình được phân phối chủ yếu dưới dạng bản dựng 2-bit; con số GPQA nổi bật của card, 86.43, được đo trên checkpoint nén đó. Ricursive nêu rõ rằng điểm số của mình được lấy "ở mức nỗ lực tối đa trong BF16" — bản dựng độ chính xác đầy đủ. So sánh một lần chạy 2-bit với một lần chạy BF16 là so sánh hai mô hình khác nhau mà tình cờ dùng chung một kho lưu trữ.

Điều thứ hai là con số của NVIDIA là tuyên bố thận trọng hơn. Công ty đã công bố mức 50.98 khá dè dặt trên Terminal-Bench, đồng thời công bố 86.43 trên GPQA Diamond, và các đơn vị đánh giá độc lập kể từ đó đã xếp mô hình ở mức 21 trên Intelligence Index của Artificial Analysis — được chấm trên v4.3.2, một phiên bản chỉ số khác với bản dựng lại v5 mà các mô hình khác trong phân khúc giá này được trích dẫn theo. Đừng đặt con số 21 đó cạnh một con số v5 rồi trừ đi. Các phiên bản chỉ số không thể hoán đổi cho nhau, và việc trộn chúng là lỗi phổ biến nhất trong các bài viết so sánh được viết tuần này.

Nơi mô hình 24 GB giành chiến thắng tuyệt đối

GPQA Diamond là trường hợp rõ ràng nhất. Ripple 65B Preview báo cáo 85,2. Nemotron 3.5 Bolt 74B-A9B báo cáo 86,43. Mô hình vừa trên một card tiêu dùng đang dẫn trước ở các câu hỏi khoa học cấp sau đại học với 1,2 điểm — khoảng cách đủ nhỏ để chỉ là nhiễu, nhưng không phải khoảng cách có lợi cho Ripple. Một mô hình dense 65B được huấn luyện trên 12 nghìn tỷ token từ đầu đã không tạo ra lợi thế kiến thức so với một MoE 74B nén được chưng cất từ mô hình cha lớn hơn, và không có lý do gì để nó có lợi thế đó.

Nemotron cũng nhận hình ảnh và video. Ripple nhận văn bản. Nếu agent của bạn cần xem một trang đã kết xuất, một biểu đồ hay ảnh chụp màn hình của một job CI đang lỗi, thì đó không phải là khác biệt về benchmark mà bạn có thể dùng prompt để lách qua.

Những ưu điểm của Ripple còn thể hiện ở những chỗ khác trên bảng thông số của chính nó: 76,5 trên SWE-bench Verified, 71,67 trên MCP Atlas, 79,2 trên IFBench, 83,8 trên FORTRESS Adversarial. Đó là những con số mạnh đối với một mô hình 65B và chúng cùng chỉ ra điều mà điểm Terminal-Bench cũng chỉ ra — đây là một mô hình được huấn luyện hậu kỳ đặc biệt cho việc sử dụng công cụ và lập trình tác tử, phải đánh đổi bằng độ bao phủ.

Tuyên bố về tốc độ không thể so sánh được

250 token/giây của Ricursive là hai B200 ở kích thước lô 8. 83,99 token/giây của NVIDIA là một máy RTX Spark cấp laptop với một bộ dự thảo suy đoán, trên bài đánh giá mã lệnh của AIPerf. Đó không phải cùng một phép đo trên cùng phần cứng, và trích dẫn chúng trong một câu sẽ là không trung thực. Điều có thể nói là mang tính định hướng: Ripple cần các bộ tăng tốc cấp trung tâm dữ liệu để đạt con số của mình, còn Nemotron được tinh chỉnh để tạo ra tốc độ khả dụng trên một cỗ máy vừa dưới gầm bàn.

Cách diễn giải thực tế là thông lượng trên mỗi đô la chi cho phần cứng, và chưa ai công bố con số đó cho cả hai mô hình. Nếu bạn đang cân nhắc chọn giữa hai mô hình, đó là con số bạn nên tự đo lấy, vì nó phụ thuộc vào kích thước lô, độ dài ngữ cảnh và việc bạn chạy bản dựng NVFP4 hay bản BF16.

Hai giấy phép permissive, một khác biệt đáng kể

Ripple là Apache 2.0, không cần giải thích và không đặt ra ngưỡng nào. Nemotron 3.5 Bolt được phát hành theo OpenMDW-1.1, giấy phép mô hình mở của riêng NVIDIA, cho phép sử dụng thương mại nhưng không phải mặc định theo chuẩn OSI mà các nhóm pháp chế đã phê duyệt trước. Trên thực tế, cả hai đều dùng được; trong mua sắm, một trong hai sẽ mất thêm hai tuần.

Mốc cắt kiến thức của Nemotron là tháng 5 năm 2026 và độ phủ ngôn ngữ của nó ưu tiên tiếng Anh và mã nguồn, với tiếng Tây Ban Nha, Pháp, Đức, Ý và Nhật được hỗ trợ. Thẻ của Ripple cho biết kho ngữ liệu của nó chủ yếu là tiếng Anh và mã nguồn, hết. Cả hai đều không phải mô hình đa ngôn ngữ, và nếu đó là yêu cầu của bạn thì cả hai đều không nên có trong danh sách rút gọn.

Khi nào bạn không nên tự chạy một trong hai

Lập luận trung thực chống lại cả hai mang tính vận hành. Một mô hình trên GPU của chính bạn là mô hình bạn phải vá, giám sát, quy hoạch công suất và giữ ấm — và một card 24 GB chạy MoE 2-bit ở batch size 1 không phải là một tầng phục vụ production, mà là một máy phát triển rất mạnh. Ngay khi lưu lượng của bạn tăng vọt hoặc đa người thuê, hosting theo token thắng về tổng chi phí ngay cả với đơn giá tệ hơn, vì bạn ngừng trả tiền cho VRAM nhàn rỗi.

Đó chính là khoảng trống mà OrcaRouter lấp đầy cho phần trong ngăn xếp của bạn thực sự cần được host: một khóa API duy nhất dùng cho hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp với 0% phụ phí, nhờ đó đợt giảm giá từ nhà cung cấp đến với bạn ngay trong ngày thay vì vào lần gia hạn hợp đồng tiếp theo, và tự động chuyển đổi dự phòng khi một nhà cung cấp gặp suy giảm hiệu năng. Cả hai mô hình này hiện không có trong danh mục của chúng tôi — Nemotron 3.5 Bolt hoàn toàn không có endpoint tính phí nào được công bố, còn Ripple truy cập API thông qua endpoint riêng của Ricursive và các nền tảng bên thứ ba. Điều bộ định tuyến mang lại cho bạn là lối thoát: tạo nguyên mẫu cục bộ trên các trọng số, rồi chuyển đường chạy production sang một mô hình được host mà không cần viết lại client.

Quy tắc ngón tay cái

Hãy mua mô hình 24 GB nếu ràng buộc nằm ở máy. Nemotron 3.5 Bolt 74B-A9B là mẫu duy nhất trong hai mẫu này chạy được trên một card tiêu dùng đơn lẻ mà không cần tự lượng tử hóa, nó đọc được hình ảnh, và chỉ cách Ripple trong vòng một điểm trên GPQA. Bạn đánh đổi khoảng ba mươi điểm Terminal-Bench 2.1 và chấp nhận một checkpoint 2-bit, đây là cái giá thực sự về độ tin cậy tác tử mà khoảng cách benchmark có lẽ còn đánh giá thấp.

Hãy mua mô hình 130 GB nếu công việc là lập trình tác tử chỉ dùng văn bản và bạn có phần cứng hoặc một endpoint lưu trữ giá rẻ. Điểm 80,5 của Ripple 65B Preview trên Terminal-Bench 2.1 là tuyên bố về lập trình tác tử mạnh nhất mà cả hai phòng thí nghiệm đưa ra trong tháng này, và giấy phép Apache 2.0 của nó là lựa chọn ít rào cản nhất mà bạn có thể tìm thấy ở bất kỳ đâu. Chỉ cần chạy bản dựng NVFP4, dự trù bộ nhớ, và tái tạo lại con số đó trên bộ tác vụ của riêng bạn trước khi tin vào nó — chính tấm thẻ mô hình cảnh báo rằng việc tái lập đã gặp khó khăn.