Ripple 65B Preview so với Muse Wonder: Gấp 20× giá thực sự mang lại điều gì

Có đúng một benchmark mà cả Ripple 65B Preview và Muse Wonder đều công bố, ở cùng một phiên bản, với những con số có thể đặt cạnh nhau trong cùng một câu: DeepSWE 1.1. Muse Wonder của Meta báo cáo 78,8. Ripple 65B Preview của Ricursive báo cáo 44,3. Đó là khoảng cách 34,5 điểm trong công việc của agent kỹ thuật phần mềm, và đây là phép so sánh sạch duy nhất mà hai bản ra mắt đưa ra — mọi thứ còn lại hoặc là một phiên bản benchmark khác, hoặc là một cột chỉ có dấu gạch ngang.

Vậy nên câu hỏi không phải là liệu Muse Wonder có tốt hơn ở tác vụ đó hay không. Rõ ràng là có, theo chính các con số của các phòng lab. Câu hỏi là liệu nó có tốt hơn đủ để biện minh cho việc tốn khoảng gấp hai mươi lần chi phí đầu vào và gấp ba mươi ba lần chi phí đầu ra hay không. Đó là một quyết định thực sự với một câu trả lời thực sự, và câu trả lời đó không giống nhau cho mọi khối lượng công việc.

Vì sao DeepSWE 1.1 là cuộc cạnh tranh công bằng

Cả hai phòng thí nghiệm đều đã chạy phiên bản 1.1 của cùng một bài đánh giá. Không bên nào công bố một lần chạy lại do bên thứ ba thực hiện, vì vậy cả hai con số đều mang cùng một lưu ý — chúng do nhà cung cấp tự báo cáo và chưa được tái lập — và chính sự đối xứng đó khiến việc so sánh trở nên hữu ích. Khi hai tuyên bố đều mang tính tự phục vụ như nhau, khoảng cách giữa chúng vẫn mang tính thông tin.

Đối chiếu điều đó với Terminal-Bench, nơi hai phòng thí nghiệm hoàn toàn không thi cùng một bài kiểm tra. Ripple báo cáo 80,5 trên Terminal-Bench 2.1. Meta báo cáo Muse Wonder Full đạt 57,1 trên Terminal-Bench 4.0, một phiên bản muộn hơn và khó hơn. Bất kỳ ai xếp chúng cạnh nhau để tuyên bố Ripple là người chiến thắng đều đang so sánh một mô hình đã làm đề thi năm 2024 với một mô hình đã làm đề thi năm 2026. Cách Meta tự trình bày vấn đề ở đây rất thận trọng, còn luồng ra mắt của Ricursive thì không.

Một lưu ý nữa ở phía Meta: bảng JobBench của công ty tuyên bố 75,3 cho Muse Wonder Full so với 30,8 cho Muse Wonder tiêu chuẩn, một khoảng cách 44 điểm mà chưa có đơn vị đánh giá độc lập nào tái lập được. Hãy coi các bảng điểm chuẩn nội bộ từ bất kỳ phòng thí nghiệm nào là quảng cáo cho đến khi có người bên ngoài tổ chức đó chạy chúng.

Chênh lệch giá thực sự là gì

Muse Wonder có giá 4,00 USD mỗi triệu token đầu vào và 20,00 USD mỗi triệu token đầu ra, với đầu vào được lưu trong bộ nhớ đệm ở mức 0,20 USD. Ripple 65B Preview được niêm yết ở mức 0,20 USD và 0,60 USD trên endpoint được lưu trữ đầu tiên của nó — một con số chỉ nên xem tương đối, vì Ricursive chưa công bố bảng giá nào và endpoint đó phục vụ ngữ cảnh 16.384 token so với cửa sổ quảng cáo 1 triệu token. Ngay cả khi chấp nhận con số niêm yết theo giá trị danh nghĩa, tỷ lệ là 20× về đầu vào và 33× về đầu ra.

Các tỷ lệ trên mỗi token khiến các mô hình nhỏ trông có lợi hơn và gây hiểu nhầm về hóa đơn thực tế, vì vậy đây là phép tính trên một khối lượng công việc mà bạn có thể thực sự chạy. Giả sử agent lập trình của bạn tạo ra 50 triệu token đầu ra mỗi tháng và đọc 200 triệu token đầu vào để làm việc đó.

• Trên Muse Wonder: 200 × $4.00 = $800 đầu vào, cộng 50 × $20.00 = $1,000 đầu ra. Tổng cộng $1,800 mỗi tháng.

• Với Ripple 65B Preview ở mức giá niêm yết: 200 × $0.20 = $40 đầu vào, cộng 50 × $0.60 = $30 đầu ra. Tổng cộng $70 một tháng.

• Sự khác biệt: 1.730 đô la một tháng, hay khoảng 20.760 đô la một năm, cho cùng số lượng token danh nghĩa.

Giờ đến phần mà bảng tính bỏ sót. Nếu Ripple thất bại ở một trong ba nhiệm vụ và bạn thử lại, sản lượng hiệu dụng của bạn tăng thêm một nửa. Thử lại hai lần thì bạn đã nhân đôi nó. Điểm hòa vốn không hề khó thấy — Ripple có thể kém hiệu quả gấp ba mươi ba lần trên mỗi token mà vẫn tốn ít hơn — nhưng kiểu thất bại còn tệ hơn cả hóa đơn. Một tác nhân lập trình thất bại một phần ba số nhiệm vụ không chỉ tốn thêm chi phí; nó còn tiêu tốn thời gian của kỹ sư, người phải phát hiện, gỡ rối và chạy lại công việc. Hãy tính cả chi phí giám sát, không chỉ token.

Artificial Analysis đưa Muse Wonder (Max) ở mức 6,95 USD cho mỗi tác vụ chỉ số trên trang mô hình trực tiếp của họ — một đơn vị trung thực hơn so với đô la trên mỗi triệu, và là đơn vị không có tương đương cho Ripple, vì chưa ai chạy nó qua một bộ tác vụ tiêu chuẩn.

Meta đang thu phí những gì, ngoài các trọng số

Muse Wonder là một mô hình đóng với bề mặt đầu vào rộng bất thường: nhận văn bản, hình ảnh, video, âm thanh và PDF, xuất ra văn bản, trên ngữ cảnh 1.048.576 token với mức trần đầu ra 131.072 token. Mô hình chạy suy luận luôn bật với sáu mức nỗ lực có thể chọn, hỗ trợ gọi công cụ song song và đầu ra có cấu trúc, đồng thời cung cấp hai tính năng không hề có tương đương trên card của Ripple — Active Memory, mang ngữ cảnh xuyên suốt các cuộc hội thoại, và Active Focus, được thiết kế để giữ một tác vụ dài gắn kết mà không bị trôi.

Việc bạn có quan tâm hay không phụ thuộc hoàn toàn vào cấu trúc khối lượng công việc của bạn. Nếu agent của bạn phải đọc ảnh chụp màn hình của một bài kiểm thử thất bại, phiên âm một cuộc gọi khách hàng và đối chiếu nó với một hóa đơn PDF trong cùng một lượt, thì không điểm chuẩn nào của Ripple giúp được bạn, vì Ripple 65B Preview chỉ nhận văn bản và trả về văn bản. Khoảng cách về phương thức không phải là khác biệt hiệu năng mà bạn có thể khắc phục bằng một prompt tốt hơn.

{{1}}Muse Wonder (Max){{/1}} đạt {{2}}44{{/2}} trên Chỉ số Trí tuệ của Artificial Analysis — {{3}}#26 trong số 66 mô hình cùng phân khúc{{/3}}, và cao hơn mức trung vị 36 của các mô hình tương đương, tuy không còn là mức 52 cận biên giới tiên phong mà các bài đưa tin tuần ra mắt từng báo cáo. Chỉ số này đã được xây dựng lại vào cuối tháng 10 và một số mô hình đã thay đổi vị trí. Ripple 65B Preview hoàn toàn không xuất hiện trên đó.

Apache 2.0 đáng giá bao nhiêu

Ripple 65B Preview là mô hình 65 tỷ tham số dense theo giấy phép Apache 2.0, với toàn bộ trọng số trên Hugging Face ở định dạng BF16 cùng các biến thể NVFP4 và base-model. Ở BF16, checkpoint đó nặng khoảng 130 GB — tức thuộc tầm DGX Spark hoặc một lượt chạy lượng tử hóa trên máy nhỏ hơn — chứ không phải một chiếc MacBook, bất chấp những gì các bài đưa tin ra mắt nói, trừ khi bạn chạy bản dựng NVFP4. Ricursive tuyên bố đạt 250 token mỗi giây trên hai B200 ở batch size 8 trước khi có bất kỳ kernel tùy chỉnh nào, và khoảng 40% MFU trong suốt quá trình tiền huấn luyện trên sharding thông thường.

Điều đó mang lại cho bạn mọi thứ mà một mô hình đóng được lưu trữ không thể cung cấp: khả năng tinh chỉnh trên dữ liệu của chính bạn, chạy suy luận mà không có hóa đơn theo từng token và không có dữ liệu nào rời khỏi mạng của bạn, ghim một phiên bản mãi mãi, và phục vụ nó lúc 3 giờ sáng mà không phụ thuộc vào trang trạng thái của người khác. Đối với một khối lượng công việc chịu quy định, danh sách đó thường đáng giá hơn 34 điểm DeepSWE. Đối với một startup đang xuất xưởng một agent trong quý này, thường thì không.

Cũng có một sự bất đối xứng về giấy phép đáng để nêu tên. Apache 2.0 gần như là mức cho phép tối đa mà trọng số mở có thể đạt được. Muse Wonder hoàn toàn đóng — người anh em trọng số mở của Meta trong dòng này là Muse Spark Open, một mô hình khác và lớn hơn nhiều với 816B tham số, 42B tham số hoạt động và 256 chuyên gia, chứ không phải một phiên bản nhỏ hơn của Wonder. Nếu trọng số mở là yêu cầu bắt buộc chứ không phải sở thích, thì so sánh này dừng tại đây.

Chạy cả hai song song với nhau

Hiện cả hai mô hình đều chưa có trong danh mục của chúng tôi, và sẽ không có hàm ý nào rằng chúng sẽ có. Muse Wonder tiếp cận nhà phát triển thông qua API của chính Meta; Ripple qua endpoint của Ricursive và các nền tảng bên thứ ba, với trọng số trên Hugging Face. Điều mà một router hữu ích trong tình huống này chính là điều mà cả hai đợt ra mắt đều cho thấy rõ: bạn không muốn một luồng production được gắn với một Preview mới ra một ngày mà chính card mô hình của nó nói rằng điểm số của nó khó tái lập. Bạn muốn mô hình đó nằm sau một fallback, nhận một phần lưu lượng mà bạn có thể tăng lên khi bằng chứng tích lũy — tự động failover sang một mô hình đã được kiểm chứng là tốt khi có lỗi hoặc timeout, thay vì phải viết lại khi thử nghiệm không như ý.

Cách đó cũng chính là cách bạn trả lời câu hỏi về giá một cách thực nghiệm. Điều hướng 10% lưu lượng lập trình của bạn sang Ripple, giữ 90% ở Muse Wonder, và so sánh không phải hóa đơn token mà là chi phí cho mỗi tác vụ hoàn thành — bao gồm cả các lần thử lại và thời gian của con người. Một khóa API, một dòng thanh toán, và một con số mà bạn có thể bảo vệ trong một cuộc họp lập kế hoạch, điều mà không bảng benchmark nào có thể mang lại cho bạn.

Ai nên trả gấp hai mươi lần?

Hãy trả tiền cho Muse Wonder nếu công việc của bạn mang tính đa phương thức, dài hạn hoặc hướng tới khách hàng: các agent đọc ảnh chụp màn hình, trợ lý cần ghi nhớ người dùng qua nhiều phiên, bất cứ thứ gì mà tỷ lệ ảo giác 27% đã là quá cao và bạn cần độ tin cậy mà quá trình hậu huấn luyện của một phòng thí nghiệm tiên phong mang lại. Mức $6.95 mỗi tác vụ lập chỉ mục là một mức giá hợp lý cho một mô hình hoàn thành được tác vụ.

Hãy chạy {{1}}Ripple 65B Preview{{/1}} nếu công việc chỉ gồm văn bản, có giới hạn và khối lượng lớn, và nếu bạn có phần cứng hoặc một endpoint giá rẻ: phân loại theo lô, đánh giá mã theo bộ tiêu chí cố định, trợ lý cục bộ, nền tảng để tinh chỉnh. Với {{2}}$0.20{{/2}} và {{3}}$0.60{{/3}}, nó rẻ hơn ba mươi ba lần về đầu ra, và với một khối lượng công việc phát huy thế mạnh của nó, tỷ lệ đó vượt qua mức kém 34,5 điểm trên một benchmark.

Sai lầm sẽ là coi khoảng cách DeepSWE như một phán quyết. Đó chỉ là một bài kiểm tra, được thực hiện một lần, do chính phòng thí nghiệm đặt ra nó công bố. Con số đáng để quyết định việc này cho bạn không phải là 78.8 so với 44.3 — mà là kết quả trên bộ tác vụ của chính bạn khi bạn chạy cả hai, và con số đó chưa tồn tại cho đến khi bạn tạo ra nó.