Ripple-65B Preview: Endpoint $0.20, Merge vLLM Native, dan Tiga Angka Konteks

Bobot model mendarat pada 02:41 UTC tanggal 4 November. Sembilan belas jam kemudian seseorang membuka pull request untuk memasukkannya ke cabang main vLLM, dan pada 17:36 UTC tanggal 5 November PR itu di-merge — 1.153 baris tambahan di 27 file. Itu cepat bahkan menurut standar rilis model yang banyak diperhatikan, dan itu mengubah sesuatu yang spesifik: sampai merge tersebut, Ripple-65B Preview — checkpoint dense 65B berlisensi Apache 2.0 dari Ricursive Intelligence — hanya memiliki satu jalur serving yang terdokumentasi, yakni plugin yang dirilis penulisnya di luar engine. Pertanyaan bagi siapa pun yang mengevaluasinya bukan lagi apakah model ini bisa di-serve. Melainkan cara mana di antara opsi serving yang kini resmi yang cocok dengan hardware Anda, dan berapa biaya tersembunyi dari masing-masing opsi tersebut.

Ada dua fakta di balik pertanyaan itu dan keduanya tarik-menarik ke arah berlawanan. Dukungan native vLLM membuat self-hosting masuk akal bagi tim yang tidak pernah berhasil membuat skrip SGLang out-of-tree berjalan. Sementara itu, daftar hosted masih tidak sejalan dengan kartu model soal berapa banyak konteks yang benar-benar Anda dapatkan — satu halaman layanan menampilkan 128K di sidebar spesifikasinya, sedangkan bagian kartu model di halaman yang sama menyebut hingga 1,048,576 token, dan endpoint komersial pertama yang membawa model tersebut melayani 16,384. Tidak ada fakta yang menyelesaikan apa yang seharusnya dilakukan model 65B yang mengiklankan konteks sejuta token ketika endpoint yang berada di depannya menyebut 128K.

Apa yang sebenarnya kurang sebelum merge

Petunjuknya ada dalam deskripsi pull request itu sendiri, yang menyatakan bahwa sebelumnya, "satu-satunya jalur serving adalah plugin SGLang out-of-tree milik para penulis." Plugin itu disertakan bersama model card sebagai setup SGLang 0.5.19, yang berarti siapa pun yang ingin menyajikan Ripple-65B Preview harus mengadopsi versi engine tertentu dengan skrip eksternal, atau menulis definisi model mereka sendiri terhadap checkpoint yang mendeklarasikan arsitektur kustom.

Poin kedua itulah yang diam-diam mematikan adopsi. Repositori BF16 membawa tag custom_code, dan konfigurasinya mengidentifikasi arsitektur sebagai RicursiveForCausalLM — nama yang belum pernah didengar mesin mana pun seminggu yang lalu. Memuatnya berarti --trust-remote-code, yang di sebagian besar lingkungan produksi merupakan percakapan dengan peninjau keamanan sebelum itu menjadi keputusan teknis.

Merge menghilangkan langkah itu alih-alih mengakalinya. PR ini menambahkan RicursiveConfig bawaan, sehingga checkpoint dimuat tanpa --trust-remote-code, dan mendaftarkan arsitektur tersebut di registri model bersama semua keluarga kelas satu lainnya. Upaya paralel untuk melakukan hal yang sama pada SGLang masih terbuka dan belum di-merge, jadi vLLM saat ini adalah satu-satunya mesin arus utama tempat model ini didukung secara resmi, bukan sekadar sebagai skrip.

Bagian-bagian dari penggabungan yang lebih penting daripada file model

Implementasi model sepanjang 413 baris adalah bagian yang tidak glamor. Tambahan-tambahan yang menarik adalah yang membuat model berperilaku seperti hal yang digambarkan oleh angka-angka benchmark-nya.

• Penalaran dan pemanggilan alat — merge ini menambahkan --reasoning-parser ripple dan --tool-call-parser ripple, yang menangani blok think opsional dan pemanggilan alat JSON bergaya Hermes, dengan output streaming yang sesuai dengan bentuk non-streaming. Tanpa ini, model agentic mengembalikan teks yang harus Anda parse sendiri, dan proses parse itulah tempat agen yang sudah di-deploy gagal.

• Resep yang tervalidasi — recipes/models/ricursiveAI/Ripple-65B-Preview.yaml, 97 baris, secara default menggunakan checkpoint NVFP4 pada satu B300, dengan varian BF16 dan parser yang sudah terpasang. File ini lolos validate-source.mjs milik repositori recipes itu sendiri. Ini adalah hal yang paling mendekati panduan resmi "jalankan seperti ini" yang ada untuk model tersebut.

Dekode spekulatif melalui checkpoint draf — repositori ini menyertakan drafter 4,04B, dan penggabungan tersebut mengajarkan vLLM untuk membaca tata letak lapisan NoPE-nya melalui no_rope_layers. Pada GSM8K, PR melaporkan panjang penerimaan rata-rata meningkat dari 4,98 menjadi 7,34 token per langkah verifikasi.

• 158 baris tes parser, ditambah pembangun jejak (trace builder), yang merupakan bagian paling tidak terlihat sekaligus paling menenangkan: perilaku reasoning-parser dikunci oleh tes, bukan oleh komentar.

Mengapa panjang penerimaan adalah angka yang perlu diperhatikan, bukan token per detik

Angka efisiensi Ricursive sendiri adalah 250 token per detik pada dua B200 dengan ukuran batch 8, sebelum kuantisasi atau kernel kustom. Angka itu diukur dengan build SGLang milik para penulis sendiri, pada revisi checkpoint yang mereka uji. Itu adalah batas atas yang bagus sekaligus masukan perencanaan yang buruk, karena hal yang menentukan apakah loop agen terasa cepat adalah berapa banyak token yang lolos verifikasi per pass draf.

Drafter membantu di situ dan hanya di situ. Ia mengusulkan blok 16 token dengan 32 kandidat per posisi dan membaca hidden state perantara dari target pada lapisan 1, 20, 39, 58, dan 77 — model 4,04B yang seluruh tugasnya adalah menebak apa yang akan dikatakan model 64,8B berikutnya. Kartunya sendiri berhati-hati soal kondisinya: validasi dijalankan pada delapan H100 di bawah ripple-sglang terhadap checkpoint RL-step-500, dan kartu itu menyatakan secara gamblang bahwa ini "tidak menetapkan kompatibilitas atau kinerja untuk revisi target atau versi runtime lain."

Baca kalimat itu dua kali sebelum Anda menyusun anggaran latensi berdasarkan 7.34. Itu adalah pengukuran dengan revisi yang sama dan runtime yang sama. Penggabungan vLLM mengubah runtime. Belum ada yang menerbitkan angka acceptance-length untuk jalur yang sudah digabungkan, dan itulah hal pertama yang akan saya ukur pada trafik saya sendiri daripada meminjamnya.

Berapa biaya unduhan bagi Anda, dan pada perangkat keras apa itu cocok

Repositori instruct BF16 berukuran 129,6 GB dalam 16 shard, dan metadata safetensors berjumlah total 64.782.689.360 parameter — dense, semuanya aktif pada setiap token. Tidak ada expert routing yang dapat dimanfaatkan dan tidak ada cara untuk menukar parameter aktif demi kualitas. Jika Anda menginginkan model presisi penuh, itulah angka yang harus Anda sediakan, ditambah KV cache.

• Jalur terkuantisasi — repositori NVFP4 menyimpan 39.616.865.360 parameter, sekitar 61% dari jumlah BF16, dan resep gabungan secara default menggunakannya pada satu B300.

• Jalur draf — menambahkan 4.04B parameter dan jalur KV kedua jika Anda mengaktifkan DFlash2; resep ini membiarkannya tetap opt-in, bukan default.

• Klaim workstation tunggal — Ricursive mengatakan model tersebut muat pada sebuah NVIDIA DGX Spark, dan sebuah laporan komunitas menyebutkannya berjalan pada tiga kartu Radeon AI PRO R9700 di bawah ROCm 7.2.1. Keduanya kredibel untuk checkpoint terkuantisasi dan tidak satu pun disertai angka throughput yang akan saya kutip sebagai tingkat layanan.

Paralelisme — penggabungan ini secara eksplisit mengklaim tensor parallel, pipeline parallel, torch.compile, dan CUDA graphs, yang membuat penyajian multi-GPU untuk model dense 65B menjadi praktis, bukan sekadar aspirasi. Model dense terpecah dengan bersih, dan 65B di empat kartu 80GB adalah tata letak tensor-parallel-4 yang nyaman dalam BF16.

Jendela konteks masih tiga angka yang berbeda

Ini adalah butir yang belum terselesaikan, dan butir ini lolos dari penggabungan tanpa perubahan karena ini merupakan pertanyaan tentang konfigurasi penyajian, bukan pertanyaan tentang mesin.

Kartu model mengiklankan "panjang konteks hingga 1M," dan konfigurasinya mendukung posisi jauh melampaui itu — tahap pelatihan konteks panjang menggunakan urutan 2M-token. Daftar komersial yang diterbitkan minggu ini mengangkat judul jendela konteks 128K dan mengulang 128K di bilah samping spesifikasinya, sementara bagian kartu model di halaman yang sama menyebutkan "panjang konteks hingga 1,048,576 token." Saat peluncuran, endpoint hosted pertama yang membawa model tersebut melayani 16,384.

Tiga angka, satu titik pemeriksaan. Penjelasan yang paling mungkin tidaklah istimewa: angka 1M menggambarkan apa yang dapat dilakukan oleh arsitektur dan bobot, sedangkan angka-angka yang lebih kecil menggambarkan untuk apa suatu penerapan penyajian tertentu telah dikonfigurasi dan divalidasi. Itu adalah kesenjangan yang normal. Itu juga merupakan kesenjangan yang menentukan apakah model tersebut dapat digunakan untuk pekerjaan agen berskala repositori, karena jendela 16K tidak dapat menampung diff besar beserta keluaran pengujiannya, sedangkan jendela 128K dapat menampung sekitar satu diff.

Jika Anda mengevaluasi Ripple-65B Preview untuk pemrograman agentik, anggap angka konteks sebagai properti endpoint, bukan properti model, dan ujilah endpoint tersebut. Resep vLLM adalah tempat Anda dapat mengatur sendiri.

Bagaimana posisi keputusan routing setelah ini

Semua ini tidak mengubah bentuk pilihannya, hanya jumlah jalur yang layak untuk mencapainya. Anda sekarang dapat menjalankan model sendiri di vLLM dengan resep resmi, atau memanggil endpoint terkelola dengan biaya sekitar $0,20 per juta token input dan $0,60 per juta token output, dengan input yang di-cache ditagih hanya sebagian kecil dari itu. Itu adalah produk yang berbeda dengan bobot yang sama: yang satu memberi Anda kendali atas jendela konteks dan tagihan, yang lain memberi Anda kartu kredit dan antrean orang lain.

OrcaRouter tidak menyediakan Ripple-65B Preview — katalognya berisi 200+ model dan model ini bukan salah satunya, dan itu layak dikatakan terus terang daripada memberi kesan sebaliknya. Artinya dalam praktik: jika alasan Anda melihat model ini adalah karena model ini murah dan terbuka, perbandingan yang sebenarnya Anda butuhkan adalah dengan sesuatu yang dapat Anda akses dengan kunci yang sama. DeepSeek V4 Pro berada pada $0.66 dan $1.98 per juta dengan konteks 1M dan output maksimum 384K; Kimi K3.1 Pro berada pada $2.00 dan $10.00 dengan konteks 1M dan batas output 943K. Menjalankan keduanya melalui satu endpoint dengan failover otomatis adalah bagian dari stack yang dapat kami tangani untuk Anda. Bagian Ripple menjadi tanggung jawab Anda untuk dihosting atau dibeli.

Apa yang masih dilaporkan vendor, dan apa yang ditemukan pihak luar

Setiap angka kemampuan yang dilekatkan pada model ini berasal dari Ricursive. Terminal-Bench 2.1 di 80,52 adalah angka utamanya, dan kartu tersebut juga memuat 80,5 pada Terminus 2, 76,5 pada SWE-bench Verified, 61,42 pada SWE-bench Pro v1.0, 79,1 pada SWE-bench Pro v2.0 Hard, 44,3 pada DeepSWE 1.1, 39,4 pada SciCode, dan 71,67 pada MCP Atlas. Tidak satu pun dari angka itu telah direproduksi oleh laboratorium independen, dan Artificial Analysis tidak memiliki entri untuk model ini — direktori models-nya mengembalikan 404 untuk setiap slug Ripple yang saya coba, yang dari luar terlihat seperti "belum dinilai".

Satu-satunya sinyal independen yang ada justru mengarah ke arah sebaliknya dan perlu dinyatakan secara tepat. Suite berisi 157 tes bernama Cold Iron memberi model skor 93 dari 157 dan menempatkannya di peringkat 28 dari 28, tertinggal lima poin dari entri terendah berikutnya. Rincian dari penulisnya sendiri lebih menarik daripada peringkatnya: dari 64 kegagalan, 12 adalah timeout penyedia yang mengembalikan nol token dan 49 adalah finish=length — model kehabisan anggaran output 4.096 token sebelum menghasilkan jawaban yang dapat dinilai. Hanya tiga yang merupakan kesalahan konten. Jika timeout dihitung sebagai berhasil, skornya akan naik menjadi 105, masih sekitar peringkat 26.

Itu adalah hasil yang sama besarnya ditentukan oleh konfigurasi penyajian seperti halnya kemampuan, dan itulah tepatnya jenis kegagalan yang seharusnya dikurangi oleh dukungan engine native dengan resep yang tervalidasi. Model yang menghabiskan batas output 4K pada tugas coding adalah model yang dijalankan dengan cara yang salah, bukan necessarily model yang tidak bisa coding.

Tontonan Berikutnya

Tiga hal akan menyelesaikan model ini lebih cepat daripada liputan apa pun. Skor independen — begitu Artificial Analysis atau LMArena mengambilnya, tabel vendor menjadi dapat diperiksa alih-alih sekadar dikutip. Sebuah merge di sisi SGLang, yang akan mengakhiri situasi mesin tunggal. Dan sebuah checkpoint tanpa "Preview" dalam namanya, karena Ricursive menyebut rilis ini sengaja hanya menjalani post-training secara ringan, dengan produk internal sebenarnya adalah varian desain chip.

Sampai saat itu, ringkasan jujur minggu ini sempit namun berguna: soal penyajian meningkat secara signifikan dalam 36 jam, soal kemampuan tidak berubah sama sekali, dan pertanyaan jendela konteks berpindah dari kartu model ke berkas konfigurasi Anda sendiri.