RWKV-7 (Goose): Menyelami Pull Request yang Akhirnya Akan Memuatnya di Transformers

Model RWKV yang paling banyak diunduh di Hugging Face bulan lalu bukanlah RWKV-7 (Goose), arsitektur yang telah dirilis proyek ini sejak Maret 2025, dan juga bukan RWKV7-G1, seri penalaran yang dilatih di atasnya. Itu adalah RWKV/rwkv-4-169m-pile: checkpoint RWKV-4 dengan 169 juta parameter dari Mei 2023, dengan 8.824 unduhan dalam 30 hari hingga 5 Agustus 2026, dibandingkan dengan 215 untuk rilis 1.5B RWKV-7 Goose World-3 dan 316 untuk 2.9B. Model 2023 itu tidak lebih baik. Model itulah yang dimuat dengan panggilan from_pretrained biasa tanpa instalasi tambahan apa pun.

Pada 4 Agustus 2026, seorang kontributor bernama Hakureirm membuka pull request #47780 terhadap huggingface/transformers, dengan judul "Add RWKV-7 (Goose)". Hingga 5 Agustus, PR tersebut masih terbuka, belum direview, dan belum digabungkan, dan ini adalah upaya kedua — proposal sebelumnya, #46984, ditolak. Belum ada yang masuk, dan tulisan ini tidak boleh dibaca sebagai pengumuman rilis. Namun diff-nya publik, dan diff tersebut membahas hal paling membosankan sekaligus paling berdampak yang menghalangi garis keturunan LLM tanpa attention yang paling lama berjalan dari tumpukan teknologi yang sebenarnya digunakan banyak tim: sebuah loader.

Berikut ini memisahkan tiga jenis klaim, karena liputan tentang RWKV biasanya mencampuradukkan semuanya. Ada yang dapat diverifikasi dalam pull request dan di Hub, yang bisa Anda periksa sendiri. Ada yang dilaporkan proyek RWKV tentang model-modelnya sendiri, berdasarkan evaluasinya sendiri. Dan ada banyak pertanyaan yang belum dijawab siapa pun secara publik, dan di situlah sebagian besar risiko menarik berada.

Apa yang sebenarnya ada di dalam pull request?

Fakta-fakta mekanis, yang dibaca dari halaman PR dan API GitHub pada 5 Agustus 2026:

• Lingkup — tiga commit, 12 file diubah, 4.423 baris ditambahkan dan nol dihapus, dari cabang add-rwkv7-upstream ke huggingface:main. Diberi label "New model". Tidak ada assignee, tidak ada milestone.

• Apa yang ditambahkan — RWKV-7 sebagai dua kelas publik, Rwkv7Model dan Rwkv7ForCausalLM, bersama dengan Rwkv7Cache yang dibangun di atas LinearAttentionLayer milik pustaka ini. Tipe data state WKV dapat dikonfigurasi secara independen dari tipe data model, yang penting karena state berulang adalah tempat di mana drift numerik terakumulasi dalam keluarga ini.

• Cara kerjanya — PyTorch portabel tanpa ketergantungan runtime pihak ketiga. Prefill menggunakan bentuk rekurensi paralel per-chunk; decode berjalan melalui jalur token tunggal sekuensial. Nama-nama parameter mengikuti implementasi referensi RWKV upstream, alih-alih diubah namanya agar tampak seperti transformer.

• Postur Pengujian — di luar mixin model standar, uji integrasi yang cocok token-demi-token dengan runtime milik BlinkDL sendiri, ditambah implementasi referensi NumPy yang tidak berbagi kode dengan file pemodelan. Bot rekap CI repo tersebut melaporkan proses terbaru sukses: 16 pekerjaan, 179.151 pengujian, nol kegagalan, 16 jam 9 menit komputasi.

• Posisi saat ini — permintaan peninjauan telah diajukan kepada ArthurZucker dan Rocketknight1; laman tersebut menyatakan bahwa setidaknya satu peninjauan yang menyetujui diperlukan untuk menggabungkan, dan keduanya belum diberikan. API GitHub masih menggambarkan status penggabungan sebagai "tidak stabil" saat kami membacanya, dan bot yang menghadap pemelihara telah meminta rangkaian pengujian lambat (auto dan rwkv7) dijalankan sebelum penggabungan. Dengan kata lain: hijau di CI cepat, belum disetujui oleh manusia.

Bagian yang paling menarik dari deskripsi tersebut adalah pengakuannya. Upaya sebelumnya, #46984, ditolak karena checkpoint RWKV-7 yang diterbitkan tidak mengikuti konvensi Transformers, dan penulisnya sendiri menyatakan bahwa "keberatan itu benar." Masalah yang dipaparkan dalam PR adalah bahwa bobot RWKV-7 di Hub hadir dalam dua bentuk yang tidak dapat digunakan oleh pustaka:

• Repositori PTH — file .pth mentah, tanpa safetensors. Implementasi pustaka tidak dapat memuatnya, dan file pickle PyTorch adalah persis seperti yang akan ditolak oleh tinjauan keamanan di perusahaan besar.

• Repositori HF — yang memang menyertakan model.safetensors, tetapi masing-masing juga menyertakan modeling_rwkv7.py dan auto_map, sehingga untuk memuatnya diperlukan trust_remote_code. Itu adalah eksekusi kode jarak jauh sebagai syarat inferensi, itulah sebabnya banyak daftar periksa perusahaan berhenti di situ.

Jadi PR tersebut melakukan dua pekerjaan sekaligus. PR ini menambahkan file pemodelan, dan merujuk pada serangkaian konversi baru yang dibuat langsung dari rilis .pth kanonik BlinkDL yang mengikuti tata letak standar — hanya safetensors, tanpa pickle, tanpa kode jarak jauh, config.json normal yang memuat arsitektur dan model_type — mulai dari 0.1B hingga 7.2B. Yang terkecil, Hakureirm/rwkv7-168m-pile-hf, memiliki semua 399 tensor-nya diverifikasi bit-identik terhadap .pth sumber, bukan diperiksa secara acak. Checkpoint tersebut adalah model Pile, sehingga tokenizer-nya adalah tokenizer cepat GPT-NeoX-20B biasa, bukan kosakata RWKV World — alasan yang sama mengapa halaman RWKV pustaka yang ada juga mendokumentasikan checkpoint Pile.

Mengapa checkpoint dari 2023 lebih banyak diunduh daripada arsitektur saat ini

Transformers berada pada versi 5.14.1, dirilis 16 Juli 2026. Telusuri dokumentasinya untuk RWKV dan Anda akan menemukan tepat satu halaman model, yang menjelaskan "model RWKV (versi 4)", dikontribusikan bertahun-tahun lalu, dengan RWKV/rwkv-4-169m-pile sebagai contoh dan kosakata default sebanyak 50.277 token. Tidak ada halaman untuk RWKV-5, RWKV-6, atau RWKV-7. Tiga generasi arsitektur telah dirilis sejak dukungan RWKV perpustakaan ini ditulis, dan tidak satu pun dari ketiganya ada di dalamnya.

Angka unduhan menunjukkan apa yang dilakukan ekosistem tentang hal itu: ekosistem memutar jalur mengelilingi pustaka tersebut. Jika diurutkan berdasarkan unduhan dalam 30 hari terakhir, repositori RWKV-7 teratas adalah rilis .pth mentah milik BlinkDL (rwkv7-g1 dengan 8,288, rwkv-7-world dengan 4,489) dan lapisan tebal kuantisasi GGUF komunitas dari G1 13.3B — beberapa pengunggah terpisah yang masing-masing menghasilkan satu hingga tiga ribu unduhan per bulan. Cermin resmi berformat transformers berada dua orde magnitudo di bawah bobot mentah. Cermin flash-linear-attention dari G1 2.9B mencapai 1,843.

Pola itu memiliki penjelasan sederhana. llama.cpp menggabungkan dukungan RWKV v7 pada 17 Maret 2025 — sebuah kernel GGML_OP_RWKV_WKV7 dengan backend CPU, CUDA, SYCL, Vulkan, dan Metal — sekitar satu hari setelah makalah tersebut dipublikasikan. Jika Anda ingin menjalankan RWKV-7 di mesin Anda sendiri, jalur cepatnya adalah GGUF, dan sudah seperti itu selama enam belas bulan. Jalur yang tidak ada adalah jalur yang diasumsikan oleh setiap skrip fine-tuning, setiap adaptor PEFT, setiap kerangka evaluasi, dan setiap pembungkus serving internal: AutoModelForCausalLM.from_pretrained, tanpa flag.

Apa sebenarnya RWKV-7 (Goose) itu

RWKV-7 adalah jaringan saraf berulang, bukan transformer dengan kernel perhatian yang lebih murah, dan penamaan ini terus-menerus membingungkan orang. Ia membawa state berukuran tetap ke depan melalui urutan, alih-alih cache yang terus bertambah dari key dan value masa lalu. Secara konkret, dibandingkan dengan model perhatian standar:

• Memori seiring bertambahnya konteks — cache KV sebuah transformer bertambah secara linear seiring jumlah token yang sedang diproses; RWKV-7 menyimpan state yang ukurannya ditentukan oleh arsitektur, bukan oleh percakapan. Itulah inti argumen efisiensi.

• Biaya per token — biaya attention per token lebih tinggi seiring memanjangnya konteks; biaya inferensi per token RWKV-7 konstan, sehingga ia terus muncul dalam proposal edge dan always-on-stream.

• Bentuk pelatihan — tidak seperti RNN klasik, rekurensi dapat diparalelkan dalam satu chunk, sehingga pelatihan awal tidak merosot menjadi proses sekuensial yang lambat. Itulah yang diimplementasikan oleh jalur prefill paralel-per-chunk pada PR tersebut.

• Batas atas konteks — tidak ada cache yang bisa meluap, sehingga proyek ini memasarkan konteks yang secara efektif tidak terbatas. Yang tidak bisa dilakukan oleh keadaan tetap adalah menyimpan detail tanpa batas, yang merupakan keterbatasan nyata, bukan sekadar catatan kaki.

Klaim arsitektural dalam makalah tersebut, yang diterbitkan pada 18 Maret 2025 oleh Bo Peng, Yu Zhang, Songlin Yang, dan Ruichong Zhang di bawah Proyek RWKV di LF AI & Data Foundation, adalah aturan delta yang digeneralisasi dengan gating bernilai vektor, tingkat pembelajaran dalam-konteks, dan aturan penggantian nilai yang dilonggarkan, plus MLP yang disederhanakan (matriks gating dihilangkan, lebar dimensi tersembunyi diperlebar sebagai kompensasi). Hasil teoretis yang melekat padanya adalah bagian yang lebih provokatif: RWKV-7 dapat melakukan pelacakan status dan mengenali semua bahasa reguler sambil tetap dapat diparalelkan dalam pelatihan, yang menurut para penulis melampaui apa yang dapat dilakukan transformer di bawah konjektur kompleksitas standar.

Semuanya berlisensi Apache 2.0. Keluarga model yang dapat Anda unduh tersedia dalam ukuran 0,1B (12 lapisan, lebar 768), 0,4B (24 / 1024), 1,5B (24 / 2048), 2,9B (32 / 2560), 7,2B (32 / 4096), dan 13,3B (61 lapisan, lebar 4096), semuanya dengan kosakata World sebanyak 65.536 token dan ukuran head 64. Seri dasar World dilatih pada korpus multibahasa dengan 3,1 triliun token; seri G1 "GooseOne" melanjutkan pelatihan tersebut pada World v3.5, campuran yang diperluas dengan 5,16 triliun token yang mencakup lebih banyak novel, teks web, matematika, kode, dan data penalaran. Checkpoint G1 menambahkan mode penalaran think-tag, pemanggilan fungsi JSON, dan fill-in-the-middle mulai dari G1c. Penamaannya memang cukup janggal: G0 berarti kurang dari satu epoch, G1 berarti lebih dari satu, dan huruf akhiran menandai revisi data, dengan huruf yang lebih baru membawa data yang lebih baik.

Angka-angka itu, dan milik siapa angka-angka tersebut.

Inilah keadaan jujur dari bukti-bukti tersebut. Klaim tolok ukur utama — bahwa model 2.9B menetapkan state of the art 3B baru pada tugas multibahasa dan menyamai state of the art 3B berbahasa Inggris dengan token pelatihan yang jauh lebih sedikit — adalah klaim dari makalah itu sendiri, diterbitkan pada Maret 2025 dan dievaluasi terhadap model 3B pada periode tersebut. Makalah itu melewati OpenReview, yang merupakan pemeriksaan lebih ketat daripada yang didapat posting blog vendor, dan itu tetaplah hasil yang dilaporkan sendiri pada set perbandingan yang berusia lima belas bulan.

Pengukuran publik lainnya dari proyek ini, UncheatableEval, lebih menarik daripada sekadar baris papan peringkat dan hampir tidak mendapat liputan. Alih-alih menilai tolok ukur pilihan ganda yang bocor ke set pelatihan, tolok ukur ini mengukur rasio kompresi pada data yang belum ada saat model dilatih: makalah arXiv baru, repositori GitHub segar, berita terkini. Desain itu membuat kontaminasi jauh lebih sulit, dan RWKV melaporkan kompetitif dengan transformer ukuran yang sama pada tolok ukur tersebut. Ini tetap merupakan evaluasi yang dijalankan proyek itu sendiri.

Apa yang tidak ada, sejauh yang dapat kami temukan, adalah skor indeks pihak ketiga yang independen untuk checkpoint RWKV-7 mana pun — tidak ada agregator netral yang memasukkan 7.2B atau 13.3B ke dalam rangkaian pengujian yang digunakan pada model-model frontier. Jadi, perbandingan yang mungkin Anda lihat terhadap model seperti DeepSeek V4 Flash atau Qwen3.8-Max adalah kesalahan kategori dua kali lipat: tidak ada yang menjalankan RWKV-7 pada evaluasi yang sama, dan RNN padat 13.3B tidak bersaing untuk pekerjaan yang sama dengan sistem frontier. Klaim yang dapat dipertahankan lebih sempit dan lebih berguna: pada 1.5B hingga 13.3B, dengan memori konstan, dalam sekitar dua belas bahasa, dengan bobot yang permisif.

Menjalankan RWKV-7 saat ini, dan apa biayanya bagi Anda.

Halaman Hub untuk RWKV/RWKV7-Goose-World3-1.5B-HF merupakan gambaran yang baik tentang hambatan saat ini. Model ini adalah model BF16 dengan 1,52 miliar parameter, menggunakan tokenizer RWKV World, berlisensi Apache 2.0, diberi tag custom_code, serta mendukung bahasa Inggris, Tionghoa, Jepang, Korea, Prancis, Arab, Spanyol, dan Portugis. Instruksinya meminta Anda untuk memasang flash-linear-attention dan transformers versi terbaru sebelum memuatnya. Dan di bilah sisi, tempat model yang dihosting akan menampilkan penyedia layanan, tertera dengan jelas: model ini tidak dihosting oleh Penyedia Inferensi mana pun.

Jadi, semua opsi Anda hari ini adalah layanan mandiri:

• flash-linear-attention plus trust_remote_code — paling mirip dengan penggunaan Hub normal, tetapi Anda menjalankan kode repositori dan menarik kernel Triton, yang membatasi Anda pada perangkat keras dan pada apa pun dengan tinjauan keamanan.

• GGUF via llama.cpp — rute dengan dukungan terbaik dalam praktiknya, termasuk untuk 13.3B, dan yang menurut angka unduhan benar-benar dipilih orang. Bagus untuk inferensi lokal, bukan jalur pelatihan atau fine-tuning.

• Runtime milik proyek itu sendiri — paket pip rwkv dan repositori referensi, paling dekat dengan kanonik, paling jauh dari perangkat yang sudah dimiliki tim Anda.

Tidak ada satu pun dari itu yang merupakan API yang bisa Anda panggil, dan ada baiknya kita terus terang tentang implikasinya: RWKV-7 tidak ada di OrcaRouter, karena ia bukan endpoint yang dihosting di mana pun yang bisa kami temukan. Jika Anda menginginkan RWKV-7, Anda menjalankan RWKV-7 sendiri. Yang bisa kami katakan dengan jujur adalah ke mana hal ini membawa bagian lain dari tumpukan teknologi. Mengevaluasi arsitektur yang belum terbukti hanya murah jika jalur produksi Anda tidak bergantung pada hasilnya, dan cara termurah untuk mempertahankan hal itu adalah dengan tidak memiliki integrasi per-vendor untuk hal lain — satu kunci kompatibel OpenAI untuk lebih dari 200 model, harga daftar penyedia diteruskan langsung dengan markup 0%, dan failover otomatis ketika penyedia mengalami penurunan kinerja. Dengan begitu, eksperimen RWKV-7 yang dihosting sendiri pada dua beban kerja di mana memori konstan benar-benar membayar — streaming yang berjalan lama, asisten di perangkat, perangkum yang tidak pernah berhenti — adalah sebuah eksperimen, bukan migrasi. Itulah bentuk yang sebagian besar tim seharusnya inginkan di sini: default yang dirutekan, dan model berbasis state yang membuktikan dirinya pada tugas tertentu.

Apa yang masih bisa menghentikan pendaratan ini?

Anggaplah preseden ini dengan serius: proposal untuk menambahkan arsitektur yang persis seperti ini pernah ditolak sekali, dengan alasan yang penulis akui valid. Yang baru ini lebih baik argumennya dan lebih teruji, dan ini tetap merupakan PR komunitas terhadap repositori yang secara sengaja konservatif dalam menerima arsitektur yang kemudian akan dipeliharanya selamanya.

Pertanyaan terbuka spesifik yang ingin kami jawab sebelum menyebut ini selesai:

• Ulasan, bukan CI — rangkaian pengujian otomatis lulus; dua pengelola telah diminta dan tidak ada yang menyetujui. Transformers memerlukan satu ulasan yang menyetujui, dan pengujian lambat belum dijalankan.

• Kecepatan jalur tanpa dependensi — PyTorch murni dengan decode satu-token berurutan bersifat portabel, dan portabilitas adalah inti masalahnya, tetapi PR tersebut tidak memublikasikan throughput terhadap kernel Triton dalam flash-linear-attention. Jika decode native jauh lebih lambat, pustaka ini menjadi jalur kompatibilitas sementara serving serius tetap berada di tempat lain.

• Checkpoint mana yang tersedia — konversi yang mematuhi konvensi mencakup 0,1B hingga 7,2B. G1 13,3B, yang justru diinginkan orang, tidak ada dalam kumpulan itu, dan contoh yang didokumentasikan adalah model Pile dengan tokenizer GPT-NeoX, bukan model obrolan dengan kosakata World. Loader gabungan tanpa checkpoint unggulan di belakangnya mengubah lebih sedikit daripada yang terlihat.

• Target yang bergerak — proyek ini tidak diam saja. Repositori G1 milik BlinkDL diperbarui pada minggu yang sama saat PR ini dibuka, kuantisasi komunitas telah beralih ke revisi data yang lebih baru daripada G1c, dan RWKV-8 "Heron" telah dipratinjau secara publik dengan mekanisme suffix-automaton yang disebut ROSA. Heron belum dirilis dan belum di-benchmark; kami hanya menyebutkannya karena integrasi pustaka yang hadir terlambat dalam masa hidup sebuah generasi memiliki umur simpan yang pendek.

Empat pertanyaan yang tidak dijawab oleh lembar spesifikasi

Bisakah saya menggunakan RWKV-7 di Transformers sekarang, atau tidak?

Keduanya, yang menyebalkan, dan perbedaan itulah inti ceritanya. Anda dapat memuat checkpoint RWKV-7 melalui API transformers hari ini, jika Anda menginstal flash-linear-attention dan meneruskan trust_remote_code sehingga file pemodelan milik repositori itulah yang berjalan. Yang tidak dapat Anda lakukan adalah memuatnya dari pustaka itu sendiri, yang justru membuatnya berfungsi secara default di perangkat yang dibangun di atas pustaka tersebut — skrip pelatihan dan penyelarasan, adaptor, kerangka evaluasi, jalur ekspor — serta yang membuatnya lolos dari kebijakan yang melarang kode jarak jauh. Hal kedua itulah yang menjadi tujuan #47780.

Apakah penggabungan membuat model menjadi lebih baik?

Bukan dengan satu poin pun pada benchmark mana pun. Ia mengubah distribusi, bukan kualitas — dan untuk arsitektur yang masalahnya tidak pernah kualitas, distribusi adalah kendala yang mengikat. Perbandingannya adalah yang ada di bagian atas tulisan ini: model 169M dari 2023 diunduh empat puluh kali lebih banyak daripada bobot generasi saat ini, sepenuhnya karena kekuatan memuat tanpa flag.

Jika tidak ada cache KV, apakah saya mendapatkan konteks tanpa batas secara gratis?

Anda mendapatkan panjang konteks tanpa batas tanpa ledakan memori, yang tidak sama dengan pengingatan tanpa batas. State berukuran tetap memiliki kapasitas informasi tetap; berikan satu juta token dan ia tidak dapat menyimpan detail senilai satu juta token yang dapat diambil kembali. Attention dengan cache penuh dapat melakukannya, dengan biaya yang terus bertambah sepanjang jalan. Perlakukan kisah konteks panjang RWKV-7 sebagai "mengalir selamanya dengan murah, mengompresi seiring berjalannya," dan uji pengambilan spesifik yang Anda butuhkan daripada mempercayai kata tak terbatas.

Apakah layak untuk diperhatikan pada 13.3B ketika model-model frontier berukuran ratusan miliar?

Itu sepenuhnya bergantung pada apakah memori konstan bernilai bagi Anda. Jika Anda memanggil API yang dihosting dan membayar per token, hampir pasti tidak — model frontier jauh lebih unggul dalam hal kapabilitas dan Anda tidak membayar untuk cache KV secara langsung. Jika Anda mengirimkan inferensi ke perangkat keras yang tidak Anda kendalikan, atau menjalankan stream persisten di mana cache yang terus bertambah adalah hal yang pada akhirnya mematikan proses, arsitektur yang jejak memorinya tidak berubah adalah jawaban yang berbeda untuk pertanyaan yang berbeda. Itulah beban kerja di mana RWKV-7 2.9B secara diam-diam kompetitif, dan itulah yang paling membutuhkan loader native.

Apa yang akan kita tonton selanjutnya

Empat sinyal konkret, secara kasar menurut urutan seberapa besar pengaruhnya terhadap penilaian kami. Ulasan yang menyetujui dari ArthurZucker atau Rocketknight1, yang mengubah ini dari diff yang penuh harapan menjadi fitur yang dijadwalkan. Konversi yang sesuai konvensi dari G1 13.3B dengan tokenizer World, yang membuat loader layak untuk dimiliki. Angka throughput yang dipublikasikan untuk jalur decode bebas dependensi dibandingkan dengan kernel Triton, yang menentukan apakah dukungan native merupakan opsi peladenan atau shim kompatibilitas. Dan tanda apa pun dari RWKV-8, yang akan memberi tahu Anda apakah integrasi ini datang di awal suatu generasi atau di akhir generasi.

Setidaknya sampai yang pertama dari hal-hal itu terjadi, ringkasan yang benar adalah yang tidak glamor: RWKV-7 (Goose) itu nyata, berlisensi permisif, dapat diunduh hingga 13.3B, dan masih belum dapat dimuat secara native di pustaka yang menjadi dasar sebagian besar ekosistem. Sebuah pull request yang dibuka pada 4 Agustus 2026 mengusulkan untuk memperbaiki hal itu. Pull request tersebut belum digabungkan, dan pull request untuk menambahkan arsitektur ke transformers memang sering ditutup.