Beam 1.0 pada Empat B300s: Hitungan Serving, dan Klaim Throughput yang Tidak Pernah Dipublikasikan oleh Siapa pun

Angka yang perlu diperhatikan dalam rilis Reflection Beam 1.0 bukanlah 501 miliar. Melainkan empat. Model dengan total 501,3 miliar parameter dan 23,4 miliar parameter aktif per token kini muat di satu server dengan empat GPU NVIDIA B300 pada NVLink, dan selisih antara kedua angka tersebut — sekitar 4,7 persen model yang aktif pada token mana pun — adalah alasan utama checkpoint sebesar ini dapat diunduh oleh siapa saja yang tidak memiliki klaster. Reflection menerbitkan bobotnya pada 16 Oktober 2026 di bawah Apache 2.0, dan materi peluncurannya sangat spesifik tentang apa yang diperlukan untuk menjalankannya: empat GPU B300 pada NVLink untuk build NVFP4, delapan H200 untuk FP8, dan delapan B200 atau B300 untuk BF16. Tabel perangkat keras itu lebih menarik daripada tabel benchmark, karena itulah bagian yang benar-benar dapat diperiksa pembaca terhadap lembar pengadaan mereka sendiri.

Ini juga bagian yang membedakan Beam 1.0 dari model-model yang menjadi tolok ukurnya. Kimi K3 dan GLM-5.2 dilayani di balik API dan bobotnya bisa jadi tidak publik atau disertai serangkaian kondisi yang berbeda; Qwen3.8-Max bersifat proprietary pada tingkat flagship. Nilai jual Beam adalah bahwa separuh sulit dari trade-off itu — model yang nyaris setara frontier yang tersedia untuk diunduh — sudah dirilis, dan bahwa biaya penyajiannya adalah satu rak, bukan pusat data.

Apa yang sebenarnya mendarat pada 16 Oktober

Postingan Reflection “Beam kini tersedia” bertanggal 16 Oktober 2026, sebelas hari setelah model itu diumumkan pada 5 Oktober. Empat artefak dirilis, dan presisinya lebih penting daripada judul utamanya:

• BF16 — 501,3B parameter, 933,81 GiB di disk, 188 shard safetensors. Presisi referensi; kolom pertama tabel benchmark.

• FP8 — jumlah parameter yang sama dalam E4M3, 468.72 GiB. Dikuantisasi dengan N​VIDIA ModelOpt. Direkomendasikan untuk Hopper dan perangkat keras yang lebih lama.

• NVFP4 — build 4-bit terpaket berukuran 273 GiB. Inilah versi yang panduan serving Reflection sendiri sarankan untuk Anda unduh, dan satu-satunya yang berjalan secara native di Blackwell tanpa penalti dekuantisasi.

• DFlash2 — drafter speculative-decoding berparameter 1,93B, diterbitkan sebagai repositori tersendiri dan diintegrasikan ke perintah contoh sebagai kumpulan bobot terpisah.

Arsitektur di balik checkpoint tersebut adalah sparse mixture of experts: 52 lapisan, 3 di antaranya dense dan 49 adalah MoE, 256 pakar per lapisan MoE, gated grouped-query attention yang dicampur dengan sliding-window attention, dan kosakata 152.000 token. Teks masuk, teks keluar, konteks 1M token pada kartu model, keluaran maksimum 131.072 token pada API. Batas pengetahuan 30 Juni 2026.

Angka throughput yang tidak ada dalam dokumentasi

Sebuah angka telah beredar seiring rilis ini sejak hari nol: lebih dari 70.000 token keluaran per detik per GPU pada Blackwell Ultra. Angka itu menarik dan perlu ketelitian tentang di mana angka tersebut muncul dan tidak muncul. Angka itu tidak ada dalam pos peluncuran Reflection, tidak ada dalam kartu model, tidak ada dalam catatan rilis Hugging Face, dan tidak ada dalam dokumentasi pengembang. Kami tidak dapat menemukannya di sumber pihak pertama mana pun.

Yang benar-benar didokumentasikan oleh materi vendor bersifat relatif, bukan absolut. Satu-satunya klaim efisiensi di kartu model adalah bahwa Beam "mencapai kualitas solusi yang sebanding dengan model-model terbuka terkemuka dengan menggunakan sekitar 3x lebih sedikit token penalaran saat inferensi," dan postingan peluncuran membingkai gagasan yang sama sebagai "lebih banyak kecerdasan per token." Satu-satunya angka berbentuk throughput yang benar-benar dipublikasikan dalam rilis ini adalah percepatan terukur, bukan laju: drafter DFlash2 meningkatkan kecepatan dekode sebesar 1,7× hingga 3,0× dibandingkan Beam saja, diukur pada checkpoint NVFP4 di empat B300, dengan panjang penerimaan 4,11 hingga 5,88 token dari maksimum delapan. Itu adalah rasio terhadap baseline Beam sendiri, jadi tidak menjelaskan apa pun tentang token per detik per GPU secara absolut — angka 70.000 itu tidak akan dipastikan, ke arah mana pun.

Ada satu sinyal independen bahwa klaim efisiensi itu bukan sekadar pemasaran. Artificial Analysis mengukur Beam 1.0 pada 79 juta token keluaran di seluruh Intelligence Index, dibandingkan dengan median 130 juta untuk model-model yang dibandingkannya — berada di peringkat ke-10 dari 46 pada ukuran tersebut. Itu adalah pihak ketiga yang menghitung token yang dihasilkan dan mendapati Beam lebih hemat daripada sebagian besar model di bidang ini, yang merupakan klaim lebih lemah daripada angka throughput per-GPU, tetapi merupakan klaim yang jauh lebih didukung.

Apa yang sebenarnya Anda dapatkan dari empat B300, dalam hal memori

Dokumentasi serving adalah hal paling berguna yang diterbitkan Reflection, karena dokumen ini menjawab pertanyaan yang tidak pernah ditanyakan oleh tabel benchmark. Tiga angka menonjol.

• Jejak cache KV — resep vLLM dan NVIDIA Dynamo keduanya secara default menggunakan cache FP8 E4M3 dengan ukuran halaman 64 token, yang menurut catatan resep vLLM berlipat ganda menjadi sekitar 14M hingga 28M token konteks yang dapat di-cache pada delapan H200 yang menjalankan checkpoint FP8. Itulah angka yang harus dijadikan acuan untuk menentukan ukuran deployment; rencana dengan tiga GPU akan gagal jauh sebelum cache-nya gagal.

• Checkpoint NVFP4 hanya mengkuantisasi expert yang dirutekan. Attention, MLP padat, router, embedding, dan LM head tetap dalam BF16, itulah sebabnya file berukuran 273 GiB, bukan sekitar 250 GiB yang akan Anda dapatkan dari pass 4-bit penuh. Di Blackwell, ia berjalan W4A4; di Hopper, vLLM melayani expert FP4 melalui Marlin dengan aktivasi BF16.

• Checkpoint NVFP4 pada empat B300 adalah konfigurasi referensi, dan resep SGLang dikirim sebagai image Docker yang dipin dengan paralelisme tensor diatur ke 4, drafter DFlash2 diaktifkan pada ukuran blok 8, dan decoding spekulatif dikonfigurasi bersama cache KV FP8.

Ada juga alat verifikasi. Alat open-source bernama beam-verifier CLI menjalankan rangkaian uji kesesuaian terhadap endpoint Beam aktif mana pun — kontrak permintaan, kontrak respons, protokol alat — lalu mengevaluasinya pada benchmark utama sehingga Anda dapat membandingkan deployment Anda sendiri, atau milik penyedia, dengan skor referensi Reflection. Untuk model yang tabel benchmark-nya sepenuhnya dilaporkan oleh vendor, merilis harness yang memungkinkan pembeli mereproduksinya adalah komitmen yang lebih bermakna daripada angka mana pun di tabel itu.

Dukungan framework day-zero adalah separuh lainnya dari cerita deployment, dan cakupannya lebih luas daripada yang mampu dikelola sebagian besar rilis terbuka: Transformers, vLLM, SGLang, Unsloth, Axolotl, TokenSpeed, dan NVIDIA Dynamo, dengan resep langkah demi langkah untuk SGLang, vLLM, dan TokenSpeed plus Helm chart untuk Kubernetes. Di sisi pelatihan, Reflection menyebut stack yang digunakan untuk membangun alur kerjanya — NeMo RL dan AutoModel serta Megatron Bridge dari NVIDIA, Miles dari RadixArk, TRL dari Hugging Face, SkyRL dari Anyscale, dan Axolotl — dan mempublikasikan angka runbook RL-nya, bukan angka perangkat keras untuk itu: 10.5K GPU GB300 selama empat minggu, lebih dari 100 juta rollout, konteks maksimum 256K token selama pelatihan, dan sekitar 1,3 miliar sandbox.

API-nya sudah ada, dan sampai sekarang masih belum punya harga

Di samping bobotnya, ada endpoint pihak pertama di api.reflection.ai dengan antarmuka yang kompatibel dengan OpenAI dan ID model Beam-1.0-501B-A23B. Endpoint ini memiliki kontrak yang terdokumentasi: penalaran wajib dengan tingkat upaya max, xhigh, high, medium, dan low, dengan max sebagai default; output terstruktur dan pemanggilan alat; batas laju tingkat organisasi yang diukur dalam permintaan dan token per menit serta per hari UTC, dibagi ke setiap proyek dan kunci sehingga menambahkan kunci tidak menaikkannya; dan respons 429 yang menetapkan x-should-retry false setelah jatah harian habis, yang merupakan detail yang menghentikan loop percobaan ulang naif agar tidak berputar sampai tengah malam.

Dokumentasinya tidak mencantumkan harga per juta token, dan pengumumannya juga tidak. Satu kelalaian itulah yang membuat argumen efisiensi tidak bisa diselesaikan bagi pembeli: model yang selalu bernalar, secara default memakai upaya maksimum, dan mengklaim token penalaran tiga kali lebih sedikit adalah proposisi komersial yang berbeda pada satu dolar per juta token keluaran dibandingkan pada sepuluh dolar, dan saat ini tidak ada orang di luar Reflection yang bisa mengatakan yang mana itu. Self-hosting menghapus pertanyaan itu sepenuhnya dan menggantinya dengan angka modal, yang setidaknya adalah angka yang bisa Anda hitung.

Bagaimana posisi tim yang ingin mencobanya

Beam 1.0 bukan salah satu rute kami, jadi kami tidak dapat melayaninya untuk Anda, dan tidak ada apa pun di sini yang boleh ditafsirkan sebagai klaim ketersediaan dari kami. Yang bisa kami lakukan adalah membuat evaluasinya murah. Jika keputusan di depan Anda adalah apakah akan menghabiskan seperempat waktu engineering untuk uji coba Beam selama dua minggu, langkah yang berguna adalah menjaga produksi tetap pada model dengan kartu tarif yang dipublikasikan dan riwayat layanan selama uji coba berjalan, serta memastikan fallback sudah terpasang. OrcaRouter menjalankan satu kunci yang kompatibel dengan OpenAI di lebih dari 200 model dengan harga daftar dari penyedia diteruskan apa adanya dan tanpa tambahan apa pun, sehingga penurunan harga dari vendor sampai ke tagihan Anda pada hari yang sama, dan failover otomatis berarti uji coba yang ternyata tidak tersedia bulan depan hanyalah perubahan rute, bukan migrasi.

Model-model yang paling dekat dengan Beam pada beban kerja yang disasar semuanya dapat dijangkau dengan cara itu. Tiga yang layak dijadikan pembanding harga untuk pilot, dari katalog kami sendiri:

• GLM-5.2 — konteks 1.000.000 token, $1,40 per juta token input dan $4,40 per juta token output. Model yang menjadi tolok ukur klaim efisiensi Reflection sendiri.

• Kimi K3 — konteks 1,048,576 token, $3.00 per juta token masukan, $0.30 untuk cache, $15.00 keluaran. Pos peluncuran Reflection mengakui K3 masih unggul dalam kemampuan mentah.

• Qwen3.8-Max — konteks 1.000.000 token, $2,00 per juta input dan $6,00 output, kelas 2 triliun parameter yang menjadi sasaran keunggulan efisiensi terbesar yang diklaim Beam.

Tiga hal yang perlu diperhatikan

Yang pertama adalah harga. Sampai Reflection menerbitkan daftar tarif, tesis efisiensi tetap merupakan hipotesis tentang komputasi, bukan fakta tentang uang, dan perbandingan dengan GLM-5.2 atau Kimi K3 tetap menjadi argumen tentang metodologi.

Yang kedua adalah pengukuran throughput independen. Artificial Analysis saat ini mencantumkan Beam dengan Intelligence Index 30 dan tanpa kecepatan serta tanpa harga, karena mereka mencatat "No publicly available API" untuk model tersebut. Ketika itu berubah, pertanyaan per-GPU akan mendapatkan jawaban yang tidak berasal dari vendor.

Yang ketiga adalah apakah pemverifikasi itu digunakan. Rangkaian uji kesesuaian yang tidak dijalankan oleh siapa pun hanyalah dokumentasi; rangkaian uji kesesuaian yang hasilnya dipublikasikan oleh selusin deployment adalah tolok ukur. Beam 1.0 merilis alat itu pada hari nol. Apakah angka-angkanya ikut dirilis adalah bagian yang masih terbuka.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.