Solar Open 2 250B: Skor Frontier Agent dengan Tak Ada Tempat untuk Menjalankannya

Kartu Hugging Face untuk Solar Open 2 250B 250B memberikan perintah serving, dan perintah itu tidak berfungsi. Perintah itu meminta vLLM untuk menyediakan parser penalaran bernama solar_open2, parser panggilan alat bernama solar_open2, dan pemroses logits bernama SolarOpen2TemplateLogitsProcessor — tiga hal yang tidak ada dalam versi vLLM yang dirilis. Dukungan untuk arsitektur ini muncul di mainline sebagai pull request yang belum digabungkan pada 5 Agustus, dua minggu setelah Upstage menerbitkan bobot pada 22 Juli. Kesenjangan itu masih menjadi fakta paling menarik tentang Solar Open 2 saat ini, dan itu adalah bagian yang dilewatkan oleh setiap tulisan peluncuran demi tabel benchmark. Jadi, inilah versi lainnya: apa yang sebenarnya dirilis Upstage, apa yang ditetapkan dan tidak ditetapkan oleh angka-angkanya sendiri, apa yang diubah oleh satu skor eksternal yang kini tercatat, dan apa yang diperlukan untuk mendapatkan satu token dari model itu — dibandingkan dengan DeepSeek V4 Flash, model yang dipilih Upstage sebagai tolok ukur utamanya.

Apa yang sebenarnya dirilis Upstage

Semua hal di bawah ini berasal dari config.json milik repositori itu sendiri dan laporan teknis Solar Open 2 (arXiv 2607.20062) — sumber primer, tetapi sumber primer milik vendor. Tidak ada laboratorium independen yang menerbitkan pengukurannya sendiri untuk model ini. Satu angka eksternal kini muncul ke permukaan, skor Artificial Analysis Intelligence Index sebesar 37 yang dilaporkan oleh pers dari evaluasi putaran kedua pemerintah, dan angka itu mendapatkan paragraf tersendiri di bagian benchmark di bawah ini karena angka itu dilaporkan, bukan direproduksi.

• Ukuran — 250,287,794,944 total parameter, sekitar 15B aktif per token

• Sparsitas — 320 expert terarah (routed) ditambah 1 expert bersama, top-8 dirutekan per token, dan first_k_dense_replace disetel ke 0, artinya campuran dimulai dari lapisan nol tanpa lapisan pemanasan dense yang biasanya dipertahankan oleh desain MoE yang sebanding.

— Bentuk — 48 lapisan, ukuran tersembunyi 4096, dimensi kepala 128, 64 kepala kueri dengan 8 kepala kunci/nilai

• Perhatian — 12 lapisan softmax (GQA), pada indeks 0, 4, 8 dan seterusnya hingga 44; 36 lapisan lainnya adalah attention linier. Tiga perempat dari tumpukan tersebut tidak memiliki softmax di dalamnya

• Posisi — use_rope bernilai false. Tidak ada pengkodean posisi sama sekali.

• Konteks — max_position_embeddings sebesar 1,048,576

• Kosakata — 196.608 token, dalam bahasa Inggris, Korea, dan Jepang

• Bobot — bfloat16, yang setara dengan 500.6 GB. Itu hanya 250.29 miliar parameter dikali dua byte, dan cocok dengan jejak yang dilaporkan Nota AI untuk model tanpa kuantisasi.

• Pelatihan — sekitar 11,9T token menurut laporan: 10T pra-pelatihan umum, 1T pada subset berkualitas tinggi yang dikurasi, 0,9T untuk perpanjangan panjang, dengan rasio nyata-ke-sintetis 4:6 yang dinyatakan, dengan bahasa Inggris di atas 80% serta matematika dan kode masing-masing minimal 15%

• Lisensi — Lisensi Upstage Solar, yang memiliki persyaratan (di bawah)

Pendahulunya, Solar Open 1, adalah model 100B yang dirilis pada bulan Januari. Solar Open 2 bukanlah sekadar pembaruan darinya, melainkan sesuatu yang sangat berbeda.

Arsitektur adalah cerita yang sebenarnya.

Pola lapisannya adalah satu lapisan softmax yang diikuti tiga lapisan atensi linier, diulang dua belas kali. Hal itu sudah dilaporkan. Yang belum adalah atensi linier yang mana, dan mengapa hal itu penting.

Lapisan liniernya adalah KDA — Kimi Delta Attention, mekanisme yang diperkenalkan Moonshot AI untuk Kimi Linear. Upstage tidak menemukan linear attention baru; mereka mengadopsi punya orang lain dan mengubah satu hal. Perubahannya terlihat dalam konfigurasi sebagai kda_allow_neg_eigval yang disetel ke true, dan laporan menjelaskan apa manfaatnya: KDA standar membatasi eigenvalue transisi state ke rentang [0,1], sehingga setiap langkah hanya dapat menambah state berulang atau meluruhkannya. Menyetel flag tersebut memperluas kekuatan penulisan menjadi beta = 2·sigmoid(·), rentang (0,2), yang mendorong eigenvalue keluar ke [-1,1]. Sekarang sebuah langkah dapat membalik tanda dari apa yang sudah disimpan. Dengan kata sederhana: state dapat mengoreksi dirinya sendiri daripada hanya mengakumulasi, itulah mekanisme yang dinyatakan Upstage untuk menjaga satu lintasan agen yang panjang tetap utuh di banyak panggilan alat.

Lusinan lapisan softmax adalah GQA dengan gerbang keluaran sigmoid elementwise — use_gqa_gate bernilai true dalam konfigurasi — yang menurut laporan berperan menambah non-linearitas dan menekan attention sinks.

Dan alasan tidak adanya RoPE berasal dari lapisan linear. Karena status berulang mengodekan urutan token secara intrinsik, laporan tersebut berpendapat bahwa Anda dapat menghapus pengodean posisional sepenuhnya dan tidak lagi terikat pada distribusi panjang yang dilatih. RoPE, dalam kerangka ini, adalah hal yang membatasi ekstrapolasi; hilangkan saja dan batasnya tidak lagi menjadi fungsi dari data pelatihan Anda.

Angka 1M adalah klaim desain, bukan hasil pengukuran

{{1}}Argumen itu elegan dan juga merupakan dasar keseluruhan untuk tajuk 1M-token.{{/1}} {{2}}Laporan teknis tidak memublikasikan RULER, tidak ada needle-in-a-haystack, tidak ada rangkaian konteks panjang dalam bentuk apa pun.{{/2}} {{3}}Jendela konteks tersebut didalilkan dari arsitektur, bukan didemonstrasikan pada tolok ukur.{{/3}} {{4}}Sementara itu, satu-satunya tulisan tentang penerapan publik yang bisa kami temukan — Backend.AI, yang melayani model terkuantisasi di dua sistem DGX Spark — menetapkan max-model-len ke 200.000, bukan 1.048.576.{{/4}} {{5}}Batas arsitekturalnya mungkin memang nyata.{{/5}} {{6}}Kualitas apa yang bertahan pada 500K atau 1M token tidak ada di dalam makalah tersebut.{{/6}}

Klaim efisiensi tersebut memiliki catatan yang sama: laporan menyatakan bahwa stack hibrida membutuhkan sekitar seperempat memori dan komputasi dari stack all-softmax pada konteks 1M, dan secara terpisah bahwa desain hibrida mencapai target loss dengan sekitar 3.2× lebih sedikit token pelatihan daripada all-softmax pada MMLU. Keduanya merupakan angka dari Upstage sendiri. Tidak ada angka throughput atau latensi yang dipublikasikan sama sekali.

Kartu benchmark, dibaca dengan jujur

Pada suite bahasa Inggris, melawan DeepSeek V4 Flash, Solar Open 2 250B mencatat 86.2 pada MMLU-Pro dibandingkan 85.9 dan 92.4 pada LiveCodeBench v6 dibandingkan 92.3 — perbedaannya cukup kecil sehingga hanya merupakan noise penilaian. Kemudian ia mencatat 16.6 pada APEX-Agents dibandingkan 13.2, yang merupakan satu-satunya celah nyata dan, tidak mengejutkan, angka yang menjadi keunggulan Upstage.

Kekalahan-kekalahan tersebut tercantum dalam laporan yang sama dan kurang mendapat sorotan. SWE-Bench Verified: 70.4 berbanding 73.8. GDPval-AA v2, pada ELO: 1128 berbanding 1187. Terminal Bench Hard: 28.3, berbanding 41.7 untuk MiMo-V2.5. ArtifactsBench: 55.9, tertinggal dari kedua baseline frontier. Patut dihargai, laporan Upstage tersebut menyebutkan kesenjangan-kesenjangan ini dan ke mana arahnya — rekayasa perangkat lunak tingkat repositori dan terminal, serta presisi numerik dalam hasil kerja perkantoran — alih-alih menguburnya.

Perbandingan yang benar-benar mengesankan adalah yang internal. Dibandingkan dengan Solar Open 1: LiveCodeBench v6 naik dari 56.5 ke 92.4, SWE-Bench Verified dari 15.4 ke 70.4, APEX-Agents dari 2.4 ke 16.6. Apa pun penilaianmu tentang perbandingan langsung tersebut, itu adalah lompatan generasi yang nyata dalam enam bulan.

Untuk bahasa Korea, rata-rata di seluruh rangkaian tolok ukur adalah 85.4 berbanding 84.9 milik DeepSeek V4 Flash — tetapi rata-rata itulah yang bekerja. Solar Open 2 250B kalah di KMMLU-Pro (78.4 berbanding 78.9) dan Ko-AIME'25 (97.7 berbanding 98.0), serta menang di Ko-GDPval (86.8 berbanding 85.0). Keunggulan tersebut berasal dari tolok ukur deliverable, bukan dari pengetahuan atau matematika.

Hal ini membawa kita pada klaim yang paling berani: bahwa Solar Open 2 250B sepadan dengan model yang ukurannya lebih dari enam kali lipat. Dasarnya adalah Ko-GDPval, di mana ia mencetak 86.8 dibandingkan 86.9 milik DeepSeek-V4-Pro. Itu adalah satu tolok ukur Korea, dan hasilnya seri, bukan kemenangan langsung — sementara pada rangkaian bahasa Inggris, saudara yang lebih kecil dari V4-Pro sudah mengalahkan Solar Open 2 250B pada SWE-Bench Verified. Satu tolok ukur tidak bisa digeneralisasi menjadi hukum efisiensi ukuran. Perhatian terkait: angka dasar untuk APEX-Agents sedikit berbeda antara makalah dan liputan sekunder (13.2 versus 13.4 untuk model yang sama), jadi anggaplah urutannya sebagai indikasi arah, bukan angka yang presisi.

Dalam hal preferensi, uji berpasangan buta terhadap 835 percakapan Korea menempatkan Solar Open 2 250B unggul 44,1% berbanding 26,6%, dengan laporan tersebut mengaitkan kemenangan penyelarasan-dan-kejujuran itu pada landasan budaya, bukan pada pelatihan keselamatan tambahan. Yang perlu diperhatikan adalah apa yang tidak ada: laporan tersebut tidak memuat evaluasi kuantitatif mengenai bahaya, penolakan, atau jailbreak dalam bentuk apa pun.

Kartu Hugging Face sejak itu telah menambahkan beberapa angka lagi di bagian hasil evaluasinya — GPQA Diamond 86.3, HLE 28.8, dan MathArena AIME 2026 95.7 — tetapi angka-angka tersebut diambil dari kartu model itu sendiri, bukan dari proses independen, sehingga angka-angka itu membawa label yang sama dengan semua yang di atas: angka milik Upstage, belum direproduksi.

Satu angka eksternal kini muncul yang tidak berasal dari laboratorium Upstage. Pada 13 Agustus, media keuangan Korea — Edaily, Seoul Economic Daily, ITDaily, dan iNews24, semuanya menerbitkan angka yang sama — melaporkan skor evaluasi putaran kedua dari program AI berdaulat pemerintah, yang diukur dengan Intelligence Index milik Artificial Analysis (AAII v4.1.1): Motif 3 mendapat 47, Solar Open 2 250B mendapat 37, A.X-K2 milik SK Telecom mendapat 35, dan K-EXAONE 2.0 0803 milik LG AI Research mendapat 31. Angka 37 menempatkan Solar Open 2 250B di posisi kedua dari empat finalis Korea, terpaut sepuluh poin dari Motif 3. Sebutkan secara presisi: ini dilaporkan oleh pers — skor tersebut belum muncul di papan peringkat Artificial Analysis sendiri, yang hingga kini masih tidak menampilkan apa pun untuk model ini — dan liputan yang sama mencatat bahwa AAII tidak memuat tolok ukur berbahasa Korea, sebuah titik buta nyata bagi model yang hasil domestiknya menjadi inti penawarannya. Tetapi ini adalah pembacaan pertama atas Solar Open 2 250B yang tidak bersumber dari Upstage, dan konsisten dengan artikel ini: skor agen dan skor pengiriman yang kuat, sementara banyak hal lain masih belum terbukti oleh siapa pun di luar vendor.

Mengapa tidak ada yang bisa menyajikannya di perangkat lunak bawaan

Kartu model menceritakan kisahnya lebih baik daripada komentar apa pun. Unduhan bulan lalu kini telah melewati 26.000, disertai 743 suka, enam belas kuantisasi komunitas, dan tiga finetune — dan, di kotak Inference Providers, baris "Model ini tidak disebarkan oleh Inference Provider mana pun" masih berlaku, dengan belasan orang kini tercantum sebagai peminta dukungan penyedia pada kartu tersebut. Minat nyata, nol endpoint yang dihosting.

Ikuti deployment yang berjalan dan semuanya mengarah ke sebuah fork. Build NVFP4 milik Nota AI mengunci instalasinya ke git+https://github.com/UpstageAI/vllm.git pada tag v0.22.0-solar-open2 — vLLM milik Upstage sendiri. Tulisan Backend.AI tentang DGX Spark membutuhkan fork tersebut plus FlashInfer yang di-patch, karena FlashInfer upstream tidak memiliki dukungan expert-parallel dan tidak mau menerima format compressed-tensors.

Dukungan mainline adalah pull request 51129 terhadap vllm-project/vllm, dibuka pada 5 Agustus oleh kontributor yang menggunakan nama oesni. PR tersebut masih terbuka: pada 10 Agustus mergify menandai konflik merge, sehingga PR tersebut kini membawa label needs-rebase dan masih menunggu peninjauan. Apa yang harus dibangun oleh PR tersebut adalah deskripsi paling jujur tentang kesulitan model ini yang ada di publik:

• Lapisan KimiGatedDeltaAttention khusus Solar dalam solar_open2.py baru, yang membawa beta 2·sigmoid(b) dari perubahan nilai eigen negatif.

• Operasi vllm::solar_open2_kda_attention terdaftar sebagai op pemecahan grafik CUDA.

• Pemanasan prefill KDA pada waktu profil, dibatasi hingga 2048 token, ditambahkan khususnya karena prefill asli berjalan sekitar 23% lebih lambat tanpa itu.

• Parser keluaran penalaran dan panggilan alat untuk mode streaming dan non-streaming

• Validasi serving pada 8×B200 melaporkan 107.02 GiB per rank dari cache KV, bersama dengan 463 pengujian unit yang lulus

Itu adalah angka-angka dari penulis PR, yang belum direproduksi oleh siapa pun, dan kodenya masih bisa berubah sebelum digabungkan. Tetapi bacalah daftar itu di samping bagian arsitektur dan bentuk masalahnya menjadi jelas: dua pilihan yang membuat Solar Open 2 250B murah untuk dijalankan pada konteks panjang — KDA di tiga perempat lapisan dan tanpa RoPE — justru pilihan-pilihan yang belum ada jalur kodenya pada tumpukan inferensi tujuan umum. Keterbukaan bobot dan keterbukaan jalur untuk menjalankannya adalah dua hal yang berbeda, dan hanya satu dari keduanya yang dirilis pada 22 Juli.

Berapa biayanya untuk berdiri

Mulai dari batas bawah memori. 500.6 GB bobot bfloat16 dibandingkan dengan 141 GB milik H200 berarti empat GPU memberi Anda 564 GB — sekitar 63 GB tersisa di seluruh node untuk cache KV dan aktivasi sebelum satu permintaan pun masuk. Itulah sebabnya kartu tersebut mencantumkan empat H200 sebagai minimum dan merekomendasikan delapan, dan mengapa FlexAI menawarkannya sebagai endpoint khusus 8×H100 dengan harga berdasarkan permintaan, bukan pada API per-token bersama.

Kuantisasi menggeser batas bawah tersebut cukup jauh. Build NVFP4 dari Nota AI (bobot dan aktivasi 4-bit, ukuran grup 16, dalam format compressed-tensors) mengurangi model dari 500,6 GB menjadi 153,3 GB, dan evaluasi mereka sendiri memperhitungkan biaya akurasi sebesar 0,22 poin rata-rata dari empat benchmark — 81,57 menjadi 81,35, dengan Tau2-Bench 75,20 menjadi 75,08, GPQA-Diamond 86,26 menjadi 85,45, MMLU-Pro 86,19 menjadi 86,15, dan LiveCodeBench bergerak ke arah sebaliknya, 87,03 menjadi 88,55, yang merupakan noise kuantisasi, bukan peningkatan. Kendalanya adalah perangkat keras: NVFP4 membutuhkan inti tensor FP4 yang diperkenalkan bersama Blackwell, jadi hanya B200 atau GB200, tidak ada yang berjalan di Hopper. Jika Anda menggunakan H100, varian yang Anda inginkan adalah build INT4 mereka yang dipangkas secara global — 117,8 GB setelah pemangkasan, muat di dua H100.

Sekarang aritmetika yang menentukan hal itu. DeepSeek V4 Flash — sekali lagi, model yang dipilih Upstage untuk diukur — berjalan $0,15 per juta token masukan dan $0,29 per juta token keluaran di OrcaRouter, yang merupakan harga daftar DeepSeek yang diteruskan langsung dengan markup 0%. Dengan campuran masukan-keluaran 3:1, itu menyatu menjadi sekitar $0,185 per juta. Taruh angka ilustratif $2 per jam GPU pada node delapan GPU dan Anda berada di sekitar $11.700 per bulan sebelum siapa pun mengirim permintaan — setara dengan sekitar 63 miliar token campuran lalu lintas API, atau 2,1 miliar token per hari, setiap hari, hanya untuk mencapai titik impas. Turunkan ke node dua GPU dan titik impas turun menjadi sekitar 16 miliar token per bulan. Gantikan tarif GPU Anda sendiri; bentuknya tidak berubah. Menghosting sendiri model 250B adalah keputusan tentang utilisasi dan kendali, bukan diskon.

Untuk lebih tepatnya soal apa yang tersedia dan apa yang tidak: Solar Open 2 250B tidak ada di OrcaRouter, dan menurut kartu modelnya sendiri, model itu juga tidak tersedia di penyedia inferensi mana pun. Yang ada di OrcaRouter adalah para pesaing yang menjadi pembandingnya — DeepSeek V4 Flash, Qwen3.8-Max, dan beberapa ratus model lainnya di balik satu kunci dengan harga sesuai daftar penyedia, lengkap dengan failover lintas penyedia jika salah satunya mati. Ini penting di sini karena alasan praktis yang sempit: jika pertanyaan yang sebenarnya ingin Anda jawab adalah "apakah model yang disetel untuk agen mengungguli apa yang sudah kita panggil di produksi", Anda bisa menjalankan separuh perbandingan itu dengan mengubah string model sore ini, sementara penawaran GPU untuk separuh lainnya masih dalam proses pengadaan.

Dua string pada lisensi

Lisensi Upstage Solar mengizinkan penggunaan komersial, fine-tuning, dan distilasi, dan Upstage menyebutnya sebagai berbasis Apache-2.0 dengan ketentuan merek tambahan. Dua kewajiban tambahan yang perlu diperhatikan: model turunan harus menyertakan prefiks "Solar" pada namanya, dan Anda harus menampilkan atribusi "Built with Solar".

Untuk penerapan internal, itu bukan masalah. Jika Anda berencana menyuling ini menjadi sesuatu yang Anda rilis di bawah merek produk Anda sendiri, klausa penamaan adalah keputusan branding yang menyamar sebagai istilah lisensi, dan itu layak menyita dua puluh menit waktu pengacara sebelum Anda memulai pelatihan. Baca klausa di repo daripada mempercayai liputan tentangnya — pemberitaan mengenai lisensi ini tidak cermat, termasuk setidaknya satu tulisan yang begitu saja menggambarkannya sebagai Apache 2.0.

Siapa yang harus bergerak sekarang, dan siapa yang harus menunggu?

Beralihlah jika kualitas luaran berbahasa Korea atau Jepang adalah produk Anda dan Anda dapat menempatkan bobot (weights) pada perangkat keras yang sudah Anda miliki — kombinasi itulah yang memang menjadi keunggulan 'open weights, no endpoint', dan pembingkaian Upstage sendiri secara eksplisit menyatakan bahwa kedaulatan berarti mampu men-deploy dan memverifikasi model sendiri, bukan hanya dilatih di dalam negeri. Beralihlah jika Anda memiliki GPU yang menganggur dan beban kerja agen dengan volume cukup untuk mengisinya, karena pada utilisasi yang nyata, perhitungan per-token berbalik arah. Beralihlah jika persyaratan audit atau residensi data berarti API memang tidak pernah menjadi opsi.

Tunggu, jika Anda menginginkan endpoint per-token. Upstage telah mengatakan bahwa mereka berniat untuk mendaftarkan Solar Open 2 250B di platform pihak ketiga; hingga tulisan ini dibuat, hal itu belum terjadi — uji coba Playground hanya berlangsung hingga 31 Juli, dan kartu model masih tidak menunjukkan penyedia mana pun. Tunggu, jika Anda menggunakan Hopper dan mengandalkan build 4-bit, karena versi NVFP4 membutuhkan Blackwell. Dan tunggu sebelum mendesain apa pun di sekitar angka konteks 1M, yang saat ini merupakan properti arsitektur, bukan hasil yang terukur.

Hal yang perlu diperhatikan adalah pull request 51129, yang pada 10 Agustus mendapat label needs-rebase setelah mergify menandai konflik merge. Hari ketika Solar Open 2 250B muncul dalam rilis vLLM yang diberi tag adalah hari ketika proyek tersebut berhenti menjadi proyek infrastruktur dan menjadi model yang dapat langsung dicoba oleh siapa pun. AAII yang dilaporkan pers sebesar 37 adalah sebuah awal — pembacaan eksternal pertama, meskipun bersifat sementara, dan yang masih belum muncul di papan peringkat Artificial Analysis sendiri. Ujian sebenarnya adalah yang berjalan pada perangkat lunak standar, dan belum memiliki tanggal.