Ling-3.0-flash-base: Rilis Checkpoint Senyap dari Ant Group, Kini Resmi

Lab inclusionAI milik Ant Group mengunggah Ling-3.0-flash-base dan lima checkpoint saudaranya ke Hugging Face pada 11 Agustus 2026 tanpa disertai pengumuman apa pun, dan selama seminggu penuh keenam repositori itu bertahan di nol unduhan — tampaknya tidak seorang pun di luar lab yang menyadarinya. Lalu, pada 19 Agustus, akun resmi lab tersebut memperkenalkan koleksi itu kepada publik, dan setiap kartu model di dalamnya diperbarui dalam hitungan menit. Ini adalah tulisan tentang apa yang kita ketahui sejauh ini mengenai rilis tersebut. Versi singkatnya di awal: Ling-3.0-flash-base bukan model chat, dan memang tidak dimaksudkan untuk menjadi model chat. Ini adalah checkpoint dasar pra-penyelarasan yang masih mentah dari Ling-3.0-flash, model Mixture-of-Experts dengan 124 miliar parameter dan 5,1 miliar parameter aktif, yang dirilis di bawah lisensi MIT bagi mereka yang ingin terus melatihnya, bukan sekadar memanggilnya.

Linimasanya: seminggu keheningan, lalu pengumuman.

Urutannya penting, karena ia memberi tahu Anda cara membaca semua hal lain dalam tulisan ini. Keenam repositori semuanya dibuat pada 11 Agustus, dan bobot untuk Ling-3.0-flash-base — checkpoint gabungan, yang menjadi nama artikel ini — tiba dengan komit "rilis model awal" pada 12 Agustus. Tidak ada posting blog, tidak ada utas media sosial, tidak ada pengumuman yang menyertainya. Pada saat riset dilakukan, seminggu kemudian, keenam repositori tersebut masih menampilkan nol unduhan.

Keheningan itu berakhir pada 19 Agustus. Akun resmi Ant Ling mengumumkan koleksi checkpoint secara publik, dan kartu Hugging Face untuk keenam repositori diperbarui dalam hitungan menit satu sama lain — stempel waktunya hampir persis berimpit. Jadi gambaran yang jujur adalah: bobot model dikirim secara diam-diam, pengumumannya datang terlambat seminggu, dan semua yang saat ini dapat diketahui tentang rilis ini berasal dari kartu model itu sendiri serta repositori buku masak pelatihan yang singkat. Belum ada hal lain yang diverifikasi secara independen.

Yang sebenarnya dirilis: enam checkpoint, tiga tahap pelatihan

InclusionAI mendeskripsikan rilis tersebut sebagai "kumpulan checkpoint selama proses pelatihan" untuk seri Ling-3.0, keluarga model fondasi bahasa paling efisien yang pernah ada. Untuk masing-masing dari dua ukuran terkecil — Ling-3.0-tiny dan Ling-3.0-flash — laboratorium menerbitkan tiga checkpoint, satu per tahap pelatihan:

• Pra-terlatih — Ling-3.0-flash-base-30T dan Ling-3.0-tiny-base-30T: telah menyelesaikan pra-pelatihan skala besar; tanpa pelatihan menengah, tanpa penggabungan, tanpa pasca-pelatihan.

• Terlatih-menengah — Ling-3.0-flash-base-midtrain dan Ling-3.0-tiny-base-midtrain: menyelesaikan fase pelatihan menengah; tanpa penggabungan checkpoint dan tanpa pelatihan lanjutan.

• Gabungan — Ling-3.0-flash-base dan Ling-3.0-tiny-base: checkpoint dasar hasil penggabungan WSM, dihasilkan dari bobot terlatih-menengah dan mewakili status dasar akhir sebelum pasca-pelatihan.

Keenamnya adalah checkpoint dasar. Tidak ada satupun yang melalui tahap penyelarasan — fine-tuning terawasi, optimasi preferensi, RL — yang mengubah model dasar menjadi sesuatu yang dapat Anda hadapkan kepada pengguna. Kartu model menyatakan hal tersebut secara gamblang: tidak direkomendasikan untuk penerapan obrolan langsung ke pengguna akhir, aplikasi yang kritis terhadap keselamatan tanpa penyelarasan dan evaluasi tambahan, atau penggunaan produksi tanpa pelatihan lanjutan dan validasi khusus tugas.

Apa itu checkpoint dasar — dan mengapa twist WSM penting

Jika Anda hanya pernah mengonsumsi model melalui API, "checkpoint dasar" bisa terdengar seperti versi yang lebih kecil atau lebih tua dari model yang sudah Anda kenal. Padahal bukan keduanya. Checkpoint dasar adalah file bobot jaringan saraf yang tidak selaras yang dihasilkan dari pra-pelatihan; perilaku mengikuti instruksi dan memanggil alat yang sebenarnya Anda gunakan dilapiskan di atasnya setelahnya. Merilis checkpoint dasar adalah cara laboratorium memberikan bahan mentah kepada komunitas riset untuk melakukan pra-pelatihan lanjutan, penyesuaian halus, distilasi, dan RL mereka sendiri.

Yang membuat rilis ini lebih menarik daripada dump bobot dasar pada umumnya adalah resep pelatihan di baliknya. InclusionAI menggunakan teknik yang disebutnya Warmup-Stable and Merge (WSM), yang menggantikan peluruhan laju pembelajaran konvensional di akhir pelatihan dengan penggabungan checkpoint berbobot. Secara sederhana: alih-alih membiarkan laju pembelajaran berkurang secara bertahap untuk menyelesaikan proses, lab tersebut melatih pada laju yang stabil, menyimpan checkpoint di sepanjang tahap akhir, dan menggabungkannya dengan bobot yang dipelajari. Motivasi yang dinyatakan vendor, dari kartu model:

• Karena tidak ada fase peluruhan untuk "memanggang" campuran data final, model dasar yang dihasilkan lebih cocok untuk pra-pelatihan lanjutan dan ekspansi data dinamis.

• Karena resep penggabungan dapat dieksplorasi secara offline, sebuah tim dapat membandingkan profil peluruhan yang berbeda tanpa menjalankan ulang proses pelatihan yang mahal untuk masing-masing.

Poin kedua itulah yang menjadikan rilis ini artefak penelitian, bukan sekadar objek yang menarik: inti dari checkpoint-checkpoint ini adalah bahwa checkpoint-checkpoint tersebut memang dimaksudkan untuk dilatih lebih lanjut, dan resepnya dirancang untuk menoleransinya.

Apa yang ada di dalam Ling-3.0-flash-base

Arsitekturnya identik dengan Ling-3.0-flash pasca-pelatihan, yang seharusnya sudah familiar dari liputan yang lebih luas tentang model tersebut. Dari kartu model dan config.json:

• Ukuran — 124B total parameter menurut vendor (checkpoint lengkap di disk, termasuk embeddings, berjumlah sekitar 127B di Hugging Face), dengan 5.1B yang diaktifkan per token.

• Sparsity — MoE sparse 1/64: 512 pakar terarah, dengan 8 pakar terarah dan 1 pakar bersama yang diaktifkan untuk setiap token.

• Attention — desain hybrid-linear asli: 35 lapisan Kimi Delta Attention (KDA) dan 7 lapisan Gated MLA dalam pola berulang 5:1 di seluruh 42 lapisan transformer.

• Context — konfigurasi tersebut membawa embedding posisi 256K-token (262,144), konteks asli yang sama dengan sibling pasca-pelatihan.

• Bobot — BF16, disediakan sebagai 28 pecahan safetensors (~255 GB di disk), dengan kustom bailing_hybrid kode model yang disertakan dalam repositori.

• Lisensi — MIT, tanpa ketentuan penggunaan yang membatasi.

Satu catatan jujur tentang angka ukuran: kartu model vendor menyebut "Total 124B," dan itulah angka yang beredar di mana-mana — tetapi jumlah parameter safetensors total di repositori sekitar 127.5B jika lapisan embedding disertakan. Angka 124B adalah total non-embedding, dan kedua angka tersebut tidak bertentangan; ada baiknya mengetahui yang mana yang Anda lihat ketika melihat "127B" di sidebar atau pengunduh.

Untuk apa ia digunakan, dan untuk apa tidak.

Kasus penggunaan yang direkomendasikan pada kartu model ini tidak ambigu:

• Pra-pelatihan lanjutan

• Pelatihan Menengah

• Penyetelan halus terawasi untuk adaptasi domain

• Optimasi preferensi dan pasca-pelatihan RL

Penelitian distilasi

Riset sistem long-context dan MoE

Dan daftar "tidak direkomendasikan apa adanya" sama jelasnya: penyebaran obrolan langsung ke pengguna akhir, aplikasi yang penting untuk keselamatan tanpa penyelarasan, penggunaan produksi tanpa pelatihan lanjutan. Dengan kata lain, ini adalah bahan mentah untuk orang-orang yang melatih model, bukan model yang digunakan orang. Jika Anda tidak berencana untuk menyempurnakan atau melatih awal apa pun, tidak ada yang perlu diunduh di sini — dan tidak ada yang salah dengan itu.

Sisi lain dari cerita ini adalah desain yang dapat diskalakan dengan mulus. InclusionAI menyatakan bahwa Ling-3.0-tiny-base dan Ling-3.0-flash-base berbagi resep pelatihan yang sama, sehingga komunitas dapat memvalidasi strategi continued-pretraining atau fine-tuning pada checkpoint kecil terlebih dahulu — yang hanya memerlukan memori GPU jauh lebih sedikit — dan kemudian menerapkan resep tervalidasi yang sama ke checkpoint flash yang lebih besar. Itu adalah pilihan alur kerja yang disengaja, bukan kebetulan logistik rilis, dan ini adalah karakteristik yang paling berguna dari koleksi ini bagi siapa pun yang benar-benar ingin bereksperimen.

Realitas perangkat keras, dan jalur yang sebenarnya diinginkan kebanyakan orang

Tidak ada cara untuk menghindari besarnya bobot dasar flash. BF16 pada ~255 GB berarti node multi-GPU yang serius (atau pengaturan pelatihan yang dioptimalkan untuk memori) sebelum Anda mulai; tidak ada kuantisasi FP8 atau FP4 resmi dari checkpoint dasar — varian terkuantisasi yang ada di katalog organisasi adalah untuk model pasca-pelatihan. Contoh fine-tuning ada di inclusionAI/ling-cookbookrepositori GitHub yang secara eksplisit masih dalam proses pengembangan. Jika pra-pelatihan lanjutan bukan fokus tim Anda, checkpoint dasar bukanlah titik masuk Anda.

Kebanyakan orang yang membaca tentang keluarga Ling-3.0 sama sekali tidak menginginkan checkpoint dasar — mereka menginginkan model yang bisa diajak bicara. Itulah model yang telah dilatih lanjut Ling-3.0-flash, yang tersedia melalui API milik vendor dan beberapa platform pihak ketiga. Saat model open-weights baru yang cepat seperti itu muncul, cara termurah untuk menilainya dibandingkan dengan tumpukan teknologi yang Anda gunakan saat ini adalah menjalankannya berdampingan dengan yang sudah Anda pakai — dan itulah fungsi router: satu API, satu kunci, dan failover otomatis sehingga gangguan penyedia tidak mengakhiri uji coba. OrcaRouter terhubung ke 200+ model dengan cara ini dan meneruskan harga daftar penyedia secara langsung tanpa markup 0%, sehingga harga yang Anda lihat adalah harga asli penyedia, dan potongan vendor masuk ke sisi kami pada hari yang sama.

Apa yang belum dikonfirmasi

Karena dalam hal pengumuman, rilis ini baru berumur satu hari, daftar yang belum terkonfirmasi masih panjang dan harus dibaca sebagai daftar tugas, bukan kritik:

• Tidak ada tolok ukur independen dari checkpoint dasar. Kartu model menyematkan bagan tolok ukur vendor yang membandingkan Ling-3.0-flash-base dengan rekan pra-terlatih di berbagai rangkaian matematika, pengodean, penalaran, multibahasa, dan konteks panjang — tetapi ini adalah evaluasi vendor itu sendiri, yang dihosting di server gambar internal, tanpa bagian metodologi dan tanpa reproduksi pihak ketiga.

• Belum ada reproduksi dari komunitas. Pada saat penelitian, keenam repositori menunjukkan nol unduhan dan pada dasarnya tidak ada keterlibatan. Rilis ini terlalu baru untuk menerbitkan fine-tune independen atau menjalankan pra-pelatihan lanjutan di atas bobot-bobot ini.

• Perkakas masih awal. Adapun bailing_hybrid, arsitektur yang dilengkapi dengan kode pemodelan khusus, sehingga Anda bergantung pada trust_remote_code atau pada kerangka kerja yang telah menambahkan dukungan. Buku resep fine-tuning secara eksplisit masih dalam pengerjaan.

• Pengumumannya sendiri minim. Pengenalan publiknya berupa utas X dan kartu model; tidak ada dokumen peluncuran tersendiri yang menjelaskan data pelatihan, komputasi, atau resep penggabungan yang tepat di luar apa yang dinyatakan kartu-kartu tersebut.

Sebaliknya, varian pasca-pelatihan memang memiliki rekam jejak independen: Ling-3.0-flash dilacak oleh Artificial Analysis dengan Intelligence Index 38 — angka yang berasal dari papan peringkat, bukan dari vendor. Semua itu belum ada untuk Ling-3.0-flash-base; checkpoint dasar tidak disediakan di mana pun, sehingga tidak ada di papan peringkat mana pun. Kedua artefak tersebut berada pada tahap verifikasi yang sama sekali berbeda, dan ada baiknya untuk tidak mencampuradukkannya.

Siapa yang harus bertindak sekarang

Tiga kelompok harus membaca ini secara berbeda:

• Para peneliti yang melakukan pra-pelatihan lanjutan, SFT domain, atau distilasi — ini adalah rilis untuk Anda. Checkpoint dasar WSM-merged memang dibangun untuk dilatih lebih lanjut, dan resep tiny-then-flash memberi Anda cara murah untuk memvalidasi sebuah pendekatan sebelum meningkatkan skalanya. Mulailah dengan Ling-3.0-tiny-base, buktikan resepnya, lalu lanjut ke Ling-3.0-flash-base.

• Insinyur yang menginginkan model yang berfungsi — Anda menginginkan Ling-3.0-flash pasca-pelatihan, bukan rilis ini. Checkpoint dasar tidak akan mengikuti instruksi dan tidak dilayani di mana pun; jangan arahkan klien API ke checkpoint tersebut.

• Semua yang lain — langkah yang berguna adalah mengamati. Sinyal-sinyal menarik dalam beberapa minggu ke depan adalah fine-tune independen pertama yang dibangun di atas bobot-bobot ini, reproduksi komunitas dari bagan tolok ukur vendor, dan apakah tumpukan pelatihan pihak ketiga menambahkan dukungan kelas satu untuk bailing_hybrid arsitektur.

FAQ

Apa perbedaan antara Ling-3.0-flash-base dan Ling-3.0-flash?

Ling-3.0-flash adalah model pasca-pelatihan — selaras dengan supervised fine-tuning dan RL, mengikuti instruksi, melakukan tool-calling, dan disediakan melalui API. Ling-3.0-flash-base adalah arsitektur yang sama pada tahap yang lebih awal: ini adalah base checkpoint gabungan akhir sebelum pasca-pelatihan apa pun, dan model ini tidak akan berperilaku seperti model chat. Basis ini ada agar para peneliti dapat melakukan pra-pelatihan lanjutan, fine-tuning, atau distilasi mereka sendiri daripada memulai dari nol.

Mengapa sebuah laboratorium merilis checkpoint yang belum dilatih lanjut?

Karena post-training adalah hal yang justru ingin dilakukan sendiri oleh sebagian besar peneliti, dan checkpoint dasar adalah titik awal yang tepat untuk itu. Merilis checkpoint pra-terlatih, terlatih-menengah, dan gabungan secara terpisah berarti tim dapat memilih tahap yang sesuai dengan pekerjaan mereka: pre-training lanjutan dari bobot pra-terlatih, atau fine-tuning dan RL dari basis gabungan — dan, berkat WSM, tanpa kendala peluruhan learning rate yang membuat model dasar menjadi rapuh ketika dilatih lebih lanjut.

Bisakah saya menjalankan Ling-3.0-flash-base pada perangkat keras konsumen?

Secara praktis tidak. Bobot BF16 kira-kira 255 GB di 28 shard, tanpa varian kuantisasi resmi dari checkpoint dasar. Saudara yang lebih kecil, Ling-3.0-tiny-base, adalah yang ditujukan untuk eksperimen pada perangkat keras yang lebih sederhana — dan ia berbagi resep pelatihan flash checkpoint, sehingga eksperimen yang tervalidasi dapat ditingkatkan.

Apakah Ling-3.0-flash-base gratis untuk digunakan secara komersial?

Ya — model ini dirilis di bawah lisensi MIT tanpa tambahan klausul tentang penggunaan yang dapat diterima. Ini mencakup baik penggunaan untuk penelitian maupun, pada prinsipnya, penggunaan komersial atas bobot dan segala fine-tune yang dibangun darinya. Ini adalah checkpoint dasar, jadi "penggunaan" di sini berarti melatih model tersebut; lisensi tidak menyebutkan apa pun tentang API yang dihosting, karena untuk model dasar memang tidak ada.

Intinya

Bagi sebagian besar pembaca, Ling-3.0-flash-base adalah penunjuk, bukan produk: ia menunjukkan ke mana arah keluarga Ling-3.0 dan bagaimana lab bermaksud agar komunitas membangun di atasnya, tetapi tidak ada apa pun di sini untuk dipanggil melalui API. Bagi kelompok yang lebih kecil yang benar-benar melakukan pre-training lanjutan, fine-tuning, atau distilasi, ini adalah rilis yang benar-benar berguna — enam checkpoint, berlisensi MIT, dengan sengaja dirancang untuk dilatih lebih lanjut, dengan jalur tiny-first yang membuat eksperimen terjangkau. Yang akan mengubahnya dari "rilis yang berguna" menjadi "resep yang terbukti" adalah hal yang justru hilang saat ini: reproduksi independen, oleh seseorang di luar lab, tentang apa yang dapat dilakukan checkpoint WSM ketika seseorang terus melatihnya.