Engineering & Research

Ling-3.0-flash-base: การเปิดตัว checkpoint อย่างเงียบ ๆ ของ Ant Group ตอนนี้เป็นทางการแล้ว

ผู้เขียน

Elias Hawthorne

วันที่เผยแพร่

Aug 19, 2026

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →

เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน

กลับไปยังโพสต์ทั้งหมด

ห้องแล็บ inclusionAI ของ Ant Group ได้อัปโหลด Ling-3.0-flash-base และเช็คพอยต์พี่น้องอีกห้าตัวไปยัง Hugging Face เมื่อวันที่ 11 สิงหาคม 2026 โดยไม่มีการประกาศใดๆ และตลอดหนึ่งสัปดาห์เต็ม ทั้งหกที่เก็บรหัส (repositories) มียอดดาวน์โหลดเป็นศูนย์ — ดูเหมือนไม่มีใครนอกแล็บสังเกตเห็น จากนั้นในวันที่ 19 สิงหาคม บัญชีทางการของแล็บได้เปิดตัวคอลเลกชันนี้ต่อสาธารณะ และการ์ดโมเดลทุกใบในคอลเลกชันได้รับการอัปเดตภายในไม่กี่นาที นี่คือบทความสรุปเท่าที่เรารู้ในตอนนี้เกี่ยวกับการเผยแพร่ครั้งนี้ สรุปสั้นๆ ก่อนเลย: Ling-3.0-flash-base ไม่ใช่โมเดลแชท และไม่ได้ตั้งใจให้เป็นเช่นนั้น มันคือเช็คพอยต์ฐาน (base checkpoint) ดิบก่อนการปรับ alignment ของ Ling-3.0-flash ซึ่งเป็นโมเดล Mixture-of-Experts ที่มีพารามิเตอร์ 124B และพารามิเตอร์แอ็กทีฟ 5.1B เผยแพร่ภายใต้ใบอนุญาต MIT สำหรับผู้ที่ต้องการฝึกมันต่อมากกว่าแค่เรียกใช้งาน

เส้นเวลา: เงียบหนึ่งสัปดาห์ แล้วจึงมีการประกาศ

ลำดับมีความสำคัญ เพราะมันบอกคุณว่าจะอ่านส่วนอื่น ๆ ในบทความนี้อย่างไร รีโพสิทอรีทั้งหกถูกสร้างขึ้นเมื่อวันที่ 11 สิงหาคม และน้ำหนักสำหรับ Ling-3.0-flash-baseซึ่งเป็น checkpoint ที่ถูกผสาน (merged checkpoint) และเป็นที่มาของชื่อบทความนี้ ถูกปล่อยพร้อมกับคอมมิต "initial model release" ในวันที่ 12 สิงหาคม ไม่มีบล็อกโพสต์ ไม่มีเธรดบนโซเชียล ไม่มีการประกาศใด ๆ มาพร้อมกับมัน หนึ่งสัปดาห์ต่อมา เมื่อถึงเวลาที่ทำการวิจัย รีโพสิทอรีทั้งหกยังคงแสดงยอดดาวน์โหลดเป็นศูนย์

ความเงียบนั้นสิ้นสุดลงเมื่อวันที่ 19 สิงหาคม บัญชีทางการของ Ant Ling ประกาศการรวบรวม checkpoint ต่อสาธารณะ และการ์ด Hugging Face ของทั้งหก repo ถูกอัปเดตภายในช่วงห่างกันไม่กี่นาที — การประทับเวลาตรงกันเกือบจะพอดี ดังนั้นการมองอย่างตรงไปตรงมาคือ: ตัวเวตถูกปล่อยออกมาอย่างเงียบ ๆ การประกาศมาช้าไปหนึ่งสัปดาห์ และทุกสิ่งที่รู้ได้ในตอนนี้เกี่ยวกับการเผยแพร่ครั้งนี้ มาจากการ์ดโมเดลเอง บวกกับคลังเก็บ training-cookbook สั้น ๆ ยังไม่มีสิ่งอื่นใดที่ได้รับการยืนยันโดยอิสระ

สิ่งที่ปล่อยออกมาจริง: checkpoint หกตัว, ขั้นตอนการฝึกสามขั้น

InclusionAI อธิบายการเปิดตัวครั้งนี้ว่า "กลุ่มของจุดตรวจสอบในระหว่างกระบวนการฝึก" สำหรับซีรีส์ Ling-3.0 ซึ่งเป็นตระกูลโมเดลพื้นฐานภาษาที่มีประสิทธิภาพสูงที่สุดจนถึงปัจจุบัน สำหรับขนาดที่เล็กที่สุดสองขนาด — Ling-3.0-tiny และ Ling-3.0-flash — ห้องปฏิบัติการเผยแพร่จุดตรวจสอบสามจุด โดยหนึ่งจุดต่อขั้นตอนการฝึก:

• ผ่านการฝึกฝนล่วงหน้า — Ling-3.0-flash-base-30T และ Ling-3.0-tiny-base-30T: เสร็จสิ้นการฝึกฝนล่วงหน้าขนาดใหญ่แล้ว; ไม่มีการฝึกฝนขั้นกลาง, ไม่มีการรวมโมเดล, ไม่มีการฝึกฝนภายหลัง

• ผ่านการฝึกขั้นกลาง — Ling-3.0-flash-base-midtrain และ Ling-3.0-tiny-base-midtrain: เสร็จสิ้นการฝึกขั้นกลางแล้ว ไม่มีการรวมเช็คพอยต์ และไม่มีการฝึกภายหลัง

• ผสาน — Ling-3.0-flash-base และ Ling-3.0-tiny-base: เช็คพอยต์ฐานที่ผ่านการผสานด้วย WSM ซึ่งสร้างจากน้ำหนักที่ผ่านการฝึกระยะกลาง และแสดงถึงสถานะฐานสุดท้ายก่อนการฝึกขั้นหลัง

ทั้งหกเป็นเช็คพอยต์พื้นฐาน ยังไม่มีตัวใดผ่านขั้นตอน alignment — supervised fine-tuning, preference optimization, หรือ RL — ซึ่งเป็นขั้นตอนที่เปลี่ยนโมเดลพื้นฐานให้เป็นสิ่งที่สามารถนำไปให้ผู้ใช้ใช้งานได้จริง การ์ดโมเดลระบุไว้อย่างตรงไปตรงมาว่า: ไม่แนะนำสำหรับการแชทโดยตรงกับผู้ใช้ปลายทาง แอปพลิเคชันที่วิกฤตต่อความปลอดภัยโดยไม่มีการ alignment และการประเมินผลเพิ่มเติม หรือการใช้งานในโปรดักชันโดยไม่ผ่าน post-training และการตรวจสอบเฉพาะงาน

เบสเช็คพอยต์คืออะไร — และทำไมการพลิกผันของ WSM จึงสำคัญ

{{1}}หากคุณเคยใช้งานโมเดลผ่าน API เท่านั้น{{/1}} {{2}}คำว่า "base checkpoint" อาจฟังดูเหมือนโมเดลเวอร์ชันที่เล็กกว่าหรือเก่ากว่าที่คุณรู้จัก แต่จริงๆ แล้วไม่ใช่ทั้งสองอย่าง{{/2}} {{3}}base checkpoint คือไฟล์น้ำหนักของโครงข่ายประสาทเทียมที่ยังไม่ได้ผ่านการปรับเทียบalignment ซึ่งได้มาจากการฝึกก่อน (pre-training) ส่วนพฤติกรรมการทำตามคำสั่งและการเรียกใช้เครื่องมือที่คุณใช้งานจริงนั้นถูกเพิ่มทับลงไปบนไฟล์นี้ในภายหลัง{{/3}} {{4}}การเผยแพร่ base checkpoint คือวิธีที่ห้องปฏิบัติการมอบวัตถุดิบให้ชุมชนนักวิจัยเพื่อนำไปทำ continued pre-training, fine-tuning, distillation และ RL ต่อไปได้ด้วยตนเอง{{/4}}

สิ่งที่ทำให้รีลีสนี้มีความน่าสนใจมากกว่าการปล่อยน้ำหนักฐานทั่วไปก็คือสูตรการฝึกที่อยู่เบื้องหลังมัน InclusionAI กำลังใช้เทคนิคที่เรียกว่า วอร์มอัป-เสถียรและผสาน (WSM) และมันแทนที่การลดอัตราการเรียนรู้แบบเดิมตอนท้ายการฝึกด้วยการรวมเช็คพอยต์แบบถ่วงน้ำหนัก พูดง่ายๆ ก็คือ แทนที่จะปล่อยให้อัตราการเรียนรู้ค่อยๆ ลดลงเพื่อจบการรัน ห้องแล็บจะฝึกที่อัตราคงที่ บันทึกเช็คพอยต์ในช่วงสุดท้าย และรวมพวกมันเข้ากับน้ำหนักที่เรียนรู้มา เหตุผลที่ผู้พัฒนาระบุไว้ในบัตรโมเดล:

• เนื่องจากไม่มีระยะการสลายตัวที่จะ "ตรึง" ส่วนผสมข้อมูลสุดท้าย โมเดลฐานที่ได้จึงเหมาะสำหรับ การฝึกต่อเนื่องและการขยายข้อมูลแบบไดนามิก.

• เนื่องจากสามารถสำรวจสูตรการผสานได้แบบออฟไลน์ ทีมจึงสามารถเปรียบเทียบโปรไฟล์การเสื่อมสภาพต่างๆ โดยไม่ต้องรันการฝึกอบรมที่มีค่าใช้จ่ายสูงซ้ำ สำหรับแต่ละโปรไฟล์

ประเด็นที่สองนี้เองที่ทำให้การเผยแพร่ครั้งนี้เป็นสิ่งประดิษฐ์เพื่อการวิจัย มากกว่าจะเป็นเพียงของน่าสนใจ กล่าวคือ สาระสำคัญของ checkpoint เหล่านี้คือการนำไปฝึกต่อ และสูตรการฝึกถูกออกแบบมาให้รองรับการฝึกต่อได้

ภายใน Ling-3.0-flash-base มีอะไร

สถาปัตยกรรมเหมือนกับ Ling-3.0-flash หลังการฝึก ซึ่งน่าจะคุ้นเคยกันดีอยู่แล้วจากการกล่าวถึงโมเดลนั้นอย่างครอบคลุม จากโมเดลการ์ดและ config.json:

• ขนาด — พารามิเตอร์ทั้งหมด 124B ตามที่ผู้ผลิตระบุ (เช็คพอยต์เต็มบนดิสก์ รวมถึงเอมเบ็ดดิงส์ นับได้ประมาณ 127B บน Hugging Face) โดยมี 5.1B ที่ถูกใช้งานต่อโทเคน.

• ความเบาบาง — โมเดล MoE แบบเบาบาง 1/64: ผู้เชี่ยวชาญแบบกำหนดเส้นทาง 512 ตัว โดยเปิดใช้งานผู้เชี่ยวชาญแบบกำหนดเส้นทาง 8 ตัวและผู้เชี่ยวชาญร่วม 1 ตัวสำหรับทุกโทเค็น

• แอตเทนชัน — การออกแบบไฮบริด-เชิงเส้นโดยธรรมชาติ: เลเยอร์ Kimi Delta Attention (KDA) จำนวน 35 เลเยอร์ และเลเยอร์ Gated MLA จำนวน 7 เลเยอร์ ในรูปแบบการทำซ้ำ 5:1 ทั่วทั้งเลเยอร์ทรานส์ฟอร์มเมอร์ 42 เลเยอร์

• บริบท — คอนฟิกนี้มี position embedding ขนาด 256K โทเคน (262,144) ซึ่งเป็น native context เดียวกับรุ่นพี่น้องที่ผ่าน post-training แล้ว

• น้ำหนัก — BF16, มาเป็น 28 ชาร์ด safetensors (~255 GB บนดิสก์) พร้อมกับแบบกำหนดเอง bailing_hybrid โค้ดโมเดลที่รวมอยู่ในที่เก็บ.

• ใบอนุญาต — MIT โดยไม่มีข้อกำหนดเพิ่มเติมว่าด้วยการใช้งานที่ยอมรับได้

Single-model scoreboard for Ling-3.0-flash-base listing six figures: total params 124B (5.1B active), stage base pre-alignment WSM-merged, context 256K native, architecture hybrid-linear MoE 1/64 sparse, experts 512 routed with 8 plus 1 active, and independent scores none yet, with the footer noting all figures are from the vendor model card

ข้อควรระวังที่ตรงไปตรงมาอย่างหนึ่งเกี่ยวกับตัวเลขขนาด: การ์ดโมเดลของผู้ขายระบุว่า "Total 124B" และนั่นคือตัวเลขที่แพร่หลายไปทุกที่ — แต่จำนวนพารามิเตอร์ safetensors ทั้งหมดใน repository อยู่ที่ประมาณ 127.5B เมื่อรวมเลเยอร์ embedding เข้าไปด้วย ตัวเลข 124B คือผลรวมที่ไม่รวม embedding และตัวเลขทั้งสองไม่ขัดแย้งกัน; ควรรู้ว่าคุณกำลังดูตัวเลขไหนเมื่อเห็น "127B" ในแถบด้านข้างหรือในตัวดาวน์โหลด

มันมีไว้สำหรับอะไร และมันไม่ได้มีไว้สำหรับอะไร

กรณีการใช้งานที่แนะนำของโมเดลการ์ดมีความชัดเจน:

• การฝึกอบรมล่วงหน้าต่อเนื่อง

• การฝึกอบรมขั้นกลาง

การปรับแต่งแบบมีผู้สอนสำหรับการปรับตัวเข้ากับโดเมน

• การปรับให้เหมาะสมตามความชอบและการปรับแต่งภายหลังด้วย RL

• งานวิจัยการกลั่น

• การวิจัยระบบ Long-context และ MoE

และรายการ "not recommended as-is" ของมันก็ชัดเจนพอๆ กัน: การปรับใช้แชทสำหรับผู้ใช้ปลายทางโดยตรง, แอปพลิเคชันที่สำคัญต่อความปลอดภัยโดยไม่มีการ alignment, การใช้งานในระบบผลิตโดยไม่ผ่าน post-training กล่าวอีกนัยหนึ่ง นี่คือวัตถุดิบสำหรับคนที่ฝึกโมเดล ไม่ใช่โมเดลที่คนนำไปใช้งาน หากคุณไม่มีแผนจะ fine-tune หรือ pre-train อะไรเลย ก็ไม่มีอะไรให้ดาวน์โหลดสำหรับคุณที่นี่ — และนั่นก็ไม่ผิดอะไร

อีกครึ่งหนึ่งของเรื่องราวคือการปรับขนาดได้อย่างราบรื่นของการออกแบบ. InclusionAI ระบุว่า Ling-3.0-tiny-base และ Ling-3.0-flash-baseใช้สูตรการฝึกแบบเดียวกัน ดังนั้นชุมชนสามารถตรวจสอบกลยุทธ์การฝึกต่อเนื่องหรือการปรับแต่งบนเช็คพอยต์ขนาดเล็กก่อน — ซึ่งใช้หน่วยความจำ GPU น้อยกว่ามาก — แล้วจึงปรับขนาดสูตรที่ตรวจสอบแล้วเดียวกันนั้นไปยังเช็คพอยต์ flash ที่ใหญ่ขึ้น นั่นคือตัวเลือกขั้นตอนการทำงานที่ตั้งใจ ไม่ใช่ความบังเอิญจากกระบวนการเผยแพร่ และเป็นคุณสมบัติที่มีประโยชน์ที่สุดของคอลเล็กชันสำหรับผู้ที่ต้องการทดลองจริง

ความเป็นจริงของฮาร์ดแวร์ และเส้นทางที่คนส่วนใหญ่ต้องการจริงๆ

ไม่มีทางเลี่ยงขนาดน้ำหนักฐาน (base weights) ของ flash ได้ BF16 ที่ ~255 GB หมายความว่าต้องใช้โหนด GPU หลายตัวในระดับที่จริงจัง (หรือการตั้งค่าการฝึกที่ปรับหน่วยความจำให้เหมาะสมที่สุด) ก่อนจะเริ่มต้นด้วยซ้ำ และยังไม่มีการควอนไทซ์ FP8 หรือ FP4 อย่างเป็นทางการสำหรับเช็คพอยต์ฐาน — เวอร์ชันควอนไทซ์ที่มีอยู่ในแคตตาล็อกขององค์กรนั้นใช้สำหรับโมเดลที่ผ่านการฝึกขั้นหลัง (post-trained) แล้ว ตัวอย่างการ fine-tuning อยู่ใน inclusionAI/ling-cookbook ที่เก็บ GitHub ซึ่งระบุไว้อย่างชัดเจนว่ายังอยู่ในระหว่างพัฒนา หากการ pre-training ต่อเนื่องไม่ใช่สิ่งที่ทีมคุณให้ความสำคัญ เช็คพอยต์ฐานก็ไม่ใช่จุดเริ่มต้นของคุณ

คนส่วนใหญ่ที่อ่านเกี่ยวกับตระกูล Ling-3.0 ไม่ได้ต้องการ base checkpoint เลย — พวกเขาต้องการโมเดลที่พูดได้ นั่นคือ post-trained Ling-3.0-flash ซึ่งใช้งานได้ผ่าน API ของผู้ให้บริการเองและแพลตฟอร์มบุคคลที่สามหลายแห่ง เมื่อโมเดล open-weights ใหม่และเร็วแบบนี้ปรากฏขึ้น วิธีที่ถูกที่สุดในการประเมินเทียบกับสแตกปัจจุบันของคุณคือรันมันเทียบเคียงกับสิ่งที่คุณใช้อยู่แล้ว — และนั่นคือสิ่งที่เราเตอร์มีไว้: API เดียว, คีย์เดียว, และการเฟลโอเวอร์อัตโนมัติ (failover) เพื่อให้การสะดุดของผู้ให้บริการไม่ทำให้การทดลองจบลง OrcaRouter เชื่อมต่อกับโมเดลกว่า 200 รายการในลักษณะนี้ และส่งผ่านราคาตามรายการของผู้ให้บริการตรง ๆ โดยไม่บวกเพิ่ม 0% ดังนั้นราคาที่คุณเห็นคือราคาของผู้ให้บริการเอง และส่วนแบ่งของเวนเดอร์จะเข้าฝั่งเราในวันเดียวกัน

Screenshot of the inclusionAI/Ling-3.0-flash-base model card on Hugging Face showing the six-checkpoint collection table for Ling-3.0-tiny and Ling-3.0-flash and the training-stage descriptions

อะไรที่ยังไม่ได้รับการยืนยัน

เนื่องจากในแง่การประกาศ การรีลีสนี้เพิ่งออกมาได้เพียงวันเดียว รายการที่ยังไม่ได้รับการยืนยันจึงยาว และควรอ่านเป็นรายการสิ่งที่ต้องทำ ไม่ใช่การวิจารณ์:

• ไม่มี benchmark อิสระของ checkpoint ฐานการ์ดโมเดลฝังแผนภูมิ benchmark จากผู้ผลิตที่เปรียบเทียบLing-3.0-flash-baseกับโมเดลอื่นที่ผ่านการฝึกในชุดทดสอบด้านคณิตศาสตร์ การเขียนโค้ด การใช้เหตุผล หลายภาษา และบริบทระยะยาว — แต่การประเมินนี้เป็นของผู้ผลิตเอง ซึ่งโฮสต์บนเซิร์ฟเวอร์ภาพภายใน ไม่มีหัวข้อระเบียบวิธี และไม่มีการทดสอบซ้ำโดยบุคคลที่สาม

• ยังไม่มีการทำซ้ำโดยชุมชน ณ เวลาที่ทำการวิจัย รีโพทั้งหกแห่งมียอดดาวน์โหลดเป็นศูนย์และแทบไม่มีการมีส่วนร่วมใดๆ การเผยแพร่ครั้งนี้ใหม่เกินกว่าที่ใครจะได้เผยแพร่การปรับแต่งละเอียดแบบอิสระหรือการฝึกต่อเนื่องบนพื้นฐานของน้ำหนักเหล่านี้

• เครื่องมือยังอยู่ในช่วงเริ่มต้น สิ่งที่เรียกว่า bailing_hybrid เป็นสถาปัตยกรรมที่มาพร้อมกับโค้ดการสร้างแบบจำลองที่กำหนดเอง ดังนั้นคุณจึงต้องพึ่งพา trust_remote_code หรือเฟรมเวิร์กที่ได้เพิ่มการสนับสนุน คู่มือการปรับแต่ง (fine-tuning cookbook) ยังอยู่ระหว่างการพัฒนาอย่างชัดเจน

• ตัวประกาศเองมีเนื้อหาน้อย การเปิดตัวต่อสาธารณะมาในรูปแบบเธรดบน X และการ์ดโมเดล ไม่มีเอกสารเปิดตัวแยกต่างหากที่อธิบายข้อมูลการฝึก พลังการคำนวณ หรือสูตรการรวมโมเดลที่แน่นอน นอกเหนือจากที่การ์ดระบุ

ในทางตรงกันข้าม โมเดลพี่น้องที่ผ่านการ post-train แล้วนั้นมีประวัติที่ตรวจสอบได้โดยอิสระ: Ling-3.0-flashถูกติดตามโดย Artificial Analysis ด้วยดัชนีความฉลาด (Intelligence Index) เท่ากับ 38 — ซึ่งเป็นตัวเลขที่มาจากลีดเดอร์บอร์ด ไม่ใช่จากผู้ผลิต ยังไม่มีสิ่งเหล่านั้นสำหรับ Ling-3.0-flash-base; base checkpoint ไม่ได้ถูกให้บริการที่ใด จึงไม่ปรากฏในลีดเดอร์บอร์ดใด ๆ อาร์ติแฟกต์ทั้งสองอยู่ในขั้นตอนการตรวจสอบที่แตกต่างกันอย่างสิ้นเชิง และการไม่ทำให้มันปะปนกันเป็นสิ่งที่ดี

Screenshot of the Artificial Analysis model page for Ling-3.0-flash, the post-trained sibling of Ling-3.0-flash-base, showing its Intelligence Index of 38 and pricing of $0.075 per 1M input and $0.22 per 1M output tokens

ใครควรลงมือตอนนี้

สามกลุ่มควรอ่านสิ่งนี้ต่างกัน:

• นักวิจัยที่ทำ continued pre-training, domain SFT หรือ distillation — นี่คือเวอร์ชันที่เหมาะสำหรับคุณ. checkpoint ฐานแบบ WSM-merged ถูกสร้างมาเพื่อให้ฝึกต่อได้โดยเฉพาะ และสูตร tiny-then-flash ช่วยให้คุณทดสอบแนวทางได้อย่างประหยัดก่อนจะขยายขนาด. เริ่มต้นด้วย Ling-3.0-tiny-base, พิสูจน์สูตรนี้ แล้วจึงขยับไปยัง Ling-3.0-flash-base.

• วิศวกรที่ต้องการโมเดลที่ใช้งานได้ — คุณต้องการ Ling-3.0-flash ที่ผ่านการ post-trained แล้ว ไม่ใช่รุ่นที่เผยแพร่นี้ เช็คพอยต์พื้นฐานจะไม่ปฏิบัติตามคำสั่ง และไม่มีให้บริการที่ใด อย่าชี้ไคลเอ็นต์ API ไปที่พวกมัน

• คนอื่นๆ — การเคลื่อนไหวที่เป็นประโยชน์คือการรอสังเกต. สัญญาณที่น่าสนใจในอีกไม่กี่สัปดาห์ข้างหน้าคือ การปรับละเอียดอิสระครั้งแรกที่สร้างบนน้ำหนักเหล่านี้ การทำซ้ำแผนภูมิเกณฑ์มาตรฐานของผู้จำหน่ายโดยชุมชน และว่าสแตกการฝึกอบรมของบุคคลที่สามจะเพิ่มการรองรับระดับเฟิร์สคลาสสำหรับ bailing_hybrid สถาปัตยกรรม.

คำถามที่พบบ่อย

Ling-3.0-flash-base และ Ling-3.0-flash ต่างกันอย่างไร

Ling-3.0-flash เป็นโมเดลที่ผ่านการ post-training ซึ่งผ่านการ align ด้วย supervised fine-tuning และ RL ทำตามคำแนะนำ เรียกใช้เครื่องมือ (tool-calling) ได้ และให้บริการผ่าน API Ling-3.0-flash-base เป็นสถาปัตยกรรมเดียวกันแต่ยังอยู่ในช่วงก่อนหน้า: เป็น base checkpoint ขั้นสุดท้ายที่ merge แล้วก่อนการ post-training ใดๆ และจะไม่ทำตัวเหมือนโมเดลแชท โมเดล base นี้มีไว้เพื่อให้นักวิจัยสามารถทำ continued pre-training, fine-tuning หรือ distillation ได้เอง แทนที่จะเริ่มจากศูนย์

ทำไมห้องปฏิบัติการถึงปล่อย checkpoints ที่ยังไม่ได้ผ่านการ post-training ออกมา

เพราะการฝึกหลังเทรน (post-training) คือสิ่งที่นักวิจัยส่วนใหญ่ต้องการทำด้วยตัวเอง และเช็คพอยต์ฐาน (base checkpoint) คือจุดเริ่มต้นที่ถูกต้องสำหรับสิ่งนั้น การปล่อยเช็คพอยต์ที่ฝึกก่อน (pre-trained) ฝึกกลางทาง (mid-trained) และรวมกัน (merged) แยกกัน หมายความว่าทีมสามารถเลือกขั้นตอนที่ตรงกับงานของพวกเขา: การฝึกต่อเนื่อง (continued pre-training) จากน้ำหนักที่ฝึกก่อน หรือการปรับแต่งละเอียด (fine-tuning) และ RL จากฐานที่รวมกัน — และด้วย WSM ก็ไม่ต้องมีข้อจำกัดเรื่องการลดอัตราการเรียนรู้ (learning-rate decay) ที่ทำให้โมเดลฐานเปราะบางเมื่อฝึกเพิ่มเติม

ฉันสามารถรัน Ling-3.0-flash-base บนฮาร์ดแวร์สำหรับผู้บริโภคได้ไหม?

ในทางปฏิบัติแล้วไม่สามารถทำได้ น้ำหนัก BF16 มีขนาดประมาณ 255 GB กระจายอยู่ใน 28 ชาร์ด โดยไม่มีตัวแปรแบบควอนไทซ์อย่างเป็นทางการของเช็คพอยต์หลัก รุ่นน้องที่เล็กกว่า Ling-3.0-tiny-base เป็นรุ่นที่ออกแบบมาสำหรับการทดลองบนฮาร์ดแวร์ที่จำกัดกว่า และใช้สูตรการฝึกเดียวกันกับ flash checkpoint ดังนั้นการทดลองที่ผ่านการตรวจสอบแล้วจึงสามารถขยายขนาดขึ้นได้

Ling-3.0-flash-base นำไปใช้ในเชิงพาณิชย์ได้ฟรีหรือไม่?

ใช่ — มันถูกเผยแพร่ภายใต้สัญญาอนุญาต MIT โดยไม่มีเงื่อนไขเพิ่มเติมเกี่ยวกับการใช้งานที่ยอมรับได้ ซึ่งครอบคลุมทั้งการใช้งานเพื่อการวิจัย และโดยหลักการแล้ว การใช้งานเชิงพาณิชย์ของน้ำหนักโมเดลและโมเดลปรับแต่งใดๆ ที่สร้างจากน้ำหนักเหล่านั้น มันเป็น base checkpoint ดังนั้น "การใช้งาน" ในที่นี้หมายถึงการเทรนบนมัน สัญญาอนุญาตไม่ได้กล่าวถึง hosted API เพราะไม่มี hosted API สำหรับโมเดลฐานนี้

ประเด็นสำคัญ

สำหรับผู้อ่านส่วนใหญ่ Ling-3.0-flash-base เป็นเพียงตัวชี้ทิศทาง ไม่ใช่ผลิตภัณฑ์: มันบอกว่าตระกูล Ling-3.0 กำลังมุ่งหน้าไปทางไหน และห้องแล็บตั้งใจให้ชุมชนต่อยอดจากมันอย่างไร แต่ไม่มีอะไรในนี้ให้เรียกใช้ผ่าน API ได้เลย สำหรับกลุ่มเล็กๆ ที่ทำ continued pre-training, fine-tuning หรือ distillation อยู่จริง มันคือรีลีสที่มีประโยชน์อย่างแท้จริง — หกเช็คพอยต์ ใช้ใบอนุญาต MIT ออกแบบมาโดยเจตนาให้เทรนต่อได้ มีเส้นทางแบบ tiny-first ที่ทำให้การทดลองมีค่าใช้จ่ายไม่แพง สิ่งที่จะยกระดับจาก "รีลีสที่มีประโยชน์" ไปเป็น "สูตรที่พิสูจน์แล้ว" คือสิ่งที่ขาดหายไปในตอนนี้พอดี: การทำซ้ำอย่างอิสระ โดยใครสักคนนอกห้องแล็บ เพื่อดูว่าเช็คพอยต์ WSM จะทำอะไรได้บ้างเมื่อมีคนยังคงเทรนมันต่อไป