Ling-3.1-flash-1019 เปิดโอเพนซอร์สแล้ว: 574 GB, MIT และการเช็กความจริงเรื่อง 256K

เมื่อเวลา 05:46 UTC ของวันที่ 27 ตุลาคม ทีม Ling ที่ Ant Group ได้สร้างที่เก็บ Hugging Face ชื่อ Ling-3.1-flash-1019 และเติมข้อมูลด้วย shard safetensors จำนวน 54 ชิ้น รวมขนาด 573.8 GB ภายใต้สัญญาอนุญาต MIT ข้าง ๆ มี Ling-3.1-flash-base ซึ่งเป็น checkpoint BF16 ขนาด 1.14 TB สำหรับการฝึกเพิ่มเติม และเบื้องหลังทั้งสองมี Ling-3.1-flash ซึ่งเป็นโมเดลที่บิลด์นี้เป็นฉบับปรับปรุงหลังการฝึกของโมเดลดังกล่าว ห้าวันก่อนหน้านี้ Ant เผยแพร่เพียงคะแนน: 44 บน Artificial Analysis Intelligence Index v4.3.2 เพิ่มขึ้นจาก 41 พร้อมสัญญาว่าจะมีน้ำหนักและ API วันนี้คำสัญญานั้นมีรายการไฟล์แล้ว ซึ่งทำให้วันนี้เป็นวันแรกที่ใครก็ตามนอกไปป์ไลน์การประเมินของ Ant สามารถตรวจสอบตัวเลขได้แทนที่จะแค่อ่านมัน

ช่องว่างนั้นคือเรื่องราว และมันก็ส่งผลได้ทั้งสองทาง ห้องแล็บที่ประกาศ benchmark ก่อนจะเปิดตัวอาร์ติแฟกต์ คือการขอให้ผู้คนเชื่อใจโดยปริยาย ส่วนห้องแล็บที่เปิดตัวอาร์ติแฟกต์ในอีกห้าวันถัดมา ที่ขนาด 574 GB ภายใต้สัญญาอนุญาตแบบผ่อนปรน อย่างน้อยก็ได้มอบช่องทางให้โต้แย้งได้ คำถามที่น่าสนใจไม่ใช่เรื่องคะแนนอีกต่อไป แต่เป็นเรื่องว่ามีอะไรอยู่ในไฟล์ดาวน์โหลด การให้บริการมีต้นทุนเท่าไร และบริบท 1M-token บนการ์ดโมเดลคือบริบทที่คุณได้รับจริงหรือไม่

จริงๆ แล้วมีอะไรอยู่ในรีโพซิทอรี

รีโพซิทอรี 1019 ไม่ใช่อะแดปเตอร์แบบบาง ๆ หรือเดลตา แต่เป็นเช็กพอยต์เต็มรูปแบบ: ไฟล์น้ำหนัก 54 ไฟล์ ขนาดประมาณ 10.7 GB ต่อไฟล์ โทเคไนเซอร์ เทมเพลตแชต และโค้ดสำหรับการสร้างแบบจำลองแบบกำหนดเอง (BailingMoeV3ForCausalLM) ที่ต้องใช้ trust_remote_code คอนฟิกที่จัดส่งมาประกาศสคีมาการควอนไทซ์ FP8 (E4M3, การสเกลแบบบล็อก 128×128) บนสถาปัตยกรรม MoE แบบไฮบริดเชิงเส้นที่สายผลิตภัณฑ์ Ling ใช้มาตั้งแต่ 3.1:

พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งาน — รวม 560B ใช้งาน 25B ต่อโทเคน ซึ่งเป็นตัวเลขเดียวกับ Ling-3.1-flash

• เลเยอร์ — รวมทั้งหมด 72 เลเยอร์: เลเยอร์ KDA linear-attention 63 เลเยอร์ และเลเยอร์ gated MLA 9 เลเยอร์ ในอัตราส่วน 7:1 พร้อมกับเลเยอร์ dense อีก 4 เลเยอร์

• ผู้เชี่ยวชาญ — 512 ตัวถูกจัดเส้นทาง, เปิดใช้งาน 8 ตัวต่อโทเค็น, ใช้ร่วมกัน 1 ตัว

• คำศัพท์ — 157,184 โทเคน; ขนาดซ่อน 4,096

• ขนาดพื้นที่จัดเก็บ — 573.8 GB ของ safetensors กระจายอยู่ across 54 shard ตามการนับของเราจากรายการไฟล์ในรีโพซิทอรีเมื่อวันที่ 27 ตุลาคม

โมเดลฐานเป็นอาร์ติแฟกต์อีกชนิดหนึ่ง Ling-3.1-flash-base ถูกสร้างขึ้นเมื่อวันที่ 25 ตุลาคม และประกอบด้วยไฟล์ 121 ไฟล์กับน้ำหนัก BF16 ขนาด 1.14 TB — ประมาณสองเท่าของขนาดเช็กพอยต์ที่จัดแนวแล้ว เนื่องจากยังไม่ได้ควอนไทซ์เป็น FP8 การ์ดของโมเดลระบุว่าเป็นเช็กพอยต์ฐานของ Ling-3.1-flash สำหรับการฝึกก่อนฝึกต่อเนื่อง การปรับให้เข้ากับโดเมน และการวิจัยหลังการฝึก และระบุอย่างชัดเจนว่าไม่ได้มีจุดประสงค์สำหรับการแชทโดยตรงหรือการใช้งานที่สำคัญต่อความปลอดภัยโดยไม่มีการจัดแนว ทั้งสองรีโปมีแท็ก MIT

44 และส่วนที่ Ant ไม่ได้วัด

Artificial Analysis ระบุว่าLing-3.1-flash-1019ได้ 44 คะแนนบน Intelligence Index ของตน อยู่ในอันดับที่สี่จาก 122 โมเดลบนหน้าที่เราอ่านในวันนี้ และหน้าโมเดลของมันระบุว่าการประเมินถูกวัดอย่างเป็นอิสระโดย Artificial Analysis นั่นคือรูปแบบที่แข็งแกร่งที่สุดของตัวเลขนี้จนถึงตอนนี้ และควรแยกออกจากส่วนที่เหลือของตารางการเปิดตัว

ส่วนต่างต่อ benchmark มาจาก model card ของ Ant เอง ไม่ใช่จากการรันซ้ำโดยอิสระ: AA-Briefcase เพิ่มจากประมาณ 1,400 เป็น 1,524 Elo, AutomationBench-AA จาก 62% เป็น 68%, CritPt จาก 18% เป็น 26% และ SciCode จาก 54% เป็น 57% สองใน benchmark เหล่านั้น — AA-Briefcase และ AutomationBench-AA — เป็นองค์ประกอบของดัชนี Artificial Analysis ดังนั้นตัวเลขดัชนีและตารางของผู้ขายจึงไม่ใช่หลักฐานที่เป็นอิสระต่อกัน พวกมันเป็นการกล่าวอ้างเดียวกันในสองระดับความละเอียด ให้ถือว่า 44 เป็นค่าที่วัดโดย AA และคู่ก่อน/หลังเป็นค่าที่ผู้ขายรายงาน จนกว่าจะมีใครเผยแพร่ harness และ seed

มีความไม่สมมาตรประการที่สอง ในเวลาที่ทำการวัด Artificial Analysis บันทึกว่าไม่มี API ที่เปิดให้ใช้งานต่อสาธารณะสำหรับบิลด์ 1019 และช่องความเร็วเอาต์พุตของโมเดลยังคงว่างอยู่ ดังนั้นในวันนี้ เบนช์มาร์กนี้จึงทำซ้ำได้เพียงโดยการดาวน์โหลด 574 GB และรันด้วยตัวเองเท่านั้น นี่ไม่ใช่คำร้องเรียนเกี่ยวกับการเปิดตัว แต่เป็นคำอธิบายว่าคำว่า "open" เปลี่ยนแปลงอะไรบ้าง ก่อนวันนี้ ไม่มีใครสามารถทำซ้ำคะแนนได้ หลังวันนี้ ใครก็ตามที่มีฮาร์ดแวร์ก็ทำได้

สามคะแนนนั้นถูกซื้อด้วยโทเค็น

ดัชนีนี้เป็นตัววัดคุณภาพ ไม่ใช่ตัววัดประสิทธิภาพ และด้านประสิทธิภาพของการเปิดตัวนี้เป็นส่วนที่ดูดีน้อยที่สุด Artificial Analysis วัดโทเค็นเอาต์พุตได้ 350M สำหรับการรัน 1019 เทียบกับ 220M สำหรับ Ling-3.1-flash — มากกว่าโทเค็นที่สร้างขึ้นประมาณ 59% เพื่อทำชุดทดสอบเดียวกันให้เสร็จ — และจัดอันดับบิลด์ใหม่เป็นอันดับ 48 จาก 48 ในด้านความเยิ่นเย้อ โดยโมเดลค่ามัธยฐานอยู่ที่ 140M ต้นทุนในการรันดัชนีอยู่ที่ $1.49 ต่องาน เทียบกับ $1.01 สำหรับรุ่นก่อนหน้า

บางส่วนเป็นการคำนวณที่คุณทำได้จากเรตการ์ดของ Ant เอง ที่ $0.90 ต่อหนึ่งล้านโทเค็นเอาต์พุต 350M โทเค็นคิดเป็น $315 ของเอาต์พุต เทียบกับ $198 สำหรับ 220M — ต่างกัน $117 ก่อนจะนับโทเค็นอินพุตแม้แต่โทเค็นเดียวหรือการอ่านแคช สำหรับทีมที่ตั้งงบประมาณตามงานไม่ใช่ตามโทเค็น การอัปเกรด checkpoint แบบ "ฟรี" นั้นใกล้เคียงกับการเพิ่มขึ้น 47% ของบิลเพื่อแลกกับคะแนนดัชนีที่เพิ่มขึ้นสามจุด ว่าการแลกเปลี่ยนนี้ดีหรือไม่นั้นขึ้นอยู่กับว่างานที่ล้มเหลวสร้างความเสียหายให้คุณมากแค่ไหน ซึ่งเป็นคำถามที่ไม่มีตารางอันดับใดตอบได้

หน้าต่างบริบทมีขนาด 256K ในการตั้งค่า

การ์ดโมเดลระบุว่ามีคอนเท็กซ์ 1M โทเคน แต่การตั้งค่าที่จัดส่งมาจริงกลับบอกอีกอย่างหนึ่ง ในทั้งสามรีโพซิทอรี ได้แก่ 1019, Ling-3.1-flash และตัวเบส ไฟล์ config.json กำหนด max_position_embeddings เป็น 262,144 และ rope_scaling เป็น null โดยมีค่า RoPE theta ที่ 6,000,000 ดังนั้นการโหลดเวตเหล่านี้ด้วย SGLang หรือ vLLM แบบมาตรฐานจะให้บริการได้ 256K ตำแหน่ง ไม่ใช่หนึ่งล้านตำแหน่ง เว้นแต่ผู้ดูแลระบบจะจัดหาการตั้งค่าการสเกลที่รีโพซิทอรีไม่ได้มีไว้ให้

นี่คือการตีความของเราจากไฟล์คอนฟิกที่เผยแพร่ ไม่ใช่คำแถลงที่ Ant ได้กล่าวไว้ เป็นไปได้ว่า Ling API แบบโฮสต์ใช้กลไกปรับสเกลฝั่งเซิร์ฟเวอร์และให้บริการ 1M ได้จริง ส่วนน้ำหนักแบบเปิดไม่ได้จัดส่งกลไกดังกล่าวมาด้วย ทั้งนี้ก็ไม่ใช่ความคลาดเคลื่อนใหม่ — การเปิดตัว Ling-3.1-flash เมื่อวันที่ 15 ตุลาคม มีคำกล่าวอ้าง 1M แบบเดียวกันบนการตั้งค่า 262,144 เดียวกัน ใครก็ตามที่กำลังกำหนดสเปกฮาร์ดแวร์สำหรับเวิร์กโหลดหนึ่งล้านโทเค็นควรทดสอบเพดานบนสแต็กของตนเองก่อนตัดสินใจ เพราะตัวเลขที่สำคัญคือตัวเลขที่เซิร์ฟเวอร์ยอมรับ ไม่ใช่ตัวเลขในบทนำ

การให้บริการ: H200s แปดตัว, GB300s สี่ตัว และกับดักจากการคัดลอกวางหนึ่งจุด

Ant แนะนำ SGLang และเผยแพร่ image แบบ day-0 ชื่อ lmsysorg/sglang:dev-ling-3.1-flash พร้อม MTP speculative decoding และการปรับแต่ง decode สำหรับ Hopper คอนฟิกุเรชันอ้างอิงที่ 문서화 ไว้คือ GPU H200 แปดตัวที่ TP8 พร้อม EP8; บน GB300 สี่ตัว การ์ดระบุให้ใช้ --tp 4 --ep 4 นอกจากนี้ยังมีสูตรสำหรับ vLLM รวมอยู่ด้วย โดยมี tensor parallelism ที่ 8, expert parallelism, prefix caching และ speculative token สามตัว มีการกล่าวอ้างว่าแฟล็กสภาพแวดล้อมสองตัว — SGLANG_ENABLE_FP8_BLOCK_GEMV และ SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT — ให้ decode แบบ batch-1 เร็วขึ้นราว 10% บน Hopper

ขนาดที่ใช้หน่วยความจำอยู่นี้อธิบายรายการฮาร์ดแวร์ได้ ที่น้ำหนัก FP8 573.8 GB เช็กพอยต์จะเหลือพื้นที่ว่างประมาณ 550 GB บน H200 จำนวนแปดตัว (HBM 1,128 GB) และประมาณ 578 GB บน GB300 จำนวนสี่ตัว (1,152 GB) นั่นเพียงพอสำหรับน้ำหนักและ KV cache ที่ใช้งานได้ แต่ไม่เพียงพอที่จะประมาทกับบริบทแบบยาว

ยังมีกับดักใน Quickstart ที่ควรแจ้งเตือน เพราะมันจะทำให้ใครบางคนเสียเวลาหนึ่งวัน คำสั่ง SGLang ของการ์ดโมเดล 1019 เองส่ง --model-path inclusionAI/Ling-3.1-flash และตัวอย่างไคลเอนต์ของมันส่ง "model": "Ling-3.1-flash" หากทำตามคำต่อคำ สูตรนี้จะโหลดรุ่นก่อนหน้าที่ได้ 41 คะแนน ไม่ใช่บิลด์ที่ได้ 44 คะแนน จงชี้พาธไปที่ inclusionAI/Ling-3.1-flash-1019 อย่างชัดเจนและตรึงชื่อโมเดลที่ให้บริการไว้ มิฉะนั้นการวัดประสิทธิภาพครั้งแรกของคุณของ "1019" จะเป็นการวัดประสิทธิภาพของเช็กพอยต์เก่า

Ling-3.1-flash-base ใช้สำหรับอะไร — และไม่ใช่อะไร

การปล่อยเวอร์ชัน base ถือเป็นสิ่งที่สำคัญกว่าของทั้งสองสำหรับใครก็ตามที่ฝึกโมเดลแทนที่จะเพียงเรียกใช้งาน เช็กพอยต์ BF16 ขนาด 1.14 TB ภายใต้สัญญาอนุญาต MIT ซึ่งมีสถาปัตยกรรม 560B/25B เดียวกัน มอบจุดเริ่มต้นที่ชอบธรรมให้กับห้องแล็บสำหรับการฝึกล่วงหน้าแบบต่อเนื่อง การปรับให้เข้ากับโดเมน การปรับละเอียดแบบมีผู้กำกับ การปรับให้เหมาะสมตามความชอบ การทดลองกลั่นความรู้ และการวิจัย MoE แบบบริบท длинный โดยไม่ต้องเริ่มจากโมเดลที่จัดแนวสำหรับแชตซึ่งจะต้องย้อนคืนพฤติกรรมการปฏิเสธ

สิ่งที่มันไม่ได้ให้คุณคือสูตรสำหรับ 44 การ์ดโมเดลระบุว่า base เป็น base checkpoint ของ Ling-3.1-flash ไม่ใช่สแนปช็อตก่อน post-training ของบิลด์ 1019 และไม่มีข้อมูล post-training, preference set หรือการกำหนดค่า RL ติดมากับรีโพซิทอรีทั้งสองแห่ง หากคุณต้องการโมเดลที่วัดผลแล้ว ให้ดาวน์โหลดโมเดลที่วัดผลแล้ว หากคุณต้องการสร้างโมเดลของคุณเอง base ช่วยให้คุณประหยัดค่าใช้จ่ายในการ pre-training แต่ไม่ใช่ Saving งานด้าน alignment — และช่องว่างระหว่าง base ที่ปรับแต่งมาดีกับ checkpoint ที่ผ่าน post-training ที่ดีที่สุดของผู้ขายมักกว้างกว่าที่เดลต้าดัชนีสามจุดบ่งชี้

คุณควรเอา 574 GB ไหม?

ดาวน์โหลดได้เลยหากคุณใช้งาน H200 อยู่แล้วจำนวนแปดเครื่อง หรือ GB300 จำนวนสี่เครื่อง และเวิร์กโหลดของคุณเป็นแบบเอเจนติกหรือหลายขั้นตอน และสัญญาอนุญาต MIT ช่วยขจัดอุปสรรคทางกฎหมายที่คุณมีอยู่จริง

• ดาวน์โหลดได้เลยหากคุณต้องการสร้าง 44 ขึ้นมาใหม่ด้วยตัวเอง — ตอนนี้ทำได้แล้ว ซึ่งเมื่อวันที่ 22 ตุลาคมยังทำไม่ได้

• ข้ามไปเลยหากคุณคาดหวังจะได้บริบท 1M แบบพร้อมใช้ทันที; ลองทดสอบคอนฟิก 256K ก่อน

• ข้ามไปเลยหากเศรษฐศาสตร์ของคุณคิดเป็นต่องานและไวต่อความหน่วง การเพิ่มขึ้นของโทเค็น 59% ถือเป็นต้นทุนด้านทรูพุตที่แท้จริง และยังไม่มีตัวเลขความเร็วเอาต์พุตจากแหล่งอิสระสำหรับ 1019 เลย

• เริ่มจาก base ก็ต่อเมื่อคุณมีไปป์ไลน์หลังการฝึก (post-training pipeline) เท่านั้น มันเป็นรากฐาน ไม่ใช่ทางลัด

การวางกรอบบทบาทของ OrcaRouter ในที่นี้อย่างตรงไปตรงมาคือ: เราไม่ได้ให้บริการ Ling-3.1-flash-1019 สิ่งที่เราขายคืออีกด้านของการตัดสินใจ — คีย์เดียวสำหรับ 200+ โมเดลที่โฮสต์ไว้ ในราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0% ดังนั้นคำถามที่ว่า "1019 ดีกว่าสิ่งที่ฉันใช้อยู่หรือไม่" จึงตอบได้โดยไม่ต้องเซ็นสัญญาแยกสำหรับทุก baseline ระบบ failover อัตโนมัติและ routing DSL จะสำคัญก็ต่อเมื่อคุณเลือกผู้ชนะได้แล้ว; สิ่งเหล่านี้ไม่ได้ช่วยให้คุณเลือก

สิ่งที่ควรดูต่อไป

สามสิ่งจะตัดสินว่ารีลีสนี้จะยังคงคุณค่าได้ดีหรือไม่ สิ่งแรกคือทรูพุตอิสระ: Artificial Analysis ยังไม่มีตัวเลขความเร็วเอาต์พุตสำหรับ 1019 และผู้ให้บริการบุคคลที่สามรายแรกที่เผยแพร่ตัวเลขโทเคนต่อวินาทีจะบอกคุณได้มากกว่าคะแนนดัชนีอีกจุดหนึ่งในแง่ความเหมาะสมต่อการใช้งานจริง สิ่งที่สองคือจะมีการกำหนดค่าการสเกลบริบท 1M ปรากฏในรีโพซิทอรีหรือใน SGLang cookbook หรือไม่ จนกว่าจะมี ตัวเลขพาดหัวบนการ์ดก็เป็นเพียงคำกล่าวอ้างที่ข้างใต้เป็นการใช้งาน 256K สิ่งที่สามคือสิ่งที่ชุมชนทำกับโมเดลฐาน — ไฟน์ทูนที่ทำคะแนนได้เหนือกว่า 44 ในโดเมนแคบจะเป็นหลักฐานที่แข็งแกร่งที่สุดว่าการเปิดเวตเหล่านี้คุ้มค่ามากกว่าคะแนนที่มาพร้อมตอนเปิดตัว