Spark3 หลุด: โมเดลขนาดเล็ก 1.7B และ 4B ของ iFLYTEK กำลังถูกเชื่อมต่อเข้ากับ vLLM

Spark3 ยังไม่มีน้ำหนักโมเดลสาธารณะ ไม่มีการ์ดโมเดล ไม่มีประกาศใด ๆ — แต่กลับมี pull request เข้ามาในสัปดาห์นี้ในวาระการอนุมาน vLLM ที่อธิบายโมเดลสองตัวคือ Spark3-1.7B และ Spark3-4B ไว้อย่างละเอียดลึกซึ้ง Pull request #53373 ในคลัง vLLM ชื่อ "[Model] Add Spark3 Model" เพิ่มการรองรับการให้บริการแบบเนทีฟสำหรับสถาปัตยกรรม Spark3: sliding-window attention, งบประมาณการคิดที่ควบคุมได้สี่ระดับ, รองรับบริบทล้านโทเค็นโดยกำเนิดทั้งสองขนาด, และรหัสโมเดลที่ชี้ไปที่ iFLYTEK ไม่มีสิ่งใดที่ผู้จำหน่ายยืนยัน และยังไม่มีอะไรปล่อยออกมาจริง นี่คือบทความแบบ "เท่าที่รู้ตอนนี้": pull request มีจริง และทุกอย่างที่กล่าวว่าโมเดลทำได้ ยังไม่ได้รับการตรวจสอบจนกว่า iFLYTEK — หรือใครก็ตามที่ปล่อย Spark3 — จะเผยแพร่น้ำหนักโมเดลจริง

การรั่วไหล: พูลรีเควสที่อ่านเหมือนสเปกชีต

สัญญาณคือ PR ของ vLLM ที่เปิดอยู่ ส่งโดยผู้ใช้ GitHub ชื่อ KnightYao (ผู้มีส่วนร่วมจากเมืองเหอเฟย ซึ่งระบุสังกัดมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีแห่งประเทศจีน) และ ณ วันที่ 23 สิงหาคม 2026 ยังไม่ถูกผสาน ผู้ดูแล vLLM ได้ขอให้แก้ไขเมื่อวันที่ 22 สิงหาคม พร้อมหมายเหตุว่า "พักไว้ก่อนเพื่อการอภิปราย" PR นี้ยังอยู่ในช่วงแรกและถูกโต้แย้ง ซึ่งเป็นเรื่องปกติสำหรับการผสานรวมประเภทนี้ — และยังมีรายละเอียดมากกว่าปกติสำหรับ PR ของเฟรมเวิร์กที่เกี่ยวกับโมเดลที่ไม่มีใครนอกห้องแล็บสามารถดาวน์โหลดได้

การเปลี่ยนแปลงนี้เกี่ยวข้องกับแปดไฟล์ โดยเพิ่มการใช้งาน Spark3ForCausalLM ในโมเดลเอ็กซีคิวเตอร์ของ vLLM, การลงทะเบียน Spark3Config ดั้งเดิมในคอนฟิกและรีจิสทรีโมเดลของ vLLM, รองรับ sliding-window attention และ full attention พร้อมกับ head-wise attention-output gating, การโหลดน้ำหนักแบบ tensor- และ pipeline-parallel, และตัวแยกวิเคราะห์ XML สำหรับ Spark3 เพื่อให้การเรียกใช้เครื่องมือของโมเดลสามารถถอดรหัสได้อย่างมีโครงสร้าง อีกทั้งยังเพิ่มแถวในเอกสารโมเดลที่รองรับของ vLLM เพื่อระบุ checkpoint เป็น XHToken/Spark3-1.7B คำอธิบายยังอ้างอีกว่าการผสานรวมได้รับการวัดประสิทธิภาพแล้ว: คำขอพร้อมกัน 500 รายการ, ความสำเร็จ 100%, ประมาณ 106 คำขอต่อวินาที และ 13.5K โทเค็นเอาต์พุตต่อวินาทีในการตั้งค่าทดสอบของผู้เขียน ตัวเลขเหล่านั้นรายงานด้วยตัวเองโดยบุคคลที่เขียน PR ไม่ใช่การวัดประสิทธิภาพจากภายนอก และควรอ่านในลักษณะนั้นเท่านั้น

เหตุใด iFLYTEK จึงเป็นบริษัทแม่ที่ชัดเจน — แต่ยังไม่ได้รับการยืนยัน

ใน PR ไม่ได้เอ่ยชื่อผู้พัฒนา แต่ checkpoint ID ที่ลงทะเบียนไว้คือ XHToken/Spark3-1.7B ซึ่งอยู่ภายใต้องค์กร XHToken บน Hugging Face และองค์กรดังกล่าวก็เป็นของ iFLYTEK: หน้าเพจขององค์กรระบุว่าเป็นบริษัท เชื่อมโยงไปยัง opensource.iflytek.com และปัจจุบันไม่แสดงโมเดลสาธารณะและชุดข้อมูลสาธารณะเลย "XH" เป็นอักษรย่อโดยธรรมชาติของ 星火 (Xinghuo, "Spark") ซึ่งเป็นตระกูลโมเดลของ iFLYTEK เมื่อบวกกับตำแหน่งที่ตั้งของผู้เขียนที่เมืองเหอเฟย์ — iFLYTEK มีสำนักงานใหญ่อยู่ที่เหอเฟย์ — การคาดเดานี้ก็เกือบจะแน่นอนที่สุดเท่าที่จะคาดเดาได้ก่อนที่ผู้พัฒนาจะยืนยัน

มันสอดคล้องกับรูปแบบล่าสุดของ iFLYTEK โดย Spark X2 ที่เปิดตัวในเดือนกุมภาพันธ์ 2026 ถูกออกแบบมาเพื่อการใช้งานด้านการศึกษา การแพทย์ ยานยนต์ และเอเจนต์โดยเฉพาะ และกลุ่มโมเดลบนอุปกรณ์ SparkAuto-EMM มีขนาดเล็กตั้งแต่ 0.5B ถึง 7B สองวันก่อนที่ PR นี้จะเผยแพร่ ในการประชุมผลประกอบการระหว่างกาลเมื่อวันที่ 21 สิงหาคม iFLYTEK กล่าวว่าโมเดลอเนกประสงค์ระดับเรือธงใหม่ที่สร้างขึ้นบนคอมพิวต์ในประเทศทั้งหมดกำลังจะมา โดยมีเวอร์ชันแบบเป็นเฟสภายใน "สิ้นเดือนสิงหาคม" และเปิดตัวอย่างเต็มรูปแบบในงาน 1024 Developer Day เดือนตุลาคม ไม่ว่า Spark3-1.7B และ Spark3-4B จะเป็นส่วนหนึ่งของการเปิดตัวแบบเป็นเฟสนั้น หรือเป็นเส้นทางที่เน้นขอบอุปกรณ์แยกต่างหาก ยังคงเป็นคำถามเปิดที่ PR นี้ไม่ได้ตอบ

สิ่งที่โมเดลเหล่านี้ถูกกล่าวว่าเป็น

ข้อกล่าวอ้างทั้งหมดของ PR ยังไม่ได้รับการยืนยัน:

• สองขนาด Spark3-1.7B และ Spark3-4B ทั้งคู่ถูกอธิบายว่าเป็นดีไซน์ที่เน้นประสิทธิภาพเป็นหลัก โดยใช้ sliding-window attention แทนที่จะเป็น dense full-attention layout.

• บริบทเนทีฟ 1 ล้านโทเคนบนทั้งคู่ ไม่ใช่คำกล่าวอ้างแบบโหมดขยาย — PR ระบุว่าบริบทนี้เป็นเนทีฟของสถาปัตยกรรม ซึ่งจะรองรับโทเคนล้านตัวบนโมเดลที่เล็กพอจะรันบน GPU ตัวเดียวได้อย่างสมเหตุสมผล

• งบประมาณการคิดสี่ระดับ การให้เหตุผลสามารถตั้งค่าได้เป็นไม่มี ระดับต่ำ ระดับกลาง หรือระดับสูง ซึ่งเป็นการออกแบบที่สลับการคิดได้ ช่วยให้แอปพลิเคชันสามารถแลกเปลี่ยนความลึกของการให้เหตุผลกับความหน่วงและต้นทุนต่อการเรียกใช้

• 200+ ภาษาและความแข็งแกร่งด้านข้อสอบจีน. ข่าวประชาสัมพันธ์อ้างถึงผลงานการตอบคำถามระดับ K-12 และ Gaokao ที่แข็งแกร่ง — ซึ่งเป็นเอกลักษณ์ของ iFLYTEK เนื่องจากธุรกิจการศึกษาของบริษัท — และการรองรับหลายภาษามากกว่า 200 ภาษา.

• การเขียนโค้ดและแนวทางเชิงเอเจนต์. ข้อกล่าวอ้างถึงการสร้างโค้ดที่ทรงพลัง การใช้เครื่องมือ การดำเนินการหลายขั้นตอน และการให้เหตุผลบนบริบทยาวเมื่อเทียบกับขนาดของมัน โดยมีตัวแยกวิเคราะห์เครื่องมือแบบ XML ที่รวมอยู่ใน PR เดียวกันเป็นตัวรองรับ.

บริบทเนทีฟ 1M บนโมเดล 1.7B คือส่วนที่ควรค่าแก่การจับตามอง

ความยาวบริบทคือจุดที่โมเดลขนาดเล็กติดอยู่ ในภาพรวมของโมเดลโอเพนเวทปัจจุบัน โมเดลขนาด 1.7B–4B โดยทั่วไปมาพร้อมหน้าต่างเนทีฟ 32K–256K: เช็คพอยต์ขนาดเล็กของ Qwe​n3 เป็นเนทีฟ 32K และขยายเป็น 131K ผ่านการปรับสเกลแบบ RoPE และแม้แต่ Qwen3.5 ที่ปรับปรุงเนทีฟ 256K บนรุ่นเล็กก็เป็นก้าวล่าสุด บริบทระดับล้านโทเคนจนถึงตอนนี้เป็นฟีเจอร์ของโมเดลใหญ่ — เช็คพอยต์บริบท 1M ของ G​LM มีพารามิเตอร์หลายแสนล้าน หาก Spark3 ส่งมอบหน้าต่างเนทีฟ 1M บนโมเดล 4B จริง มันจะเป็นสเปกที่ผิดปกติอย่างแท้จริง และสถาปัตยกรรมแบบ sliding-window attention คือสิ่งที่ทำให้ต้นทุนหน่วยความจำต่ำลงได้พอดี ข้อควรระวังที่ต้องวางไว้ข้างๆ คือ ตัวเลขเด่นแบบเนทีฟ 1M เขียนง่ายใน PR แต่ทำให้มีประโยชน์ในทางปฏิบัติยาก คุณภาพบริบทระยะยาว — โมเดลสามารถค้นหาและใช้ข้อเท็จจริงที่อยู่ห่างออกไป 700K โทเคนได้จริงหรือไม่ — เป็นคำถามคนละเรื่องกับจำนวนโทเคนที่ใส่ในหน้าต่างได้ และยังไม่มีการประเมินอิสระใดๆ

งบประมาณการคิดที่ควบคุมได้มีความสำคัญด้วยเหตุผลเดียวกัน ระดับการคิดสี่ระดับ (ไม่มี / ต่ำ / ปานกลาง / สูง) คือการออกแบบการคิดแบบสลับได้ตามแนวคิดของโหมดคิดเปิด/ปิดของ Qwe​n3 แต่ให้ความยืดหยุ่นมากกว่า: แทนที่จะเลือกได้แค่สองทาง แอปพลิเคชันสามารถเลือกระดับได้ในแต่ละคำขอ — ไม่คิดเลยสำหรับงานแปล เลือกระดับสูงสำหรับรอบการทำงานของเอเจนต์แบบหลายขั้นตอน — และจ่ายเฉพาะการคิดที่จำเป็นเท่านั้น สำหรับงานแบบเอเจนต์หรือแบบแบตช์ นี่คือปุ่มปรับที่เปลี่ยนโมเดลขนาดเล็กที่ 'เก่งแต่แพง' ให้เป็นโมเดลที่ควบคุมต้นทุนได้

สูตรหลังการฝึกสอดคล้องกับรูปแบบปี 2026

PR ระบุว่า Spark3 ถูก post-train ด้วย "Scaled Reinforcement Learning และ MOPD" MOPD — Multi-Teacher On-Policy Distillation — เป็นเทคนิคจริงและเป็นปัจจุบัน ตามที่อธิบายไว้ในเอกสาร arXiv (2606.30406): ฝึก teacher หลายตัวที่เชี่ยวชาญเฉพาะด้านแบบ RL แบบขนาน จากนั้นกลั่นความรู้กลับเข้าสู่ student ตัวเดียวโดยใช้ rollout ของ student เอง ลดค่า per-token reverse KL กับ teacher ที่ถูกต้องตามแต่ละ prompt มันคือสูตรของปี 2026 ที่ทำให้โมเดลเดียวสามารถสืบทอดทักษะคณิตศาสตร์ การเขียนโค้ด และ agent ได้โดยไม่ให้การฝึก RL ครั้งหนึ่งสู้กับอีกครั้งหนึ่ง และได้รับการเปิดเผยว่าถูกใช้ในการ post-train โมเดลอย่าง MiMo Flash V2, DeepSeek V4 และ Nemotron 3 Ultra การที่ Spark3 อ้างถึงสูตรเดียวกันนี้ทำให้มันอยู่ในเจนเนอเรชันนั้น — โมเดลเล็ก แต่เทคนิค post-training ระดับแนวหน้า ยังหมายความว่าข้อกล่าวอ้างเรื่อง "การเขียนโค้ดและ agent ที่แข็งแกร่ง" มีกลไกที่เป็นไปได้รองรับ อย่างไรก็ตาม "เป็นไปได้" ไม่เหมือนกับ "แสดงให้เห็นแล้ว": ข้อกล่าวอ้างยังคงเป็นข้อมูลที่ vendor รายงาน จนกว่าน้ำหนักโมเดลจะเผยแพร่และมีการประเมินอิสระ

สิ่งที่ไม่รู้อย่างแท้จริง

เกือบทุกอย่างที่มีปฏิทินอยู่บนนั้น:

• วันที่เผยแพร่. ไม่มีน้ำหนักบน Hugging Face ไม่มีการประกาศ ไม่มีไทม์ไลน์ ขณะนี้องค์กร XHToken ว่างเปล่า

• การยืนยันจากผู้ขาย. iFLYTEK ยังไม่ได้พูดถึง Spark3 เลย. ลิงก์ XHToken org เป็นหลักฐานที่แข็งแกร่ง ไม่ใช่คำแถลงอย่างเป็นทางการ.

• ไม่ว่าจะเป็นเรือธงรุ่นเฟส เรือธงรุ่นใหม่ของ iFLYTEK ในเวอร์ชันเฟส "ปลายเดือนสิงหาคม" อาจเป็นรุ่นนี้ — หรืออาจไม่เกี่ยวข้องกัน ข่าวประชาสัมพันธ์ไม่ได้ระบุวันที่ใดๆ เลย

• ราคาและใบอนุญาต ไม่มีการเปิดเผยข้อมูลใดๆ ตระกูล Spark ของ iFLYTEK ในอดีตส่วนใหญ่ให้บริการผ่าน API มากกว่าการเปิดเผยน้ำหนักโมเดล (open-weights) ดังนั้นคำถามที่ว่า Spark3-1.7B และ Spark3-4B เป็นเช็คพอยต์แบบเปิดหรือเป็นเป้าหมายสำหรับการให้บริการภายในจึงยังคงเป็นคำถามที่ยังไม่มีคำตอบ

• ทุกเกณฑ์มาตรฐาน ตัวเลข throughput ใน PR มาจากการทดสอบ serving ของผู้เขียนเอง ไม่ใช่การประเมินโดยอิสระ และไม่มีลีดเดอร์บอร์ดใดให้คะแนนโมเดลนี้ เพราะโมเดลยังไม่ถูกเปิดเผยต่อสาธารณะ

ดูอะไรดี

XHToken Hugging Face organization คือช่องทางการเผยแพร่ที่ควรจับตามอง หากโมเดลมีจริง น้ำหนักของมัน — หรืออย่างน้อยก็ model card — ควรปรากฏที่นั่น และการที่ org มี public repo จากศูนย์เป็นหนึ่งคือสัญญาณที่สำคัญที่สุด สองสามสิ่งที่ควรตรวจสอบทันทีที่มันเกิดขึ้น:

• จำนวนบริบท 1M เป็นเนทีฟหรือเป็น rope-extended ที่แลกกับคุณภาพ? PR บอกว่าเป็นเนทีฟ ส่วน model cards คือที่จะชี้ขาดเรื่องนี้

• API งบประมาณการคิด วิธีการนำเสนอระดับการใช้เหตุผลทั้งสี่ระดับ — ไม่ว่าจะเป็นพารามิเตอร์การสุ่มตัวอย่าง ฟิลด์เทมเพลตแชท หรือโมเดลแบบแยกต่างหาก — เป็นตัวกำหนดว่าการใช้งานจริงจะง่ายเพียงใด

• ใบอนุญาตการเปิดน้ำหนักโมเดลจะทำให้ Spark3 เป็นโมเดลแรกที่มีขนาดต่ำกว่า 5B พารามิเตอร์ พร้อมคอนเท็กซ์เนทีฟ 1M ที่สามารถโฮสต์ได้เอง ส่วนการเปิดตัวแบบ API เท่านั้นจะทำให้มันเป็นผลิตภัณฑ์ที่แตกต่างออกไป

• ปฏิทินการประกาศของ iFLYTEK. แฟลกชิปแบบเป็นระยะมีกำหนดเปิดตัวภายในสิ้นเดือนสิงหาคมตามที่สัญญาไว้ และจะเปิดตัวอย่างเต็มรูปแบบในงาน October 1024 Developer Day หาก Spark3 เป็นส่วนหนึ่งของอย่างใดอย่างหนึ่ง คำอธิบายอย่างเป็นทางการจะบอกถึงสิ่งที่ PR ยังไม่ได้ระบุไว้

• ไม่ว่า PR จะถูก merge หรือไม่. การสนับสนุน vLLM มีความสำคัญทั้งในฐานะสัญญาณคุณภาพและในฐานะโครงสร้างพื้นฐาน: รันไทม์แรกที่รองรับ Spark3 โดยตรงทำให้โมเดลสามารถรันในโปรดักชันได้ในวันที่น้ำหนักโมเดลถูกปล่อยออกมา

สิ่งที่นักพัฒนาควรทำในตอนนี้

ไม่มีอะไรเลย ไม่มีโมเดลให้เรียกใช้ ไม่มีน้ำหนักให้ดาวน์โหลด ไม่มีคีย์ API ให้จัดเตรียม — เครื่องมือใดก็ตามที่อ้างว่าให้บริการ Spark3 ในวันนี้กำลังให้บริการสิ่งอื่นอยู่ สิ่งที่คุณทำได้คือตัดสินใจว่าคุณจะประเมินมันอย่างไรในวันที่มันปรากฏขึ้น เพราะนี่คือโมเดลที่มีคำมั่นสัญญาที่ตรวจสอบได้อย่างชัดเจน: โมเดล 1.7B หรือ 4B ที่อ่านโทเคนนับล้านและให้เหตุผลในสี่ระดับความลึก ย่อมเป็นหมวดหมู่โมเดลขนาดเล็กแบบใหม่จริงๆ หรือไม่ก็เป็นเพียงเรื่องเล่าบนสเปกชีต และความแตกต่างนั้นวัดผลได้ในบ่ายเดียวบนเวิร์กโหลดของคุณเอง

และนั่นคือจุดที่เลเยอร์การจัดเส้นทาง (routing layer) แสดงคุณค่าที่แท้จริงของมัน บน OrcaRouter โมเดลไม่ใช่สัญญาที่คุณต้องผูกพันกับมัน แต่เป็นรายการในแค็ตตาล็อกที่คุณเรียกใช้ผ่าน API เดียวกัน และราคาตามรายการของผู้ให้บริการจะถูกส่งผ่านโดยไม่มีการบวกมาร์กอัป — ดังนั้นเมื่อโมเดลใหม่ปรากฏในแค็ตตาล็อกของผู้ให้บริการ ราคาจริงของมันจะอัปเดตบนฝั่งของเราภายในวันเดียวกัน และการลองใช้มันไม่ต้องลงทุนบูรณาการเพิ่มครั้งที่สองหรือเจรจาใหม่เลย สำหรับโมเดลที่ยังไม่ผ่านการพิสูจน์อย่าง Spark3 รูปแบบที่สมเหตุสมผลคือรูปแบบเดียวกับที่คุณใช้กับของหลุด (leak) ที่ดูมีแนวโน้มดี: วางมันไว้หลังระบบเฟลโอเวอร์อัตโนมัติใน routing DSL ให้ทราฟิกส่วนหนึ่งพุ่งเข้าไปทดสอบมัน และเก็บโมเดลที่พิสูจน์แล้วไว้อีกฝั่งของกฎ เพื่อที่ผลการประเมินที่แย่ เซอร์ไพรส์เรื่องใบอนุญาต หรือผลลัพธ์ long-context ที่น่าผิดหวัง จะกลายเป็นเพียงการเปลี่ยนเส้นทาง ไม่ใช่อุบัติการณ์ คีย์เดียว เอนด์พอยต์เดียว โมเดล 200+ รายการ — และเมื่อ Spark3-1.7B หรือ Spark3-4B พร้อมรันจริง การส่งผ่านและการเฟลโอเวอร์ก็จะนำไปใช้กับมันเหมือนโมเดลอื่น ๆ ทุกตัว

บทสรุปที่ตรงไปตรงมาคือประโยคเดียว ไม่ใช่คำตัดสิน: PR ของเฟรมเวิร์กที่เขียนเมื่อสัปดาห์นี้อ้างว่า iFLYTEK มีโมเดลขนาดเล็กสองตัวที่มีบริบทหนึ่งล้านโทเคนแบบเนทีฟและงบประมาณการคิดสี่ระดับ และยังไม่มีการเผยแพร่หลักฐานใดๆ มาสนับสนุนทั้งหมดนั้น จับตาดูองค์กร XHToken จับตาคำสัญญาสิ้นเดือนสิงหาคมของ iFLYTEK และเมื่อน้ำหนักโมเดลเป็นของจริง นำไปทดสอบผ่านกฎการกำหนดเส้นทางที่มี failover ก่อนจะเดิมพันเส้นทางการผลิตกับมัน นั่นคือแผนทั้งหมดสำหรับการรั่วไหล — เชื่อมั่นในโครงสร้างพื้นฐาน พิสูจน์โมเดล และรักษาทางออกให้มีต้นทุนต่ำ