Muse Glimmer ทำความเร็วได้ถึง 230 Tokens/s บน RTX 5090 เพียงตัวเดียว: การรองรับ Day-0 ของ SGLang คือเรื่องราวการเปิดตัวที่แท้จริง

สองร้อยสามสิบโทเคนต่อวินาทีเป็นตัวเลขที่เร็วสำหรับโมเดลใดๆ ก็ตาม สำหรับ Muse Glimmer — ผลงานโมเดลแบบ dense ขนาด 30B แบบ open-weight ของ Meta จาก Meta Superintelligence Labs ซึ่งเปิดตัวเมื่อวันที่ 10 สิงหาคม 2026 ภายใต้ Apache 2.0 — มันคือตัวเลขที่แบ่งแยกโมเดลที่ "รันบน GPU ของฉันได้" กับโมเดลที่ "ให้บริการเอเจนต์จริงได้" SGLang ประกาศรองรับ Muse Glimmer ตั้งแต่วันแรกในวันเดียวกับที่เผยแพร่น้ำหนักโมเดล และการวัดผลที่เผยแพร่บน GeForce RTX 5090 ตัวเดียวคือ 236.4 โทเคนต่อวินาทีต่อผู้ใช้ที่ batch 1 โดยเปิดใช้ทั้ง NVFP4 quantization และ DFlash speculative-decoding drafter ของ Meta

ตัวเลขหนึ่งตัวนั้นบอกเล่าเรื่องราวส่วนใหญ่ของการเปิดตัวครั้งนี้ แต่ก็คุ้มค่าที่จะหยุดพิจารณารายละเอียดที่เหลือช้าลง เพราะส่วนที่น่าสนใจไม่ใช่ความเร็วอันเป็นพาดหัวข่าว ส่วนที่น่าสนใจคือโมเดลนี้ยังทำงานได้ทันทีบน RTX PRO 6000, บน NVIDIA DGX Spark, และบน Apple silicon ผ่าน MLX — และที่ SGLang เรียกงานนี้ว่าความร่วมมือกับ Meta Superintelligence Labs มากกว่าที่จะเป็นเพียงผลงานเสริมจากชุมชน นี่คือโมเดล Meta ที่ใกล้เคียงระดับ frontier เป็นครั้งแรกในรอบนาน ที่ถูกออกแบบมาโดยคำนึงถึงสแตกการให้บริการ (serving stack) เป็นหลัก ไม่ใช่แค่เพียงน้ำหนักของโมเดลเท่านั้น

"day-0 support" ในที่นี้แท้จริงแล้วหมายถึงอะไร

การสนับสนุน Day-0 ใน SGLang v0.5.17 หมายความว่าโมเดลไม่ได้ถูกต่อเติมภายหลัง: งานรันไทม์ถูกปล่อยในรอบการเปิดตัวเดียวกันกับตัว weights พร้อมเส้นทางที่สร้างขึ้นเฉพาะสำหรับฮาร์ดแวร์ที่ Meta ตั้งเป้าไว้จริง ๆ แบ็คเอนด์ SM120 ของ SGLang ครอบคลุมไลน์ Blackwell-desktop และเวิร์กสเตชัน — RTX 5090, RTX PRO 6000 และ DGX Spark ทั้งหมดใช้เส้นทางที่ปรับแต่งเหมือนกัน — ขณะที่ Apple silicon ได้รับแบ็คเอนด์ MLX แบบเนทีฟ แทนที่จะเป็นพอร์ตที่ช้า

สแตกที่ SGLang และ Meta ปรับแต่งมาเป็นแบบเฉพาะ โมเดลทำงานเป็นเช็คพอยต์ NVFP4 ขนาด 18GB จับคู่กับเดรฟเตอร์ DFlash แบบ BF16 ขนาด 5GB ซึ่งเป็นโมเดลคู่หูสำหรับ speculative decoding ที่ Meta ฝึกสำหรับ Muse Glimmer ชุดค่าผสมนี้พอดีกับการ์ด 32GB โดยมีพื้นที่เหลือเฟือ และเส้นทาง mixed-quantization แบบ NVFP4 บวก MXFP8 ทั้งหมดกินพื้นที่ประมาณ 19.5GB ในหน่วยความจำ ในฝั่ง SGLang บันทึกประจำรุ่นอ้างถึงกลไกความน่าเชื่อถือสามอย่างซึ่งเป็นส่วนหนึ่งของเรื่องเดียวกัน: DFlash speculative decoding, RadixAttention สำหรับการแคชคำนำหน้า และ CUDA graphs ที่ขัดจังหวะได้

ตัวเลข และสิ่งที่มันเป็นและไม่เป็น

ตัวเลข RTX 5090 ที่ SGLang เผยแพร่ ทั้งหมดใช้ NVFP4 และพาธ SM120 แจกแจงได้ดังนี้:

• การถอดรหัสผู้ใช้คนเดียว (ชุดที่ 1) — 63.9 tokens/s มาตรฐาน, 236.4 tokens/s พร้อมการถอดรหัสแบบคาดเดา DFlash การเพิ่มขึ้น 3.7 เท่านั้นคือตัวเลขเชิงโต้ตอบ ที่ตัดสินว่าเอเจนต์ในเครื่องจะรู้สึกเหมือนการสนทนาหรือเหมือนการต่อคิว

• ผลผลิตรวม (แบตช์ 8) — 501 โทเคน/วินาทีแบบมาตรฐาน, 1,452 โทเคน/วินาทีด้วย DFlash นี่คือตัวเลขทรูพุตสำหรับเซิร์ฟเวอร์เฉพาะที่ที่ให้บริการหลายคำขอพร้อมกัน

• สำหรับการเปรียบเทียบ GGUF q4_k_m บน GPU เดียวกัน — เส้นทางที่คนส่วนใหญ่จะใช้กับรันไทม์แบบ llama.cpp — ทำได้ 72.6 tokens/s ในโหมดมาตรฐาน และ 140.7 tokens/s ด้วย DFlash เส้นทาง NVFP4 นั้นนำหน้าอย่างมีนัยสำคัญ

สิ่งเหล่านี้เป็นตัวเลขที่ SGLang และ Meta เผยแพร่ในวันเปิดตัว ไม่ใช่การทำซ้ำโดยอิสระ — ฉลากที่ตรงไปตรงมาคือรายงานจากผู้จำหน่ายและเฟรมเวิร์ก และการตรวจสอบจากชุมชนจะเกิดขึ้นในอีกไม่กี่สัปดาห์ข้างหน้า แต่รูปแบบในสองสแตกที่ประกาศตัวเลขออกมานั้นสอดคล้องกัน ใน llama.cpp Meta รายงาน 74.9 ถึง 233.4 โทเคน/วินาทีบน RTX 5090 พร้อม DFlash ซึ่งเพิ่มขึ้น 3.1 เท่า; M5 Max อยู่ที่ 26.6 ถึง 50.2; M4 Max อยู่ที่ 23.7 ถึง 37.8 รันไทม์ที่ต่างกันสองแบบ รูปแบบการวัดที่ต่างกันสองแบบ แต่ผลลัพธ์อยู่ในช่วงเดียวกัน: โมเดล 30B ที่ถอดรหัสได้มากกว่า 200 โทเคนต่อวินาทีบน GPU ระดับคอนซูเมอร์ตัวเดียว และ DFlash เพิ่มปริมาณงานได้ประมาณสามเท่าบนทุกการตั้งค่าของ Nvidia ที่มีการเผยแพร่ตัวเลข

ทำไม 'serves' จึงสำคัญกว่า 'runs'

บล็อกฮาร์ดแวร์ของ Meta กล่าวอ้างอย่างชัดเจนกว่าตัวเลขบนเดสก์ท็อป บน NVIDIA Blackwell Ultra — รุ่นสำหรับศูนย์ข้อมูล ไม่ใช่การ์ดเดสก์ท็อป — บล็อกอ้างว่ามีโทเคนมากกว่า 20,000 โทเคนต่อวินาทีต่อ GPU ที่ BF16/NVF4 โดยระบุว่า SGLang และ vLLM เป็นสแตกโอเพนซอร์สที่รองรับทั้งคู่ นั่นเป็นคนละระดับกัน และนี่คือสิ่งที่บ่งบอกว่า Meta กำลังสร้างอะไรจริง ๆ: น้ำหนักโมเดลชุดเดียวกันถูกออกแบบให้รันได้ทุกที่ตั้งแต่แล็ปท็อปไปจนถึงแร็คเซิร์ฟเวอร์ GPU และเฟรมเวิร์กสำหรับ serving ถูกมองเป็นองค์ประกอบหลักตั้งแต่แรกเริ่ม ไม่ใช่เป็นสิ่งที่ต้องมาเขียนพอร์ตทีหลัง

ความน่าเชื่อถือซึ่งเป็นอีกครึ่งหนึ่งของเรื่องสำคัญพอ ๆ กับความเร็ว เอเจนต์โลคัลที่ตายกลางคันเพราะเลเยอร์ให้บริการสะดุด ย่อมไม่ได้ดีกว่าเอเจนต์คลาวด์ที่ถูกจำกัดอัตราการใช้งานอย่างมีความหมาย กลไกในสแตก day-0 ไม่ว่าจะเป็นการถอดรหัสแบบคาดเดาที่ขัดจังหวะได้ การแคชคำนำหน้าที่ทำให้การกลับเข้ามาในบริบทยาวของเอเจนต์มีต้นทุนต่ำ และ drafter ที่ถูกปรับจูนให้เข้ากับโมเดลฐาน ต่างก็คือส่วนที่ทำให้เอเจนต์โลคัลที่ต้องรันตลอดเวลาอยู่รอดได้ นี่คือ "ความเร็วและความน่าเชื่อถือ" ที่การเปิดตัวชี้ให้เห็นมาตลอด และเป็นจุดยืนทางวิศวกรรมที่มีอยู่จริง ไม่ใช่วลีทางการตลาด

สิ่งที่คุณทำได้จริงๆ กับมัน

Muse Glimmer เป็นโมเดล multimodal แบบ dense ขนาด 30B — รับอินพุตทั้งข้อความและรูปภาพผ่าน perception encoder ที่แช่แข็งไว้ และให้เอาต์พุตเป็นข้อความ — ฝึกฝนบนภาษามากกว่า 100 ภาษา มี context window ขนาด 131,072 โทเคน และ knowledge cutoff ณ วันที่ 4 มกราคม 2026 ภารกิจของมันคืองานเอเยนต์ที่ไม่สวยหรู: การเรียกใช้ฟังก์ชัน (function calling) การใช้เครื่องมือ (tool use) การจัดการกำหนดการและไฟล์ การประเมินแบบ LLM-as-a-judge และงานหลายขั้นตอนพร้อมการกู้คืนจากความล้มเหลว — เมื่อการเรียกใช้เครื่องมือล้มเหลว โมเดลได้รับการฝึกให้วินิจฉัยและลองใหม่แทนที่จะหยุด มันเปิดเผยระดับ reasoning-effort (ตั้งแต่ low ถึง xhigh) ที่คุณตั้งค่าใน system prompt ซึ่งเป็นวิธีที่คุณแลกความหน่วง (latency) กับความลึก (depth) บนน้ำหนัก (weights) ชุดเดียวกัน

ตัวเลข 230 โทเคนต่อวินาทีคือสิ่งที่ทำให้ทั้งหมดนั้นใช้งานได้บนเครื่องเดียว ต่ำกว่าประมาณ 50 โทเคนต่อวินาที เอเจนต์แบบโต้ตอบจะรู้สึกเหมือนเซสชันการดีบักระยะไกล แต่ที่ 200 ขึ้นไป รู้สึกเหมือนเครื่องมือในเครื่อง นั่นคือข้อโต้แย้งทั้งหมดสำหรับโมเดลนี้ในตัวเลขเดียว และเป็นเหตุผลที่รายการฮาร์ดแวร์ — RTX 5090, RTX PRO 6000, DGX Spark, MLX Macs — อ่านแล้วเหมือนคู่มือช้อปปิ้งสำหรับยุคเอเจนต์ในเครื่อง มากกว่าจะเป็นเชิงอรรถเรื่องความเข้ากันได้

ค่าใช้จ่ายเท่าไร

Muse Glimmer ตัวมันเองฟรี — น้ำหนัก Apache 2.0 บน Hugging Face ที่ meta-models/Muse-Glimmer-30B พร้อม GGUF quantizations ที่เผยแพร่แล้วสำหรับรันไทม์แบบ llama.cpp และไม่มี Meta API สาธารณะ ค่าใช้จ่ายจริงคือฮาร์ดแวร์ที่อยู่ข้างใต้: checkpoint NVFP4 ขนาด 18GB บวก drafter ขนาด 5GB หมายความว่าคุณต้องการการ์ด 24GB หรือ 32GB หรือ Mac ตระกูล M รุ่นสูง หากคุณมีอยู่แล้ว ค่าใช้จ่ายเพิ่มเติมของเอเจนต์ท้องถิ่นที่เปิดตลอดเวลาคือค่าไฟฟ้า หากคุณไม่มี GPU คือรายการค่าใช้จ่ายหลัก และนั่นคือวิธีที่ซื่อสัตย์ในการเปรียบเทียบ "โมเดลฟรี" กับ hosted API

เมื่อคุณจะทำการเปรียบเทียบนั้น ให้คิดราคาทั้งสองฝั่งตรงๆ ที่ OrcaRouter ราคาที่คุณเห็นสำหรับโมเดลที่โฮสต์มากกว่า 200 รายการคือราคารายการของผู้ให้บริการที่ส่งผ่านโดยไม่มีมาร์กอัป 0% ดังนั้นการลดราคาจากผู้ขายจึงมีผลที่นี่ในวันเดียวกัน ซึ่งทำให้การคำนวณระหว่าง local กับ hosted นั้นตรงไปตรงมา Muse Glimmer เองยังไม่อยู่บน OrcaRouter ในวันนี้ เพราะยังไม่มีผู้ให้บริการ inference รายใดให้บริการมัน มันมาพร้อมกับการดาวน์โหลด ทันทีที่ผู้ให้บริการเริ่มให้บริการมัน คีย์เดียวกันที่เข้าถึงแคตตาล็อกที่เหลือก็จะเข้าถึงมันได้ และการ failover อัตโนมัติคือกลไกที่ทำให้ปลอดภัยที่จะชี้ทราฟฟิกการผลิตไปยังโมเดลใหม่ที่ผู้ขายรายงานก่อนที่จะมีประวัติผลงานอิสระ

เรื่องราวที่ใหญ่กว่าเบื้องหลังความเร็ว

เมื่อมองงาน day-0 ของ SGLang เป็นสัญญาณ การปล่อยครั้งนี้ก็ไม่ใช่แค่โมเดลเดียวอีกต่อไป Muse Glimmer เป็นเวอร์ชันกลั่นกรอง (distilled) ของ Muse Spark 1.2 โมเดลเรือธงกรรมสิทธิ์ของ Meta และ Meta กล่าวว่าน้ำหนักของโมเดลครูจะเปิดเผย "ในอีกไม่กี่สัปดาห์ข้างหน้า" เอเจนต์ท้องถิ่นขนาด 30B พร้อมสแตกการให้บริการที่ปรับแต่งมาแล้ว โมเดลครูที่ใกล้จะเปิดเป็นโอเพนซอร์ส และกองทุนชุมชนมูลค่า 1 พันล้านดอลลาร์ที่ประกาศมาพร้อมกัน — นี่ไม่ใช่การออกรุ่นย่อย (point release) นี่คือจุดเริ่มต้นของไลน์อัพโมเดลโอเพนเวตที่เล็งตลาดเอเจนต์ท้องถิ่นโดยตรง และการสนับสนุนเฟรมเวิร์กที่มาถึงตั้งแต่วันแรกคือส่วนที่บ่งบอกว่า Meta ตั้งใจให้ผู้คนได้ใช้งานจริง ไม่ใช่แค่ดาวน์โหลดเท่านั้น

ข้อควรระวังที่ต้องจำไว้: ตัวเลขความเร็วและ benchmark ทั้งหมดที่แนบมากับการเปิดตัวครั้งนี้ล้วนเป็นข้อมูลที่รายงานโดยผู้จำหน่ายหรือเฟรมเวิร์ก ตัวเลข throughput มีความสอดคล้องกันในสองสแตกที่อิสระจากกัน ซึ่งเป็นที่น่าอุ่นใจ แต่การทดสอบ benchmark โดยอิสระ การมีรายชื่อบน Artificial Analysis และการทดสอบซ้ำในสถานการณ์จริงต่างหากที่จะยืนยันเรื่องความเร็ว 230 โทเคนต่อวินาที และโดยปกติแล้วสิ่งเหล่านี้จะปรากฏขึ้นภายในไม่กี่สัปดาห์หลังจากการเปิดตัวในลักษณะนี้

สิ่งที่ต้องจับตามอง เรียงตามลำดับความเร็วโดยคร่าว ๆ: การปล่อย open-weights ของ Muse Spark 1.2 (ซึ่งการอ่านเชิงกลยุทธ์ว่า "Meta กลับมาแล้ว" ขึ้นอยู่กับมัน); การทำซ้ำผลการวัด throughput อย่างอิสระครั้งแรกบนฮาร์ดแวร์ที่ไม่ใช่ Nvidia โดยที่เส้นทาง MLX คือสิ่งที่ต้องจับตามอง; และผู้ให้บริการ inference รายแรกที่ตั้ง Glimmer endpoint ขึ้นมา — ซึ่งเป็นช่วงเวลาที่ข้อถกเถียงระหว่าง "โมเดลฟรีที่รันในเครื่อง" กับ "API แบบโฮสต์" จะไม่ใช่เรื่องสมมุติอีกต่อไป แต่กลายเป็นทางเลือกที่คุณสามารถทำได้ด้วยการกดปุ่มเพียงครั้งเดียว