Hy-Memory-30B-A3B กับ Nemotron 3.5 Lightning 30B-A3B Base: สามตัวอักษรเดียวกัน สองสิ่งที่แตกต่างกัน

Hy-Memory-30B-A3B และ NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16มีจำนวนพารามิเตอร์เชิงเลขที่เหมือนกันทุกประการ — ทั้งหมด 30 พันล้าน, เปิดใช้งาน 3 พันล้าน — และนั่นแหละคือจุดที่ความคล้ายคลึงกันหมดประโยชน์ลง โมเดลของทีม Hunyuan ที่เปิดซอร์สเมื่อ 15 ตุลาคม 2026 เป็นผลิตภัณฑ์ที่เสร็จสมบูรณ์แล้ว: ผ่านการฝึกหลังการฝึก (post-trained) อย่างเต็มรูปแบบเพื่อทำการเขียนหน่วยความจำภายใน Mem0, MemOS และ Hy-Memory พร้อมด้วยสูตรการให้บริการที่เข้ากันได้กับ OpenAI และตารางเบนช์มาร์กที่อ้างว่าชนะ Claude Opus 5 ส่วนของ NVIDIA ที่เปิดตัวเมื่อ 11 สิงหาคม 2026 ไม่ใช่ผลิตภัณฑ์เลย คำว่า "Base" ในชื่อของมันเป็นความหมายตรงตัว — ไม่มีการปรับละเอียดแบบมีผู้สอน (supervised fine-tuning) ไม่มีการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ไม่มีการกลั่นความรู้ (distillation) ใด ๆ ถูกนำมาใช้ มันคือวัตถุดิบที่ผ่านการฝึกมาก่อน เผยแพร่ออกมาเพื่อให้คุณสร้างโมเดล post-trained ในแบบของคุณเองซ้อนทับลงไปได้ สิ่งที่ตัวเลขไม่อาจบอกคุณได้ก็คือว่ามีอะไรในนี้ที่ผิดพลาดไปในภาคสนามหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ถูกบันทึกไว้ซึ่งเกี่ยวข้องกับโมเดลในระดับนี้ถูกรวบรวมไว้ใน คลังเหตุการณ์ AI ของ OrcaRouter โดยที่แต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะข้อโต้แย้งเป็นของตัวเอง

โมเดลสองตัวที่มีตัวเลขเดียวกันในชื่อ ตัวหนึ่งถูกออกแบบมาให้ใช้งาน และอีกตัวหนึ่งถูกออกแบบมาให้แก้ไขดัดแปลง การเปรียบเทียบที่คุ้มค่าที่จะทำไม่ใช่ว่าตัวไหนได้คะแนนสูงกว่า — พวกมันไม่ได้ถูกประเมินบนเกณฑ์ร่วมกันใด ๆ และหนึ่งในนั้นไม่มีพฤติกรรมการทำตามคำสั่งให้ประเมิน การเปรียบเทียบที่คุ้มค่าที่จะทำคือเรื่องหลักฐาน: ผู้ขายแต่ละรายเผยแพร่อะไรไปแล้วบ้าง คุณสามารถตรวจสอบได้ด้วยตัวเองมากน้อยแค่ไหน และแต่ละรายเรียกร้องอะไรจากคุณก่อนที่มันจะทำอะไรสักอย่าง

แต่ละโมเดลจริงๆ แล้วคืออะไร

Hy-Memory-30B-A3B เป็นทรานส์ฟอร์เมอร์แบบสแปร์สทั่วไปที่มีงานไม่ธรรมดา ไฟล์การกำหนดค่าของมันระบุ 48 เลเยอร์ โดยเลเยอร์แรกเป็นบล็อกฟีดฟอร์เวิร์ดแบบหนาแน่น และอีก 47 เลเยอร์ที่เหลือเป็น mixture-of-experts โดยมีผู้เชี่ยวชาญ 128 รายต่อบล็อกด้วยการกำหนดเส้นทางแบบ top-8 บวกผู้เชี่ยวชาญที่ใช้ร่วมกันหนึ่งราย ขนาดฮิดเดน 2,048 ความกว้างระดับกลางของผู้เชี่ยวชาญ 768 หัวความสนใจ 32 หัวเทียบกับหัวคีย์-ค่า 4 หัว พร้อมการนอร์มัลไลเซชันแบบคิวรี-คีย์ และคอนเท็กซ์ 262,144 ตำแหน่ง ประมาณ 60.1 GB กระจายอยู่ใน 51 ชาร์ด BF16 มันได้รับการฝึกในสองระยะ — Memory On-Policy Distillation จากนั้น Attributed Memory Reinforcement Learning — และจุดประสงค์ทั้งหมดของการทดลองนี้คือการแทนที่โมเดลอเนกประสงค์ที่เฟรมเวิร์กหน่วยความจำในปัจจุบันเรียกใช้ในทุกเทิร์น เมื่อให้บริการด้วย vLLM 0.31.0 มันจะส่งคืนระเบียน JSON ที่มีโครงสร้างซึ่งอธิบายสิ่งที่เอเจนต์ควรจดจำ

Nemotron 3.5 Lightning 30B-A3B Base เป็นโมเดลแบบไฮบริด NVIDIA สลับบล็อกสเตตสเปซ Mamba-2 กับเลเยอร์ Mixture-of-Experts และ Attention เพิ่มหัว Multi-Token Prediction ที่ฝึกในเฟส continued pre-training โดยเฉพาะ และพรีเทรนทั้งหมดภายใต้สูตร NVFP4 บนโทเคนมากกว่า 20 ล้านล้านโทเคน จุดสำคัญของสแตกไฮบริดคือแคชคีย์-แวลู: บล็อก Mamba-2 ช่วยไม่ให้มันขยายขนาดแบบที่ทรานส์ฟอร์เมอร์ทั่วไปทำ ซึ่งเป็นสิ่งที่ทำให้ NVIDIA อ้างความยาวคอนเท็กซ์ได้ถึง 1 ล้านโทเคน มันมีให้ใช้งานในบิลด์ BF16, NVFP4 และ FP8 พร้อมการแปลงเป็น GGUF และการควอนไทซ์จากบุคคลที่สามหลายราย สัญญาอนุญาตของมันคือ OpenMDW-1.1 ซึ่งครอบคลุมเวต ข้อมูลการฝึก และสูตรต่าง ๆ — เป็นการให้สิทธิ์ที่กว้างกว่าที่สัญญาอนุญาตโมเดลโดยทั่วไป

ความบังเอิญของจำนวนพารามิเตอร์นั้นเป็นเรื่องจริงแต่ตื้นเขิน ทั้งสองเปิดใช้งานพารามิเตอร์ประมาณ 3B ต่อโทเคน; นั่นเป็นเพียงการตัดสินใจออกแบบเดียวที่ทั้งสองทีมทำเหมือนกัน

แบนเนอร์นั้นเป็นองค์ประกอบที่ให้ข้อมูลมากที่สุดเพียงหนึ่งเดียวบนหน้านี้ NVIDIA ตั้งใจวางไว้ที่ด้านบนของรีพอซิทอรี base เพราะเช็กพอยต์นี้ไม่ใช่ตัวที่คนส่วนใหญ่ต้องการ และผู้ขายก็บอกไว้เช่นนั้นก่อนที่คุณจะดาวน์โหลดพารามิเตอร์ 3 หมื่นล้านตัว

ความแตกต่างที่ตัดสินทุกสิ่ง: post-trained กับ pre-trained

เช็คพอยต์พื้นฐานไม่ปฏิบัติตามคำสั่ง ถามคำถามมันแล้วมันจะต่อข้อความ เพราะนั่นคือสิ่งเดียวที่การฝึกก่อนสอนมันไว้ มันไม่มีเทมเพลตแชทที่สมชื่อ ไม่มีพฤติกรรมการเรียกใช้เครื่องมือ ไม่มีขอบเขตการปฏิเสธ และไม่รู้เลยว่าบทสนทนามีเทิร์น การ์ดของ NVIDIA กล่าวไว้ตรง ๆ และแบนเนอร์ "กำลังมองหาโมเดลที่ผ่านการฝึกหลังหรือไม่?" ที่ด้านบนของรีพอซิทอรีชี้ไปที่เช็คพอยต์พี่น้องสำหรับใครก็ตามที่ต้องการสิ่งที่พวกเขาสามารถพูดคุยด้วยได้

สิ่งที่ base checkpoint มีไว้เพื่อก็คือการ post-training ของคุณ ไม่ว่าจะเป็นการ continued pre-training บนคลังข้อมูลเฉพาะโดเมน หรือ supervised fine-tuning, RL และ distillation ผ่าน NeMo RL, NeMo Gym และ Megatron-LM — ชุดเครื่องมือที่ NVIDIA ระบุชื่อและจัดส่งสูตรสำเร็จรูปมาให้ หากคุณมีความได้เปรียบด้านข้อมูลและมีความคิดเห็นว่าโมเดลควรมีพฤติกรรมอย่างไร base checkpoint ก็คือจุดเริ่มต้นที่ทำให้คุณลงมือทำกับทั้งสองอย่างได้ หากคุณไม่มีมัน มันก็เป็นเพียงที่ทับกระดาษขนาด 3 หมื่นล้านพารามิเตอร์

Hy-Memory-30B-A3B อยู่ที่ปลายอีกด้านของไปป์ไลน์นั้น มันผ่าน post-training มาแล้วถึงสองรอบ และคุณค่าทั้งหมดของมันคือคุณไม่ต้องทำงานนั้นเอง — คุณแค่เอาสคีมาที่การ์ดให้มาไปชี้ที่ฮาร์เนสของคุณ แล้วมันก็เขียนหน่วยความจำ มันแคบกว่า Nemotron อย่างมหาศาล และถูกทำให้เสร็จสมบูรณ์ในแบบที่ Nemotron จงใจไม่เป็นเช่นนั้น

ข้อมูลจำเพาะและบรรจุภัณฑ์ หนึ่งบรรทัดต่อหนึ่งมิติ

• พารามิเตอร์ทั้งหมด / ที่ใช้งานอยู่ — 30B / ~3B สำหรับทั้งคู่ นี่เป็นแถวเดียวที่ทั้งสองตรงกัน

• สถาปัตยกรรม — Hy-Memory-30B-A3B เป็นทรานส์ฟอร์เมอร์แบบเบาบางที่มีบล็อกหนาแน่นหนึ่งบล็อกและบล็อก MoE 47 บล็อก โดยมีผู้เชี่ยวชาญ 128 ตัวที่ top-8 บวกกับผู้เชี่ยวชาญที่ใช้ร่วมกัน; Nemotron 3.5 Lightning 30B-A3B Base เป็นไฮบริด Mamba-2 ที่สลับชั้น state-space, MoE และ attention พร้อมหัว Multi-Token Prediction

• บริบท — 262,144 ตำแหน่งสำหรับ Hy-Memory-30B-A3B จากคอนฟิกของมัน; สูงสุด 1M โทเคนสำหรับ Nemotron โดยมี 256K เป็นค่าที่ใช้ได้จริงซึ่งระบุไว้ในเอกสารบน H100 เพียงตัวเดียว

• การฝึกภายหลัง — สองขั้นตอนสำหรับ Hy-Memory-30B-A3B (การกลั่นแบบออนโพลิซี จากนั้นเป็น RL แบบมี attribution); ไม่มีเลยสำหรับเช็กพอยต์ฐาน Nemotron

• ขนาดพื้นที่จัดเก็บน้ำหนัก — 60.1 GB BF16 สำหรับ Hy-Memory-30B-A3B โดยไม่มีการเผยแพร่ความแม่นยำอื่น เทียบกับบิลด์ BF16, NVFP4 และ FP8 จาก NVIDIA พร้อมทั้ง GGUF จากชุมชน

• สัญญาอนุญาต — Apache 2.0 เทียบกับ OpenMDW-1.1 ซึ่งครอบคลุมเพิ่มเติมทั้งข้อมูลที่ใช้ฝึกและสูตรต่าง ๆ

• เส้นทางการให้บริการ — vLLM 0.31.0 ทำงานอยู่เบื้องหลังเอนด์พอยต์ที่เข้ากันได้กับ OpenAI สำหรับ Hy-Memory-30B-A3B; สำหรับ Nemotron ให้ทำ post-train ก่อน แล้วจึงค่อยให้บริการ

• เอ็นด์พอยต์แบบโฮสต์ — ไม่มีโมเดลใดถูกดีพลอยโดยผู้ให้บริการอินเฟอเรนซ์แบบโฮสต์ ทั้งสองเป็นข้อเสนอแบบโฮสต์เอง

หลักฐาน: NVIDIA เผยแพร่สูตร, Hunyuan เผยแพร่ตาราง

นี่คือความแตกต่างที่ชัดเจนที่สุดระหว่างสองรีลีส และมันไม่เกี่ยวกับตัวเลขเหล่านั้นเลย

NVIDIA เผยแพร่วิธีการประเมินของตนในรูปแบบที่คุณนำไปปฏิบัติได้ การ์ดพื้นฐาน Lightning ระบุว่าตัวเลขความแม่นยำของมันถูกวัดภายใต้ฮาร์เนสที่เป็นมาตรฐานเดียวกัน — NeMo Gym และ NeMo Evaluator SDK ซึ่งห่อหุ้มคอนเทนเนอร์โอเพนซอร์สของ LM Evaluation Harness โดยรัน RULER ผ่าน NeMo Skills — จากนั้นกล่าวสิ่งที่ผู้ขายแทบไม่ค่อยพูด: ตัวเลขเหล่านี้อาจแตกต่างจากตัวเลขที่ผู้ขายรายอื่นรายงานเอง โดยมีลิงก์ไปยังสูตรสำหรับการทำซ้ำ ตัวเลขเหล่านี้ยังคงมาจากการรันของ NVIDIA เอง แต่ฮาร์เนสถูกระบุชื่อ บรรจุเป็นคอนเทนเนอร์ และดาวน์โหลดได้ ซึ่งหมายความว่าระยะห่างระหว่าง "NVIDIA วัดค่านี้" กับ "ฉันวัดค่านี้" คืองานไม่กี่ชั่วโมง ไม่ใช่โครงการวิจัย

การเปิดตัว Hy-Memory นั้นตรวจสอบได้ยากขึ้นในสองแง่มุมที่แตกต่างกัน การออกแบบการประเมินนั้นสมเหตุสมผลในตัวเอง — มันเปลี่ยนเฉพาะผู้เขียนหน่วยความจำ และคงชุดทดสอบ พรอมต์ การตั้งค่าการดึงข้อมูล โมเดลตอบคำถาม และตัวตัดสินไว้คงที่ ซึ่งเป็นวิธีที่ถูกต้องในการแยกส่วนสนับสนุนของผู้เขียน แต่ทุกการทดสอบในเมทริกซ์หลักทำงานบนแบบคงที่ซึ่งเป็น ตัวอย่างย่อย 20% แทนที่จะเป็นชุดเต็ม และส่วนต่างหลักนั้นบางเฉียบ: ค่าเฉลี่ยแบบมาโคร 55.49 เทียบกับ 54.62 สำหรับ Claude Opus 5 ซึ่งเป็นช่องว่าง 0.87 จุด โดยชุดทดสอบ MemOS ตัดสินด้วย 0.01 จุด อุปสรรคที่สองคือฮาร์ดแวร์ การทำซ้ำตัวเลขพื้นฐานของ NVIDIA หมายถึงการโหลดเช็กพอยต์ที่มีบิลด์ควอนไทซ์อยู่แล้ว ส่วนการทำซ้ำของ Hy-Memory หมายถึงการโหลด 60 GB ในรูปแบบ BF16 โดยไม่มีทางเลือกที่เล็กกว่าที่เผยแพร่

ไม่มีชุดตัวเลขชุดใดที่ได้รับการตรวจสอบซ้ำโดยอิสระ ความแตกต่างอยู่ที่ว่ามีความเป็นไปได้เพียงใดที่คุณจะเป็นคนทำมันเอง

วางแหล่งข้อมูลหลักสองแหล่งนี้เทียบกัน แล้วความต่างจะชัดเจนมาก: การประเมิน Hy-Memory อยู่ในบทความที่มีคำอธิบายสถาปัตยกรรมและวิธีการเทรน ส่วนของ NVIDIA อยู่ในโมเดลการ์ดที่มีฮาร์เนสซึ่งระบุชื่อและดาวน์โหลดได้ ทั้งคู่คือผู้ขายที่ตรวจการบ้านของตัวเอง มีเพียงหนึ่งในนั้นเท่านั้นที่ยื่นไม้บรรทัดให้คุณ

สองเหตุผลที่แตกต่างกันในการนำเราเตอร์เข้ามาเกี่ยวข้อง

ทั้งสองโมเดลเป็นแบบโฮสต์เอง และ ทั้ง Hy-Memory-30B-A3B และ Nemotron 3.5 Lightning 30B-A3B Base ต่างก็ไม่มีอยู่ในแค็ตตาล็อกของ OrcaRouter — เราไม่ได้โฮสต์ทั้งสองตัวนั้น เส้นทางสู่ทั้งสองคือไฟล์เวตและ GPU ของคุณเอง แต่คำถามเรื่องเราเตอร์นั้นให้ผลที่แตกต่างกันในแต่ละด้านของการเปรียบเทียบนี้ ซึ่งคุ้มค่าที่จะไล่ดู เพราะมันคือรูปร่างในทางปฏิบัติของตัวเลือกนี้

หากคุณเลือกเส้นทาง Nemotron คุณกำลังทำ post-training ให้กับ checkpoint ซึ่งจะได้โมเดลที่ดำรงอยู่บนโครงสร้างพื้นฐานของคุณเท่านั้น และปัญหาคลาสสิกของ checkpoint แบบกำหนดเองก็คือมันไม่มีที่ให้วางตัว เพราะมันไม่อยู่ในแคตตาล็อกใด ๆ ดังนั้นทุกแอปพลิเคชันที่ต้องการใช้มันจึงต้องต่อระบบเชื่อมโยงเฉพาะทาง และทุกเส้นทางสำรองเมื่อมันล่มก็ต้องสร้างขึ้นเองด้วยมือ เราเตอร์แก้ปัญหานี้ได้อย่างตรงจุด — API key เดียวใช้ได้กับโมเดลกว่า 200 ตัว โดยมี endpoint ของคุณเองลงทะเบียนไว้เคียงข้างพวกมัน และการ failover อัตโนมัติเมื่อมันทำงานได้แย่ลง Model fusionคืออีกส่วนที่ควรรู้ในบริบทนี้: มันรันกลุ่มโมเดลพร้อมกันในการเรียกครั้งเดียว ซึ่งเป็นวิธีที่คุณจะเปรียบเทียบโมเดลที่เพิ่ง post-train กับ baseline ที่แข็งแกร่งได้โดยไม่ต้องเขียน harness สำหรับแต่ละตัว

ถ้าคุณใช้เส้นทาง Hy-Memory ตัวเขียน (writer) เป็นเพียงการเรียกหนึ่งครั้งในลูปที่ใหญ่กว่ามาก ฮาร์เนสหน่วยความจำจะเรียกตัวเขียน จากนั้นเรียกโมเดลตอบเพื่ออ่านคลังความจำกลับมาและตอบ — และการเรียกครั้งที่สองนั่นเองที่โดยปกติเป็นจุดที่โมเดลแบบโฮสต์อยู่ OrcaRouter ส่งผ่านราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0% ดังนั้นเมื่อผู้ขายลดราคาโมเดลตอบ ฝั่งเราจึงได้รับผลในวันเดียวกัน และ routing DSL ประกอบตัวเขียนที่โฮสต์เองกับตัวอ่านที่โฮสต์ไว้ให้เป็นการเรียกครั้งเดียว คุณไม่จำเป็นต้องให้ทั้งสองส่วนมาจากที่เดียวกัน และคุณไม่จำเป็นต้องมีสัญญาที่สองเพื่อเพิ่มส่วนที่คุณยังขาดอยู่

อันไหนคือจุดเริ่มต้นที่ถูกต้อง

ถ้าสิ่งที่คุณต้องการคือโมเดลที่ทำอะไรบางอย่างได้ในวันที่คุณดาวน์โหลดมันมา — พูดให้ชัดก็คือ ทำให้ความจำของเอเจนต์ดีขึ้นโดยที่คุณไม่ต้องเทรนอะไรเลย — Hy-Memory-30B-A3B เป็นเพียงตัวเดียวในสองตัวนี้ที่ตอบโจทย์ มันยังเป็นตัวที่คุณทดสอบได้ไม่ถูกเช่นกัน และคำกล่าวอ้างหลักของมันก็เป็นคำกล่าวอ้างที่มีส่วนต่างแคบที่สุด เข้าไปโดยคาดหวังว่าจะต้องใช้จ่ายกับฮาร์ดแวร์ก่อนที่คุณจะได้เรียนรู้อะไร

หากสิ่งที่คุณต้องการคือรากฐานที่คุณสามารถปั้นได้ Nemotron 3.5 Lightning 30B-A3B Base ถือเป็นผลงานที่เผยแพร่อย่างจริงจัง นั่นคือสถาปัตยกรรมแบบไฮบริดที่ออกแบบมาสำหรับบริบทขนาดยาวและการอนุมานที่รวดเร็ว เปิดตัวพร้อมสูตรการฝึกและชุดเครื่องมือประเมินผลที่คุณรันซ้ำได้ มันจะไม่ตอบคำถามจนกว่าคุณจะทำ post-training มันเสียก่อน และนั่นคือข้อแลกเปลี่ยน ไม่ใช่ข้อบกพร่อง

การที่ชื่อชนกันจะยังทำให้สองตัวนี้อยู่ในประโยคเดียวกันต่อไป จำนวนพารามิเตอร์จะยังคงตรงกัน แต่ไม่มีสิ่งอื่นใดเกี่ยวกับสองตัวนี้ที่จะตรงกัน และยิ่งผู้อ่านแยก "30B-A3B" ออกจาก "โมเดลชนิดเดียวกัน" ได้เร็วเท่าไร การเปรียบเทียบก็จะยิ่งมีประโยชน์เร็วเท่านั้น

ตัวเลขการดาวน์โหลดนั้นคุ้มค่าที่จะปล่อยให้ค้างอยู่บนหน้าจอ ผู้เชี่ยวชาญที่ผ่านการฝึกแบบ post-trained ซึ่งเปิดตัวเมื่อวานนี้ โดยไม่มีบิลด์แบบควอนไทซ์ ไม่มีเอนด์พอยต์ที่โฮสต์ไว้ และไม่มีการประกาศใด ๆ มีจำนวนดาวน์โหลดเป็นศูนย์และมีคนกดถูกใจเก้าครั้ง — ขณะที่เช็กพอยต์ฐานแบบ pre-trained ของ NVIDIA ซึ่งเผยแพร่เมื่อสองเดือนก่อนหน้า มีตัวเลขอยู่ในหลักหมื่น ช่องว่างนั้นไม่ใช่การตัดสินเรื่องคุณภาพ แต่เป็นการวัดว่าทีมแต่ละทีมทำให้การลองใช้สิ่งนั้นยากลำบากเพียงใด