ไทเทิลการ์ดที่สร้างขึ้นซึ่งอ่านว่า Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma โดยมีคำบรรยายใต้ภาพว่าเป็นสายพันธุ์เดียวกัน สัญญาการถอดรหัสสองแบบ พร้อมไทล์สถิติสี่ช่อง ได้แก่ ฐานที่ 8.49B พารามิเตอร์พร้อมขั้นตอน DDIM ที่กำหนดค่าได้ ตัวกลั่นที่ 9.03B พร้อมการประเมินการลดสัญญาณรบกวนแบบคงที่ 4 ครั้งต่อบล็อก ยอดดาวน์โหลดของฐาน 106 เทียบกับ 5 ของตัวกลั่น และส่วนท้ายระบุว่าตัวเลขทั้งหมดมาจากการ์ดโมเดลของ NVIDIA และไม่มีเกณฑ์มาตรฐานอิสระสำหรับทั้งสองตัว
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 เทียบกับ Nemotron-Labs-Sigma: สายตระกูลน้ำหนักเดียวกัน สัญญาการถอดรหัสสองฉบับ

ผู้เขียน

jinhao.song

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

สิ่งที่น่าสับสนเกี่ยวกับ Nemotron-Labs-Sigma-distill-8B-nfe4 คือมันไม่ใช่ Nemotron-Labs-Sigma-8B ที่ดีกว่า แต่เป็นไฟล์ที่แตกต่างกันซึ่งมีสัญญาที่แตกต่างกัน ผลิตจาก teacher ในสายเดียวกัน และความแตกต่างระหว่างสองรุ่นนี้ไม่ใช่ความแม่นยำ แต่เป็นจำนวนครั้งที่เครือข่ายทำงานเพื่อสร้างคำหนึ่งคำ รุ่น 8B ฐานเผยแพร่เมื่อ 5 ตุลาคม 2026 เป็นโมเดลวิจัยที่ผ่านการพรีเทรน: พารามิเตอร์ 8.49B, จำนวนขั้นตอนการลดสัญญาณรบกวนที่กำหนดค่าได้, classifier-free guidance ที่คุณต้องปรับด้วยมือ, และการ์ดที่ไม่ได้เผยแพร่คะแนนใด ๆ เลย แต่ชี้ไปที่ arXiv:2610.02665 แทน รุ่นกลั่น nfe4 มาถึงเมื่อ 12 พฤศจิกายน 2026 พร้อมพารามิเตอร์ 9.03B, จำนวนขั้นตอนที่ฝังไว้ใน checkpoint, และตารางแยกตาม benchmark เพียงตารางเดียวที่ NVIDIA ใส่ไว้บนการ์ด Sigma ทั้งสองรุ่นรองรับเฉพาะภาษาอังกฤษ ทั้งคู่จำกัดที่ 4,096 โทเคน และทั้งคู่อยู่ภายใต้สัญญาอนุญาตเดียวกัน การเลือกระหว่างสองรุ่นนี้คือการเลือกว่าคุณต้องการให้โมเดลใช้พลังประมวลผลของมันอย่างไร

สิ่งที่แตกต่างกันจริง ๆ เมื่อพิจารณาทีละไฟล์

ทั้งสองรีโพซิทอรีมี model_type เดียวกัน — nemotron_labs_sigma — และทั้งคู่ถูกโหลดด้วยวิธีเดียวกัน โดยใช้ trust_remote_code และไฟล์ modelling ขนาด 40 KB จากรีโพ คอนฟิกแตกต่างกันในแง่ที่สำคัญต่อการอนุมาน และแทบไม่แตกต่างกันเลยในส่วน backbone:

• โครงข่ายหลัก — ทั้งสองมีรูปร่างเหมือนกัน: 34 ชั้น, ขนาด hidden 4,096, FFN 14,336, 32 หัว query และ 8 หัว key-value, SwiGLU, RoPE, คลังคำศัพท์ 131,072 โทเคน

• พารามิเตอร์ — 8.49B (8,489,947,136 BF16 บวก 2,097,186 F32) สำหรับโมเดลฐาน และ 9.03B (9,026,818,048 BF16 บวกจำนวน F32 เท่ากัน) สำหรับโมเดลดิสทิล ส่วน 537M ที่เพิ่มขึ้นคือหัวอ่านเอาต์พุตออโตรีเกรสซีฟเสริมที่โมเดลดิสทิลเก็บไว้เคียงข้างหัวดิฟฟิวชัน

• น้ำหนักบนดิสก์ — 16.99 GB เทียบกับ 18.06 GB โดยแต่ละชุดมีสี่ชาร์ด

• บริบท — 4,096 โทเค็นสำหรับทั้ง base และ distill ตัวแปร instruct ในคอลเลกชันเดียวกันเพิ่มค่านี้เป็น 8,192 และเพิ่มเทมเพลตแชต; ทั้งสองโมเดลที่นี่ไม่มี

• ขั้นตอน — base เปิดเผย steps และ block_length ณ เวลาที่เรียกใช้ และการ์ดของมันเผยแพร่ตารางแยกตามงบประมาณ; distill ไม่รับ override ใด ๆ เลย

• Guidance — โมเดล base ต้องใช้ classifier-free guidance (3.0 ที่ 32 และ 16 สเต็ป, 2.0 ที่ 4) และ score temperature ที่ปรับค่าแล้ว; ส่วน distill รันที่ CFG 1 และ score temperature 1 กล่าวคือไม่ใช้ guidance และไม่มีการปรับแต่ง

• Sampler — ฐาน (base) มีเอกสารอธิบายไว้สำหรับ DDIM บนกริด log_snr โดยค่าเริ่มต้นใช้บล็อกขนาด 64 โทเคน; ส่วน distill ใช้ fresh_x0 พร้อม self-conditioning ที่ส่งต่อระหว่างขั้นตอน และใช้บล็อกขนาด 32 โทเคน

จำนวนสเต็ปไม่ใช่การตั้งค่าบนโมเดลที่ผ่านการกลั่นแล้ว

"จำนวนขั้นตอนการลดสัญญาณรบกวนถูกกำหนดตายตัวจากการฝึก: ตัวแปรนี้ได้รับการฝึกสำหรับ NFE=4 เท่านั้น และโค้ดสำหรับการอนุมานที่มาพร้อมกันนั้นจงใจไม่เปิดให้กำหนดจำนวนขั้นตอนทับเอง (จำนวนขั้นตอนอื่นจะเป็นการประเมินจุดสิ้นสุดของเฟสที่ยังไม่ได้ฝึก)"

Phased DMD กลั่นวิถีหนึ่ง และวิถีที่ถูกกลั่นแล้วมีจุดสิ้นสุดของแต่ละระยะที่ระดับนอยซ์เฉพาะเจาะจง หากสั่งโมเดลนักเรียนแบบสี่สเต็ปให้เดินแปดสเต็ป คุณไม่ได้กำลังรันมันช้าลงเพื่อคุณภาพที่ดีขึ้น แต่คุณกำลังสั่งให้มันประเมินที่ระดับนอยซ์ที่มันไม่เคยฝึกมา การ์ดบอกว่าเอาต์พุตจะแย่ลง ไม่มีปุ่มปรับ

ฐานตรงกันข้าม การ์ดของมันให้ตารางมา — DDIM-32 พร้อม CFG 3 และอุณหภูมิคะแนน 0.3, DDIM-16 พร้อม CFG 3 และ 0.4, DDIM-8 พร้อม CFG 3 และ 0.6, DDIM-4 พร้อม CFG 2 และ 0.8 — แล้วเสริมคำเตือนว่าที่ต่ำกว่าประมาณ 16 สเต็ป โมเดลที่ผ่านการฝึกมาแล้วจะสูญเสียคุณภาพอย่างเห็นได้ชัด และการสร้างด้วยจำนวนสเต็ปน้อยควรใช้ตัวแปรแบบกลั่นแทน

เมื่ออ่านร่วมกัน ข้อความสองข้อจากองค์กรเดียวกันนี้คือการแบ่งงานกัน: base คือสิ่งที่คุณปรับจูน ส่วน distill คือสิ่งที่คุณไม่ต้องปรับ หากคุณต้องการปุ่มปรับ ให้เลือก base หากคุณต้องการค่าคงที่ ให้เลือก distill

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

การคำนวณที่ทำให้พวกเขาแตกต่างกัน

เมื่อทำให้สัญญาทั้งสองฉบับอยู่ในหน่วยเดียวกัน เหตุผลที่ไฟล์ที่กลั่นกรองแล้วมีอยู่ก็จะชัดเจนขึ้น

• Base ในการตั้งค่าที่แนะนำ — 33 การเรียกตัวลดสัญญาณรบกวนต่อบล็อก 64 โทเคน (32 สเต็ปบวกการอ่านค่า) ซึ่งเท่ากับ 1.9 โทเคนต่อหนึ่งฟอร์เวิร์ดพาส

• ค่าพื้นฐานที่ 4 สเต็ป — 5 ครั้งต่อบล็อก 64 โทเค็น, 12.8 โทเค็นต่อรอบ แต่การ์ดเตือนว่าคุณภาพจะลดลงอย่างเห็นได้ชัดเมื่อต่ำกว่า 16 สเต็ป

• กลั่น nfe4 — 5 การเรียกต่อบล็อก 32 โทเค็น, 6.4 โทเค็นต่อรอบ โดยมีคุณภาพตามที่การ์ดเผยแพร่

• Distill nfe8 — เรียก 9 ครั้งต่อบล็อก 32 โทเคน, 3.6 โทเคนต่อรอบ และดีขึ้น 4 คะแนนในค่าเฉลี่ยของงานทั้งหก

ดังนั้น nfe4 ที่ผ่านการกลั่นจึงอยู่ระหว่างจุดปฏิบัติการที่ปลอดภัยของ base กับจุดที่ไม่ปลอดภัย โดยมีจำนวน forward pass ต่อโทเคนน้อยกว่าคอนฟิกูเรชัน base ที่แนะนำถึงสามเท่า และมีจำนวนสเต็ปที่โมเดลถูกฝึกมาจริง ๆ นั่นคือสมมติฐานทั้งหมดของการเปิดตัวครั้งนี้ และเป็นสมมติฐานเกี่ยวกับพลังประมวลผล ไม่ใช่เกี่ยวกับความฉลาด

สิ่งที่ไม่ใช่คืออัตราทรูพุตที่วัดได้จริง การ์ดฐานรายงานว่าประมาณ 120–140 โทเคนต่อวินาทีสำหรับการสร้าง 256 โทเคนบน H100 หนึ่งตัวด้วย DDPM ที่ 32 สเต็ปต่อบล็อก 64 โทเคน การ์ดแบบกลั่นไม่ได้เผยแพร่ตัวเลขโทเคนต่อวินาที อัตราส่วนจำนวนครั้งการเรียกข้างต้นเป็นการคำนวณทางคณิตศาสตร์จากจำนวนสเต็ปที่เผยแพร่ โปรดถือตามนั้น

อันไหนมีตัวเลข และมีค่าเท่าไร

ตรงนี้การ์ดทั้งสองใบแยกจากกันอย่างชัดเจน และไปในทิศทางที่ทำให้ฝ่ายฐานรู้สึกอึดอัด

Nemotron-Labs-Sigma-8B ไม่เผยแพร่ตาราง benchmark ใด ๆ ส่วนการประเมินมีเพียงสองประโยคที่บอกว่าผลลัพธ์ "ถูกรายงานไว้ในรายงานทางเทคนิค" ทุกสิ่งที​่คุณรู้เกี่ยวกับความแม่นยำของมัน ต้องนำมาจาก arXiv:2610.02665 — งานวิจัยที่ครอบคลุมตระกูล 3B และ 8B ทั้งแบบ base และ distilled และบทคัดย่ออ้างว่าโมเดลเหล่านี้เอาชนะ masked diffusion LMs และ autoregressive baselines ด้วยการเพิ่มขึ้นอย่างสม่ำเสมอที่มากที่สุดในด้านการเขียนโค้ด

การ์ด nfe4 แบบ distilled เผยแพร่ตัวเลขจริง โดยใช้สิบ seed และค่าความคลาดเคลื่อนเป็นสองเท่าของค่าความคลาดเคลื่อนมาตรฐาน: GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, ค่าเฉลี่ยหกงาน 66.36 ± 0.46 โดยค่า seed เก้าในสิบค่าอยู่ในช่วง 42 ถึง 51 ดังนั้นโปรโตคอลจึงถูกอธิบายละเอียดมากพอที่จะทำซ้ำได้

ดังนั้น เมื่อมองการ์ดทั้งสองใบเป็นคู่กัน จึงบอกไม่ได้ว่าการกลั่น (distillation) มีต้นทุนเท่าไร นั่นคือตัวเลขที่มีประโยชน์ที่สุดเพียงตัวเดียวในการเปรียบเทียบนี้ และมันหายไป เพราะการ์ดของโมเดลครูไม่มีตารางให้ลบออกมา เปเปอร์เป็นที่เดียวที่ข้อกล่าวอ้างนี้ปรากฏอยู่ และถ้อยคำของมันเป็นเชิงทิศทาง: เร่งความเร็วได้ประมาณ 8 เท่าในงานคณิตศาสตร์ และ 4 เท่าในงานเขียนโค้ดจากการกลั่นแบบจับคู่การแจกแจง (distribution-matching distillation) "โดยสูญเสียความแม่นยำเล็กน้อย" ตัวคูณเหล่านั้นเป็นสิ่งที่เปเปอร์รายงาน ไม่ใช่การ์ดรายงาน และ它們อ้างถึงการทดลองของตระกูลโมเดลนั้นเอง มากกว่าการเปรียบเทียบแบบควบคุมของเช็กพอยต์สองตัวที่แน่นอนบน hub วันนี้

อีกจุดที่ยุ่งยากขึ้นในไลน์ distill เอง: nfe16 sibling ถูกทำเครื่องหมายว่า pending_ten_seed_six_task_validation ค่าเฉลี่ยจากสามงานที่ 74.50 มาจากการรันด้วย seed-42 เพียงครั้งเดียว และการ์ดระบุว่าไม่ควรนำไปเปรียบเทียบกับค่าเฉลี่ยสิบ seed ของตัวแปรอื่น ๆ ดังนั้น “ตัวที่ใหญ่ที่สุดคือตัวที่ดีที่สุด” จึงเป็นการตีความที่การ์ดปฏิเสธอย่างชัดเจนว่าจะสนับสนุน

ตัวเลือกที่สามที่ไม่มีใครเอ่ยชื่อ

คอลเลกชันนี้มีตัวแปรหนึ่งที่ไม่ได้เป็นหนึ่งในสองโมเดลในการเปรียบเทียบนี้ และอาจกล่าวได้ว่าเป็นไฟล์ที่น่าสนใจที่สุดในนั้น: Nemotron-Labs-Sigma-distill-spec-8B มันเป็นครู MS-SUSReg-8B ตัวเดียวกัน ซึ่งถูกกลั่นด้วยวัตถุประสงค์การยอมรับเพิ่มเติม และแทนที่จะทำงานเป็นตัวสุ่มตัวอย่างแบบไม่กี่ขั้นล้วน ๆ มันจะร่างบล็อกขนาด 32 โทเค็นด้วย diffusion head และตรวจสอบด้วย autoregressive head ของตัวเอง แต่ละรอบใช้การเรียก diffusion หนึ่งครั้ง และโทเค็นที่ได้รับการยอมรับจะถูกส่งออกโดยไม่ต้องมี forward pass เพิ่มเติม การ์ดระบุว่าข้อความที่ส่งคืนเป็นเอาต์พุต autoregressive แบบ greedy อย่างแม่นยำ — การยอมรับเปลี่ยน throughput ไม่เคยเปลี่ยนเนื้อหา

ตัวเลขการยอมรับที่เผยแพร่ ซึ่งเป็นสแนปช็อตเดียว: ความยาวที่ยอมรับโดยเฉลี่ย 7.91 บน HumanEval, 11.86 บน GSM8K, 13.37 บน MBPP โดยรวมโทเค็นโบนัสและไม่รวมรอบ bootstrap สิ่งเหล่านี้เป็นตัววัดทรูพุต ไม่ใช่ตัววัดความแม่นยำ และไม่สามารถเปรียบเทียบกับตารางความแม่นยำของ nfe4 ได้ — เป็นความแตกต่างที่การ์ดเน้นด้วยตัวหนา

ในทางปฏิบัติ นี่คือตัวแปรที่ควรจับตา หากคำถามคือ "head แบบ diffusion จะเร่งความเร็วโมเดลได้โดยไม่เปลี่ยนสิ่งที่มันพูดหรือไม่" มันไม่ใช่ตัวแทนที่เสียบใช้แทนได้ทันทีสำหรับโมเดลใดโมเดลหนึ่งในการเปรียบเทียบนี้: ต้องใช้ generate_speculative, head ทั้งสอง และปิด self-conditioning

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

วิธีเลือกในทางปฏิบัติ

การตัดสินใจนี้เหลือเพียงการตรวจสอบสี่ข้อ และข้อแรกตัดตัวเลือกฝั่งหนึ่งออกไปโดยสิ้นเชิงสำหรับผู้อ่านส่วนใหญ่:

• คุณกำลังวิจัยกระบวนการสุ่มตัวอย่างเองอยู่หรือไม่ — ตาราง guidance จำนวนขั้นตอน การบังคับทิศทางของ trajectory และพฤติกรรมของ classifier-free guidance? ตัวฐานคือโมเดล เพราะเป็นตัวที่มีปุ่มปรับและตารางต่องบประมาณ

• คุณกำลังสร้างบางสิ่งที่ไม่สร้างข้อความด้วยต้นทุนคงที่ต่อโทเค็น และคุณไม่ต้องการพื้นที่สำหรับปรับแต่งหรือไม่? nfe4 distill คือโมเดล เพราะ CFG 1 และ score temperature 1 เป็นการกำหนดค่าที่สมบูรณ์

• คุณต้องการผู้ช่วยไหม? ไม่ทั้งคู่ ในรีโพซิทอรีทั้งสองไม่มีเทมเพลตแชต ไม่มีพรอมต์ระบบ ไม่มีการเรียกใช้เครื่องมือ และการ์ดพื้นฐานระบุไว้อย่างชัดเจนว่ามันไม่ได้เป็นผู้ปฏิบัติตามคำสั่ง เวอร์ชัน instruct ที่มีบริบท 8,192 โทเคนคือเวอร์ชันที่เหมาะสำหรับสิ่งนั้น

• คุณต้องการ benchmark ที่สามารถอ้างอิงได้หรือไม่? มีเพียง distill เท่านั้นที่มี และเป็นของ NVIDIA เอง

ไม่มีคำถามทั้งสี่ข้อที่ถามถึงจำนวนพารามิเตอร์ ซึ่งเป็นสิ่งที่บ่งชี้ว่านี่ไม่ใช่การเปรียบเทียบขนาด ความต่าง 537M พารามิเตอร์คือราคาที่ต้องจ่ายในการเก็บ autoregressive head ไว้ในไฟล์ และมันไม่ได้ให้ประโยชน์ใด ๆ กับเส้นทาง diffusion บริสุทธิ์ของ nfe4 — มันอยู่ตรงนั้นเพราะสถาปัตยกรรมเดียวกันยังรองรับ spec variant ด้วย

จุดสำคัญของคู่นี้

NVIDIA สร้างแกนหลักเดียวและเปิดตัวออกมาสองครั้ง: ครั้งหนึ่งในฐานะสิ่งสำหรับศึกษา อีกครั้งในฐานะสิ่งสำหรับรัน นี่คือกลยุทธ์ที่สอดคล้องกัน และเป็นเหตุผลว่าทำไมการ์ดทั้งสองใบจึงอ่านแล้วแตกต่างกันมาก — การ์ด base เขียนขึ้นสำหรับนักวิจัยที่จะเปลี่ยน sampler ส่วนการ์ด distill สำหรับนักพัฒนาที่จะไม่เปลี่ยน

สิ่งที่คู่นี้ยังขาดอยู่คือสิ่งที่ทำให้คุณตรวจสอบข้อแลกเปลี่ยนได้อย่างตรงไปตรงมา: teacher score ตราบใดที่การ์ด base 8B ยังไม่มีตารางหกงานเดียวกันกับที่ distill มี ทุกข้ออ้างเกี่ยวกับสิ่งที่การกลั่นให้ผลมาคือข้ออ้างเกี่ยวกับการทดลองระดับตระกูลในเปเปอร์ ไม่ใช่เกี่ยวกับสองไฟล์นี้ หาก NVIDIA เพิ่มตารางนั้น — และการแก้ไขล่าสุดของการ์ด base เมื่อวันที่ 16 พฤศจิกายนบ่งชี้ว่า repositories ยังได้รับการดูแลอยู่ — การเปรียบเทียบนี้จะกลายเป็นการลบแทนการประกอบใหม่

สำหรับตอนนี้ การตีความเชิงปฏิบัติยังแคบและมีประโยชน์: เลือก base หากคุณต้องการสำรวจว่า continuous diffusion LM ทำงานอย่างไรภายใต้งบขั้นตอนที่แตกต่างกัน เลือก nfe4 หากคุณต้องการ 6.4 โทเคนต่อการ forward pass แบบคงที่ที่ความแม่นยำตามที่เผยแพร่ และข้ามทั้งสองตัวหากคุณต้องการแชทโมเดลหรือหน้าต่างบริบทที่ยาวกว่าบันทึกยาว ทั้งสองยังไม่อยู่ในแค็ตตาล็อกของ OrcaRouter ในวันนี้ และจะยังไม่อยู่จนกว่าจะมีเส้นทางการให้บริการสำหรับสถาปัตยกรรม block-diffusion สิ่งที่ OrcaRouter มีให้คือโมเดล autoregressive กว่า 200 ตัวที่คุณจะใช้เป็นเกณฑ์เปรียบเทียบกับทั้งสองตัว ภายใต้คีย์เดียวที่ราคาตามรายการของผู้ให้บริการ โดยไม่มีมาร์กอัป และมี automatic failover หากคุณต้องการแยกการทดลองออกจากเส้นทางโปรดักชัน

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.
© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube