ชุดข้อมูลหลังการฝึกแบบเปิดของ Nemotron 3.5 Super VL: สิ่งที่คุณสามารถไฟน์จูนได้จริง

NVIDIA Nemotron 3.5 Super VL นำเวตของโมเดลขึ้น Hugging Face เมื่อวันที่ 12 ตุลาคม 2026 และประกาศเปิดตัวเมื่อวันที่ 15 ตุลาคม ครึ่งหนึ่งของการเปิดตัวครั้งนั้นที่สื่อส่วนใหญ่ข้ามไป คือส่วนที่คุณนำไปต่อยอดได้จริง: ระหว่างวันที่ 12 ถึง 15 ตุลาคม องค์กร nvidia ได้เผยแพร่ชุดข้อมูลหลังการฝึกใหม่ 11 ชุด ซึ่งเป็นคลังข้อมูล supervised fine-tuning และ reinforcement learning ที่อยู่เบื้องหลังคำอธิบายการฝึก 6 ขั้นตอนในโมเดลการ์ดของโมเดลนี้เอง ทั้ง 11 ชุดระบุ OpenMDW-1.1 เป็นเงื่อนไขที่มีผลบังคับใช้ แต่ความเหมือนกันก็หยุดอยู่แค่นั้น สองชุดแสดงเป็น license: other บน Hub; อีกสองชุดมีสัญญาอนุญาตใบที่สองเนื่องจากสิ่งที่อยู่ภายใน; และการ์ดสองใบที่ไม่เคยระบุว่า “พร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่ใช่เชิงพาณิชย์” ไม่ใช่ใบที่คุณจะเดาได้ ด้านล่างนี้คือสิ่งที่อยู่ในแต่ละชุด สิ่งที่การ์ดเปิดเผยและไม่เปิดเผยเกี่ยวกับชุดนั้น และการปล่อยชุดทั้งหมดนี้เทียบกับตัวเลขการฟื้นคืนความแม่นยำที่มีค่ามัธยฐาน 99.62% อย่างไร ซึ่งตีความได้ต่างกันมาก ขึ้นอยู่กับว่าคุณเปิดเอกสาร NVIDIA ฉบับใด

อะไรลงจอด และเมื่อไหร่

Hugging Face บันทึกเวลาที่สร้างไว้ ดังนั้นข้อมูลนี้จึงอ่านได้โดยตรง ไม่ใช่การประมาณการ รีพอซิทอรีทั้งสิบเอ็ดแห่งปรากฏขึ้นภายในช่วงเวลา 61 ชั่วโมง:

• Nemotron-RL-litmus-bench-v0.2 — 12 ตุลาคม 16:37 UTC การให้เหตุผลทางเคมี คำถามฝึก 47,118 ข้อและคำถามทดสอบ 2,056 ข้อ 64 MB สร้างจาก ChEMBL ข้อมูลชาเลนจ์ OpenADMET ExpansionRx และชุด Biogen ADME อนุญาตแบบคู่ภายใต้ CC-BY-SA-4.0 และ OpenMDW-1.1 เนื่องจากคำถามที่ได้จาก ChEMBL มีข้อกำหนด share-alike

• Nemotron-SFT-Agentic-v4 — 14 ตุลาคม เวลา 17:54 UTC เส้นทางการใช้เครื่องมือแบบเทิร์นเดียวและหลายเทิร์น บันทึกการสนทนา 634,664 รายการ แบ่งเป็นชุดข้อมูลย่อย tool_calling จำนวน 549,707 และชุดข้อมูลย่อย knowledge_agent จำนวน 84,957, 18.88 GB. สร้างด้วย Qwen3.5-397B-A17B และ GLM-5.2.

• Nemotron-SFT-Instruction-Following-Chat-v4 — 14 ตุลาคม 17:55 UTC แชต การปฏิบัติตามคำสั่งแบบหลายรอบ และการควบคุมความยาวคำตอบ 3,850,582 บันทึกการสนทนา 80.74 GB สร้างด้วย Kimi-K2.6, Gemma4-E4B-it และ Qwen3.5-397B-A17B

• Nemotron-SFT-Agentic-Finance-v1 — 14 ตุลาคม 18:54 UTC ตัวอย่างการเรียกใช้เครื่องมือแบบหลายรอบจำนวน 7,878 ตัวอย่าง ครอบคลุมการให้เหตุผลเชิงตัวเลข การสร้างแบบจำลองทางการเงิน การวิเคราะห์ตลาด การปรับปรุงแก้ไข และคำถามประเภททำได้ตามเป้าหรือพลาดเป้า จากเอกสารที่ยื่นต่อ SEC ซึ่งเป็นสาธารณะ ขนาด 28 MB

• Nemotron-RL-Agentic-Finance-v1 — 14 ตุลาคม 18:55 UTC งาน RL จำนวน 10,185 งาน กลุ่มงานห้าประเภทเดียวกัน 166 MB โดยเจตนาไม่ให้บริบทของเอกสารยื่นต่อทางการ เพื่อให้เอเจนต์ต้องดึงข้อมูลเองด้วย sec_filing_search, parse_html_page และ retrieve_information

• Nemotron-SFT-Long-Context-Transduction-v1 — 14 ตุลาคม 19:47 UTC คู่คำสั่ง–คำตอบจำนวน 10,000 คู่ ขนาด 1.22 GB สำหรับการติดตามตำแหน่งและการแปลงลำดับ ไม่มีโมเดลใดสร้างข้อมูลเหล่านี้ขึ้นมา: การ์ดระบุไว้อย่างชัดเจนว่าไม่มีโมเดลภาษาใดสร้างตัวอย่างหรือคำตอบ และกลุ่มงานทั้งสี่ ได้แก่ การประเมินทางคณิตศาสตร์ การเรียงลำดับโทเค็นฐานสิบหก การขยายตัวแปร และการแปลง CSV

• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 14 ตุลาคม 20:14 UTC ตัวอย่างการแปลจากภาษาอังกฤษเป็นหลายภาษา จำนวน 4,335 ตัวอย่าง, 2.22 GB, ข้อความต้นทางดึงมาจากหนังสือสาธารณสมบัติในคลัง PG-19 และแปลด้วย DeepSeek V4 Flash

• Nemotron-RL-Finance-Tool-Calling-v1 — 14 ตุลาคม 22:46 UTC. บันทึกทางการเงิน 90,307 รายการ — ตัวอย่างการให้เหตุผลแกนหลัก 81,397 ตัวอย่าง พร้อมตัวอย่างเอเจนต์การเงินที่กว้างขึ้น 8,910 ตัวอย่าง — ใน 1.23 GB รันกับสภาพแวดล้อม Finance SEC Search ใน NeMo Gym

• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — วันที่ 14 ตุลาคม เวลา 22:46 UTC ตัวอย่างจำนวน 63,056 รายการใน 1.01 GB อ้างอิงจากเอกสารยื่น 10-K, 10-Q และ 8-K ของบริษัทใน S&P 500 ครอบคลุมช่วงปี 2017–2024

• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 14 ตุลาคม 23:45 UTC จำนวน 100,000 เรกคอร์ด ขนาด 3.86 GB: นโยบายตั้งต้น คำนิยามเครื่องมือ และสถานการณ์จำลองสำหรับเซิร์ฟเวอร์ทรัพยากร conversation_tool_use_simulation ครอบคลุมธุรกิจโรงแรม พาณิชย์อิเล็กทรอนิกส์ ธนาคารและประกันภัย สำหรับบทสนทนาแบบเอเจนต์จำลองระหว่างการทำ RL

• Nemotron-SFT-BBQ-v1 — 15 ตุลาคม 05:22 UTC ข้อมูลความเป็นธรรมภาษาอังกฤษที่ครอบคลุมอายุ รูปลักษณ์ภายนอก และความพิการ — อย่างละ 2,000 รายการ รวมทั้งหมด 6,000 รายการ ขนาด 8.0 MB — สร้างขึ้นตามอนุกรมวิธาน Bias Benchmark for QA พร้อมด้วยบทสนทนาระหว่างผู้เข้าร่วมสมมติที่ออกแบบมาเพื่อให้รางวัลแก่คำตอบที่อิงหลักฐานมากกว่าการสันนิษฐาน

มีสองสิ่งเกี่ยวกับรายการนั้นที่สำคัญกว่าจำนวนแถว สิ่งแรกคือ ขอบเขตสัญญาอนุญาตไม่ได้สม่ำเสมออย่างที่แท็กพาดหัวบอกเป็นนัย และสิ่งที่สองคือ เอาต์พุตเหล่านี้เป็นของใคร

แท็กสัญญาอนุญาตไม่ใช่สัญญาอนุญาตทั้งหมด

ทั้งสิบเอ็ดรีโพซิทอรีต่างระบุให้ OpenMDW-1.1 เป็นข้อกำหนดที่ใช้บังคับ สิ่งที่แตกต่างกันคือข้อกำหนดนั้นมาถึงคุณได้อย่างไร และความแตกต่างเหล่านั้นคุ้มค่าที่จะอ่านก่อนที่คุณจะสร้างสิ่งใดเชิงพาณิชย์ขึ้นมาบนพื้นฐานนั้น

• แท็กเทียบกับชื่อไลเซนส์ — สิบเอ็ดตัวมีเก้าตัวที่ระบุ license: openmdw-1.1 เป็นแท็กธรรมดาที่อ่านได้ตรง ๆ จาก API ส่วน Nemotron-SFT-Agentic-Finance-v1 และ Nemotron-RL-Agentic-Finance-v1 แสดงเป็น license: other พร้อม license_name: openmdw-1.1 และลิงก์ไปยังข้อตกลง เงื่อนไขเหมือนกัน แต่เครื่องมือที่กรองรีโพซิทอรีจากแท็กไลเซนส์จะเห็นค่าที่ต่างกันสองค่า

• สัญญาอนุญาตที่สองเนื่องจากข้อมูลต้นทาง — Nemotron-SFT-Long-Context-Translation-PG19-v1 มี Apache-2.0 ควบคู่กับ OpenMDW-1.1 เนื่องจากคลังข้อมูลต้นทางคือ PG-19 และการ์ดของโมเดลระบุเพิ่มเติมว่า งานภาษาอังกฤษที่เป็นพื้นฐานนั้นเป็นสาธารณสมบัติในสหรัฐอเมริกา แต่สถานะลิขสิทธิ์อาจแตกต่างกันในเขตอำนาจอื่น ดังนั้นผู้ใช้ควรตรวจสอบกฎหมายท้องถิ่นก่อนแจกจ่ายซ้ำ Nemotron-RL-litmus-bench-v0.2 มี CC-BY-SA-4.0 ควบคู่กับ OpenMDW-1.1 โดยเงื่อนไข share-alike ถูกนำไปใช้กับคำถามที่ได้มาจาก ChEMBL โดยเฉพาะ

• ประโยคเกี่ยวกับการใช้งานเชิงพาณิชย์ — การ์ดเก้าใบระบุว่า "ชุดข้อมูลนี้พร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่เชิงพาณิชย์" ส่วนสองใบที่ไม่ได้ระบุเช่นนั้นคือ Nemotron-SFT-Long-Context-Transduction-v1 และ Nemotron-SFT-Long-Context-Translation-PG19-v1 — ซึ่งเป็นคู่แบบ long-context ไม่ใช่ชุดการเงิน

• ตำแหน่งที่ข้อยกเว้นเนื้อหาได้รับการบันทึกไว้ — การเงิน การ์ดที่อ้างอิงเอกสารระบุว่าการเผยแพร่ยังคงไว้เฉพาะข้อความบางตอนแบบจำกัดบริบทที่ได้รับอนุญาตจากเนื้อหาของแบบฟอร์ม 10-K, 10-Q และ 8-K และระบุว่าคลังข้อมูล SEC ทั้งหมด เอกสารแนบทั้งหมด และเนื้อหาใด ๆ ที่มีประกาศลิขสิทธิ์ของบุคคลที่สามถูกตัดออก โดยระบุรายงานที่ปรึกษา งานนำเสนอ ความเห็นเกี่ยวกับความเป็นธรรม และงานวิจัยของนักวิเคราะห์ นอกจากนี้ยังระบุว่าข้อความบางตอนยังคงเป็นความรับผิดชอบของผู้ออกหลักทรัพย์แต่ละราย

ดังนั้น การตีความเชิงปฏิบัติจึงตรงกันข้ามกับการตีความตามสัญชาตญาณ ชุดข้อมูลทางการเงินคือชุดที่มีป้ายสัญญาอนุญาตที่เด่นชัดที่สุด — openmdw-1.1 ที่ชัดเจนบนชุดที่อ้างอิงเอกสารและชุดที่เรียกใช้เครื่องมือ — และเป็นชุดที่มีการบันทึกข้อจำกัดเกี่ยวกับเนื้อหาภายในไว้มากที่สุด ชุดข้อมูลบริบทยาวคือชุดที่ข้อมูลเมตาบน Hub และคำอธิบายขัดแย้งกันมากที่สุด ไม่มีสิ่งใดเป็นเหตุผลให้ต้องถอยหนี ทั้งสองเป็นเหตุผลให้ต้องอ่านการ์ดสี่ใบแทนที่จะดูแค่ฟิลด์สัญญาอนุญาตเพียงฟิลด์เดียว

เอาต์พุตของใครที่ใช้ฝึกโมเดลเรือธงของ NVIDIA

อีกสิ่งหนึ่งที่ปรากฏอยู่ตลอดการเปิดตัวคือโมเดลสำหรับการสร้าง และการ์ดต่าง ๆ ระบุชื่อโมเดลเหล่านั้นโดยไม่ใช้ถ้อยคำกำกวม ชุด SFT แบบเอเจนต์ระดับเรือธงถูกสร้างด้วย Qwen3.5-397B-A17B และ GLM-5.2 ชุดทำตามคำสั่งเพิ่ม Kimi-K2.6 และ Gemma4-E4B-it ชุดการเงินที่อิงเอกสารระบุ Qwen3.5-397B-A17B สำหรับการสร้างคำถาม, DeepSeek-V4-Pro สำหรับคำตอบ และ gpt-oss-120b สำหรับการกรองและการเลือก ชุด RL สำหรับการเรียกใช้เครื่องมือทางการเงินระบุ Qwen3.5-397B-A17B และ Qwen3-235B-A22B-Instruct-2507 ที่ฝั่งต้นทาง, DeepSeek-V4-Pro สำหรับคำตอบ, gpt-oss-120b สำหรับการกรอง และ NVIDIA Nemotron เองสำหรับการทำโปรไฟล์ความยากของ RL จากการโรลเอาต์แปดครั้ง คำแปล PG-19 ถูกสร้างด้วย DeepSeek V4 Flash

นั่นคือการตัดสินใจด้านการเผยแพร่ ไม่ใช่เรื่องบังเอิญ และเป็นสิ่งที่มีประโยชน์ที่สุดในการปล่อยครั้งนี้สำหรับใครก็ตามที่พยายามใช้เหตุผลเกี่ยวกับคุณภาพ มันบอกคุณว่าไพรเออร์เชิงพฤติกรรมที่คุณกำลังไฟน์จูนเข้าสู่นั้นส่วนใหญ่ไม่ใช่ของ NVIDIA — หากแต่เป็นการผสมผสานของตระกูล open-weight ชั้นแนวหน้าของจีนสองตระกูล โมเดล open-weight ของ OpenAI หนึ่งตัว และโมเดลขนาดเล็กของ Google หนึ่งตัว หากคุณมีความคิดเห็นว่าโมเดลใดในนั้นมีพฤติกรรมอย่างไรกับข้อความทางการเงินหรือกับการเลือกเครื่องมือ ความคิดเห็นนั้นก็ใช้กับจุดเริ่มต้นของคุณตรงนี้ และตอนนี้คุณมีที่มาที่ไปเพื่อตรวจสอบมันแทนที่จะเดา

ทำไมข้อมูลจึงเป็นส่วนที่คุณลงมือทำได้

เหตุผลที่การเปิดตัวชุดข้อมูลเป็นครึ่งที่น่าสนใจของการเปิดตัวครั้งนี้ มองเห็นได้จากตัวเลขของเจ้าของผลิตภัณฑ์เอง โพสต์ใน newsroom ของ NVIDIA ระบุชื่อองค์กรที่ฝึกโมเดลต่อ (post-train) และอ้างผลลัพธ์ขององค์กรเหล่านั้น: Scale AI สำหรับงาน vendor credit ของ Skydance ที่ "ต้นทุน inference ต่ำลง 40 เท่า" และ "ความหน่วงต่ำลง 5 เท่า"; Ramp ในการแปลงภาพใบเสร็จให้เป็น JSON แบบมีโครงสร้าง โดยคาดหวังว่า "throughput สูงขึ้นถึง 50% และความหน่วงต่ำลง 10 เท่า"; AI21 และ Alice ในงานข่าวกรองภัยคุกคาม ที่ "ความแม่นยำสูงขึ้น 41%" อ่านบล็อกนักพัฒนาควบคู่กับ newsroom แล้วผลลัพธ์ของลูกค้าชุดเดียวกันก็ยุบรวมเป็น "ต้นทุน inference ต่ำลง 40 เท่า ความหน่วงต่ำลง 10 เท่า และความแม่นยำสูงขึ้น 40%" — เลข 40 ตรงที่ newsroom บอก 41 และ 10 เท่าตรงที่ newsroom บอก 5 เท่า สำหรับสิ่งที่ดูเหมือนเป็นการติดตั้งใช้งานสองรายการเดียวกัน สิ่งเหล่านี้คือความคาดหวังของลูกค้าสำหรับ workload ของตนเอง ไม่ใช่ benchmark และไม่มีเวอร์ชันใดที่คุณทำซ้ำได้

สิ่งที่ทำซ้ำได้คือใบเสร็จ ห้องข่าวกล่าวว่าโมเดลนี้ผ่านการฝึกภายหลังด้วยตัวอย่างประมาณ 3.8 ล้านตัวอย่างและการเรียนรู้แบบเสริมแรงในหลายสิบสภาพแวดล้อม และชุดข้อมูลเปิดครอบคลุมการใช้เครื่องมือแบบเอเจนต์ การเงิน การปฏิบัติตามคำสั่ง บริบทขนาดยาว ความเป็นธรรม และความเข้าใจด้านภาพและภาษา สิบเอ็ดที่เก็บโค้ดข้างต้นคือคลังข้อมูลนั้น และสภาพแวดล้อม NeMo Gym ที่การ์ดชี้ไปคือชุดทดสอบ ทีมที่ต้องการเอเจนต์ด้านความเข้าใจเอกสารตอนนี้มีโมเดล สูตรการให้บริการ ไลบรารีสำหรับปรับแต่งละเอียด และข้อมูลฝึก อยู่ในที่เดียว ช่องว่างระหว่าง "โมเดลนี้สามารถปรับให้เชี่ยวชาญเฉพาะทางได้" กับ "นี่คือความเชี่ยวชาญเฉพาะทางที่คุณสามารถดาวน์โหลดได้วันนี้" คือสิ่งที่ที่เก็บโค้ดเหล่านี้ปิด

ข้อควรระวังประการหนึ่งเกี่ยวกับรายการหมวดหมู่เหล่านั้น: newsroom ของ NVIDIA รวมความเข้าใจภาพ-ภาษาไว้ในชุดข้อมูลที่เผยแพร่ และที่เก็บชุดข้อมูล nvidia ใหม่ 11 แห่งที่สร้างขึ้นในช่วงนี้เป็นคลังข้อมูลข้อความและคลังข้อมูลด้านการใช้เครื่องมือ ชุดข้อมูลการเงินที่ยึดโยงกับเอกสารเป็นสิ่งที่ใกล้เคียงที่สุดกับชุดข้อมูลภาพในรอบนี้ และมีรูปแบบเป็นข้อความล้วน หากคุณมาที่นี่เพื่อฝั่งภาพและวิดีโอ ข้อมูลไม่ได้อยู่ที่นี่ — ชุดข้อมูลวิชันของ NVIDIA ล่าสุดบน Hub เกิดขึ้นก่อนช่วงเวลานี้ห้าวัน

สิ่งที่บัตรไม่ได้เปิดเผย และสิ่งที่คุณต้องจ่ายไปกับมัน

นี่คือตัวเลขที่ไม่มีใครใส่ไว้ในโพสต์เปิดตัว และในการเปิดตัวครั้งนี้ มันคือตัวเลขที่หายไป ไม่มี การ์ดชุดข้อมูล ทั้งสิบเอ็ดใบใบใดเผยแพร่จำนวนโทเคนเลย พวกมันเผยแพร่แค่จำนวนเร็กคอร์ดกับขนาดพื้นที่จัดเก็บ เท่านั้น ดังนั้นคำถามเรื่องการประเมินขนาด — ว่าหนึ่ง epoch บนชุดข้อมูล instruction-following ใช้เวลา GPU กี่ชั่วโมง — จึงตอบจากรีลีสไม่ได้ ทำได้แค่ประมาณโดยเอาจำนวนไบต์หารด้วยอัตราส่วนไบต์ต่อโทเคนที่สันนิษฐานขึ้นมา ซึ่งเป็นตัวเลขประเภทที่หลุดเข้าไปในรายงานข่าวราวกับว่าถูกวัดมาจริง ๆ

สิ่งที่คุณใช้เป็นข้อมูลตั้งต้นได้คือพื้นที่จัดเก็บที่เผยแพร่แล้ว: 80.74 GB สำหรับ Nemotron-SFT-Instruction-Following-Chat-v4, 18.88 GB สำหรับ Nemotron-SFT-Agentic-v4, 3.86 GB สำหรับชุดข้อมูลตั้งต้นสำหรับการใช้เครื่องมือแบบสนทนา และจากนั้นก็เป็นส่วนหางยาว — 2.22 GB, 1.23 GB, 1.22 GB, 1.01 GB, 166 MB, 28 MB, 8.0 MB, 64 MB ชุดข้อมูลที่ใหญ่ที่สุดสองชุดนั้นใหญ่กว่าสิ่งอื่นทั้งหมดในชุดนี้ราวหนึ่งถึงสองอันดับขนาด ซึ่งบอกคุณได้ว่าน้ำหนักของขั้นหลังการฝึก (post-training) อยู่ตรงไหนจริง ๆ โดยไม่จำเป็นต้องนับโทเคนเลย

• Nemotron-SFT-Instruction-Following-Chat-v4 — 80.74 GB และ 3,850,582 เร็กคอร์ด นี่คือชุดข้อมูลที่ทำให้การรันแบบพารามิเตอร์เต็มรูปแบบกลายเป็นโปรเจกต์ ไม่ใช่แค่ใช้เวลาบ่ายเดียว

• Nemotron-SFT-Agentic-v4 — 18.88 GB และ 634,664 เรกคอร์ด มีขนาดเล็กลงประมาณหนึ่งในสี่ ซึ่งทำให้อยู่ในวิสัยที่สามารถรันบนโหนดเดียวได้

• Nemotron-SFT-BBQ-v1 — 8.0 MB และ 6,000 เรกคอร์ด เล็กพอที่จะวนปรับได้ในไม่กี่นาที ซึ่งทำให้มันเป็นวิธีที่ประหยัดที่สุดในการพิสูจน์ว่าลูป fine-tuning ของคุณเชื่อมต่อพร้อมทำงานแล้ว ก่อนที่คุณจะทุ่มหนึ่งสัปดาห์ของ GPU ให้กับงานที่คุณใส่ใจจริง ๆ

• Nemotron-SFT-Long-Context-Transduction-v1 — 1.22 GB แต่มีเพียง 10,000 ตัวอย่าง โดยมีช่วงต่อตัวอย่างที่เผยแพร่ไว้ที่ 2,048 ถึง 131,072 โทเคนเป้าหมาย ในที่นี้ต้นทุนขับเคลื่อนด้วยความยาวลำดับมากกว่าปริมาณ และการ์ดระบุว่างบประมาณเป็นเป้าหมายการสร้างที่ประเมินด้วย cl100k_base ไม่ใช่จำนวนที่นับหลังการฝึก

ในด้านขนาดของโมเดล การ์ดโมเดลเผยแพร่งบโทเค็นของแต่ละสเตจ ได้แก่ การวอร์มアップแบบ MTP จำนวน 1 แสนล้านโทเค็นบนแบ็กโบนที่ถูกแช่แข็ง การกลั่นความรู้หนึ่งล้านล้านโทเค็นจาก Nemotron ที่ใหญ่ขึ้นในระดับถัดไป การฝึกล่วงหน้าต่อเนื่องสำหรับภาษาอินดิก 1 แสนล้านโทเค็น การขยายไปสู่คอนเท็กซ์ 1M ด้วย 35 พันล้านโทเค็น การฝึกกลางทางด้านวิศวกรรมซอฟต์แวร์ที่ 256K จำนวน 67 พันล้านโทเค็น และสเตจการฟื้นฟูบริบทความยาว 9 พันล้านโทเค็น เหล่านี้เป็นงบโทเค็นชุดเดียวที่ NVIDIA ระบุไว้ที่ใดก็ตามในการเปิดตัว และใช้งบเหล่านี้กับการฝึกโมเดลฐาน ไม่ใช่กับการไฟน์จูนบนชุดข้อมูลเหล่านี้

นั่นก็เป็นเหตุผลเช่นกันว่าทำไมเส้นทาง LoRA จึงสำคัญที่นี่ แทนที่จะเป็นเพียงเชิงอรรถ NVIDIA ชี้นักพัฒนาไปที่ NVIDIA NeMo AutoModel สำหรับการปรับละเอียดแบบมีผู้สอนและการปรับตัวแบบแรงก์ต่ำ และอะแดปเตอร์คือความแตกต่างระหว่างการเปลี่ยนพฤติกรรมของโมเดลเพียงไม่กี่อย่าง กับการคำนวณน้ำหนัก 249 GB ขึ้นมาใหม่ทั้งหมด ทั้งสองเส้นทางเป็นไปได้จริง และการเลือกระหว่างสองเส้นทางนี้คือการตัดสินใจว่าคุณตั้งใจจะเปลี่ยนพฤติกรรมของโมเดลฐานมากน้อยเพียงใด ทีมการเงินที่ตามหาสคีมาแคบ ๆ หรือพฤติกรรมการทำตามนโยบายอยู่ในอาณาเขตของ LoRA ทีมที่ต้องการให้โมเดลยึดถือกระบวนการปฏิบัติงานใหม่ในทุกปฏิสัมพันธ์ของมัน ไม่ได้อยู่ในอาณาเขตนั้น

สองเอกสาร หนึ่งเกณฑ์มาตรฐาน คำตอบที่ตรงกันข้าม

รายงานทางเทคนิคที่แนบมากับการเผยแพร่นี้ลงวันที่ 14 ตุลาคม และมีตัวเลขที่เดินทางไปไกลที่สุดโดยปราศจากบริบทของมัน NVIDIA รายงานว่าเช็กพอยต์ NVFP4 ที่เผยแพร่นี้ทำได้ การฟื้นคืนความแม่นยำมัธยฐาน 99.62% เมื่อเทียบกับ BF16 ทั่ว 36 เบนช์มาร์ก หลังจากสูตรการควอนไทซ์หลังการฝึกที่เข้มข้น ตามด้วยการกลั่นแบบตระหนักถึงการควอนไทซ์โดยใช้ SFT จำนวน 200 รอบ — โดยที่ตัวเข้ารหัสภาพ C-RADIO, ตัวเชื่อมต่อ VL, คอนโวลูชัน Mamba และ embedding ยังคงอยู่ใน BF16 และการคำนวณ router ยังคงอยู่ใน FP32 ตามตารางรายโมดูลของรายงาน

"Median accuracy recovery" คือค่ามัธยฐานของอัตราส่วน ไม่ใช่ค่าต่ำสุด การจะได้ 99.62% รายงานจะคำนวณอัตราส่วนคะแนนต่อแต่ละ benchmark แล้วเลือกค่ากลางจากทั้งหมด 36 รายการ ดังนั้นตัวเลขพาดหัวจึงบอกว่า benchmark ทั่วไปอยู่ต่ำกว่าความแม่นยำเต็มประมาณสี่ในสิบของหนึ่งเปอร์เซ็นต์ และไม่ได้บอกอะไรเลยเกี่ยวกับส่วนหาง ตารางของรายงานเองแสดงส่วนหาง: Tau3 Banking อยู่ที่ 94.20%, ส่วน problem-solving ของ SciCode อยู่ที่ 93.63%, MMLU-ProX อยู่ที่ 95.90% — และในอีกด้านหนึ่ง GDPVal อยู่ที่ 111.53% และ Terminal-Bench v2.1 อยู่ที่ 103.47% เพราะการควอนไทเซชันอาจให้ผลสูงกว่าค่าอ้างอิง BF16 ได้ในการรันครั้งเดียว

จากนั้นลองเปรียบเทียบกับการ์ดโมเดล เรื่องราวก็จะน่าสนใจยิ่งกว่าส่วนหาง การ์ดโมเดล NVFP4 ของ NVIDIA เองเผยแพร่ตารางเปรียบเทียบ BF16 กับ NVFP4 สำหรับเช็กพอยต์เดียวกัน และในตารางนั้น Terminal-Bench 2.1 อ่านค่าได้ 66.70 เทียบกับ 60.80 — บิลด์ที่ผ่านการควอนไทซ์ต่ำลงเก้าเปอร์เซ็นต์ ในตารางชุดทดสอบเต็มของรายงานทางเทคนิค เมนช์มาร์กเดียวกันอ่านค่าได้ 60.67 เทียบกับ 62.78 โดยบิลด์ที่ผ่านการควอนไทซ์นำอยู่ โมเดลเดียวกัน เมนช์มาร์กเดียวกัน ตระกูล eval harness เดียวกัน เอกสารของ NVIDIA สองฉบับ ทิศทางตรงกันข้าม การ์ดยังแสดง WebVoyager ที่ 77.72 ลดลงเหลือ 66.31 และ DeepSWE ที่ 24.65 ลดลงเหลือ 18.2 ซึ่งไม่มีอันใดเลยที่เป็นเรื่องเวอร์ชันที่คุณได้จากพาดหัวข่าว 99.62%

นั่นไม่ใช่เรื่องอื้อฉาว — ตารางที่ต่างกันอาจมีการตั้งค่าฮาร์เนสที่ต่างกัน และตารางในรายงานแสดงเปอร์เซ็นต์การฟื้นคืนกำกับไว้กับแต่ละแถว — แต่มันหมายความว่าคำตอบที่ซื่อตรงต่อคำถามที่ว่า “NVFP4 ทำให้ความแม่นยำของฉันลดลงหรือไม่” คือ: ในแถวที่เผยแพร่ส่วนใหญ่ แทบจะไม่ลดลง; ในแถวที่ลดลงจริง มันลดลงมากกว่าที่ค่ามัธยฐานบ่งชี้; และเอกสารสองฉบับของผู้ขายไม่ตรงกันว่าแถวเหล่านั้นคือแถวไหน ถ้าเวิร์กโหลดของคุณเป็นงานเทอร์มินัลแบบเอเจนต์ ให้วัดซ้ำด้วยตัวเองแทนที่จะเลือกตารางใดตารางหนึ่ง

การคำนวณการติดตั้งใช้งานนั้นชัดเจนไม่กำกวม และเป็นข้อโต้แย้งที่แข็งแกร่งที่สุดสำหรับบิลด์แบบควอนไทซ์ รีโพซิทอรี BF16 มีไฟล์เช็กพอยต์รวม 248.9 GB และ quick-start ของตัวมันเองให้บริการบน 4× H100 รีโพซิทอรี NVFP4 รวม 75.06 GB ซึ่งรายงานระบุว่าอยู่ที่ 4.82 บิตต่อพารามิเตอร์รวมสเกล และพอดีกับ H200 หนึ่งเครื่อง, GB200 หนึ่งเครื่อง หรือ DGX Spark เครื่องเดียว บน GB200 หนึ่งเครื่อง รายงานระบุว่าสูงสุดถึง 4,856 โทเคนเอาต์พุต/วินาที/GPU บนเวิร์กโหลดเอเจนต์พร็อกซี 20 เทิร์น ขณะรักษาอย่างน้อย 50 โทเคน/วินาที/ผู้ใช้ โดย NVFP4 อยู่ที่ 2.43× ของทรูพุตของ BF16 บนเวิร์กโหลดเดียวกัน และโมเดลอยู่ที่ 2.34× และ 1.90× ของทรูพุตของ Qwen3.5-122B-A10B และ Qwen3.8 Flash-Next ทั้งหมดนั้นวัดโดย NVIDIA บนสแต็กการให้บริการของ NVIDIA เอง ที่ระดับความพร้อมกันใดก็ตามที่สูตรนั้นเลือกไว้

อีกหนึ่งในสี่ของการเผยแพร่นั้นเป็นสิ่งที่มองข้ามได้ง่าย และมีความสำคัญหาก fine-tune ของคุณจะถูกนำมาถกเถียงกันในภายหลัง รายงานอธิบายถึงการตรวจการปนเปื้อนในข้อมูลหลังการฝึก ซึ่งลบตัวอย่างไป 20,671 รายการ — ประมาณ 0.09% แบ่งเป็นตัวอย่าง SFT 14,793 รายการ และตัวอย่าง RL 5,878 รายการ — ตรงกับคำถาม benchmark 1,808 ข้อ หรือคิดเป็น 6.0% ใน 22 จาก 30 benchmark ที่ตรวจสอบ โดยประมาณ 3% ของคู่ตัวเลือกที่ถูกตัดสินถูกตั้งธงว่าเป็นความปนเปื้อนรุนแรง การเผยแพร่แบบ open-weights ส่วนใหญ่มักไม่เผยแพร่ระเบียบวิธีทำความสะอาดข้อมูลเลย การมีระเบียบวิธีที่คุณอ้างอิงได้นั้นมีค่ามากกว่าที่ฟังดู เมื่อลูกค้าถามว่าทำไมตัวเลข eval ของ fine-tune คุณถึงออกมาเป็นแบบนั้น

สิ่งนี้เปลี่ยนสิ่งที่คุณทำได้ในสัปดาห์นี้อย่างไร

ตอนนี้มีสามสิ่งที่เป็นรูปธรรมที่เป็นไปได้แล้ว ซึ่งก่อนวันที่ 12 ตุลาคมนั้นเป็นไปไม่ได้

ชุดแรกคือเอเจนต์จัดทำเอกสารทางการเงินที่คุณสร้างได้โดยไม่ต้องมีการพูดคุยเรื่องการอนุญาตใช้ข้อมูล — แต่มีข้อแม้หนึ่งข้อกำกับไว้ คลังข้อมูลด้านการเงินครอบคลุมวงจรเต็มรูปแบบ: ตัวอย่าง SFT ที่อ้างอิงเอกสารจำนวน 63,056 ตัวอย่างจากเอกสารที่ยื่นต่อ S&P 500 ตลอดเจ็ดปี, บันทึกการเรียกใช้เครื่องมือแบบ RL จำนวน 90,307 รายการกับสภาพแวดล้อมการค้นหาของ SEC ที่ใช้งานจริง, ตัวอย่างการเรียกใช้เครื่องมือแบบหลายรอบจำนวน 7,878 ตัวอย่างสำหรับเลเยอร์พฤติกรรม และงาน RL จำนวน 10,185 งานที่ตัดบริบทของเอกสารที่ยื่นออกไป เพื่อให้การดึงข้อมูลเป็นส่วนหนึ่งของงาน ข้อแม้คือข้อยกเว้นที่ระบุไว้ข้างต้น: ใช้เฉพาะข้อความบางส่วน, ไม่รวมเอกสารแนบ, ตัดเนื้อหาที่มีลิขสิทธิ์ของบุคคลที่สามออก และประเด็นปัญหาต่างๆ ยังคงเป็นความรับผิดชอบของผู้ยื่นเอกสาร นั่นเป็นจุดยืนที่มีเอกสารประกอบชัดเจนมากกว่าจะเป็นจุดยืนที่สะอาดไม่มีเงื่อนไข และเป็นชุดที่คุณควรอ่านการ์ดก่อนอ่านโค้ด

อย่างที่สองคือการใช้เครื่องมือเชิงเอเจนต์ และนี่คือแนวเฉพาะทางที่ได้รับการสนับสนุนดีที่สุดในชุดที่ปล่อยออกมานี้ เมื่อนำเรกคอร์ด 634,664 รายการของ Nemotron-SFT-Agentic-v4, ชุดข้อมูลตั้งต้นสำหรับการใช้เครื่องมือแบบสนทนาขนาด 100,000 เรกคอร์ด ซึ่งมีสถานการณ์ด้านการบริการ การพาณิชย์อิเล็กทรอนิกส์ การธนาคาร และการประกันภัย, และสภาพแวดล้อม NeMo Gym ที่การ์ดเหล่านั้นชี้ไป มารวมกัน ไปป์ไลน์ทั้งหมดก็ได้รับการอธิบายอย่างครบถ้วนตั้งแต่ต้นจนจบ: สร้างเส้นทางการทำงาน รันบทสนทนาจำลอง ฝึกด้วยรางวัลที่ตรวจสอบได้ ประเมินผลในฮาร์เนสที่ตัวผู้จำหน่ายเองใช้ ไม่ว่าคุณจะคิดอย่างไรกับโมเดลนี้ นั่นคือสูตรสาธารณะที่ครบถ้วนสำหรับการเปลี่ยนโมเดลภาพ-ภาษาทั่วไปให้เป็นเอเจนต์ที่เรียกใช้เครื่องมือ และเป็นส่วนที่เคยเป็นความรู้เฉพาะกลุ่ม

ตัวที่สามคือ baseline ด้านความเป็นธรรมที่คุณสามารถวนปรับปรุงซ้ำได้จริง Nemotron-SFT-BBQ-v1 มี 6,000 เรกคอร์ดและ 8.0 MB โดยมีความสมดุลที่ 2,000/2,000/2,000 ครอบคลุมอายุ รูปลักษณ์ทางกายภาพ และความพิการ และบทสนทนาของมันถูกเขียนขึ้นเพื่อให้ทั้งคำตอบที่อิงหลักฐานและคำตอบที่อิงสมมติฐานต่างก็สมเหตุสมผลทั้งคู่ ด้วยขนาดเท่านี้ คุณสามารถรัน ให้คะแนน และรันซ้ำได้ภายในบ่ายโมงเดียว ซึ่งเปลี่ยน "คุณทดสอบเรื่องนี้อย่างไร" จากปัญหาเรื่องการจัดซื้อจัดจ้างให้กลายเป็นการทดลอง

ลองใช้โดยไม่ต้องเดิมพันเส้นทางโปรดักชันกับมัน

ส่วนที่ยุ่งยากของการเปิดตัวครั้งนี้คือการนำไปติดตั้งใช้งาน ไม่ใช่ข้อมูล โดย checkpoint แบบ BF16 ต้องใช้ H100 ถึงสี่ตัว ส่วนเวอร์ชันที่ทำควอนไทซ์แล้วต้องใช้ H200 หรือ GB200 เพียงตัวเดียว น้ำหนักโมเดลแบบเปิดอยู่บน Hugging Face และเส้นทางของเจ้าของโมเดลเองไปสู่ endpoint แบบโฮสต์คือ NVIDIA NIM โดยสำนักข่าวยังระบุชื่อแพลตฟอร์มของบุคคลที่สามด้วย เราไม่ได้ให้บริการโมเดลนี้ ดังนั้นหากคุณต้องการ endpoint แบบจัดการให้ แหล่งที่ควรดูคือ API ของเจ้าของโมเดลเองและแพลตฟอร์มของบุคคลที่สามหลายแห่ง ส่วนสิ่งที่ router มีประโยชน์ในกรณีนี้คือส่วนที่เหลือของการตัดสินใจ

คีย์เดียวใช้ได้กับโมเดลกว่า 200 รายการ ในราคาตามที่ผู้ให้บริการประกาศไว้ โดยคิดมาร์กอัป 0% หมายความว่าการเปรียบเทียบบิลด์ NVFP4 กับโมเดลข้อความที่คุณใช้อยู่ทุกวันนี้ มีค่าใช้จ่ายเพียงการแก้โค้ดหนึ่งบรรทัด แทนที่จะเป็นสัญญากับผู้ขายอีกราย และ การสลับไปยังผู้ให้บริการรายอื่นโดยอัตโนมัติเมื่อเกิดความล้มเหลว หมายความว่าภาระงานที่คุณเพียงแค่กำลังทดสอบสามารถอยู่เคียงข้างทราฟฟิกโปรดักชันได้ โดยที่ไม่มีฝ่ายใดต้องพึ่งพาอีกฝ่าย นั่นคือรูปแบบของการตัดสินใจที่คุณย้อนกลับได้ — ซึ่งเป็นสิ่งที่คุณต้องการจากโมเดลที่เอกสารเพิ่งมีอายุแค่สองวัน และตารางเบนช์มาร์กของตัวมันเองยังขัดแย้งกันเอง

ลำดับที่ปฏิบัติได้จริงคือ: เอา Nemotron-SFT-BBQ-v1 หรือสไลซ์หนึ่งของชุด agentic มารัน LoRA บน H200 ที่เช่า เพื่อพิสูจน์ลูปของคุณ ให้คะแนนกับอีวัลของคุณเอง แล้วจึงค่อยตัดสินใจว่าบิลด์ความแม่นยำเต็มรูปแบบ 249 GB กับ GPU สี่ตัวคุ้มค่าหรือไม่ ชุดข้อมูลดาวน์โหลดฟรี และชุดเล็ก ๆ ก็รันฟรี ไม่มีอะไรในแผนนั้นที่ต้องให้คุณเชื่อค่ามัธยฐาน 99.62%

ยังขาดอะไรอีก

มีช่องว่างสามประการที่น่าจับตามอง เพราะมันเปลี่ยนการคำนวณเชิงกลยุทธ์ ไม่ใช่การตลาด

ข้อแรกคือการประเมินผลลัพธ์จากการปรับแต่ง (fine-tune) อย่างเป็นอิสระ ตัวเลขหลังการฝึก (post-training) ทุกตัวในรีลีสนี้ — การขยับจาก 62.7 เป็น 71.9 บน Terminal-Bench จากการรันเอเจนต์แบบขนานและการตรวจสอบตนเอง การขยับจาก 24.6 เป็น 34.5 บน DeepSWE ในการทดลองเดียวกัน การปรับปรุงความแม่นยำ 41% ที่ AI21 การลดต้นทุนลง 40 เท่าที่ Scale AI — ล้วนมาจากฮาร์เนสของ NVIDIA หรือจากการวัดของลูกค้าเอง ไม่มีบุคคลที่สามรายใดที่ทำซ้ำการ fine-tune Nemotron 3.5 Super VL บนชุดข้อมูลเหล่านี้แล้วเผยแพร่ผลลัพธ์ออกมา จนกว่าจะมี ให้ถือว่าขนาดของผลกระทบ (effect size) นั้นเป็นค่าขอบเขตบน

ประการที่สองคือเส้นทางวิดีโอ โมเดลรองรับ MP4 ความยาวไม่เกินสองนาทีที่ 2 FPS และ 256 เฟรม หรือ 1 FPS และ 128 เฟรมสำหรับ 1080p โดยมีอัตราการตัดทอน (pruning rate) 0.5 — และไม่มีการเปิดเผยชุดข้อมูลวิดีโอสำหรับ post-training สาธารณะในการเปิดตัวครั้งนี้ ทุก repository ข้างต้นเป็นข้อความ และชุดข้อมูล translation และ transduction เป็นข้อความที่มีบริบทแบบยาว ไม่ใช่สิ่งที่เป็นภาพ หากกรณีการใช้งานของคุณคือการทำความเข้าใจวิดีโอที่โมเดลการ์ดโฆษณาไว้ NVIDIA ได้ส่งมอบความสามารถนี้โดยไม่มีข้อมูลที่จะทำให้มันเชี่ยวชาญเฉพาะทาง

ประการที่สามคือ ยังไม่มีใครเผยแพร่ว่าชุดข้อมูลเหล่านี้ส่งผลอย่างไรกับโมเดลที่ไม่ใช่ Nemotron ทั้งสิบเอ็ดชุดถูกสร้างขึ้นเพื่อผลิตส่วนผสมหลังการฝึกของโมเดลเดียว — การ์ดระบุชัดเจนว่าบางชุดรวบรวมเวอร์ชันเฉพาะ Nemotron ก่อนหน้าเข้าด้วยกัน และชุดเมล็ดสำหรับบทสนทนาถูกอธิบายว่าเป็นข้อมูลเมล็ดสำหรับชุด pivot มากกว่าจะเป็นการสร้างใหม่ การที่คอร์ปัสแบบเอเจนต์จะถ่ายโอนไปยังแบ็กโบน 120B อื่นได้หรือไม่นั้นเป็นคำถามที่ยังไม่มีคำตอบ และเป็นคำถามแรกที่ทีมซึ่งมีสแตกการปรับละเอียดอยู่แล้วจะอยากได้คำตอบ

ช่องว่างทั้งสามนี้เป็นแบบที่ปิดด้วยผลงานของคนอื่นมากกว่าของ NVIDIA ซึ่งเป็นเส้นทางปกติสำหรับการเปิดตัวแบบเปิด น้ำหนักโมเดลดาวน์โหลดได้วันนี้ ข้อมูลดาวน์โหลดได้วันนี้ และไฟน์จูนอิสระที่น่าเชื่อถือครั้งแรกคือสิ่งที่จะบอกคุณว่าส่วนไหนของมันคุ้มค่ากับเวลา GPU