
NVIDIA Nemotron Labs Dory 1.0 4B เปิดตัวบน Hugging Face พร้อมสี่เช็กพอยต์และไม่มีประกาศใด ๆ
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 61 tok/s
- Orcaใหม่Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 77 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 724 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040ความฉลาด
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241ความฉลาด76การเขียนโค้ด
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245ความฉลาด76การเขียนโค้ด
- AnthropicAnthropic: Claude Fable 5.12026-09-0153ความฉลาด82การเขียนโค้ด
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 ต่อ 1 ล้านโทเค็น · 111 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642ความฉลาด72การเขียนโค้ด
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 ต่อ 1 ล้านโทเค็น · 174 tok/s
NVIDIA Nemotron Labs Dory 1.0 4B อยู่บน Hugging Face แล้วในตอนนี้ ในสี่รูปแบบควอนไทซ์ และ NVIDIA ยังไม่พูดสักคำเกี่ยวกับเรื่องนี้ checkpoint nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 ถูกอัปโหลดพร้อมการ์ดโมเดลที่ประทับว่าบิลด์นี้เป็น "GA (10/16/2026)" ส่วนพี่น้องอีกสามตัวของมัน — NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16, NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 และ NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — ถูก push ภายในช่วงเวลา 36 นาทีเดียวกัน ทั้งก่อนและหลังเที่ยงคืน UTC ของวันที่ 16–17 ตุลาคม 2026 ไม่มีโพสต์ที่สอดคล้องกันบนบล็อกนักพัฒนาของ NVIDIA ไม่มีรายการบนหน้าแรกของงานวิจัย Nemotron และไม่มีการอ้างอิงถึงโมเดลที่ชื่อ Dory ที่ใดเลยบนทั้งสองแห่ง ตัวการ์ดเองนั้นสมบูรณ์อย่างผิดปกติ — ตาราง benchmark แบบเต็ม คำแนะนำการให้บริการสำหรับสองเอนจิน เช็คซัม — แต่โครงสร้างด้านการตลาดที่ล้อมรอบมัน ซึ่งเป็นสิ่งที่ปกติแล้วบอกคุณว่าโมเดลนี้มีอยู่จริง กลับหายไปทั้งหมด
ดังนั้นจึงคุ้มค่าที่จะระบุให้ชัดเจนว่าสิ่งนั้นให้สิทธิ์และไม่ให้สิทธิ์คุณกล่าวอ้างอะไรได้บ้าง สิ่งที่รู้ได้คือ: เวตมีอยู่จริง ดาวน์โหลดได้ มีการระบุสัญญาอนุญาต สถาปัตยกรรมถูกอธิบายไว้ละเอียดพอที่จะทำซ้ำได้ และผู้ขายได้เผยแพร่ตัวเลขของตนเอง พร้อมหมายเหตุว่าตนเป็นผู้วัดเอง สิ่งที่ยังไม่ได้รับการยืนยันคือ: นี่เป็นจุดเริ่มต้นของตระกูล Nemotron Labs หรือเป็นการทดลองครั้งเดียว ว่าจะมีเปเปอร์หรือโพสต์บล็อกตามมาหรือไม่ และตัวเลขเหล่านั้นจะยังคงใช้ได้ภายใต้ฮาร์เนสของคนอื่นหรือไม่ NVIDIA ไม่ได้วางกรอบสิ่งนี้ว่าเป็นการเปิดตัว และบทความนี้ก็ไม่ได้วางกรอบเช่นนั้น มันเป็นการอ่านรีโพซิทอรีที่ปรากฏขึ้นในชั่วข้ามคืน
จริงๆ แล้วมีอะไรอยู่ในรีโพซิทอรี
อาร์ติแฟกต์ประกอบด้วยเช็กพอยต์สี่รายการและการ์ดโมเดลหนึ่งรายการ การ์ดนี้เป็นเอกสารที่มีเนื้อหาสาระสำคัญ และเป็นแหล่งที่มาของเกือบทุกอย่างด้านล่างนี้
• รูปแบบ — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) และไฟล์ export GGUF แบบ Q5_K_M สำหรับ llama.cpp เช็กพอยต์ MXFP8 เป็นหัวข้อของบทความนี้เพียงเพราะมันเป็นตัวที่ถือ repository id มาตรฐานเท่านั้น ส่วนเบนช์มาร์กในโมเดลการ์ดนั้นวัดบน BF16
• ขนาดและรูปร่าง — พารามิเตอร์รวม 4B เป็นสแตกแบบเดนส์มากกว่ามิกซ์เจอร์ออฟเอกซ์เพิร์ต แบ่งออกเป็นบล็อกอินพุต 8 เลเยอร์ บล็อกแบบวนซ้ำ 20 เลเยอร์ และบล็อกเอาต์พุต 8 เลเยอร์
• บริบท — สูงสุด 256K โทเค็น โดยมี 262,144 ตำแหน่งที่ผ่านการตรวจสอบใน vLLM ภายใต้คำสั่งเปิดใช้งานที่ NVIDIA ให้มาบนการ์ด
• สัญญาอนุญาต — OpenMDW 1.1 สัญญาอนุญาตโมเดลแบบผ่อนปรนที่เผยแพร่ต่อได้ โดยมีข้อความตามลิงก์จากการ์ด การ์ดระบุไว้อย่างชัดเจนว่าโมเดลนี้ "พร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่เชิงพาณิชย์"
• ภาษา — ภาษาอังกฤษเท่านั้น แม้ว่าข้อมูลก่อนการฝึกจะครอบคลุมภาษาโปรแกรม 43 ภาษา
• งบประมาณการฝึก — โทเคนก่อนการฝึก 6 ล้านล้านโทเคน โดยประมาณ 4.5 ล้านล้านโทเคนแรกนั้นรันแบบเนทีฟใน NVFP4 ก่อนที่ส่วนที่เหลือจะเปลี่ยนไปใช้ BF16 ตามด้วยระยะขยายบริบท 3 แสนล้านโทเคน ข้อมูลครอบคลุมตั้งแต่ปี 2013 ถึงธันวาคม 2025 การฝึกหลังการฝึกเป็นการไฟน์จูนแบบมีผู้สอนบนเซตที่ NVIDIA คัดสรร จากนั้นเป็นการเรียนรู้แบบเสริมกำลังหลายสภาพแวดล้อมด้วย GRPO
• กิจกรรมของรีโพซิทอรี — แปดคอมมิตบน `main` และผู้มีส่วนร่วมสองคน ณ เวลาที่เขียน โดยรายการใหม่ที่สุดเป็นการแก้ไข README รายการแรก “Upload Dory 4B MXFP8 checkpoint and tokenizer” มีอายุเพียงไม่กี่ชั่วโมง นี่ไม่ใช่ที่เก็บโค้ดที่เปิดเผยต่อสาธารณะอย่างเงียบ ๆ มาหลายเดือนแล้วเพิ่งถูกสังเกตเห็น; มันเป็นที่เก็บโค้ดที่เพิ่งถูกเติมข้อมูลในวันนี้
รายละเอียดหนึ่งที่การ์ดนี้ทำได้ถูกต้อง แต่การ์ดส่วนใหญ่ทำไม่ได้: มันระบุขนาดไบต์ที่แน่นอนและค่า SHA-256 ของไฟล์ส่งออก GGUF เพื่อให้คุณตรวจสอบได้ว่าสิ่งที่ดาวน์โหลดมาตรงกันหรือไม่ 3,673,288,864 ไบต์ โดยมีค่าแฮชพิมพ์อยู่ในคำแนะนำในการเปิดใช้งาน
สถาปัตยกรรมคือเหตุผลทั้งหมดที่ต้องใส่ใจ
ถ้าตัดตาราง benchmark ออกไป ข้อเท็จจริงที่น่าสนใจเกี่ยวกับ NVIDIA Nemotron Labs Dory 1.0 4B ก็คือ มันไม่ใช่โมเดลที่ตายตัวเพียงหนึ่งเดียว แต่เป็นเครือข่ายแบบวนซ้ำ (looped) หรือแบบ latent-recurrent กล่าวคือ บล็อก recurrent จำนวน 20 ชั้นจะถูกนำไปใช้ซ้ำ ๆ ระหว่างบล็อกอินพุตและบล็อกเอาต์พุต และอินพุตจะถูกป้อนกลับเข้าไปใหม่ในทุก ๆ รอบการวน ดังนั้น checkpoint เดียวกันจึงมีพฤติกรรมแตกต่างกันไป ขึ้นอยู่กับว่าคุณกำหนดให้วนกี่รอบ และคุณเลือกจำนวนนั้นตอน serving ไม่ใช่ตอน training
ผลที่ตามมาสามประการมีดังนี้ โดยทั้งหมดมาจากการ์ดโมเดล ไม่ใช่มาจากการทดสอบของใครก็ตาม:
• การประมวลผลอนุมานแบบยืดหยุ่น — ไฟล์น้ำหนักเพียงไฟล์เดียวรองรับงบประมาณการประมวลผลหลายระดับ จำนวนลูป 1 สำหรับความหน่วงต่ำ, 2 เป็นค่าเริ่มต้นที่แนะนำ, 4 เมื่อความแม่นยำในงานแบบเอเจนต์สำคัญกว่าจำนวนโทเคนต่อวินาที ไม่ต้องฝึกใหม่ ไม่ต้องมีเช็กพอยต์ที่สองให้ดาวน์โหลดและคอยซิงก์ให้ตรงกัน
• ประสิทธิภาพของโทเคน — NVIDIA อ้างว่าการประมวลผลเพิ่มเติมต่อโทเคนนั้นไปที่การให้เหตุผลแฝง แทนที่จะไปที่สายความคิดที่มองเห็นได้ยาวขึ้น ดังนั้นจำนวนลูปที่สูงขึ้นจึงสามารถสร้างโทเคนเอาต์พุตน้อยลงสำหรับงานเดียวกัน การ์ดนี้มาพร้อมกราฟ output-token-factor เพื่อสนับสนุนข้อกล่าวอ้างนั้น ข้อกล่าวอ้างนั้นมีผลกระทบต่อต้นทุนโดยตรง ซึ่งเป็นเหตุผลที่ควรชี้ให้เห็นมากกว่าจะมองข้ามไป
• การวนซ้ำที่ประหยัดหน่วยความจำ — นี่คือสิ่งที่ตอบข้อโต้แย้งที่เห็นได้ชัด การวนซ้ำแบบมาตรฐานจะเก็บ KV cache แยกต่างหากต่อการวนหนึ่งรอบ ดังนั้นหน่วยความจำจึงเพิ่มขึ้นทุกครั้งที่เพิ่มรอบ Dory รองรับโหมด KV caching แบบ last-loop ซึ่งเก็บแคชเพียงชุดเดียวต่อเลเยอร์ recurrent attention และเขียนทับทุกครั้งที่ประมวลผล ทำให้พื้นที่หน่วยความจำที่ใช้คงอยู่ใกล้เคียงกับขนาดของการวนหนึ่งรอบ ไม่ว่าคุณจะวนกี่รอบก็ตาม NVIDIA กล่าวว่าความแม่นยำเมื่อใช้ last-loop caching ยังคงใกล้เคียงกับ per-loop caching โดยความยาวเอาต์พุตแทบไม่เปลี่ยนแปลง และระบุว่านี่เป็นผลการทดลองของบริษัทเอง
สแต็กแอตเทนชันเป็นแบบไฮบริด: เลเยอร์แบบสลับหน้าต่างเลื่อนและแบบแอตเทนชันเต็ม รูปแบบกว้างเดียวกันที่กลุ่มโมเดลขนาดเล็กที่มีบริบทแบบยาวรุ่นปี 2026 ได้ลู่เข้าหา ไม่มีสิ่งใดในนี้ที่แปลกใหม่โดยตัวมันเอง สิ่งที่พบได้น้อยกว่าคือการนำจำนวนลูปมาเป็นตัวปรับการดีพลอยบนโมเดล 4B ที่มีหน้าต่าง 256K

ตารางเบนช์มาร์ก เมื่ออ่านเป็นตารางของผู้ขาย
ตัวเลขทุกตัวที่นี่สร้างขึ้นโดย NVIDIA ภายใต้สิ่งที่การ์ดเรียกว่า "ฮาร์เนสที่สอดคล้องกัน (NeMo Gym / Nemo Evaluator SDK)" ยังไม่มีบุคคลภายนอกใดทำซ้ำผลลัพธ์เหล่านี้ได้แม้แต่รายการเดียว โมเดลนี้มีอายุราวหนึ่งวัน และตัวนับการดาวน์โหลดบนรีโพซิทอรีทั้งสี่แห่งอ่านค่าเป็นศูนย์ ให้ถือว่าตัวเลขเหล่านี้เป็นข้อกล่าวอ้างเกี่ยวกับทิศทาง ไม่ใช่กระดานคะแนน
ชุดการเปรียบเทียบที่ NVIDIA เลือกมานั้นบ่งบอกอะไรบางอย่างในตัวมันเอง: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B และ Qwen3.6-35B-A3B ที่น่าสังเกตคือ ตัวเปรียบเทียบระดับ 4B สองตัวนั้นมาจากเจนเนอเรชัน Qwen ก่อนหน้า และตัวเปรียบเทียบตัวอื่น ๆ ทุกตัวมีขนาดใหญ่กว่าอย่างเห็นได้ชัด อ่านไล่ไปตามการตั้งค่าลูปทั้งสามแบบ:
• SWE-bench Verified — 50.3 ที่หนึ่งรอบ, 59.5 ที่สองรอบ, 61.8 ที่สี่รอบ เทียบกับ 54.7 สำหรับ Qwen3.5-4B, 61.0 สำหรับ Qwen3.5-9B, 57.40 สำหรับ Gemma 4 26B A4B และ 73.4 สำหรับ Qwen3.6-35B-A3B
• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 เทียบกับ 15, 24, 35 และ 43 นี่คือแถวที่ looping ให้ประโยชน์สูงสุด และเป็นแถวที่ Dory ยังตามหลังคู่แข่งมากที่สุด
• τ³-bench (Banking) — 11.6 / 12.89 / 14.69 เทียบกับ 5.03 สำหรับ Qwen3.5-4B, 7.22 สำหรับ Qwen3.5-9B, 13.66 สำหรับ Gemma 4 26B A4B และ 9.54 สำหรับ Qwen3.6-35B-A3B โดย Dory นำหน้าโมเดล Qwen ขนาด 4B และ 9B ในที่นี้อย่างมาก
• GDPval-AA-V2 (Elo) — 815 / 946 / 967 เมื่อเทียบกับ 424, 546, 751.6 และ 987 การเพิ่มขึ้นจากหนึ่งลูปเป็นสองลูปคือ 131 คะแนน Elo ซึ่งเป็นการเปลี่ยนแปลงระหว่างลูปที่มากที่สุดเพียงแห่งเดียวในตาราง
• GPQA Diamond, ไม่ใช้เครื่องมือ — 69.19 / 72.41 / 72.16 เทียบกับ 77.71, 80.93, 80.43 และ 85.35 Dory แพ้รายการนี้ให้กับคู่เปรียบเทียบทุกตัว รวมถึง Qwen ขนาด 4B
• HLE, ข้อความเท่านั้น, ไม่ใช้เครื่องมือ — 8.25 / 10.89 / 10.43 เทียบกับ 11.31, 15.43, 17.79 และ 19.18 เรื่องเดิม
• IFBench — 74.29 / 77.94 / 79 เทียบกับ 53.83, 59, 77.89 และ 57.44 การทำตามคำสั่งเป็นผลลัพธ์เชิงเปรียบเทียบที่แข็งแกร่งที่สุดของ Dory; เมื่อใช้สี่ลูป มันเฉือนชนะ 26B Gemma 4 เล็กน้อย
• AA-LCR — 63 / 71 / 73 เทียบกับ 64.7, 68.4, 64.6 และ 68.5 การดึงข้อมูลบริบทแบบยาวดีขึ้นอย่างเห็นได้ชัดเมื่อมีลูป และสุดท้ายก็แซงหน้าตัวเปรียบเทียบทั้งสี่
• AA-Omniscience (ความแม่นยำ) — 10.03 / 10.08 / 10.03 เทียบกับ 15.02, 18.05, 21.13 และ 19.95 การวนซ้ำแทบไม่มีผลอะไรต่อความรู้ที่จัดเก็บไว้ ซึ่งเป็นผลลัพธ์ที่คาดไว้ และเป็นการตรวจสอบความสมเหตุสมผลที่มีประโยชน์กับส่วนที่เหลือของตาราง
สิ่งสำคัญคือรูปทรงของแพตเทิร์น การวนซ้ำให้ผลตอบแทนสูงสุดกับงานแบบเอเจนต์และการใช้เครื่องมือ ให้ผลตอบแทนต่ำสุดกับความจำเชิงสารานุกรม และรอบที่สองมีค่ามากกว่ารอบที่สามและรอบที่สี่อย่างมากในทุกกรณี ซึ่งสอดคล้องกับคำแนะนำของการ์ดเองที่ให้ใช้สองรอบเป็นค่าเริ่มต้น
ข้อควรระวังสี่ประการที่แฝงอยู่ในเชิงอรรถของ NVIDIA เอง
นี่คือจุดที่การ์ดใบนี้ซื่อตรงกว่าของรายอื่นส่วนใหญ่ และเป็นจุดที่ผู้อ่านที่กวาดตามองตารางผ่าน ๆ อาจถูกชักนำให้เข้าใจผิดได้
• ตัวเลข AA ไม่ใช่ตัวเลขของ Artificial Analysis การเปรียบเทียบของ NVIDIA กับดัชนีคะแนน AA ถูกระบุไว้อย่างชัดเจนว่าเป็น "การประมาณการภายในที่คำนวณภายใต้กรอบการประเมินที่สอดคล้องกัน" ซึ่ง "อาจเบี่ยงเบนไปจากคะแนน Artificial Analysis (AA) อย่างเป็นทางการ" สิ่งเหล่านี้เป็นการวัดภายในแบบเทียบเคียงกันโดยตรง ไม่ใช่การจัดอันดับจากภายนอก
• คอลัมน์บริบทแบบยาวใช้การตั้งค่าแบบไฮบริด สำหรับ AA-LCR การ์ดระบุว่าใช้คีย์คำตอบที่แก้ไขแล้วจาก AA-LCR v1.1 แต่ยังคงใช้โมเดลผู้ตัดสินรุ่นเก่าแทนที่จะเป็นรุ่นใหม่กว่า การผสมชุดคีย์ที่แก้ไขแล้วเข้ากับผู้ตัดสินรุ่นเก่าทำให้คอลัมน์นั้นเปรียบเทียบได้กับแถวอื่น ๆ ของ NVIDIA และไม่จำเป็นว่าจะเปรียบเทียบได้กับของผู้อื่น
• จำนวนครั้งที่รันซ้ำแตกต่างกันไปแบบไม่มีรูปแบบ SciCode รันแปดครั้ง, AA-LCR สิบหกครั้ง, AA-Omniscience สิบครั้ง, GDP.pdf ห้าครั้ง และ HLE, Terminal-Bench 4.0 กับรูปแบบย่อยของ GDPval-AA รันเพียงครั้งเดียว การรันเพียงครั้งเดียวบนเบนช์มาร์กที่มีความแปรปรวนอย่างมีนัยสำคัญเป็นเพียงค่าประมาณจุด ไม่ใช่คะแนน
• แถวหนึ่งในตารางมีเครื่องหมายกริช (dagger) กำกับ เพื่อระบุว่าเป็นตัวเลขที่มีผู้รายงานมา ไม่ใช่ค่าที่วัดเอง — 73.4 ของ Qwen3.6-35B-A3B บน SWE-bench Verified ซึ่งหมายความว่าตัวเลขที่ดูมากที่สุดบนกระดานคะแนนคือตัวที่ NVIDIA ไม่ได้รันด้วยตัวเอง
ทั้งหมดนี้ไม่ได้ทำให้ตารางผิด แต่มันทำให้ตารางนี้เป็นภาพรวมภายในของห้องแล็บแห่งหนึ่ง และการตีความอย่างตรงไปตรงมาคือ Dory ดูแข่งขันได้จริงกับโมเดล 4B และ 9B จากรุ่นก่อนของ Qwen ในงานที่ใช้เอเจนต์ ขณะที่ยังตามหลังโมเดล 26B และ 35B ที่ถูกนำมาวางเทียบข้างกัน

สิ่งที่คุณสามารถรันได้ในวันนี้ และสิ่งที่คุณยังรันไม่ได้
ไม่มี hosted endpoint สำหรับโมเดลนี้ที่เราสามารถตรวจสอบได้ ไม่ว่าจะจาก NVIDIA หรือใครก็ตาม Dory เป็นแบบ weights-only และเส้นทางให้บริการทั้งสองเส้นทางใน card ต่างก็ต้องสร้างขึ้นจาก pull request ที่ยังไม่ถูก merge:
• vLLM — การรองรับ "อยู่ระหว่างการตรวจสอบ" ใน pull request 60149 จนกว่าจะถูกรวมเข้าในรีลีส คุณต้องติดตั้ง vLLM จากแบรนช์นั้น แล้วให้บริการด้วยการโอเวอร์ไรด์ที่กำหนดจำนวนลูปและโหมด KV-cache การ์ดระบุว่าธงสภาพแวดล้อม precompiled-kernel ช่วยหลีกเลี่ยงการบิลด์ CUDA ในเครื่อง
• llama.cpp — การสนับสนุนอยู่ใน pull request 30306 และการ์ดได้ปักหมุดรีวิชันเฉพาะแทนที่จะเป็น PR head ที่เคลื่อนไหว ซึ่งเป็นสัญชาตญาณที่ถูกต้องสำหรับการตั้งค่าอ้างอิง คำแนะนำนี้มุ่งเป้าไปที่ macOS ARM64 แบบเนทีฟบน Apple Silicon และเส้นทาง GGUF คาดหวังการส่งออก Q5_K_M ที่ขนาดไบต์ตามที่พิมพ์ไว้ด้านบน
ไม่มีอะไรในการ์ดที่บ่งชี้ว่าโครงการใดได้ merge เข้าด้วยกันแล้ว และไม่มีรายการใดในบันทึกประจำรุ่นของเอนจินทั้งสองที่บ่งชี้เป็นอย่างอื่น หากคุณต้องการรัน Dory ในสัปดาห์นี้ คุณกำลังบิลด์จาก PR
บันทึกด้านฮาร์ดแวร์ที่ควรเก็บไว้: NVIDIA ทดสอบบน H100, B200, B300 และ DGX Spark และตัวเลขความเร็วเดียวที่เผยแพร่คือความเร็วที่เพิ่มขึ้นจากการควอนไทซ์บน Spark ไม่ใช่ตัวเลขทรูพุต บนอุปกรณ์นั้น MXFP8 ให้ 1.69× และ 1.84× เมื่อเทียบกับ BF16 ขึ้นอยู่กับสัดส่วนความยาวอินพุต/เอาต์พุต และ NVFP4 ทำได้ถึง 2.17× และ 2.44× การสุ่มตัวอย่างที่แนะนำคือ temperature 1.0 กับ top-p 0.95 และการให้เหตุผลจะเปิดอยู่เสมอในเส้นทาง vLLM
ทำไมการเปิดตัว 4B แบบเงียบ ๆ ยังคงคุ้มค่ากับบ่ายของคุณ
สิ่งที่น่าสนใจเกี่ยวกับโมเดลที่เปิดตัวโดยไม่มีงานเปิดตัวก็คือ คำกล่าวอ้างของมันสามารถตรวจสอบได้ในแบบที่คำกล่าวอ้างจากงานเปิดตัวทำไม่ได้ ไม่มีคีย์โน้ตที่ประกาศชัยชนะในหมวดหมู่ใด ๆ มีเพียงการ์ดที่ระบุกลไกเฉพาะเจาะจงที่พิสูจน์ผิดได้ นั่นคือเช็กพอยต์ขนาด 4B เพียงตัวเดียวสามารถขยายความแม่นยำของตัวเองตาม compute ในเวลาอนุมาน (inference time) คุณทดสอบสิ่งนั้นได้บน GPU ตัวเดียวด้วยแฟล็กนับรอบ และคำตอบจะปรากฏให้เห็นในการประเมิน (eval) ของคุณเอง หรือไม่ปรากฏ
นี่ก็เป็นสถานการณ์ที่เลเยอร์การกำหนดเส้นทาง (routing layer) ถูกสร้างขึ้นมาเพื่อรองรับ และคุ้มค่าที่จะพูดให้ชัดเจนว่าเราทำอะไรตรงนี้แทนที่จะพูดกว้าง ๆ ว่า OrcaRouter ไม่ได้ให้บริการ NVIDIA Nemotron Labs Dory 1.0 4B — โมเดลนี้ไม่ได้อยู่ในแค็ตตาล็อกของเรา และไม่มีโฮสต์เอนด์พอยต์สำหรับโมเดลนี้ที่ใดที่เรายืนยันได้ สิ่งที่คีย์เดียวให้คุณได้คืออีกครึ่งหนึ่งของการเปรียบเทียบ: โมเดลแบบโฮสต์ที่คุณจะใช้เป็นเกณฑ์เทียบกับโมเดล 4B ที่โฮสต์เองนั้นเข้าถึงได้ ผ่าน API เดียวในราคาตามรายการของผู้ให้บริการ โดยมีมาร์กอัป 0% ดังนั้นการทดลองโฮสต์เองจึงไม่ต้องมีสัญญาที่สองหรือ SDK ที่สอง การสลับไปใช้สำรองอัตโนมัติ (automatic failover) ครอบคลุมช่วงที่พูล GPU ของคุณเองอิ่มตัว และ DSL สำหรับการกำหนดเส้นทางช่วยให้การเรียกแบบโฮสต์เองอยู่เคียงข้างการเรียกแบบโฮสต์ไว้หลังเอนด์พอยต์เดียว หากคุณกำลังทดสอบว่าความยืดหยุ่นแบบขยายได้ (elastic depth) คุ้มค่ากับความซับซ้อนในการดำเนินงานหรือไม่ อย่างน้อยกลุ่มควบคุมก็อยู่ห่างแค่คีย์เดียว

อะไรจะทำให้สิ่งนี้กลายเป็นเรื่องราวจริง ๆ
สามสิ่ง ซึ่งยังไม่มีสักอย่าง
ก่อนอื่น มีประกาศเรื่องหนึ่ง การ์ดนี้ลงวันที่ 16 ตุลาคม และรีโพซิทอรีต่าง ๆ ถูกเติมข้อมูลในช่วงข้ามคืน; ฟีดสำหรับนักพัฒนาของ NVIDIA ได้เผยแพร่โพสต์ Nemotron เมื่อวันที่ 15 ตุลาคม ซึ่งเป็นเรื่องเกี่ยวกับโมเดลอื่นคนละตัวโดยสิ้นเชิง โพสต์บล็อก บทความวิจัย หรือหน้าเพจของตระกูล Nemotron Labs อาจปรากฏขึ้นได้ทุกเมื่อ และน่าจะมีรายละเอียดการฝึกอบรมกับบทบาทที่ตั้งใจไว้ของโมเดล ซึ่งการ์ดนี้ไม่ได้ระบุไว้อย่างชัดเจน
ข้อที่สอง การรองรับเอนจิน ทั้ง vLLM และ llama.cpp ต่างก็มี pull request ที่ยังไม่ถูก merge ค้างอยู่ วันใดที่อันใดอันหนึ่งถูก merge คำว่า "คุณรันมันได้" จะไม่หมายถึง "คุณบิลด์มันจากแบรนช์ได้" อีกต่อไป
ประการที่สาม และมีค่ามากที่สุด คือการประเมินโดยอิสระ ข้อกล่าวอ้างที่คุ้มค่าที่สุดต่อการทำซ้ำคือข้อที่ผู้ขายเน้นย้ำ: การเปลี่ยนแปลงของ SWE-bench และ Terminal-Bench ตามจำนวนรอบที่แตกต่างกัน และข้อยืนยันว่าการแคช KV ในรอบสุดท้ายรักษาความแม่นยำไว้ ทั้งสองอย่างสามารถทดสอบได้ด้วยเครื่องมือที่เผยแพร่แล้ว และทั้งสองอย่างยังไม่เคยถูกทดสอบโดยใครก็ตามที่อยู่นอก NVIDIA
สรุปที่ถูกต้องในวันนี้มีดังนี้: ค่าน้ำหนักจริงในสี่รูปแบบ สัญญาอนุญาตแบบผ่อนปรน สถาปัตยกรรมที่ไม่ธรรมดาอย่างแท้จริง เส้นทางการให้บริการที่มีอยู่เพียงในรูปของ pull request ที่เปิดอยู่สองรายการ และตารางเบนช์มาร์กที่เป็นฮาร์เนสของห้องแล็บแห่งหนึ่งเอง โดยมีข้อแม้พิมพ์อยู่ในเชิงอรรถของตัวเอง มันเป็นโมเดล 4B ที่น่าสนใจที่สุดที่ NVIDIA ได้เผยแพร่ในปีนี้ และบริษัทยังไม่ได้ตัดสินใจจะบอกใครเกี่ยวกับมัน
ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง
