
Nemotron 3.5 Bolt E4B 4GB: สิ่งที่ส่งมอบจริง และทำไมชื่อจึงทำให้เข้าใจผิด
- Orcaใหม่OrcaCyber: DeepSeek V4.1 Flash Abliterated2026-10-23$0.30 / $1.20 ต่อ 1 ล้านโทเค็น
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 14 tok/s
- deepseekใหม่DeepSeek: DeepSeek V4.1 Flash 10172026-10-1745ความฉลาด
- DeepSeekใหม่DeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- Orcaใหม่Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 152 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 1062 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 157 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 1840 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241ความฉลาด76การเขียนโค้ด
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245ความฉลาด76การเขียนโค้ด
- AnthropicAnthropic: Claude Fable 5.12026-09-0153ความฉลาด82การเขียนโค้ด
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 49 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 ต่อ 1 ล้านโทเค็น · 104 tok/s
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBเปิดให้ใช้งานบน Hugging Face เมื่อวันที่ 23 ตุลาคม 2026 และสิ่งแรกที่ควรพูดถึงคือเลขคณิต: ไฟล์มีขนาด 6.18GB แต่ชื่อบอกว่า 4GB ตัวเลขทั้งสองเป็นของจริง แต่วัดสิ่งที่แตกต่างกัน และช่องว่างระหว่างตัวเลขทั้งสองคือข้อเท็จจริงที่เป็นประโยชน์ที่สุดในการเปิดตัวครั้งนี้
บล็อกทางเทคนิคของ NVIDIA ระบุว่า 4GB คือกรอบหน่วยความจำที่ตั้งใจไว้สำหรับงานเป้าหมายของโมเดล — เป็นงบประมาณหน่วยความจำที่โมเดลควรใช้ขณะที่แอปพลิเคชันทำงานอยู่เคียงข้างกัน ไม่ใช่จำนวนพารามิเตอร์และไม่ใช่ขนาดไฟล์ดาวน์โหลด ตัวเช็กพอยต์เองมีขนาดรวม 8B โดยมีพารามิเตอร์ที่มีผล 4B ผ่านการโพสต์เทรนจาก Gemma-4-E4B-it และเผยแพร่ในความแม่นยำเพียงสองแบบเท่านั้น: บิลด์ BF16 ขนาด 15.88GB และ GGUF Q4_K_M ขนาด 6.18GB หากคุณมาที่นี่เพื่อมองหาไฟล์ขนาด 4GB สำหรับนำไปวางบนอุปกรณ์ ก็ไม่มีไฟล์นั้นในรีโพซิทอรี
เรื่องนี้ควรพูดให้ชัดเจน เพราะส่วนที่เหลือของการเปิดตัวนั้นอ่านเข้าใจได้ง่ายอย่างผิดปกติ การ์ดโมเดลมีรายละเอียด เอกสารทางเทคนิคเปิดเผยต่อสาธารณะ และตารางเวลาแฝงที่วัดได้ครอบคลุมอุปกรณ์สี่เครื่อง สิ่งที่ขาดหายไปคือการตรวจสอบโดยอิสระ และการ์ดเองก็ระบุไว้เช่นนั้น
ฉบับเผยแพร่ ซึ่งสร้างขึ้นใหม่จากข้อมูลสาธารณะ
อันนี้ไม่ได้มีการเปิดตัวเต็มรูปแบบ มันได้แค่เชิงอรรถ แล้วตามด้วยโพสต์บล็อก
• 5 ตุลาคม 2026 — รีโพซิทอรี Hugging Face สำหรับบิลด์ Q4_K_M และ BF16 ถูกสร้างขึ้นแล้ว ทั้งสองยังไม่ได้รับการบรรจุเวท
• 15 ตุลาคม 2026 — NVIDIA ประกาศตระกูล Nemotron 3.5: Super VL 120B-A12B และ Bolt 74B-A9B 24GB ซึ่งทั้งสองรุ่นพร้อมวางจำหน่ายในวันนั้น ส่วน E4B มีเพียงสองประโยคและวันที่: จะมาในวันที่ 23 ตุลาคม
• 23 ตุลาคม 2026 — เวต Q4_K_M และ BF16 ถูกเผยแพร่แล้ว การ์ดโมเดลถูกเผยแพร่ขึ้น และห้องวิจัยของ NVIDIA เผยแพร่บล็อกทางเทคนิคและรายงานทางเทคนิค ไม่มีข่าวประชาสัมพันธ์ระดับองค์กร และการรายงานข่าวการเปิดตัวที่ตามมาหลังการประกาศเมื่อวันที่ 15 ตุลาคมไม่ได้กลับมาในครั้งนี้
ดังนั้นคำว่า "เปิดตัวอย่างเงียบ ๆ" จึงถูกต้อง แต่คำว่า "ลับ" จะไม่ถูกต้อง NVIDIA ตั้งชื่อโมเดล ระบุวันที่ และจัดทำเอกสารเกี่ยวกับโมเดลอย่างเหมาะสมในวันนั้น สิ่งที่ NVIDIA ไม่ได้ทำคือการนำ E4B ไปนำเสนอต่อนักข่าวกลุ่มเดียวกับที่รายงานข่าวโมเดลพี่น้องของมัน ผลในทางปฏิบัติสำหรับใครก็ตามที่อ่านข้อความนี้ในช่วงสัปดาห์แรก ๆ คือ ข้อกล่าวอ้างเกือบทั้งหมดด้านล่างนี้สืบย้อนกลับไปยังแหล่งเดียว นั่นคือ NVIDIA
สี่กิกะไบต์เป็นงบประมาณ ไม่ใช่การดาวน์โหลด
ขนาดไฟล์ที่เผยแพร่นั้นชัดเจนเมื่อคุณดูที่ตัว repository แทนที่จะดูที่ชื่อ
• Q4_K_M GGUF — 6,180,446,208 ไบต์ หรือ 6.18GB ในแบบทศนิยม ภายในไฟล์เดียวที่ชื่อ Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf
• BF16 safetensors — 15,882,494,698 ไบต์ หรือ 15.88GB ในชาร์ดเดียว พร้อมไฟล์ frozen shared-KV ขนาด 110MB
• ไม่มีอาร์ติแฟกต์ 4GB — ไม่มีการควอนไทซ์ที่เล็กกว่าในรีโพซิทอรี และการ์ดไม่ได้เผยแพร่ไฟล์ที่ตรงกับตัวเลขในชื่อ
สิ่งที่ NVIDIA เผยแพร่จริงคือการวัดประสิทธิภาพ llama.cpp แบบ batch-1 บนอุปกรณ์สี่เครื่อง และตารางนั้นเองคือจุดที่ข้อกล่าวอ้างเรื่อง 4GB กลายเป็นรูปธรรม:
• RTX 5070 12GB — VRAM 3.5 ถึง 4.3GB, เวลาถึงโทเคนแรก 548 ถึง 1,238ms, 106.2 ถึง 133.4 โทเคนต่อวินาที
• RTX Spark 32GB — VRAM 3.1 ถึง 4.2GB, 930 ถึง 1,988ms ถึงโทเค็นแรก, 52.0 ถึง 67.0 โทเค็นต่อวินาที
• Jetson Orin Nano 8GB — VRAM 4.2 ถึง 4.9GB ใช้เวลา 5,785 ถึง 6,259ms ถึงโทเคนแรก และ 13.0 ถึง 15.5 โทเคนต่อวินาที
• Jetson AGX Orin 32GB — VRAM 4.2 ถึง 5.0GB, ใช้เวลา 3,687 ถึง 4,091ms ถึงโทเคนแรก, 20.3 ถึง 24.0 โทเคนต่อวินาที
ตัวเลข VRAM อยู่ต่ำกว่าขนาดไฟล์ 6.18GB ซึ่งหมายความว่าในการรันเหล่านั้น รันไทม์ไม่ได้เก็บไฟล์ทั้งหมดไว้ค้างอยู่ใน GPU การ์ดไม่ได้อธิบายกลไกนี้ และนี่เป็นจุดที่ดีที่จะต้านทานการคิดกลไกขึ้นมาเอง: น้ำหนักแบบ memory-mapped, การ offload บางส่วน และการกำหนดขนาด KV-cache ล้วนมีปฏิสัมพันธ์กัน และ NVIDIA ยังไม่ได้เผยแพร่การแบ่งสัดส่วน สิ่งที่พูดได้คือ กรอบ 4GB เป็นผลลัพธ์ที่วัดได้บนฮาร์ดแวร์เฉพาะภายใต้รันไทม์เฉพาะ ไม่ใช่คุณสมบัติของการดาวน์โหลด
แถวของ Orin Nano คือแถวที่ต้องอ่านซ้ำสองครั้งหากจุดขายคือระบบผู้ช่วยด้วยเสียง การทำได้ 13 ถึง 15 โทเคนต่อวินาที โดยใช้เวลาเกือบ 6 วินาทีถึงโทเคนแรก ถือเป็นเอเจนต์แบบฝังตัวที่ใช้งานได้ แต่เป็นคู่สนทนาแบบเรียลไทม์ที่ย่ำแย่ แถวของ RTX 5070 ตรงกันข้าม: เร็วพอสำหรับการใช้งานแบบโต้ตอบ บน GPU สำหรับเดสก์ท็อป
สิ่งที่ NVIDIA เปลี่ยนแปลงจริง ๆ ใน Gemma 4 E4B
สถาปัตยกรรมนี้สืบทอดมาแบบทั้งหมด นี่คือ Gemma-4-E4B ซึ่งเป็นโมเดลแบบ mixture ขนาดรวม 8B ที่มีพารามิเตอร์ที่มีประสิทธิผล 4B และการมีส่วนร่วมของ NVIDIA อยู่ที่ขั้นตอน post-training มากกว่าการสร้าง backbone ใหม่ การ์ดระบุว่างานนี้คือการเรียนรู้แบบเสริมกำลังจากรางวัลที่ตรวจสอบได้และฟีดแบ็กจากมนุษย์ผ่าน NeMo-RL และ NeMo-Gym ครอบคลุมการเรียกใช้เครื่องมือและสคีมา การทำตามคำสั่งและลำดับชั้น เอาต์พุตแบบมีโครงสร้าง การจัดรูปแบบแบบอิสระ และการสร้างแบบจำลองรางวัลเชิงกำเนิด แบตช์การฝึกมีสัดส่วนตัวอย่างที่ไม่ใช้การให้เหตุผลต่อตัวอย่างที่ใช้การให้เหตุผลเป็น 2:1 และ NVIDIA เพิ่มบทลงโทษด้านความยาวเพื่อควบคุมความเยิ่นเย้อ — รายละเอียดนี้จะปรากฏภายหลังในตาราง benchmark
บิลด์ Q4_K_M ถูกสร้างด้วย llama.cpp โดยใช้การคาลิเบรต imatrix กับข้อมูลประมาณหนึ่งล้านโทเคนจาก RL rollouts นอกจากนี้ยังมี DFlash drafter สำหรับ speculative decoding ซึ่ง NVIDIA กล่าวว่าสามารถให้ throughput สูงขึ้นถึง 21% เมื่อเทียบกับ drafter แบบ multi-token-prediction ดั้งเดิมของ Gemma-4-E4B drafter นี้อยู่ในรีโพซิทอรีแยกต่างหาก และ ณ เวลาที่ตรวจสอบ มันตอบกลับ HTTP 401 ต่อคำขอแบบไม่ระบุตัวตน ดังนั้นควรถือเป็นขั้นตอนการเข้าถึงเพิ่มเติม ไม่ใช่สิ่งที่ดาวน์โหลดได้ในวันเดียวกัน
สวิตช์เทมเพลตแชทสองตัวเป็นตัวขับเคลื่อนพฤติกรรมส่วนใหญ่ enable_thinkingเปิดหรือปิดการให้เหตุผล และรองรับงบความคิดขณะรัน conversational_modeเพิ่มคำสั่งระบบสำหรับบทสนทนาแบบพูด เพื่อให้ตอบสั้นและจัดรูปแบบน้อย สวิตช์ตัวที่สองนั่นแหละคือเบาะแส โมเดลนี้ถูกสร้างมาเพื่อพูดคุย ไม่ใช่เพื่อเติมหน้าต่างบริบทด้วยการวิเคราะห์
Context อยู่ที่ 64K ขาเข้าและ 64K ขาออก ความครอบคลุมภาษาคือ 34 ภาษาในเมทาดาทาของ Hugging Face และ 35 ภาษาในบล็อกทางเทคนิค — เป็นความไม่สอดคล้องกันเล็กน้อย ไม่ใช่ประเด็นสาระสำคัญ และการ์ด post-training ระบุว่าภาษาอังกฤษ ฝรั่งเศส เยอรมัน อิตาลี ญี่ปุ่น สเปน และจีนเป็นภาษาหลัก
สัญญาอนุญาตนี้เป็นชุดที่ซ้อนกันมากกว่าเป็นเอกสารฉบับเดียว: OpenMDW-1.1 สำหรับส่วนที่ NVIDIA มีส่วนร่วม และ Apache 2.0 สำหรับองค์ประกอบ Gemma 4 การ์ดโมเดลระบุว่าโมเดลพร้อมใช้งานเชิงพาณิชย์หรือไม่เชิงพาณิชย์ OpenMDW เป็นสัญญาอนุญาตแบบผ่อนปรนแต่ไม่ได้รับการรับรองจาก OSI ซึ่งสิ่งนี้สำคัญต่อทีมกฎหมายมากกว่านักพัฒนา

ตารางเกณฑ์วัดประสิทธิภาพ เมื่ออ่านเทียบกับโมเดลที่ตารางระบุชื่อไว้
NVIDIA ประเมินโมเดลเทียบกับ Gemma4 E4B-it, Qwen3.5 4B และ Nemotron 3 Nano-4B ของตนเอง ภายใต้ฮาร์เนส NeMo-Gym ที่สอดคล้องกัน ทุกตัวเลขด้านล่างเป็นการรายงานโดยผู้จำหน่ายและยังไม่ได้จำลองซ้ำ การ์ดระบุว่าตัวเลข "อาจแตกต่างจากตัวเลขที่ผู้จำหน่ายรายงานเอง" ซึ่งเป็นข้อแม้ที่ซื่อสัตย์และยังเตือนใจว่าชุดการเปรียบเทียบเป็นทางเลือกของ NVIDIA
ชัยชนะกระจุกตัวอยู่ในบทสนทนาและการควบคุม:
• RoleBench Custom — 67.05 สำหรับ Bolt E4B เทียบกับ 53.66 สำหรับ Qwen3.5 4B, 49.95 สำหรับ Gemma4 E4B-it และ 12.02 สำหรับ Nano-4B นี่คือเบนช์มาร์กด้าน persona และส่วนต่างนี้กว้างที่สุดในตาราง
• IHEval, ลำดับชั้นคำสั่ง — 84.79 เทียบกับ 60.57, 67.04 และ 51.31 การนำคู่แข่งที่ใกล้ที่สุดอยู่ 17 คะแนนถือเป็นเรื่องผิดปกติในขนาดนี้
When2Call Multi-Turn — 63.36 เทียบกับ 37.85 สำหรับ Qwen3.5 4B, 62.90 สำหรับ Gemma4 และ 27.70 สำหรับ Nano-4B การรู้ว่าเมื่อใดไม่ควรเรียกใช้เครื่องมือถือเป็นทักษะการสนทนาไม่น้อยไปกว่าทักษะแบบเอเจนต์
• RelyToolBench — 63.16 เทียบกับ 43.35, 61.60 และ 41.20 การยึดโยงกับเอาต์พุตของเครื่องมือ อีกครั้งเป็นทักษะที่ใกล้เคียงกับการสนทนา
• MultiChallenge — 53.10 เมื่อเทียบกับ 51.76, 42.08 และ 35.30 ถือเป็นชัยชนะแบบเฉียดฉิวในการจัดการความท้าทายแบบหลายรอบ
ความสูญเสียก็ชัดเจนไม่แพ้กัน และสิ่งเหล่านี้คือสิ่งที่สำคัญ หากคุณต้องการเอเจนต์มากกว่าตัวละคร:
• Tau2-Bench — 55.10 เทียบกับ 75.06 ของ Qwen3.5 4B นี่คือส่วนต่าง 20 จุดในการทำงานแบบเอเจนต์หลายรอบ (multi-turn agentic task completion) และคุณภาพของเพอร์โซนาที่ดีแค่ไหนก็ปิดช่องว่างนี้ไม่ได้
• RULER ที่ 64K — 86.99 เทียบกับ 95.15 สำหรับ Qwen3.5 4B และ 91.51 สำหรับ Nano-4B โมเดลรองรับบริบท 64K แต่การดึงข้อมูลจากบริบทดังกล่าวยังทำได้ไม่น่าเชื่อถือเท่าโมเดลระดับเดียวกัน
• LongBench v2 ที่ 48K — 50.50 เทียบกับ 59.93 สำหรับ Qwen3.5 4B เป็นเช่นเดียวกันกับการให้เหตุผลกับเอกสารยาว
• BFCL-v3 — 68.51 เทียบกับ 70.95 ของ Qwen3.5 4B เป็นการด้อยกว่าเล็กน้อยในด้านการเรียกใช้ฟังก์ชัน และเป็นชัยชนะเหนือ Gemma4 ที่ 66.39
• EQ-Bench v3 — 39.40 เทียบกับ 41.17 สำหรับ Gemma4 E4B-it เป็นแถวความฉลาดทางอารมณ์เพียงแถวเดียวที่รุ่นพ่อแม่เอาชนะรุ่นลูกได้
คอลัมน์ Q4_K_M น่าสนใจกว่าที่ตารางการควอนไทซ์มักจะเป็น การบีบอัดไม่ได้ทำให้ความแม่นยำลดลงอย่างสม่ำเสมอ: MultiChallenge เพิ่มขึ้นจาก 53.10 เป็น 55.60, RoleBench จาก 67.05 เป็น 71.21, ToolSandbox จาก 68.77 เป็น 74.13 และ RelyToolBench จาก 63.16 เป็น 69.29 โดยลดลงใน Tau2 จาก 55.10 เป็น 52.32, LongMemEval จาก 72.10 เป็น 69.92 และ RULER จาก 86.99 เป็น 85.76 บิลด์สี่บิตที่ทำให้คะแนนบทสนทนาหลายรายการดีขึ้นเป็นไปได้เมื่อข้อมูลคาลิเบรชันมาจาก RL rollouts ของโมเดลเอง แต่ก็ยังเป็นการวัดโดยผู้ขาย และสัญญาณรบกวนระดับ benchmark ในโมเดล 4B มีมากพอที่ส่วนต่างเหล่านี้ไม่ควรถูกอ่านเป็นบันไดความละเอียด
สองแถวสมควรได้รับธงของตัวเอง Brevity Bench และ When2Call Multi-Turn เป็นการประเมินที่ NVIDIA อธิบายว่าตอบโจทย์ช่องว่างในเบนช์มาร์กที่มีอยู่ และบล็อกระบุว่าจะเผยแพร่ในภายหลัง ทั้งสองยังไม่สามารถทำซ้ำได้อย่างอิสระในวันนี้ — ซึ่งสำคัญที่สุดสำหรับ Brevity เพราะนั่นคือแถวที่แบกเรื่องราวของจำนวนโทเค็นเอาต์พุตที่น้อยลง
{{1}}คำกล่าวอ้างหลักของ NVIDIA คือโมเดลนี้มีค่าเฉลี่ยดีกว่าประมาณ {{2}}40%{{/2}} เมื่อเทียบกับ Nemotron 3 Nano-4B และดีกว่าประมาณ {{3}}10%{{/3}} เมื่อเทียบกับโมเดลในกลุ่มเดียวกัน โดยใช้โทเค็นเอาต์พุตน้อยลงสูงสุดถึง {{4}}80%{{/4}} ในการเปรียบเทียบที่เปิดใช้การให้เหตุผล{{/1}} {{5}}ตัวเลข 80% เป็นข้อกล่าวอ้างเรื่องความเยิ่นเย้อ ไม่ใช่ข้อกล่าวอ้างเรื่องความแม่นยำ และสอดคล้องกับคะแนน Brevity Benchmark ที่ {{6}}82.52{{/6}} — ซึ่ง NVIDIA สร้างไว้ในชุดทดสอบของตนเอง{{/5}} ให้ความสำคัญกับทิศทางอย่างจริงจัง และมองตัวเลขเปอร์เซ็นต์ที่แน่นอนแบบไม่ต้องจริงจังนัก

สิ่งที่ repository จะไม่บอกคุณ
การ์ดนี้เปิดเผยตรงไปตรงมาเกี่ยวกับช่องว่างของตัวเอง และช่องว่างเหล่านั้นควรค่าแก่การระบุไว้ เพราะสิ่งเหล่านี้กำหนดระดับความเชื่อมั่นที่การเผยแพร่นี้รองรับ
• ไม่มีการประเมินโดยอิสระ ณ เวลาที่เขียนนี้ Artificial Analysis ไม่มีหน้ารุ่นสำหรับ E4B และไม่มีบุคคลที่สามรายใดเผยแพร่การทำซ้ำของตารางเกณฑ์มาตรฐาน 21 แถว
• ไม่มีราคาแบบโฮสต์ การ์ดระบุวันที่ของรายการบน Build.NVIDIA.com ว่าเป็นวันที่ 23 ตุลาคม แต่ไม่มีการเผยแพร่ราคาต่อโทเคนทั้งในหน้านั้นหรือในการ์ด หากคุณต้องการ API คุณกำลังเจรจาหรือใช้ระดับฟรี ไม่ใช่การอ่านตารางอัตราค่าบริการ
• การปรับใช้ถูกทำเครื่องหมายว่า "llama.cpp (recipe pending)" แม้ว่าส่วนเริ่มต้นอย่างรวดเร็วจะมีคำสั่ง llama.cpp ที่ใช้งานได้จริง นั่นเป็นความขัดแย้งกันในเอกสาร ไม่ใช่ความขัดแย้งทางเทคนิค แต่เป็นเรื่องประเภทที่ทำให้กระบวนการปรับใช้อัตโนมัติสะดุดได้
• เป้าหมาย 4GB ไม่ได้ถูกแสดงให้เห็นในรูปแบบไฟล์ ขอบเขต VRAM ที่วัดได้คือหลักฐาน ส่วนไฟล์ดาวน์โหลดมีขนาด 6.18GB
• การ์ดย่อยด้านความปลอดภัย อคติ ความสามารถในการอธิบายได้ และความเป็นส่วนตัวมีอยู่ในไฟล์แยกต่างหาก บทความนี้ไม่ได้ตรวจประเมินการ์ดย่อยเหล่านี้ และยังไม่มีหน่วยงานอิสระใดตรวจประเมินเช่นกัน
ไม่มีสิ่งใดในนั้นทำให้การเผยแพร่นี้น่าไม่ไว้วางใจ มันทำให้การเผยแพร่นี้เร็วเกินไป การ์ดโมเดลที่เขียนโดยทีมที่ฝึกโมเดลคือคำอธิบายที่ดีที่สุดเท่าที่มีอยู่เกี่ยวกับว่าโมเดลมีไว้เพื่ออะไร แต่ไม่ใช่หลักฐานว่าโมเดลทำสิ่งนั้นได้

จุดที่โมเดล 4B ในเครื่องหยุด และสิ่งที่ควรวางไว้เบื้องหลัง
สถาปัตยกรรมที่ตรงไปตรงมาสำหรับโมเดลคลาสนี้คือสถาปัตยกรรมแบบแยกส่วน checkpoint สนทนา 4B บน Jetson หรือการ์ด RTX นั้นยอดเยี่ยมในชั้นรีเฟลกซ์: การตอบสนองต่อ wake word, บทสนทนาในบุคลิก, การเรียกเครื่องมือแบบสั้น, การยึดโยงกับอินพุต, ส่วนต่างๆ ของอินเทอร์เฟซที่ไม่สามารถเสียเวลาไปกับการเดินทางผ่านเครือข่ายได้ มันไม่ใช่สิ่งที่คุณต้องการให้ตอบคำถามที่ต้องใช้บริบท 200K หรือแผนแบบเอเจนต์สิบขั้น และตาราง benchmark ของมันเองก็บอกเช่นนั้น
สิ่งนี้ทำให้ทุกการติดตั้งเหลือคำถามข้อที่สอง: อะไรจะจัดการคำขอที่โมเดลโลคอลไม่ควรจัดการ การวางโมเดลแบบโฮสต์ไว้เบื้องหลังแอปพลิเคชันเดียวกันผ่าน OrcaRouter หมายถึง API เดียวสำหรับโมเดล 200+ รายการ ส่วนเพิ่ม 0% จากราคาตามรายการของผู้ให้บริการ และ การสลับเมื่อเกิดข้อขัดข้องโดยอัตโนมัติเมื่อผู้ให้บริการมีประสิทธิภาพลดลง — ดังนั้นเส้นทางการยกระดับจึงเป็นการตัดสินใจด้านการกำหนดเส้นทาง แทนที่จะเป็น SDK ชุดที่สอง คีย์ชุดที่สอง และความสัมพันธ์ด้านการเรียกเก็บเงินชุดที่สอง โมเดลโลคอลยังคงเป็นเส้นทางที่รวดเร็ว ส่วนโมเดลแบบโฮสต์เป็นตัวสำรองสำหรับกรณีที่ E4B ไม่เคยได้รับการฝึกมา
อะไรจะเปลี่ยนแปลงภาพนี้
สามสิ่ง เรียงตามลำดับประโยชน์ การรัน benchmark โดยอิสระบน harness เดียวกันจะช่วยให้ได้ข้อสรุปว่าโปรไฟล์ที่เน้นบทสนทนาเป็นหลักนั้นยังคงทำงานได้ดีนอกเหนือจากการประเมินของ NVIDIA หรือไม่ อาร์ติแฟกต์ขนาด 4GB หรือเล็กกว่าที่เผยแพร่จะทำให้ชื่อนี้เป็นความจริงตามตัวอักษร และการกำหนดราคาสำหรับ endpoint ของ Build จะเปลี่ยนโมเดลจากไฟล์ดาวน์โหลดให้กลายเป็นบริการที่คุณเปรียบเทียบได้
จนถึงตอนนั้น การตีความที่ถูกต้องก็แคบแต่มีประโยชน์: NVIDIA ฝึกต่อยอด Gemma 4 E4B จนกลายเป็นโมเดลสนทนาขนาดเล็กที่ดีขึ้นอย่างเห็นได้ชัด เผยแพร่หลักฐานและจุดที่ยังขาดไว้ในเอกสารเดียวกัน และเปิดตัวภายในหนึ่งสัปดาห์หลังการเปิดตัวตระกูลโมเดลแบบเงียบ ๆ แทบไม่มีกระแส ตัวเลข 4GB ในชื่อคือเป้าหมายที่รันไทม์ซึ่งวัดได้ทำได้ตาม แต่ไฟล์ดาวน์โหลดทำไม่ได้ตามนั้น ให้คุณวางแผนพื้นที่จัดเก็บไว้ราว 6.18GB และวางความคาดหวังไว้ที่ 13 ถึง 133 โทเคนต่อวินาที ขึ้นอยู่กับอุปกรณ์ที่คุณมีจริง
