Nemotron 3.5 Bolt 74B กับ Gemma 4 26B A4B: แปดจุดดัชนีและความไม่ลงรอยกันของความกว้างบิต

ได้มีการเปรียบเทียบแบบตัวต่อตัวระหว่างN​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB กับ G​oogle Gemma 4 26B A4B, และ N​VIDIA ได้เผยแพร่การเปรียบเทียบนี้ มันอยู่ในตาราง benchmark บนการ์ดโมเดล Bolt โดยที่คอลัมน์ G​emma เป็น baseline ที่บริษัทเลือก การอ่านตารางนั้นอย่างละเอียดเป็นวิธีที่เร็วที่สุดในการทำความเข้าใจว่าโมเดลสองตัวนี้เป็นอย่างไรจริงๆ เพราะ checkpoint ทั้งสองไม่ได้แข่งขันกันในงานเดียวกัน และกรอบความคิดของผู้ขายเองก็บอกเช่นนั้นออกมาดังๆ: โมเดลที่ใช้เปรียบเทียบถูกเลือกมาเนื่องจากความสามารถในการบรรจุภายในหน่วยความจำ 24GB ด้วยการควอนไทซ์ 4 บิต Bolt พอดีภายใน 24GB ด้วยเส้นทางที่แตกต่าง — 2.0625 บิตต่อน้ำหนักบนเลเยอร์ผู้เชี่ยวชาญ — และช่องว่างระหว่างสองกลยุทธ์นั้นคือเรื่องราวทั้งหมด

ตัวเลขทั้งสองในชื่อเรื่องเป็นของจริง Artificial Analysis วัดค่า Bolt ได้ 21 บน Intelligence Index ของตน และวัด Gemma 4 26B A4B ได้ 17 เมื่ออยู่ในคอนฟิกูเรชันการให้เหตุผลของมัน ไม่มีตัวเลขใดมาจากผู้ขาย และทั้งคู่ปรากฏอยู่บนหน้าโมเดลของพาเนลตอนที่เขียนข้อความนี้

การเปรียบเทียบที่ NVIDIA รัน และคอลัมน์ที่มันเลือก

ตารางของ NVIDIA สำหรับ Bolt มีสี่คอลัมน์: Qwen3.6-35B-A3B ใน BF16, Gemma 4 26B-A4B ใน BF16, Nemotron 3.5 Lightning 30B-A3B ใน BF16 และ Bolt ใน IQ2 ตัวเลขทุกตัวในตารางนี้เป็นข้อมูลที่ผู้ขายรายงานเองและยังไม่ถูกทำซ้ำโดยบุคคลอิสระรายใด นี่คือคอลัมน์ของ Gemma เทียบกับของ Bolt ทีละเบนช์มาร์ก

• GDPVal-AA-V2 — Gemma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE โดยไม่ใช้เครื่องมือ — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• AA-LCR การดึงข้อมูลบริบทขนาดยาว — Gemma 57.56, Bolt 64.06

• PinchBench — Gemma 74.70, Bolt 87.82

• WebArena วิชัน — G​emma 38.2, Bolt 50.86

• ความแม่นยำของ AA-Omniscience — Gemma 22.17, Bolt 16.90 Gemma ชนะในแถวนี้ และเป็นแถวเดียวในตารางที่ Gemma ชนะ

• AA-Omniscience non-hallucination — G​emma 14.22, Bolt 61.27. นี่เป็นความพ่ายแพ้ครั้งใหญ่และเฉพาะเจาะจงสำหรับตระกูลของ G​emma และเป็นเรื่องที่ควรหยุดคิดอยู่ตรงที่ว่า ตัวชี้วัดการไม่สร้างข้อมูลเท็จของ Omniscience ลงโทษโมเดลที่ตอบอย่างมั่นใจเมื่อมันไม่รู้บางสิ่ง และบิลด์ G​emma ที่บันทึกไว้ที่นี่ได้คะแนนประมาณหนึ่งในสี่ของตัวเลขของ Bolt

มีข้อแม้หนึ่งข้อใช้กับทั้งบล็อกนี้ NVIDIA รันทั้งหมด รวมถึงคอลัมน์ Gemma โดยใช้บิลด์ BF16 ของ Gemma เทียบกับบิลด์ 2-bit ของโมเดลของตัวเอง จากนั้นจึงรายงานผลบนการ์ดโมเดลของตัวเอง

สองเช็กพอยต์ สองรูปแบบการบีบอัด

Gemma 4 26B A4B เป็นผลิตภัณฑ์ที่เปิดตัวแล้วและผ่านการใช้งานมาเป็นเวลาหนึ่งปี มันเปิดตัวบน Hugging Face เมื่อวันที่ 11 มีนาคม 2026 ภายใต้ Apache 2.0 ด้วยพารามิเตอร์รวม 25.2 พันล้านตัว โดยมีพารามิเตอร์ที่ใช้งานจริง 3.8 พันล้านตัวต่อโทเคน พร้อมสแต็กแอตเทนชันแบบไฮบริดที่สลับเลเยอร์หน้าต่างเลื่อนแบบโลคัลกับเลเยอร์แบบโกลบอลเข้าด้วยกัน รองรับบริบทขนาด 256K การรองรับ system-prompt แบบเนทีฟ และความสามารถด้านวิชันในทุกรุ่นขนาดในตระกูล เป็นโมเดลที่คุณหยิบมาใช้ได้ ควอนไทซ์เป็น 4 บิตด้วยตัวเองแล้วรันได้ และยังมีระบบนิเวศขนาดใหญ่ของเวอร์ชันควอนไทซ์สำเร็จรูปอยู่แล้ว

Bolt เป็นผลลัพธ์จากการบีบอัดที่สวมการ์ดโมเดล NVIDIA นำ Nemotron 3.5 Super VL 120B-A12B — เช็กพอยต์มัลติโมดัลจากรุ่นเดียวกัน — มารัน Star Elastic กับมัน ซึ่งเป็นการค้นหาสถาปัตยกรรมที่นำโดยเราเตอร์ที่ต้องเป็นไปตามงบประมาณการนำไปใช้งานแบบเข้มงวด ในกรณีนี้คือต่ำกว่า 24GB ที่ขนาดแบตช์ 1 และบริบท 128K Expert top-K ลดลงจาก 22 ในโมเดลแม่เหลือ 9 จากนั้นน้ำหนักของ expert ถูกควอนไทซ์เป็น IQ2-XXS ที่ 2.0625 บิตต่อองค์ประกอบ พร้อมการกลั่นที่คำนึงถึงการควอนไทซ์เพื่อเรียกความแม่นยำกลับมา เลเยอร์ Mamba ถูกคงไว้ที่ NVFP4 เลเยอร์ embedding และ output อยู่ที่ Q8_0 และ vision tower ถูกต่อกลับเข้าไปใหม่ในภายหลัง

ผลลัพธ์คือพารามิเตอร์ 74 พันล้านตัวในไฟล์ขนาด 24GB นั่นไม่ใช่การควอนไทซ์ของโมเดลที่เปิดตัวแล้ว แต่เป็นเครือข่ายที่มีรูปร่างแตกต่างออกไป ซึ่งถูกค้นหาภายใต้ข้อจำกัดด้านหน่วยความจำแล้วจึงฝึกให้ฟื้นตัว

ทำไมความกว้างบิตจึงสำคัญกว่าพารามิเตอร์

พอวางสองตัวนี้ไว้เคียงข้างกัน การอ่านตามสัญชาตญาณก็คือโมเดล 74B ชนะโมเดล 26B การอ่านแบบนั้นน่าจะถูกต้องในกรณีนี้ และมันก็ไม่ใช่ส่วนที่น่าสนใจเช่นกัน เพราะโมเดลทั้งสองกำลังถูกขอให้ทำสิ่งที่ต่างกันภายใต้งบ 24GB ที่เท่ากัน

• พารามิเตอร์ — Bolt ทั้งหมด 74B ใช้งาน 9B ต่อโทเคน. Gemma 4 26B A4B: ทั้งหมด 25.2B ใช้งาน 3.8B ต่อโทเคน.

• สถาปัตยกรรม — Bolt: LatentMoE แบบไฮบริด Mamba-2–Transformer พร้อมตัวเข้ารหัสภาพ C-RADIO v4-H. G​emma: MoE แบบไฮบริดที่ใช้ attention โลคัล/โกลบอล พร้อม vision tower และสำหรับขนาดอื่น ๆ ในตระกูล ยังมีเสียง.

• ความละเอียดที่จัดเก็บ — Bolt มาพร้อมที่ 2.0625 บิตต่อน้ำหนักผู้เชี่ยวชาญโดยเนทีฟ รีโพซิทอรีของ G​emma เป็น 16 บิต โดยมีบิลด์ 4 บิตและบิลด์แบบการฝึกที่คำนึงถึงการควอนไทซ์ซึ่งเผยแพร่แยกต่างหาก

• บริบท — Bolt รองรับได้สูงสุด 256,000 โทเคน Gemma 4 26B A4B: 256,000 โทเคน แถวนี้เสมอกัน ซึ่งทำให้ผู้ที่คิดว่าโมเดล 2 บิตต้องยอมแลกอะไรบางอย่างไปตรงนี้ประหลาดใจ มันไม่ได้แลกไปเลย

• อินพุต — Bolt รองรับข้อความ รูปภาพ และวิดีโอ. Gemma 4 26B A4B รองรับข้อความและรูปภาพ; วิดีโอจะเข้ามาในรูปแบบเฟรม และเสียงถูกจำกัดไว้เฉพาะสมาชิกในตระกูลที่มีขนาดเล็กกว่าเท่านั้น

• สัญญาอนุญาต — Bolt: OpenMDW-1.1 Gemma 4 26B A4B: Apache 2.0 พร้อมด้วยนโยบายข้อห้ามการใช้งานของ Google ที่อยู่เคียงคู่กัน

• การถอดรหัสแบบคาดการณ์ — Bolt มาพร้อมกับตัวร่าง LiLiCorr ซึ่งเชื่อมต่อผ่าน DFlash ด้วยโทเค็นคาดการณ์เจ็ดตัวในสูตรอ้างอิงของ NVIDIA Gemma 4 26B A4B ไม่มีตัวร่างที่ผู้ขายจัดหาให้; การทำนายแบบหลายโทเค็นปรากฏในการปรับแต่งจากชุมชนมากกว่าในรุ่นพื้นฐาน

ผลในทางปฏิบัติของแถวความละเอียดก็คือ ดาวน์โหลดของ Bolt เป็นรุ่นเล็กอยู่แล้ว ไม่มีบิลด์ 2-bit อื่นให้ต้องค้นหาอีก เพราะบิลด์ 2-bit คือตัวโมเดลเอง 26B ของ Gemma เป็นเช็กพอยต์ 16-bit ที่คุณคาดว่าจะต้องบีบอัด และเวอร์ชัน 4-bit ที่คนส่วนใหญ่จะนำไปให้บริการจริงนั้นเป็นเวอร์ชันที่ใครบางคนแปลงมาจากมัน

ในกรณีที่รุ่นเล็กเป็นตัวเลือกที่คุ้มค่ากว่า

ตารางของ NVIDIA เองชี้ให้เห็นสองประเด็นเกี่ยวกับ Gemma ที่ควรค่าแก่การให้ความสำคัญอย่างจริงจัง ความแม่นยำของ AA-Omniscience เอนไปทาง Gemma ที่ 22.17 เทียบกับ 16.90 และการตีความอย่างตรงไปตรงมาคือ การบีบอัดแบบ 2 บิตส่งผลกระทบที่วัดได้ต่อการระลึกข้อเท็จจริง แม้จะผ่านการกลั่นแล้วก็ตาม ใครก็ตามที่มีภาระงานเน้นสารานุกรมมากกว่าการทำงานแบบเอเจนต์ ควรให้น้ำหนักกับแถวนั้นอย่างมาก

การให้สิทธิ์ใช้งานเป็นเรื่องที่สอง Apache 2.0 เป็นตัวเลือกที่มีภาระผูกพันน้อยที่สุดสำหรับการนำไปใช้งานเชิงพาณิชย์ และ OpenMDW-1.1 แม้จะถูกเขียนขึ้นให้มีลักษณะผ่อนปรนและได้รับการรับรองอย่างชัดเจนจาก N​VIDIA สำหรับการใช้เชิงพาณิชย์ แต่ก็เป็นตราสารที่ใหม่กว่า มีวรรณกรรมเกี่ยวกับมันน้อยกว่า และยังไม่มีคำพิพากษาของศาลที่ตีความมัน ทีมกฎหมายเคยเห็นหนึ่งในสองสิ่งนี้มาก่อน แต่อีกสิ่งหนึ่งไม่เคย

ข้อที่สามคือความสมบูรณ์ของระบบ Gemma 4 26B A4B สามารถดาวน์โหลดได้ตั้งแต่เดือนมีนาคม และเรียกใช้งานจาก hosted endpoint ได้ตั้งแต่ฤดูใบไม้ผลิ ทั้งบิลด์แบบควอนไทซ์ ไฟน์ทูน สูตรการให้บริการ และการทำซ้ำผล benchmark ต่างมีอยู่ครบแล้ว ที่เก็บโค้ดของ Bolt เปิดตัวในเดือนตุลาคม ยังไม่มีการเผยแพร่ข้อมูลอิสระใด ๆ เกี่ยวกับความหน่วงของมัน และไม่มี quantisation จากชุมชนให้พึ่งพาได้ เพราะไม่มีอะไรให้ควอนไทซ์

ประการที่สี่ และเป็นเรื่องที่มองข้ามได้ง่าย: รุ่นพี่น้องของ G​emma ที่มีขนาด 21B และต่ำกว่านั้นรองรับเสียงได้ในตัว หากไปป์ไลน์เกี่ยวข้องกับเสียงพูด 26B A4B ก็ไม่ใช่สมาชิกที่ใช่ของตระกูลตัวเอง และไม่มีโมเดล N​emotron ตัวใดที่ใช่เลย

แต่ละอย่างมีค่าใช้จ่ายในการถือครองจริงเท่าไร

Bolt ไม่มีราคา และนี่ไม่ใช่ความผิดพลาดในข้อมูล ไม่มีปลายทางที่โฮสต์ไว้สำหรับมันที่ใดเลย ไม่มีอัตราคิดตามปริมาณการใช้งานบนหน้ารุ่นของ Artificial Analysis สำหรับมัน และไม่มีผู้ให้บริการรายใดให้บริการมัน การรันมันหมายถึงการเป็นเจ้าของเครื่อง และสูตรอ้างอิงของ NVIDIA เป็นงานที่ใช้เวลาทั้งสุดสัปดาห์มากกว่าหนึ่งบ่าย: อิมเมจ vLLM nightly ที่ปักหมุดไว้ แพ็กเกจเคอร์เนล b12x ปลั๊กอินตัวแยกวิเคราะห์การให้เหตุผลที่ดึงมาเป็นไฟล์แยกต่างหาก จากนั้นตั้งค่าอย่างชัดเจนสำหรับ v2 model runner แบ็กเอนด์ linear และ MoE แบ็กเอนด์ attention และ Mamba ชนิดข้อมูลแคช Mamba chunked prefill และคอนฟิก speculative-decoding ที่ชี้ไปยัง LiLiCorr drafter

Gemma 4 26B A4B มีราคาอยู่ในสองที่ ในแค็ตตาล็อกที่เราใช้จัดเส้นทาง google/gemma-4-26b-a4b-it ถูกระบุราคาไว้ที่ $0.06 ต่อล้านโทเคนอินพุต และ $0.33 ต่อล้านโทเคนเอาต์พุต ที่คอนเท็กซ์ 262,144 โทเคน โดยมี p50 ของเวลาถึงโทเคนแรกอยู่ที่ราว 2.8 วินาที — นั่นคือตัวเลขที่เราวัดเองในช่วงเจ็ดวันที่ผ่านมา ไม่ใช่คำกล่าวอ้างของผู้ขาย Artificial Analysis ติดตามกลุ่มผู้ให้บริการที่ต่างออกไปสำหรับโมเดลเดียวกัน และระบุราคาที่ $0.10 ขาเข้า และ $0.40 ขาออก ซึ่งเป็นส่วนต่างแบบที่บอกคุณได้ว่าราคาเป็นคุณสมบัติของเอนด์พอยต์ ไม่ใช่ของคุณน้ำหนักโมเดล ตัวเลขทั้งสองเป็นความจริงทั้งคู่ มันเป็นราคาของสิ่งที่ต่างกัน

OrcaRouter นำโมเดลที่เราจัดเส้นทางให้มาอยู่ใต้คีย์เดียวในราคาตามที่ผู้ให้บริการระบุ โดยบวกเพิ่ม 0 เปอร์เซ็นต์ ดังนั้นเมื่อผู้ขายลดราคาโมเดลที่อยู่ในเส้นทาง ราคานั้นจะมีผลฝั่งเราภายในวันเดียวกัน และ การสลับไปใช้ผู้ให้บริการรายอื่นอัตโนมัติเมื่อเกิดปัญหา (automatic failover) หมายความว่าหากมีความจุไม่พอที่ต้นทาง ระบบจะลองใหม่ให้แทนที่จะส่งปัญหานั้นถึงผู้ใช้ของคุณ เราไม่ได้โฮสต์เช็กพอยต์ N​emotron ใด ๆ — แค็ตตาล็อกของเราถูกตรวจสอบจริง ไม่ใช่คาดเดา และตระกูลนี้ไม่ได้อยู่ในนั้น — ดังนั้นในหน้านี้ การรับประกันเหล่านั้นครอบคลุมเฉพาะครึ่งที่เป็น G​emma ของการเปรียบเทียบนี้เท่านั้น ไม่มีอะไรอื่นอีก คุณค่าที่ได้จริงคือช่องทางลองใช้โมเดลขนาดเล็กกับทราฟฟิกจริงโดยไม่ต้องทำสัญญาฉบับที่สอง ระหว่างที่คุณตัดสินใจว่าโมเดลขนาดใหญ่กว่านั้นคุ้มค่ากับฮาร์ดแวร์หรือไม่

การเลือกระหว่างไฟล์กับบริการ

การเปรียบเทียบนี้ไม่ได้ใกล้เคียงกันในด้านความสามารถ และมันก็ไม่ได้ตั้งใจให้เป็นเช่นนั้น Bolt เป็นโมเดลที่ใหญ่กว่าและมีความสามารถมากกว่า ซึ่งถูกบีบอัดอย่างหนักและไม่สามารถเช่าใช้งานได้ Gemma 4 26B A4B เป็นโมเดลที่อ่อนกว่าเล็กน้อยซึ่งคุณสามารถเช่าใช้งานได้ในวันนี้ และจุดอ่อนของมันได้รับการบันทึกไว้โดยผู้ที่ไม่มีส่วนได้ส่วนเสียกับมัน

เลือก Bolt หากภาระงานเกี่ยวข้องกับภาพหน้าจอ ไฟล์ PDF เฟรมวิดีโอ หรือเบราว์เซอร์ หากต้องรันโดยไม่มีเครือข่าย และหากมีเครื่องที่มีตัวเร่งความเร็วระดับ Blackwell อยู่ในห้องแล้ว ยอมรับไว้เลยว่าคุณจะเป็นคนที่ค้นพบอัตราการประมวลผลของมันเอง เพราะยังไม่มีใครเผยแพร่ออกมา เลือก Gemma 4 26B A4B หากคุณต้องการโมเดลข้อความและภาพที่จ่ายได้ตามจำนวนล้านโทเคนในบ่ายนี้ หากคุณต้องการ Apache 2.0 หรือหากความสามารถในการเรียกคืนข้อเท็จจริงในชุดคำถามที่กว้างสำคัญกว่าการทำงานแบบเอเจนต์ให้สำเร็จ

การวัดที่จะยุติเรื่องนี้ได้คือการวัดที่ยังไม่มีใครทำ นั่นคือการรัน throughput และ latency อย่างอิสระบนเช็กพอยต์ขนาด 24GB และการรันตารางของ N​VIDIA ซ้ำอย่างอิสระ โดยให้ G​emma ถูกควอนไทซ์เป็น 4 บิตเดียวกับที่ผู้ขายอ้างว่าเลือกใช้ จนกว่าจะมีการวัดเหล่านั้น ข้อสนับสนุน Bolt ก็อาศัยตารางของผู้ขายและจำนวนพารามิเตอร์ ส่วนข้อสนับสนุน G​emma ก็อาศัยผลลัพธ์ของคนอื่นเป็นเวลาหนึ่งปี

การเปรียบเทียบเช่นนี้ก็เป็นจุดที่รูปแบบความล้มเหลวปรากฏให้เห็นเช่นกัน: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในคลาสนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และแฟล็กข้อโต้แย้งของตนเอง