Guides & Insights

Nemotron 3.5 Bolt 24GB กับ Qwen3.8-27B: ทั้งคู่พอดีใน 24GB — มีเพียงตัวเดียวที่บอกคุณว่ามันต้องแลกมาด้วยอะไร

ผู้เขียน

Alistair Wren

วันที่เผยแพร่

Oct 16, 2026

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →

เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน

กลับไปยังโพสต์ทั้งหมด

มีเรื่องเล่าน่ารัก ๆ เรื่องหนึ่งเล่ากันเกี่ยวกับสองโมเดลนี้: ตัว NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB พอดีใน 24 กิกะไบต์ และ Qwen3.8-27B ไม่พอดี ครึ่งแรกเป็นความจริง และครึ่งหลังล้าสมัยไปแล้ว Alibaba เผยแพร่ Qwen3.8-27B ในเดือนสิงหาคม 2026 ในฐานะโมเดลภาพ-ภาษาแบบ dense ขนาด 27 พันล้านพารามิเตอร์ ซึ่งน้ำหนัก 16 บิตของมันมีขนาดราว 56GB และภายในไม่กี่วัน ชุมชนก็สร้างบิลด์ 4 บิตของมันที่ 16.46GB ได้ ทั้งสองโมเดลพอดีใน 24GB ในปัจจุบัน ความแตกต่างที่ควรค่าแก่การถกเถียงก็คือ NVIDIA ออกแบบการบีบอัด เผยแพร่ว่ามันมีต้นทุนเท่าไร และส่งมอบมันเป็นผลิตภัณฑ์ — ในขณะที่ฝั่ง Qwen ของการเปรียบเทียบนั้นเป็นบิลด์ที่คนอื่นทำขึ้น โดยมีบิลที่ยังไม่มีใครรวมยอดทั้งหมด

แต่ละโมเดลจริงๆ แล้วคืออะไร

Bolt เป็นไฮบริดแบบ mixture-of-experts: มีพารามิเตอร์ทั้งหมด 74 พันล้านตัว, เปิดใช้งาน 9 พันล้านตัวต่อโทเคน, เลเยอร์สเตตสเปซ Mamba-2 ที่สลับกับ experts และ attention, บวกกับตัวเข้ารหัสภาพ C-RADIO v4-H. มันมีอยู่ในรูปแบบ 24GB เพราะ NVIDIA ได้ทำการค้นหาสถาปัตยกรรมที่นำทางด้วยเราเตอร์ภายใต้งบประมาณพื้นที่จัดเก็บ แล้วจึงควอนไทซ์ experts ให้เหลือ 2.0625 บิตต่อองค์ประกอบ, ซ่อมแซมความเสียหายด้วยการกลั่นแบบรับรู้การควอนไทเซชัน.

Qwen3.8-27B เป็นโมเดลแบบ dense พารามิเตอร์ทั้ง 27 พันล้านตัวถูกอ่านสำหรับทุกโทเคน และส่วนสถาปัตยกรรมในโมเดลการ์ดอธิบายสแต็ก 64 ชั้นที่จัดเรียงเป็นการทำซ้ำ 16 ครั้งของบล็อก gated linear-attention จำนวน 3 บล็อก ตามด้วยบล็อก gated full-attention จำนวน 1 บล็อก โดยมีการฝึก multi-token prediction หลายขั้นตอนและมีคอนเท็กซ์เนทีฟ 262,144 โทเคน ซึ่งขยายได้ถึงหนึ่งล้านโทเคน มันเข้าใจภาพและวิดีโอได้โดยเนทีฟ และเปิดให้ควบคุมการคิดต่อคำขอผ่านการตั้งค่า reasoning effort และแฟล็กที่รักษาบริบทการให้เหตุผลข้ามเทิร์น

ปรัชญาการผลิตที่แตกต่างกัน และทั้งสองถูกเผยแพร่เป็นน้ำหนักแบบเปิดภายใต้สัญญาอนุญาตที่ผ่อนปรนเพียงพอ — OpenMDW-1.1 สำหรับ Bolt, Apache 2.0 สำหรับ Qwen3.8-27B

การบีบอัดสองครั้ง ซึ่งหนึ่งในนั้นได้รับการบันทึกไว้

นี่คือส่วนของการเปรียบเทียบที่ชี้ขาดสิ่งต่างๆ

เช็กพอยต์ 24GB ของ NVIDIA ถูกบีบอัดโดย NVIDIA และต้นทุนได้รับการเผยแพร่แล้ว เวอร์ชัน BF16 ของโมเดลเดียวกันมีตารางที่แสดงทั้งสองคอลัมน์เคียงข้างกัน ดังนั้นราคาของเอ็กซ์เพิร์ต 2-bit จึงมองเห็นได้ทีละบรรทัด:

• GPQA Diamond — 86.43 ที่ 2-bit เทียบกับ 88.83 ที่ 16-bit ซึ่งลดลง 2.40 คะแนน

• Terminal-Bench 2.1 — 50.98 เทียบกับ 53.93 ลดลง 2.95

• BrowseComp — 66.75 เทียบกับ 70.00 ลดลง 3.25

• AA-LCR การใช้เหตุผลแบบบริบทยาว — 64.06 เทียบกับ 67.38 ลดลง 3.32

• HLE โดยไม่ใช้เครื่องมือ — 25.30 เทียบกับ 28.73 ขาดไป 3.43

• ความแม่นยำของ AA-Omniscience — 16.90 เทียบกับ 21.80 ลดลง 4.90

และอีกสองแถวที่ให้ผลตรงกันข้าม: ในด้านการไม่สร้างข้อมูลเท็จของ AA-Omniscience โมเดลที่บีบอัดได้คะแนน 61.27 เทียบกับ 56.14 ของเวอร์ชันความแม่นยำเต็ม และบน WebArena vision ทั้งคู่มีคะแนนพอ ๆ กัน โดยต่างกันไม่เกินหนึ่งจุด ตัวเลขเหล่านี้เป็นตัวเลขจากผู้ขาย ยังไม่มีการทำซ้ำ และยังคงเป็นบันทึกที่ครบถ้วนที่สุดที่ห้องแล็บใด ๆ เคยเผยแพร่เกี่ยวกับสิ่งที่การบีบอัดขนาด 24GB ส่งผลต่อโมเดลของตัวเอง

ตอนนี้มาดูฝั่ง Qwen กันบ้าง มีบิลด์สี่บิตของ Qwen3.8-27B ขนาด 16.46GB อยู่จริง ถูกเผยแพร่โดยบุคคลที่สาม และไม่มีการวัดความแม่นยำใด ๆ มาด้วยเลย ไม่ใช่แค่ค่าวัดที่อ่อน — แต่ไม่มีเลย เช่นเดียวกันกับบิลด์ขนาด 9.83GB และ 7.27GB ที่อยู่ถัดลงมา และบิลด์ขนาด 21.98GB ที่อยู่ด้านบน ไม่ว่าโมเดลวิชัน-ภาษาแบบ dense ขนาด 27B จะสูญเสียอะไรไปบ้างเมื่อบีบน้ำหนักของมันให้เหลือสี่บิต ก็ยังไม่มีใครเผยแพร่ตัวเลขออกมา ซึ่งหมายความว่าการคำนวณหน่วยความจำที่ทำให้มันพอดีได้นั้นเป็นแค่ครึ่งที่ง่าย ส่วนคำถามเรื่องขีดความสามารถยังเปิดกว้างทั้งหมด

ความไม่สมมาตรนั้นคือฉบับที่ตรงไปตรงมาของการเปรียบเทียบครั้งนี้ Bolt บอกราคาของมันกับคุณ ส่วน Qwen3.8-27B กลับทำให้คุณต้องจ่ายในราคาที่คุณต้องประเมินเอาเอง

คณะกรรมการอิสระ และสิ่งที่คณะกรรมการชุดนี้ครอบคลุมและไม่ครอบคลุม

Artificial Analysis วัด Qwen3.8-27B ที่ระดับโมเดลเต็มรูปแบบในการตั้งค่าการให้เหตุผลสูงสุด: ดัชนี Intelligence Index อยู่ที่ 34เป็นอันดับ 1 จาก 141 โมเดลในกลุ่ม; ประมาณ 41 โทเค็นเอาต์พุตต่อวินาที ซึ่งจัดอันดับที่ 51 จาก 63; และค่าใช้จ่าย $0.50 ต่อล้านโทเค็นอินพุต และ $3.00 ต่อล้านโทเค็นเอาต์พุตบนส่วนผสมของผู้ให้บริการที่ติดตาม ซึ่งระบุว่ามีราคาแพงเป็นพิเศษสำหรับโมเดลน้ำหนักเปิดขนาดนั้น นอกจากนี้ยังสังเกตว่าโมเดลนี้ช่างพูดมาก โดยสร้าง 200 ล้านโทเค็นระหว่างการรันดัชนี

คณะกรรมการชุดเดียวกันให้คะแนน Bolt ที่ดัชนี Intelligence Index 21 ซึ่งอยู่ในอันดับที่สี่จาก 67 โมเดลในระดับเดียวกัน โดยทั้งความเร็วและค่าใช้จ่ายไม่สามารถระบุได้ เนื่องจากไม่มี API สาธารณะใดให้บริการมัน ส่วนต่าง 13 คะแนนถือเป็นช่องว่างที่กว้าง และถูกวัดด้วยวิธีเดียวกันสำหรับทั้งคู่ ซึ่งทำให้มันเป็นข้อความเดี่ยวที่น่าเชื่อถือที่สุดในบทความนี้ นอกจากนี้ยังมีข้อควรระวังที่สำคัญกว่าที่ฟังดู: สรุปการเปรียบเทียบของคณะกรรมการเองเรียก Qwen3.8-27B ว่าช้าอย่างเห็นได้ชัดและละเอียดมากเกินไป ดังนั้นโมเดลที่ชนะด้านความฉลาดคือโมเดลที่คุณต้องรอนานขึ้น

ในเรื่องมอดาลิตี ทั้งสองหน้านี้ขัดแย้งกันในลักษณะที่น่าสังเกต เพราะแผงสเปกไม่เหมือนกับหน้าสินค้า การ์ดผู้ขายของ Qwen ระบุว่ามีความเข้าใจภาพและวิดีโอแบบเนทีฟ ขณะที่แผงวิเคราะห์แสดงข้อความ ภาพ และวิดีโอเป็นอินพุตสำหรับ Qwen3.8-27B ในบางมุมมอง และแสดงข้อความกับภาพสำหรับ Bolt ทั้งสองโมเดลมองเห็น ไม่มีโมเดลใดมองเห็นเหมือนกันทุกประการ และความแตกต่างในการที่บุคคลที่สามอธิบายทั้งสองโมเดลนี้เป็นเครื่องเตือนใจให้ตรวจสอบข้อกล่าวอ้างเกี่ยวกับมอดาลิตีกับโมเดลการ์ด แทนที่จะดูแถวสรุป

A screenshot of the Artificial Analysis model page for Qwen3.8 27B in its xhigh reasoning configuration, showing the Alibaba attribution, an open-weights label, a release date of August 2026, an Intelligence Index score of 34 with a rank of first of 141 models, a speed rank of 51st of 63 at 41.4 output tokens per second, an input price of 0.50 dollars and output price of 3.00 dollars per million tokens with an 80 percent cache discount, a verbosity figure of 200 million output tokens, a 256 thousand token context window, and text image and video input.

ตารางผู้ขายในฝั่งของ Qwen

Alibaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by Alibaba, in most cases inside the Claude Code harness, at a 256,000-token context. Wait — I need to actually translate. Let me output the Thai translation. โมเดลการ์ดของ Aibaba นั้นยาว และแถวข้อมูลด้านเอเจนติกของมันคือเหตุผลที่โมเดลนี้น่าสนใจเมื่อวางเทียบกับ Bolt เลยทีเดียว Terminal Bench 2.1 อยู่ที่ 73.0, SWE-bench Pro ที่ 61.7, GPQA Diamond ที่ 89.2, HLE ที่ 30.8, LiveCodeBench v6 ที่ 90.3, OSWorld-Verified ที่ 84.3 และ AndroidWorld ที่ 81.9 — ทั้งหมดประเมินโดย Aibaba โดยส่วนใหญ่ทำภายในฮาร์นเนสของ Claude Code ที่บริบท 256,000 โทเคน

ตัวเลขเหล่านั้นไม่สามารถเปรียบเทียบกับตารางของ Bolt ได้ ฮาร์เนสที่แตกต่างกัน วันที่ประเมินที่แตกต่างกัน การเลือก baseline ที่แตกต่างกัน และในกรณีของ Bolt กลุ่ม baseline ที่ถูกเลือกบางส่วนเพื่อให้พอดีกับ 24GB ที่ 4-bit ข้อความที่ซื่อสัตย์เพียงอย่างเดียวคือ คะแนนเอเจนต์ที่เผยแพร่ของ Qwen3.8-27B สูงกว่าคะแนนเอเจนต์ที่เผยแพร่ของ Bolt ตัวเลขทั้งสองชุดมาจากห้องแล็บที่สร้างโมเดลเหล่านี้ และไม่มีห้องแล็บใดได้รันชุดทดสอบ benchmark ของอีกฝ่าย

ตัวเลขของ Qwen ตัวหนึ่งน่าสังเกตด้วยเหตุผลที่ต่างออกไป การ์ดของมันเองยอมรับ GPQA Diamond ที่ 89.2 ขณะที่การ์ดของ Bolt อ้าง 86.43 — ใกล้กันพอที่ความต่างของฮาร์เนสจะทำให้ตัวใดตัวหนึ่งแซงอีกตัวได้ นั่นคือระดับที่ตารางของผู้ขายใช้ตัดสินข้อโต้แย้ง แต่มันไม่ใช่ระดับที่คุณควรใช้ตัดสินสักเรื่อง

การเช่าสักเครื่อง และความหน่วงที่คุณต้องรับมาด้วย

Bolt ไม่มี endpoint ไม่มีอัตราให้อ้างอิง ไม่มีผู้ให้บริการใดรองรับ และไม่มีทางประเมินบนทราฟฟิกของคุณเองได้เลยหากไม่ทำตามสูตรการติดตั้งของ NVIDIA ให้ครบ — คอนเทนเนอร์ vLLM nightly ที่ปักหมุดเวอร์ชันไว้ แพ็กเกจเคอร์เนลที่ดึงมาตอนรันไทม์ ปลั๊กอิน reasoning parser แบ็กเอนด์ b12x แคช KV แบบ fp8 และความ Concurrent ที่ให้บริการได้เพียงหนึ่งซีเควนซ์

Qwen3.8-27B สามารถดาวน์โหลดได้และเรียกใช้งานได้ และการผสมผสานนี้เองคือเหตุผลที่ทำให้การจับคู่นี้มีคำตอบที่นำไปใช้ได้จริง เรามีบริการ qwen/qwen3.8-27bบนโครงสร้างพื้นฐานของเราเองในราคา $0.33 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น และ $2.40 ต่อโทเค็นเอาต์พุตหนึ่งล้านโทเค็น รายการในแค็ตตาล็อกระบุบริบทขนาด 262,144 โทเค็น พร้อมรองรับอินพุตข้อความ รูปภาพ และวิดีโอ และการเผยแพร่ในอัตราดังกล่าวเป็นไปได้ในฝั่งของเราเพราะ OrcaRouter ส่งผ่านราคาตามรายการของผู้ให้บริการโดย ไม่มีการบวกเพิ่ม — หากผู้ขายลดราคา การเปลี่ยนแปลงจะมีผลที่นี่ภายในวันเดียวกัน ไม่ใช่รอถึงรอบบิลถัดไป

อย่างไรก็ตาม ความหน่วงนั้นสมควรได้รับการรายงานอย่างตรงไปตรงมา มากกว่าการกล่าวชมเกินจริง ตลอดเจ็ดวันที่สิ้นสุดวันที่ 16 ตุลาคม 2569 ปลายทางของเราเองสำหรับโมเดลนี้รายงานเวลา p50 ถึงโทเคนแรกที่ 10.00 วินาที และ p95 ที่ 10.00 วินาที ความเร็วเอาต์พุต 515 โทเคนต่อวินาที และอัตราข้อผิดพลาด 2.1% อนุกรมรายวันอธิบายค่าสรุปรวม: 1.42 วินาทีเมื่อวันที่ 10 ตุลาคม, 1.65 เมื่อวันที่ 11, 2.83 เมื่อวันที่ 12, จากนั้น 10.00 เมื่อวันที่ 13 และ 15, 1.91 เมื่อวันที่ 14 สองในหกวันแตะเพดานของหน้าต่างการวัดของเรา และสามวันไม่ได้แตะ

นั่นไม่ใช่ตัวเลขที่ดูดี และมันคือตัวเลขนั้นเอง มันยังเป็นเหตุผลรูปธรรมที่ การสลับไปใช้ระบบสำรองอัตโนมัติมีอยู่ในฐานะฟีเจอร์การกำหนดเส้นทางมากกว่าคำขวัญ: การรอโทเคนแรกที่วันจันทร์ดูปกติดี แต่พอถึงวันพุธกลายเป็นสิบวินาที คือโหมดความล้มเหลวที่ห่วงโซ่สำรองถูกสร้างมาเพื่อรองรับพอดี และ routing DSL มีอยู่เพื่อให้ "ลองโมเดลนี้ แล้วสลับไปใช้โมเดลนั้นถ้ามันแย่ลง" เป็นการตั้งค่า ไม่ใช่โค้ดแอปพลิเคชัน โมเดลที่คุณเป็นเจ้าของ — Bolt หรือ Qwen ที่เป็นบิลด์ในเครื่อง — ไม่มีปัญหานั้นและไม่มีทางเลือกนั้น มันเร็วเท่าที่ GPU ของคุณเร็ว ทุกวัน โดยไม่มีบุคคลที่สามอยู่ในเส้นทาง และไม่มีโมเดลที่สองให้เอื้อมไปหยิบเมื่อมันหยุดชะงัก

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs Qwen3.8-27B. The left column reads total and active parameters 74 billion and 9 billion, architecture sparse mixture-of-experts, published download 23.75 gigabytes including the vision projector, quantisation performed by the vendor with quantisation-aware distillation, accuracy cost published as a two to five point drop across thirteen benchmarks, independent Intelligence Index 21, context 262,144 tokens, and availability with no hosted endpoint. The right column reads total and active parameters 27 billion dense with all parameters active, architecture dense with gated linear attention blocks, published download about 56 gigabytes at 16 bits or 16.46 gigabytes in a third-party four-bit build, quantisation performed by third parties with no published accuracy evaluation, accuracy cost unmeasured, independent Intelligence Index 34 in the xhigh configuration, context 262,144 native and up to 1,000,000 extensible, and availability on the OrcaRouter endpoint at 0.33 and 2.40 dollars per million tokens with a ten second p50 time to first token over the last seven days. A footer distinguishes the two independently measured Intelligence Index figures from every vendor benchmark row, and states that the hosted price and latency are our own measurements.

วิธีที่เรื่องนี้จะคลี่คลายจริง ๆ

ไม่มีผู้ชนะให้มอบ เพราะโมเดลทั้งสองไม่ได้ชิงตำแหน่งเดียวกัน

หากข้อจำกัดของคุณคือเครื่องที่ไม่มีเครือข่าย หรือเป็นงานที่ไม่สามารถออกจากอุปกรณ์ได้ Bolt คือคำตอบ และต้นทุนการบีบอัดที่เผยแพร่ไว้คือราคาที่ต้องจ่ายเพื่อเข้าใช้งาน ไม่มีอะไรเกี่ยวกับ Qwen3.8-27B ที่เปลี่ยนสิ่งนั้น เพราะคุณไม่สามารถดาวน์โหลดเพื่อให้ได้การติดตั้งใช้งานขนาด 24GB ที่ NVIDIA ยังไม่ได้สร้างและจัดทำเอกสารไว้แล้ว คุณทำได้เพียงประมาณมันด้วยบิลด์แบบ 4 บิตที่คุณภาพยังไม่ได้ถูกวัด และ vision projector ของมันที่คุณจะต้องจัดหามาแยกต่างหาก

หากข้อจำกัดของคุณคือความสามารถต่อค่าใช้จ่าย และเครือข่ายพร้อมใช้งาน Qwen3.8-27B นำอยู่ 13 คะแนนบนดัชนีเดียวที่วัดทั้งสองสิ่ง ในอัตราที่เผยแพร่ ภายใต้ใบอนุญาตที่ทีมกฎหมายของคุณเคยเห็นมาก่อน บิลด์โลคัลแบบ 4 บิตเป็นเส้นทางที่สามที่สมเหตุสมผล และเป็นเส้นทางที่คุณควรคาดว่าจะต้องประเมินด้วยตัวเอง แทนที่จะรับตารางของคนอื่นมาใช้

ส่วนที่ทั้งสองโมเดลปล่อยให้คุณตัดสินใจนั้นเหมือนกัน: ไม่มีตัวไหนมีเบนช์มาร์กอิสระเมื่อเทียบกับอีกตัว ห้องแล็บทั้งสองไม่ได้วัดโมเดลของอีกฝ่าย และความเห็นในวันแรกที่แพร่กระจายเกี่ยวกับพวกมันคือการอ่านการ์ดสเปกของผู้ขาย ดาวน์โหลดทั้งสองตัว รันงานของคุณเอง แล้วเก็บตัวที่ทำงานเสร็จ นั่นคือผลลัพธ์เดียวในการเปรียบเทียบนี้ที่จะไม่ถูกเผยแพร่โดยหนึ่งในสองแล็บที่สร้างพวกมันขึ้นมา

A screenshot of the Hugging Face model card for Qwen3.8-27B showing the repository header, the note that the weights are provided in the Hugging Face Transformers format and are compatible with vLLM SGLang and TokenSpeed, the model overview listing 27 billion parameters, 64 layers, a 262,144 token native context length extensible to 1,000,000 tokens, and multi-token prediction trained across multiple steps, and the opening of the benchmark section covering coding and agentic evaluations.

สิ่งที่ตัวเลขบอกคุณไม่ได้คือว่ามีสิ่งใดผิดพลาดไปในการใช้งานจริงหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้เกี่ยวกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง

Nemotron 3.5 Bolt 24GB กับ Qwen3.8-27B: ทั้งคู่พอดีใน 24GB — มีเพียงตัวเดียวที่บอกคุณว่ามันต้องแลกมาด้วยอะไร

แต่ละโมเดลจริงๆ แล้วคืออะไร

การบีบอัดสองครั้ง ซึ่งหนึ่งในนั้นได้รับการบันทึกไว้

คณะกรรมการอิสระ และสิ่งที่คณะกรรมการชุดนี้ครอบคลุมและไม่ครอบคลุม

ตารางผู้ขายในฝั่งของ Qwen

การเช่าสักเครื่อง และความหน่วงที่คุณต้องรับมาด้วย

วิธีที่เรื่องนี้จะคลี่คลายจริง ๆ

ผลิตภัณฑ์

ทรัพยากร

สำหรับผู้ให้บริการ

เข้าร่วมคอมมูนิตี้ของเรา

จากบล็อก

ผู้ให้บริการโมเดล