การ์ดชื่อเรื่องสำหรับ Nemotron 3.5 Transcribe เทียบกับ Nemotron 3.5 Transcribe 30B พร้อมตัวเลขสี่ตัว: คำต่อท้ายชื่อรีโป 30B-A4B, รวม 34B จากการ์ดโมเดล, ใช้งานจริง 4.3B รวม encoder และ 19.7GB เป็นควอนต์จากคอมมูนิตี้ที่เล็กที่สุดที่พอดีกับการ์ด 24GB
Engineering & Research

Nemotron 3.5 Transcribe กับ Nemotron 3.5 Transcribe 30B: สองชื่อ หนึ่งเช็กพอยต์ สี่ไฟล์

ผู้เขียน

Magnus Corvin

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

หากแคตตาล็อก เว็บไซต์เปรียบเทียบ หรือใบบันทึกการจัดซื้อของคุณเองระบุ Nemotron 3.5 Transcribe และ Nemotron 3.5 Transcribe 30B เป็นสองรายการ แสดงว่ากำลังระบุรุ่นเดียวกันซ้ำสองครั้ง Repository ที่เผยแพร่คือ NVIDIA-Nemotron-3.5-Transcribe-30B-A4B การ์ดของ NVIDIA ระบุจำนวนพารามิเตอร์ทั้งหมดเป็น 34B และจำนวนที่ใช้งานจริงประมาณ 4.3B และชื่อแบบเรียบในพาดหัวทุกแห่งคืออาร์ติแฟกต์เดียวกันที่ตัดขนาดออกไป ไม่มีรุ่น 30B แยกต่างหากให้เปรียบเทียบ ทำให้สิ่งนี้ไม่ใช่การเทียบกันแบบซึ่งหน้าเท่าไรนัก แต่เป็นปัญหาการตั้งชื่อที่มีการตัดสินใจเรื่องการปรับใช้งานซ่อนอยู่ข้างใน

แต่การตัดสินใจนั้นเป็นเรื่องจริง และนั่นคือเหตุผลที่ชื่อทั้งสองปรากฏคู่กันอยู่เสมอ ชื่อหนึ่งคือสิ่งที่คุณค้นหาและสิ่งที่แคตตาล็อกโมเดลหรือรายการ api อาจแสดงไว้ อีกชื่อคือสิ่งที่คุณดาวน์โหลด ในระดับความแม่นยำ (precision) หนึ่งในสี่แบบ และขนาดหน่วยความจำหนึ่งในสี่แบบ และการเลือกระหว่างไฟล์เหล่านั้นคือการเปรียบเทียบเพียงอย่างเดียวที่โมเดลนี้ขอให้คุณทำจริง ๆ สิ่งที่ตามมาคือการกระทบยอด: 30B นับรวมอะไรบ้าง ทำไมการ์ดจึงระบุ 34B และไฟล์ใดเหมาะกับ GPU ที่คุณมี ไม่ใช่ GPU ที่หน้าเปิดตัวสันนิษฐานไว้

ชื่อที่ขัดแย้งกับตัวเอง

มีตัวเลขสองตัวที่ถูกเผยแพร่อยู่ในขณะนี้ และทั้งสองตัวก็เป็นทางการ ชื่อรีพอซิทอรีลงท้ายด้วย 30B-A4B ตามธรรมเนียมที่ NVIDIA ใช้กับไลน์ mixture-of-experts ของตน กล่าวคือ จำนวนพารามิเตอร์ทั้งหมดขึ้นก่อน จำนวนพารามิเตอร์ที่ใช้งานจริงขึ้นหลัง การ์ดโมเดลซึ่งอยู่ในหน้าเดียวกันระบุว่า 34B ทั้งหมด และใช้งานจริงประมาณ 4.3B โดยระบุอย่างชัดเจนว่ารวมตัวเข้ารหัสเสียงไว้ด้วย หน้างานวิจัยย้ำชื่อ 30B-A4B ในหัวข้อ และย้ำตัวเลข 4.3B ที่ใช้งานจริงในเนื้อหา

การ์ดนี้ยังระบุชื่อชิ้นส่วนต่าง ๆ ด้วย ซึ่งเป็นจุดที่การคำนวณเริ่มมีความสำคัญ แกนหลักทางภาษาคือ Nemotron 3.5 Lightning 30B-A3B ซึ่งเป็น MoE แบบลูกผสมระหว่าง Mamba-2 และ Transformer ที่มีพารามิเตอร์ที่ใช้งานจริง 3.5B ตัวเข้ารหัสเสียงแบบร่วม — อันประกอบด้วยตัวเข้ารหัส ASR แบบ Transformer บวกกับตัวเข้ารหัสผู้พูด — มีขนาดประมาณ 800M เมื่อนำมารวมกันจะได้ราว 30.8B ไม่ใช่ 34B อาจเป็นได้ว่าตัวเลข 34B นับรวมบางสิ่งที่น NVIDIA ยังไม่ได้แจกแจงไว้ หรือไม่ก็ 30B ในชื่อรีโพซิทอรีเป็นเพียงป้ายแบบปัดเศษสำหรับแกนหลักที่มีขนาดใหญ่กว่าชื่อของมันในความเป็นจริง NVIDIA ยังไม่ได้เผยแพร่คำชี้แจงถึงความสอดคล้องดังกล่าว และยังไม่มีการตรวจสอบพารามิเตอร์โดยบุคคลที่สามของเช็กพอยต์ทั้งหมดแต่อย่างใด

ความหมายของเรื่องนี้ต่อผู้ซื้อนั้นแคบกว่าที่ฟังดู ระบบจะเป็น 31B หรือ 34B ก็ไม่ได้เปลี่ยนว่ามันใส่การ์ดใบไหนได้ เพราะขนาดไฟล์ถูกกำหนดโดยระดับความละเอียด (precision) มากกว่าจำนวนพารามิเตอร์สามพันล้านตัวท้าย ๆ อยู่มาก แต่ก็หมายความว่าเอกสารสเปกใดก็ตามที่ระบุว่า "30B" และเอกสารใดที่ระบุว่า "34B" ต่างก็กำลังอธิบายไฟล์ดาวน์โหลดเดียวกัน และการเปรียบเทียบเพื่อการจัดซื้อที่สร้างขึ้นจากความแตกต่างนี้ ก็คือการเปรียบเทียบข้อตกลงการปัดเศษนั่นเอง

Hugging Face model page header for NVIDIA-Nemotron-3.5-Transcribe-30B-A4B showing the repository id, tags for 40 languages and speaker-diarization, and the OpenMDW-1.1 licence badge

อันที่จริงแล้วส่วนต่อท้าย 30B กำลังนับอะไรอยู่

คำต่อท้ายหมายถึงโมเดลภาษา ไม่ใช่ตัวถอดเสียง Nemotron 3.5 Transcribe เป็น LLM ที่เสริมความสามารถด้านเสียงพูด: เสียงจะผ่าน Transformer encoder, โมเดล Nemotron 3 Diarization ที่ถูกแช่แข็งจะส่ง representation ของผู้พูดผ่านสิ่งที่ NVIDIA เรียกว่า parallel expert encoder และ hybrid MoE decoder จะสร้างบทถอดเสียง ป้าย 30B เป็นของ decoder และสแต็ก embedding ของมัน เส้นทางเสียง — encoder, diarizer, CTC timestamp head — ทำงานอยู่ด้านบนและไม่ใช่สิ่งที่ชื่อผลิตภัณฑ์สื่อถึง

นั่นคือเหตุผลว่าทำไมโมเดลนี้จึงมีพฤติกรรมเหมือน LLM ในแบบที่ระบบ ASR แบบดั้งเดิมไม่มี มันรับพรอมต์ได้ มันตอบคำถามเกี่ยวกับเสียงได้ มันแปลข้าม 31 คู่ภาษา ทั้งไปและกลับจากภาษาอังกฤษภายในรอบเดียว มันมีบริบทขนาด 65,536 โทเคน ทำให้เสียงพูดหนึ่งชั่วโมงพอดีโดยไม่ต้องแบ่งเป็นก้อน สิ่งเหล่านี้ไม่ได้มาจากการที่ตัวถอดรหัสขนาด 30B มีขนาดใหญ่ แต่มาจากการที่ตัวถอดรหัสเป็นโมเดลภาษาทั่วไปต่างหาก โดยมีการฉายเสียงพูดเข้าไปในปริภูมิอินพุตของมัน

นอกจากนี้ยังอธิบายถึงการไม่มีอยู่ซึ่งทุกคนยังคงตามหาอยู่ด้วย ไม่มีรุ่นพี่น้องที่มีเพียง 30B ไม่มี Transcribe แบบ dense ที่เล็กกว่า และไม่มีรุ่นที่ใหญ่กว่า รีโพซิทอรีบรรจุความละเอียดเชิงตัวเลข (precision) ของโมเดลเดียว ไม่ใช่ครอบครัวของโมเดล ขนาดอื่น ๆ เท่าที่มีหมุนเวียนอยู่มีเพียงควอนไทเซชันที่ชุมชนสร้างขึ้น และตัวรู้จำแบบสตรีมมิงที่เล็กกว่าจริง ๆ หนึ่งตัว — Nemotron Speech Streaming EN 0.6B — ซึ่งเป็นโมเดลคนละตัวที่ครอบคลุมเฉพาะภาษาอังกฤษและไม่มีการแยกผู้พูด (diarisation) ไม่ใช่เวอร์ชันย่อของโมเดลนี้

สี่ไฟล์ที่อยู่เบื้องหลังชื่อนี้ และแต่ละไฟล์ใช้หน่วยความจำเท่าไร

นี่คือการเปรียบเทียบที่ชื่อทั้งสองนี้ชี้ไปจริง ๆ NVIDIA เผยแพร่ความแม่นยำเชิงตัวเลขสามระดับ และคอมมูนิตี้ได้เพิ่มรูปแบบการส่งมอบอีกรูปแบบหนึ่งเป็นลำดับที่สี่ ตัวเลขหน่วยความจำด้านล่างนี้มาจากเช็กพอยต์ที่เผยแพร่และรีโพซิทอรีของคอมมูนิตี้ ไม่ได้มาจากตารางของผู้จำหน่ายรายเดียว

• BF16 — เช็กพอยต์อ้างอิง มีขนาดประมาณ 67-68GB บนดิสก์ ให้บริการบน H100 80GB เครื่องเดียว นี่คือเวอร์ชันที่ใช้สร้างตัวเลข benchmark ที่เผยแพร่ และเป็นเวอร์ชันที่ควรใช้เมื่อคุณต้องการทำซ้ำตัวเลขเหล่านั้น

• FP8 — ประมาณ 35GB ซึ่งทำให้ระดับขั้นต่ำเลื่อนไปที่การ์ด 48GB เช่น L40S การสูญเสียความแม่นยำเมื่อเทียบกับ BF16 นั้นน้อยหากมองตามกรอบของ NVIDIA เอง แต่ก็เป็นกรอบของ NVIDIA เอง ยังไม่มีการเผยแพร่การประเมิน FP8 ที่เป็นอิสระ

• NVFP4 — ประมาณ 21GB เล็กพอสำหรับ RTX 5090 ขนาด 32GB หรือ RTX PRO 6000 นี่คือความแม่นยำที่อยู่เบื้องหลังตัวเลข吞吐量 (throughput) แบบพาดหัวของ NVIDIA ที่ 2,238 วินาทีของเสียงต่อวินาที บน RTX PRO 6000 เครื่องเดียวเมื่อแนบโมเดลร่าง DFlash2 ไว้ด้วย

• GGUF — ตัวถอดรหัสจากคอมมิวนิตี้สี่ตัวระหว่าง 19.7GB ถึง 35GB พร้อมไฟล์ตัวเข้ารหัส F16 ขนาด 1.67GB ที่จำเป็น บิลด์ IQ4_NL ขนาด 19.7GB เป็นบิลด์ที่มุ่งเป้าไปที่การ์ด 24GB, การอนุมานบน CPU, Metal และ Vulkan; บิลด์ NVFP4 ขนาด 19.7GB มุ่งเป้าไปที่ Blackwell; Q5 อยู่ที่ประมาณ 29GB และ Q8 ประมาณ 35GB ดราฟเตอร์ DFlash2 ขนาด 1.15GB ที่เป็นทางเลือกจะเพิ่มการถอดรหัสแบบคาดการณ์บนเส้นทาง CUDA

• MLX — พอร์ต 4-bit ถึง 8-bit จากคอมมิวนิตี้ ขนาดระหว่างประมาณ 19GB ถึง 35GB สำหรับ Apple silicon โดยผู้เขียนท่านหนึ่งรายงานว่าทำได้ประมาณ 154 โทเค็นต่อวินาทีบนบิลด์ 4-bit เหมาะสำหรับการประเมินบน Mac ไม่ใช่เส้นทางการให้บริการในโปรดักชัน

Single-column card listing the five Nemotron 3.5 Transcribe delivery formats against memory footprint and hardware: BF16 about 68GB on an H100 80GB, FP8 about 35GB on a 48GB card, NVFP4 about 21GB on an RTX 5090, GGUF IQ4_NL at 19.7GB plus a 1.67GB encoder on a 24GB card, and MLX between 19GB and 35GB on Apple silicon

อะไรทำให้它們ทำงาน และข้อผิดพลาดระหว่างรันหนึ่งอย่างที่ผู้คนมักทำ

ไฟล์ GGUF คือกับดัก ไฟล์ที่ลงท้ายด้วย .gguf ไม่ได้หมายความว่าใช้กับ llama.cpp, Ollama หรือ LM Studio ได้ และทั้งสามตัวนั้นก็ไม่ได้รันโมเดลนี้: โมเดลนี้ต้องใช้รันไทม์ speech-LLM ที่ต่อ audio encoder ไว้ด้วย เส้นทางการใช้งานที่ได้ผล ณ ตอนเปิดตัวนั้นแคบกว่าที่รายการรูปแบบบ่งชี้ไว้

• vLLM 0.32.0 — เส้นทางหลักและเป็นเส้นทางเดียวที่เปิดเผยขอบเขตเอาต์พุตแบบเต็ม รวมถึงการประทับเวลาระดับคำผ่าน V1 runner และ timestamp middleware เอาต์พุตที่ระบุผู้พูดและการแปลอยู่ในส่วนนี้

• SGLang-Omni 0.2.0 บน SGLang 0.5.22 — การถอดข้อความทั้งไฟล์ผ่านเอนด์พอยต์เสียงที่เข้ากันได้กับ OpenAI โดยไม่มีเวลาประทับระดับคำ การระบุผู้พูด การแปล หรือ speculative decoding

• NeMo Speech — ชุดเครื่องมือสำหรับ fine-tuning โดย NVIDIA ระบุว่าใช้เวลา 0.5 ถึง 2.3 ชั่วโมง GPU ต่อหนึ่งงานบน GPU เดียว สูตร LoRA ที่เผยแพร่สามารถรันได้บนการ์ดเพียงใบเดียว

• NeMo-Speech.cpp และ speech.cpp — เส้นทาง C++ ที่ผู้สร้าง GGUF มุ่งเป้าไว้ และเป็นเส้นทางเดียวที่โหลดควอนต์เหล่านั้นได้ ทั้งไฟล์ 19.7GB และ 35GB ข้างต้นถูกแจกจ่ายมาเพื่อมัน และ README ของรีโพซิทอรีคือแหล่งข้อมูลที่ตรงไปตรงมาว่าอะไรเหมาะกับที่ไหน

• Transformers — ใช้ในโปรเซสจากการติดตั้งจากซอร์ส เหมาะสำหรับการประเมินผล ไม่เหมาะสำหรับทรูพุต

ความผิดพลาดคือการดาวน์โหลด quant ที่เล็กที่สุด ชี้ llama.cpp ไปที่มัน แล้วสรุปว่าโมเดลเสีย มันไม่ได้เสีย — มันคือ speech LLM ที่มี encoder ซึ่ง runtime สำหรับข้อความไม่รู้จักเลย หาก runtime ไม่ได้ระบุ Nemotron 3.5 Transcribe ไว้ในสถาปัตยกรรมที่รองรับ ไฟล์จะโหลดไม่ขึ้นไม่ว่าจะเล็กแค่ไหนก็ตาม

ไฟล์แต่ละไฟล์อยู่ตรงไหน อธิบายแบบง่าย ๆ

ให้คิดย้อนกลับจากฮาร์ดแวร์ แทนที่จะคิดไปข้างหน้าจากการ์ดโมเดล ค่าพื้นฐานที่การ์ดระบุไว้ — H100 80GB หนึ่งตัวที่ BF16 — คือเส้นทางที่ให้ความเที่ยงตรงสูงสุด ไม่ใช่เส้นทางขั้นต่ำ

• การ์ด 24GB ระดับ RTX 4090 หรือ L4 — ไฟล์ IQ4_NL GGUF ขนาด 19.7GB พร้อมเอนโคเดอร์ 1.67GB เผื่อพื้นที่เหลือสำหรับ KV cache และบัฟเฟอร์เสียง; 24GB แน่นแต่มีเอกสารยืนยันว่าใช้งานได้

• การ์ด 32GB, RTX 5090 หรือ RTX PRO 6000 — เช็กพอยต์ NVFP4 ขนาด 21GB ซึ่งเป็นคอนฟิกูเรชันที่คำกล่าวอ้างเรื่องทรูพุตของ NVIDIA อธิบายไว้ พร้อมดราฟเตอร์ DFlash2 หากต้องการการถอดรหัสแบบ speculative

• การ์ด 48GB, L40S หรือ A6000 — เช็กพอยต์ FP8 ขนาด 35GB ซึ่งเป็นทางประนีประนอมที่พอรับได้ที่สุดระหว่างความเที่ยงตรงและต้นทุน

• ตัวเร่งความเร็ว 80GB, H100 หรือ A100 — BF16 ซึ่งเป็นการกำหนดค่าอ้างอิง และเป็นเพียงตัวเดียวที่สร้างตาราง WER ที่เผยแพร่ได้เหมือนเดิมโดยไม่มีข้อแม้ด้านความแม่นยำ

• ไม่มี GPU เลย — ไม่มีไฟล์ใดในกลุ่มนี้เลย ตัวเข้ารหัสทำงานบน CPU ในเส้นทาง C++ แต่เสียงหนึ่งชั่วโมงบนตัวถอดรหัส 30B-A3B โดยไม่มีการเร่งความเร็วจะเป็นงานแบบแบตช์ที่ใช้เวลาหลายชั่วโมง ไม่ใช่บริการ

มีข้อจำกัดหนึ่งที่ยังคงอยู่ไม่ว่าจะใช้ความแม่นยำระดับใด: อินพุตเป็น PCM โมโน 16kHz และเพดานคือเสียงหนึ่งชั่วโมงต่อคำขอ การลดอัตราตัวอย่างและการเลือกช่องสัญญาณเกิดขึ้นก่อนที่โมเดลจะเห็นข้อมูลใด ๆ และการบันทึกเสียงห้องประชุมแบบสเตอริโอจะถูกผสมเป็นโมโน เว้นแต่คุณจะแยกช่องสัญญาณด้วยตัวเอง นี่เป็นการตัดสินใจในขั้นตอนก่อนการประมวลผล ไม่ใช่การตัดสินใจเลือกเช็กพอยต์ และการตัดสินใจผิดตรงจุดนี้ทำให้คุณภาพการถอดเสียงแย่ลงมากกว่าขั้นตอน BF16-to-FP8

Card breaking down the parameter name: a 30B decoder from the Nemotron 3.5 Lightning 30B-A3B backbone plus a 0.8B joint audio encoder equals 30.8B, against the 34B stated on the model card, leaving 3.2B unaccounted for

การตรวจสอบที่ต้องดำเนินการเมื่อรายการแสดงชื่อทั้งสอง

เนื่องจากสถานการณ์ชื่อซ้ำเป็นเรื่องจริงและจะเกิดขึ้นซ้ำในแคตตาล็อกและหน้าสรุปเปรียบเทียบ การมีขั้นตอนการตรวจสอบสั้น ๆ จึงมีค่ามากกว่าคำอธิบายอีกหนึ่งย่อหน้า

• Repository id — อาร์ติแฟกต์ทางการเพียงอย่างเดียวคือ NVIDIA-Nemotron-3.5-Transcribe-30B-A4B แถวที่ชื่อ Nemotron 3.5 Transcribe 30B ซึ่งมี repo id ต่างออกไปจะเป็นการควอนไทซ์หรือเป็นโมเดลอื่นโดยสิ้นเชิง

• สตริงสัญญาอนุญาต — OpenMDW-1.1 บนรุ่นเผยแพร่อย่างเป็นทางการ อนุญาตให้ใช้เชิงพาณิชย์ได้ รายการที่ระบุว่าใช้เพื่อการวิจัยเท่านั้นหรือไม่ใช่เชิงพาณิชย์กำลังอธิบายถึงสิ่งอื่น

• บริบทและหน้าต่างเสียง — 65,536 โทเค็นและหนึ่งชั่วโมง รายการที่ระบุหน้าต่างที่ยาวกว่านั้นผิด หรือกำลังอธิบายเช็กพอยต์อื่น

ข้อกล่าวอ้างเรื่องพารามิเตอร์ — 30B-A4B ในชื่อ, 34B ใน model card, 4.3B active ในทั้งสองแห่ง รายการหนึ่งที่ระบุว่าโดยรวม 4B ได้สับสนจำนวน active กับจำนวนรวม ซึ่งเป็นการระบุโมเดลนี้ที่พบบ่อยที่สุดบนเว็บ

• รายการไฟล์ — BF16, FP8 และ NVFP4 จาก NVIDIA พร้อมโมเดลฉบับร่าง DFlash2 หากหน้าใดมี "Nemotron 3.5 Transcribe 30B" เป็นไฟล์เดียวที่ดาวน์โหลดได้และไม่มีระดับความแม่นยำ แสดงว่าเป็นควอนจากชุมชนที่แอบอ้างชื่อผู้จำหน่าย

คำถามเรื่อง routing ที่จริง ๆ แล้วแยกออกจากกัน

เมื่อเลือกไฟล์ได้แล้วและรันไทม์ทำงานได้แล้ว คำถามเรื่องการนำไปติดตั้งใช้งานก็จบลง และคำถามที่เก่ากว่าก็กลับมา: เกิดอะไรขึ้นกับข้อความ บทถอดเสียงเป็นวัตถุดิบสำหรับการสรุป การสกัดเอนทิตี การปกปิดข้อมูล การทำดัชนีค้นหา และการตอบคำถาม และการเรียกใช้เหล่านั้นคือทราฟฟิกของโมเดลข้อความทั่วไปซึ่งมีปัญหาของโมเดลข้อความทั่วไป — ขีดจำกัดอัตราการเรียกใช้ การขัดข้องของระบบต้นทาง โมเดลจำแนกประเภทราราคาถูกที่เพียงพอสำหรับปริมาณถึงเก้าในสิบส่วน

OrcaRouter ไม่ให้บริการ Nemotron 3.5 Transcribe และแคตาล็อกของมันก็ไม่มีรายการภายใต้ชื่อใดชื่อหนึ่งจากสองชื่อนี้ หากคุณเห็นสองแถวสำหรับโมเดลนี้ที่ใดก็ตาม การตรวจสอบรีโพซิทอรีข้างต้นคือวิธีที่เร็วที่สุดในการหาข้อสรุป สิ่งที่แพลตฟอร์มมีให้คือเลเยอร์ที่ทำงานหลังจากมีทรานสคริปต์แล้ว: คีย์แบบ OpenAI-compatible เพียงคีย์เดียวสำหรับโมเดลข้อความและวิชันกว่า 200 โมเดล ในราคาตามรายการของผู้ให้บริการโดยบวกเพิ่ม 0%, การสลับไปใช้ผู้ให้บริการสำรองโดยอัตโนมัติ, และ DSL สำหรับกำหนดเส้นทางที่ประกอบหลายโมเดลไว้ในการเรียกครั้งเดียว เพื่อให้ขั้นตอนการสกัดข้อมูลต้นทุนต่ำและขั้นตอนการตัดสินใจต้นทุนสูงทำงานผ่านปลายทางเดียวได้ GPU ทำหน้าที่ถอดเสียง ส่วนการกำหนดเส้นทางจะตัดสินว่าทรานสคริปต์นั้นมีค่าเพียงใด

คำต่อท้ายคือป้ายกำกับขนาดไฟล์ ไม่ใช่โมเดลที่สอง

วิธีที่ชัดเจนที่สุดในการจดจำชื่อทั้งสองให้แม่นคือ: Nemotron 3.5 Transcribe คือผลิตภัณฑ์, Nemotron 3.5 Transcribe 30B คือรีโพซิทอรี, และตัว 30B นับเฉพาะเดโคเดอร์ ขณะที่การ์ดโมเดลนับรวมทั้งระบบ ช่องว่างระหว่าง 30.8B กับ 34B เป็นรายละเอียดที่ยังไม่คลี่คลายซึ่ง NVIDIA ควรทำให้สอดคล้องกัน แต่ก็ไม่เปลี่ยนการตัดสินใจใด ๆ ของผู้ซื้อ เพราะการตัดสินใจขึ้นอยู่กับจำนวนกิกะไบต์และรันไทม์ที่รองรับ ไม่ใช่หลักที่สามของจำนวนพารามิเตอร์

เลือกความละเอียดที่การ์ดของคุณรองรับได้ ตรวจสอบว่า runtime แสดงสถาปัตยกรรมไว้ และถือว่ารายการใดก็ตามที่นำชื่อทั้งสองนี้มาแสดงเป็นคนละโมเดลนั้นเป็นความผิดพลาดของแคตตาล็อก ไม่ใช่ตัวเลือก ทางแยกที่แท้จริงในรีลีสนี้ — ทางที่จะสมเหตุสมผลพอสำหรับการเทียบแบบซึ่งหน้ากันจริง ๆ — คือตัวรู้จำแบบสตรีมมิ่ง 0.6B อยู่ฝั่งหนึ่ง กับตัวถอดความออฟไลน์ 30B นี้อยู่อีกฝั่งหนึ่ง การเปรียบเทียบนั้นเป็นเรื่องของ latency และขอบเขตความครอบคลุม และมันก็คุ้มค่าที่จะทำ แต่การเอาโมเดลไปเทียบกับชื่อไฟล์ของตัวมันเองนั้นไม่ใช่

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

providers@orcarouter.ai

เข้าร่วมคอมมูนิตี้ของเรา

Discordsupport@orcarouter.aiXLinkedInGitHubYouTube