Nemotron 3.5 Super บน Ollama: โมเดลวิชัน 120B ที่คุณสามารถรันได้ก่อน NVIDIA ประกาศเปิดตัว

เป็นเวลาประมาณยี่สิบชั่วโมง เส้นทางภายในเครื่องไปยัง NVIDIA Nemotron 3.5 Superมีอยู่ก่อนการประกาศว่ามันมีอยู่ Ollama ได้เผยแพร่เช็กพอยต์ไปยังไลบรารีของตนเมื่อวันที่ 14 ตุลาคม 2026 ในรีลีส v0.40.5 โดยดึงการอัปเดต llama.cpp ที่เพิ่มการรองรับ Nemotron 3.5 และพุชแท็กเก้าตัวของโมเดลภาษา-ภาพขนาด 120 พันล้านพารามิเตอร์ — ollama run nemotron-3.5-super แล้วคุณก็กำลังรันมันอยู่ โพสต์ในนิวส์รูมของ NVIDIA เองสำหรับน้ำหนักโมเดลชุดเดียวกัน ซึ่งเผยแพร่ภายใต้ชื่อที่เต็มกว่า NVIDIA Nemotron 3.5 Super VL เปิดให้ใช้งานในช่วงบ่ายของวันถัดไป วันที่ 15 ตุลาคม เวลา 15:00 UTC ตัวน้ำหนักโมเดลเองอยู่บน Hugging Face มาตั้งแต่วันที่ 12 ตุลาคม ในรีโพซิทอรีชื่อ NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 ซึ่งในฟิลด์วันที่เผยแพร่ของการ์ดโมเดลเองระบุไว้แล้วว่า 10/15/2026

ทั้งหมดนั้นไม่ใช่เรื่องอื้อฉาว มันคือรูปแบบปกติของการเปิดตัวโมเดลแบบเปิดน้ำหนักในตอนนี้: อาร์ติแฟกต์ออกมา เฟรมเวิร์กต่างๆ แข่งกันรองรับ และฝ่ายการตลาดก็ตามมาให้ทัน แต่สิ่งนี้เปลี่ยนเหตุผลที่รายการของ Ollama คุ้มค่าแก่การอ่าน สิ่งที่มาถึงในวันที่ 14 ตุลาคมไม่ใช่ประกาศผลิตภัณฑ์ที่แนบรันไทม์มาด้วย — หากเป็นรันไทม์ที่แนบผลิตภัณฑ์มาด้วย และเอกสารทั้งสองฉบับขัดแย้งกันในหลายเรื่องที่มีความสำคัญ หากคุณกำลังจะใช้พื้นที่ดิสก์ 90 GB กับมัน

v0.40.5 ส่งมอบอะไรมาแล้วจริง ๆ

บันทึกการเปิดตัวของ Ollama เจาะจงอย่างผิดปกติ ซึ่งก็สะดวกดี โดยอธิบายว่า Nemotron 3.5 Super เป็นโมเดลภาษา-ภาพสำหรับการเขียนโค้ด การให้เหตุผล การใช้เครื่องมือ และการทำความเข้าใจเอกสาร สร้างบนโครงหลังแบบไฮบริด Mamba-2/Transformer แบบ mixture-of-experts ที่มีพารามิเตอร์ทำงาน 12B ต่อโทเคน จากทั้งหมด 120B ควบคู่กับตัวเข้ารหัสภาพ C-RADIO โดยโฆษณาความสามารถในการเรียกใช้เครื่องมือ โหมดคิดเปิด/ปิด และบริบทสูงสุดถึง 1M โทเคน สองบรรทัดที่สำคัญที่สุดสำหรับใครก็ตามที่รัน Ollama อยู่แล้วถูกซ่อนอยู่ด้านล่าง: อัปเดต llama.cpp (เพิ่มการรองรับ Nemotron 3.5) และ MLX.

บรรทัดเดียวนี้คือเหตุผลทั้งหมดที่การดึงทำงานได้ Ollama ส่งเช็กพอยต์นี้ผ่านllamacppตัวรันของมันในรูปแบบ GGUF — manifest ของ registry ระบุไว้อย่างชัดเจน — ดังนั้น "Ollama รองรับ Nemotron 3.5 Super" และ "llama.cpp รองรับ Nemotron 3.5 Super" จึงเป็นประโยคเดียวกัน หากคุณใช้ Ollama เวอร์ชันใดก็ตามที่เก่ากว่า 0.40.5 คุณจะไม่ได้รับการรองรับ config blob ของโมเดลมี"requires":"0.40.5" ดังนั้นการกั้นเวอร์ชันจึงถูกบังคับใช้จริง ไม่ใช่เพียงคำแนะนำ

บันทึกการเปิดตัวเดียวกันยังระบุชื่อรุ่นพี่น้องอย่าง Nemotron 3.5 Bolt ซึ่งกลั่น Super ให้เหลือ 74B พารามิเตอร์ โดยมี 9B ที่ทำงานอยู่ และตามบันทึกระบุว่าได้รับการปรับแต่งให้พอดีกับ NVIDIA GPU ขนาด 24 GB ด้วยการถอดรหัสแบบคาดการณ์ผ่านตัวร่างที่ให้มาด้วย อันนั้นเป็นคนละการดึงและคนละระดับฮาร์ดแวร์ จงแยกมันไว้ในใจ เพราะชื่อชวนให้สับสน

สิ่งประดิษฐ์ทั้งเก้า และน้ำหนักจริงของแต่ละชิ้น

หน้าไลบรารีแสดงระดับขนาด ส่วน manifest ของ registry ที่อยู่เบื้องหลังแสดงจำนวนไบต์จริง และทั้งสองไม่ได้ปัดเศษแบบเดียวกัน ดังนั้นนี่คือตัวเลขจาก manifest เอง แทนที่จะเป็นป้ายที่ปัดเศษแล้ว:

• q4_K_M — 88,419,818,592 ไบต์ หรือ 82.3 GiB (หน้าไลบรารีแสดงเป็น 80GB–90GB) ชื่อแท็ก :latest, :120b, :120b-a12b และ :120b-a12b-q4_K_M ทั้งหมดชี้ไปที่เลเยอร์เดียวกันนี้ ดังนั้นสี่รายการจากเก้ารายการจึงเป็นอาร์ติแฟกต์เดียวที่ใช้สี่ชื่อ

• q8_0 — 131,601,243,232 ไบต์, 122.6 GiB, แสดงผลเป็น 133GB

• bf16 — 247,403,355,232 ไบต์, 230.4 GiB, แสดงเป็น 249GB นี่คือเช็กพอยต์ความแม่นยำเต็มในคราบ GGUF และเป็นแท็กเดียวตรงนี้ที่อยู่ห่างไกลจากฮาร์ดแวร์สำหรับผู้บริโภคโดยสิ้นเชิง

• MLX nvfp4 — รวมทั้งหมด 79.56 GB เล็กที่สุดในชุด และ NVFP4 เป็นรูปแบบที่การ์ดของ NVIDIA เองจัดส่งมาในฐานะ checkpoint ระดับเฟิร์สต์คลาส แทนที่จะเป็นการควอนไทซ์จากบุคคลที่สาม

• MLX mxfp8 — รวมทั้งหมด 129.60 GB ฝั่ง MLX อยู่ที่ขนาดใกล้เคียงกับ q8_0

• MLX bf16 — รวมทั้งหมด 248.92 GB ใหญ่กว่า GGUF bf16 เล็กน้อย เนื่องจาก MLX จัดเก็บเทนเซอร์ในรูปแบบที่แตกต่างออกไป

• โปรเจกเตอร์ — ทุกแท็ก โดยไม่มีข้อยกเว้น มีขนาด 1,733,696,896 ไบต์mmproj-bf16.gguf เลเยอร์สื่อ นั่นคือ 1.61 GiB ของตัวเข้ารหัสภาพที่ติดมาด้วยในทุกการดาวน์โหลด รวมถึงแท็กที่เล็กที่สุด เส้นทางภาพไม่ใช่ตัวเลือกเสริมและไม่ใช่การดึงแยกต่างหาก

สามในเก้ารายการ — รายการที่เป็น MLX — ถูกติดแท็กสำหรับ Apple silicon แทน CUDA และแต่ละรายการถูกติดป้ายเพียง "MLX" บนหน้าไลบรารี หากคุณกำลังเลือกแท็กบน Mac nvfp4 ที่ 79.56 GB คือแท็กที่พอดีกับเครื่องหน่วยความจำรวม 96 GB หรือ 128 GB โดยยังเหลือที่ว่าง และ mxfp8 ที่ 129.60 GB ไม่พอดีกับเครื่อง 128 GB เลยเมื่อคุณคำนึงถึง KV cache

หน้าไลบรารีและ manifest ไม่ตรงกันเกี่ยวกับความยาวบริบท

แท็ก GGUF ระบุหน้าต่างบริบทขนาด 1M โทเค็น ส่วนแท็ก MLX ทั้งสามแท็กไม่ระบุเลย — คอลัมน์นั้นแสดงเป็น "- context window" ในขณะที่คอลัมน์อื่นแสดงเป็น "1M" ไม่ว่าจะเป็นเส้นทาง MLX ที่ยังไม่ได้เชื่อมต่อสำหรับการกำหนดค่าบริบทแบบยาว หรือหน้าเพจนั้นไม่ได้ถูกกรอกข้อมูล แต่จากภายนอกแล้วทั้งสองกรณีนั้นแยกไม่ออก และจุดยืนที่ซื่อสัตย์คือข้ออ้างเรื่องบริบทแบบยาวได้รับการยืนยันสำหรับแท็ก GGUF และยังไม่ได้รับการยืนยันสำหรับแท็ก MLX

มีช่องว่างที่สองในทิศทางเดียวกัน ก้อนข้อมูลการตั้งค่าสำหรับแท็กดีฟอลต์ประกาศว่า "model_type":"123.6B" ในขณะที่การตั้งชื่อที่มนุษย์เห็นทุกจุดบอกว่า 120B นั่นไม่ใช่ความคลาดเคลื่อนในค่าน้ำหนัก แต่เป็นความคลาดเคลื่อนในวิธีที่จำนวนพารามิเตอร์ถูกปัดเศษระหว่างสองระบบ และเป็นสิ่งที่ควรรู้ว่าเครื่องมือหนึ่งๆ กำลังบอกตัวเลขใดกับคุณ

และประการที่สาม ซึ่งเป็นข้อที่มีแนวโน้มจะกัดเรามากที่สุด: พารามิเตอร์ blob ที่จัดส่งมาคือ {"draft_num_predict":3,"temperature":1,"top_p":0.95} ค่า sampling เหล่านั้นเป็นค่าที่การ์ดโมเดลแนะนำ — สำหรับข้อความ การ์ดแนะนำคู่อื่นสำหรับงานด้านภาพ คือ temperature 0.6 กับ top_p 0.95 ดังนั้นค่าเริ่มต้นของ Ollama จึงถูกปรับมาสำหรับครึ่งที่เป็นข้อความของโมเดลที่ Ollama โฆษณาว่าเป็นโมเดลด้านภาพ หากประสบการณ์ครั้งแรกของคุณกับมันบนแผนภูมิหรือหน้าสแกนนั้นน่าผิดหวัง นั่นคือปุ่มแรกที่ควรหมุน ก่อนที่คุณจะสรุปสิ่งใดเกี่ยวกับ checkpoint

ฟิลด์ draft_num_predict: 3นี้คุ้มค่ากับการมีบรรทัดของตัวเองหนึ่งบรรทัด มันเป็นพารามิเตอร์การถอดรหัสแบบคาดการณ์ (speculative decoding) และ manifest ไม่มีเลเยอร์โมเดลร่างแยกต่างหาก — มีเพียง GGUF ของโมเดลกับโปรเจกเตอร์เท่านั้น ดังนั้นไม่ว่าการคาดการณ์ใดที่รันไทม์กำลังทำอยู่ ก็อาศัยหัวทำนายหลายโทเคนที่มีมาในตัวของโมเดล แทนที่จะเป็นดราฟเตอร์ LiLiCorr แบบแยกส่วนที่การ์ดของ NVIDIA ระบุว่าจัดส่งมาพร้อมกับเช็กพอยต์ BF16 และ NVFP4 นั่นเป็นทางเลือกทางวิศวกรรมที่สมเหตุสมผล และยังหมายความว่าเส้นทาง Ollama ไม่ใช่การกำหนดค่าที่แน่นอนตามที่ตัวเลขทรูพุตของผู้ขายระบุ

สิ่งที่ config blob บอกคุณอย่างเงียบ ๆ

ฟิลด์ทั้งสี่ใน config ของ manifest ให้ข้อมูลมากกว่าที่ขนาดของมันบ่งบอก

• model_family: nemotron_h_moe — สตริงของ family ไม่ได้เป็นเพียง nemotron อะไรก็ตามในสแต็กของคุณที่สลับการทำงานตาม family ของโมเดลเพื่อเลือกเทมเพลตแชทหรือโทเค็นไนเซอร์ จะไม่ตรงกับคำนำหน้าแบบตรง ๆ

• ตัวเรนเดอร์: nemotron-3.5-super — เป็นตัวเรนเดอร์โดยเฉพาะ ดังนั้นเทมเพลตแชตจึงเป็นของโมเดลนี้อย่างแท้จริง ไม่ใช่ค่าเริ่มต้นที่สืบทอดมา

• พาร์เซอร์: nemotron-3-nano — และในที่นี้ พาร์เซอร์ถูกยืมมาจากคู่หูรุ่น Nano ที่เล็กกว่า รูปแบบเอาต์พุตของโหมดคิดและการเรียกใช้เครื่องมือนั้นมีเสถียรภาพเพียงพอทั่วทั้งตระกูลรุ่น จึงไม่จำเป็นต้องมีพาร์เซอร์ใหม่ นอกจากนี้ยังหมายความว่าหากคุณได้สร้างการจัดการการเรียกใช้เครื่องมือสำหรับ Nemotron 3 Nano ไว้แล้ว มันก็น่าจะใช้งานได้เหมือนเดิมที่นี่

• ประเภทไฟล์: Q4_K_M — แท็กค่าเริ่มต้นคือการควอนไทซ์แบบ 4 บิต และนั่นคือการกำหนดค่าที่คนส่วนใหญ่ใช้เป็นเกณฑ์ในการตัดสินโมเดลนี้

ชั้นใบอนุญาตเป็นก้อนข้อมูลขนาด 2,618 ไบต์ที่บรรจุข้อตกลงใบอนุญาต OpenMDW เวอร์ชัน 1.1 ซึ่งเป็นใบอนุญาตเดียวกันกับที่การ์ด Hugging Face ระบุชื่อว่า openmdw-1.1เป็นแบบ permissive อนุญาตให้ใช้เชิงพาณิชย์ได้ และควรอ่านก่อนที่คุณจะสันนิษฐานว่ามันคือ Apache-2.0 เพราะระบบนิเวศ Ollama โดยรอบส่วนใหญ่เป็นเช่นนั้น

เบนช์มาร์ก: ชุดหนึ่งเป็นของผู้ขาย ส่วนอีกชุดไม่ใช่

ตารางที่ NVIDIA เผยแพร่เองนั้นครอบคลุมกว้างขวางและเป็นข้อมูลที่รายงานเองทั้งหมด ในตารางนี้ โมเดลทำคะแนนได้ 89.52 บน GPQA-Diamond, 31.79 บน Humanity's Last Exam แบบข้อความเท่านั้น, 76.91 บน MMLU-ProX, 88.22 บน LiveCodeBench v6, 71.10 บน SWE-bench Verified, 67.72 บน SWE-bench Multilingual, 51.78 บน SWE-bench Pro, 66.70 บน Terminal-Bench 2.1, 70.86 บน IFBench, 62.82 บน MMLongBench-Doc, 78.16 บน MathVision และ 68.12 บน OCRBench v2 ภาษาอังกฤษ เทียบกับ 59.15 ภาษาจีน แถวด้านเอเจนต์นั้นแข็งแกร่ง: 69.24 ค้าปลีก, 76.50 สายการบิน และ 73.19 โทรคมนาคม บน tau2-bench บริษัทยังอ้างว่าบนกระดานอันดับ Artificial Analysis Intelligence Index โมเดลนี้ทำอัตราทรูพุตได้เร็วขึ้นสูงสุดถึง 5 เท่าเมื่อเทียบกับรุ่นอื่นในระดับเดียวกัน และการรันบน NVIDIA Dynamo ช่วยให้องค์กรรองรับผู้ใช้ได้มากขึ้นสูงสุด 8 เท่า ด้วยความหน่วงต่ำลง 85% นี่เป็นตัวเลขจากผู้ขาย ที่ผลิตโดยผู้ขาย บนโครงสร้างพื้นฐานของผู้ขาย — ควรมองเป็นข้อกำหนดสเปก ไม่ใช่การตรวจสอบยืนยัน

ภาพจากแหล่งอิสระนั้นบางกว่าแต่มีประโยชน์มากกว่า เพราะมันบางกว่านั่นเอง ปัจจุบัน Artificial Analysis จัดให้เช็กพอยต์นี้อยู่ที่ Intelligence Index ระดับ 26 ซึ่งระบุว่าสูงกว่าค่ามัธยฐานที่ 8 ของโมเดล open-weight ขนาดใกล้เคียงกันอย่างชัดเจน — เป็นช่องว่างจริง และมีความหมายหากคุณเคยสันนิษฐานว่าโมเดลเปิดขนาด 120B จากผู้จำหน่ายฮาร์ดแวร์จะอยู่ราว ๆ กลาง ๆ ของวงการ หน้าเดียวกันยังบันทึกว่ามีการใช้เอาต์พุตโทเคน 170M ในการรัน Index เทียบกับค่ามัธยฐานที่ 100M ซึ่งตีความได้ว่า "ค่อนข้างละเอียดเกินจำเป็น": นี่คือโมเดล reasoning ที่มีโหมดคิดแบบขยาย และความละเอียดเกินจำเป็นเป็นรายการต้นทุน ไม่ใช่เชิงอรรถ มันยืนยันบริบท 1.0M, ขนาดรวม 120B โดยมี 12B active, อินพุตภาพพร้อมเอาต์พุตข้อความ และสัญญาอนุญาต OpenMDW-1.1

สิ่งหนึ่งที่หน้านั้นบอกคุณไม่ได้คือราคาต่อโทเคน เพราะไม่มีราคาแบบโฮสต์ให้อ้างอิง คำตอบของ Artificial Analysis เองต่อคำถามว่าโมเดลนี้ใช้งานผ่าน API ได้หรือไม่ คือมันเป็นโมเดลแบบเปิดน้ำหนักที่สามารถโฮสต์เองได้ นั่นคือเรื่องราวทางเศรษฐกิจทั้งหมดในหนึ่งประโยค: ต้นทุนส่วนเพิ่มของคุณคือค่าไฟฟ้ากับชั่วโมง GPU และต้นทุนคงที่ของคุณคือการดาวน์โหลด

สิ่งที่ต้องใช้เพื่อให้มันรันได้จริงๆ

การ์ดโมเดลแนะนำ H100 สี่ตัวหรือ GB200 สองตัวสำหรับเช็กพอยต์ที่เผยแพร่ พร้อมสูตร vLLM ที่ระบุ tensor parallelism เป็น 4 และการตั้งค่า speculative ด้วยวิธี mtp นั่นคือคำตอบสำหรับศูนย์ข้อมูล และมุ่งเป้าไปที่ BF16 คำถามที่น่าสนใจสำหรับใครก็ตามที่อ่านรายการบน Ollama คือปลายอีกด้านของบันได

ที่ q4_K_M น้ำหนัก 82.3 GiB บวกกับโปรเจกเตอร์ 1.61 GiB ทำให้โมเดลพอดีกับการ์ดใบเดียวขนาด 96 GB หรือ Mac หน่วยความจำรวม 128 GB โดยมีพื้นที่เหลือสำหรับแคช KV ที่หดตัวลงอย่างรวดเร็วเมื่อคุณเพิ่มบริบท ที่ 1M โทเคนตามที่โฆษณาไว้ แคชจะไม่พอให้อยู่ร่วมกับน้ำหนักบนฮาร์ดแวร์ระดับนั้น ไม่ว่าป้ายจะเขียนว่าอะไร — บริบทยาวบนเครื่องเดียวหมายถึงการต้องแลกกับความสามารถในการรันพร้อมกัน ไม่ใช่การปลดล็อกให้ใช้ได้ฟรี วางแผนสำหรับบริบทที่ใช้งานได้จริงซึ่งต่ำกว่าเพดานมาก และมองตัวเลข 1M เป็นขีดจำกัดของสถาปัตยกรรมมากกว่าของการติดตั้งใช้งานของคุณ

MLX nvfp4แท็กที่ 79.56 GB ถือเป็นตัวเลือกที่สมเหตุสมผลสำหรับ Apple Silicon และยังเป็นรูปแบบที่ผู้จำหน่ายจัดส่งมาให้ในตัวด้วย จึงเป็นแท็กขนาดเล็กที่มีโอกาสทำให้คุณประหลาดใจในเรื่องคุณภาพน้อยที่สุด

ส่วนนี้เหมาะกับตรงไหน หากคุณใช้การจัดเส้นทางแทนการโฮสต์เอง

NVIDIA Nemotron 3.5 Super มีให้ใช้งานผ่านช่องทางการสร้างและการเผยแพร่ของผู้จำหน่ายเอง และผ่านการดึงด้วย Ollama ที่อธิบายไว้ข้างต้น มันไม่ได้อยู่บน OrcaRouter — เราให้บริการเส้นทางมากกว่า 200 โมเดลเล็กน้อย และโมเดลนี้ไม่ใช่หนึ่งในนั้น — ดังนั้นหากคุณต้องการเช็กพอยต์นี้โดยเฉพาะ การดึงในเครื่องคือเส้นทางของคุณ และไม่มีสิ่งใดในบทความนี้เป็นการชี้แนะว่าคุณสามารถเรียกใช้งานมันด้วยคีย์ของเราได้

สิ่งที่แพลตฟอร์มนี้มีอยู่จริง ๆ ในที่นี้คือการตัดสินใจที่อยู่รอบ ๆ มัน การประเมินโมเดลแบบนี้มีต้นทุนคงที่ที่ตาราง benchmark ไหนก็ลบออกไม่ได้: การดาวน์โหลด 90 GB, การตั้งค่าหนึ่งเย็น, และชุดพรอมป์ของคุณเอง ก่อนที่คุณจะรู้อะไรเลย ความเคลื่อนไหวแรกที่ถูกกว่าคือการรันเวิร์กโหลดจริงของคุณกับโมเดลแบบโฮสต์ที่คุณเข้าถึงได้อยู่แล้ว — API เดียวครอบคลุมโมเดล 200+ ตัว โดยมี ราคาตามรายการของผู้ให้บริการส่งผ่านมาโดยไม่บวกเพิ่มต่อโทเคน ดังนั้นเมื่อผู้ให้บริการลดราคา ฝั่งเราจึงมีผลทันทีในวันเดียวกัน — แล้วให้มันบอกคุณว่าเวิร์กโหลดนั้นเป็นสิ่งที่โมเดลให้เหตุผลขนาด 120B ช่วยให้ดีขึ้นได้หรือไม่ จากนั้นค่อยทุ่มการดาวน์โหลดกับกรณีที่รอดมา

และหากคุณนำโมเดลเปิดที่เพิ่งเปิดตัวใหม่ไปไว้ในเส้นทางโปรดักชันก่อนที่คุณจะไว้วางใจมัน การสลับไปใช้ระบบสำรองอัตโนมัติก็สำคัญกว่าราคา โมเดลที่เปิดตัวเมื่อวันที่ 14 ตุลาคมเพิ่งได้รับความสนใจจากคนทั้งโลกมาได้แค่สองวัน การวางมันไว้หลังระบบสำรองคือวิธีที่คุณจะได้ข้อดีของมันโดยไม่ต้องเดิมพันเส้นทางการส่งคำขอทั้งหมดไว้กับมัน

สรุปอย่างตรงไปตรงมาว่าอะไรได้รับการยืนยันแล้วและอะไรยังไม่ได้รับการยืนยัน

ยืนยันแล้ว จากรีจิสทรีและบันทึกประจำรุ่นโดยตรง: แท็ก ไดเจสต์ของแท็ก และจำนวนไบต์ของแท็ก เวอร์ชันขั้นต่ำ 0.40.5 รูปแบบ GGUF ผ่าน llamacppรันเนอร์ โปรเจกเตอร์วิชันที่ใช้ร่วมกัน สตริงตระกูลโมเดล ตัวเรนเดอร์ พาร์เซอร์ Nano ที่สืบทอดมา และสัญญาอนุญาต OpenMDW-1.1 ยืนยันจากนิวส์รูมและโมเดลการ์ดของ NVIDIA เอง: สถาปัตยกรรม การแบ่งพารามิเตอร์ สัญญาอนุญาต การตั้งค่าการสุ่มที่แนะนำ ขนาดการฝึก — ประมาณ 26 ล้านล้านโทเคนในการพรีเทรนและการพรีเทรนต่อเนื่อง จากนั้นจึงฝึกภายหลังบนตัวอย่างประมาณ 3.8 ล้านตัวอย่างด้วยการเรียนรู้แบบเสริมกำลังในหลายสิบสภาพแวดล้อม — และความครอบคลุมภาษาของอังกฤษ สเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่น

ยังไม่ยืนยัน: ตัวเลข benchmark ทุกตัว ซึ่งเป็นข้อมูลที่ผู้ขายรายงาน โดยดัชนี 26 ของ Artificial Analysis และค่า verbosity 170M โทเคน นับเป็นการวัดอิสระเพียงอย่างเดียวในบทความนี้ ยังไม่ยืนยัน: ว่าแท็ก MLX รองรับความยาว context ที่โฆษณาไว้หรือไม่ เนื่องจากหน้าไลบรารีไม่ได้ระบุไว้สำหรับแท็กเหล่านั้น ยังไม่ยืนยัน: ว่าเส้นทาง vision ได้รับการปรับจูนให้พร้อมใช้ตั้งแต่แกะกล่องหรือไม่ เพราะค่าตั้งต้นการสุ่มที่จัดส่งมานั้นเป็นค่าของข้อความ และยังไม่ยืนยัน: ว่าการควอนไทเซชัน 4 บิตส่งผลต่อคะแนนที่เผยแพร่อย่างไร ซึ่งเป็นตัวเลขที่ผู้อ่านหน้ารายการ Ollama ส่วนใหญ่สนใจจริง ๆ และเป็นตัวเลขที่ไม่มีใครเผยแพร่

ถ้าคุณมีการ์ด 96 GB มีเหตุผลที่ต้องการโมเดลวิชัน-ภาษาแบบเปิดที่มีแกนหลัก 120B ของแท้ และไม่รังเกียจดีเพนเดนซีที่เพิ่งออกในสัปดาห์แรก นี่คือสิ่งที่ดีที่สุดในระดับขนาดเดียวกันที่ปรากฏในเดือนนี้ และการดึงก็เป็นเรื่องจิ๊บจ๊อย ถ้าคุณต้องการการกำหนดค่าที่แน่นอนที่ NVIDIA ทำ benchmark ไว้ หรือต้องการให้วิชันทำงานได้ตั้งแต่ครั้งแรก หรือทนไม่ได้ที่จะต้องเสียเวลาทั้งเย็นเพื่อค้นหาว่าเอกสารสองฉบับนั้นฉบับใดเชื่อถือได้ — ให้รอผลประเมิน quantization และรายงานจากชุมชน เวตส์มีอายุสี่วัน และการรองรับรันไทม์มีอายุสองวัน