
เวทถูกเปิดให้ใช้งานแล้ว และพอดีบน Blackwells แปดตัว: เจาะลึกการเปิดตัว NVFP4 แบบ Day-Zero ของ Mistral Large 4
- Orcaใหม่OrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29113 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 93 tok/s
- Orcaใหม่OrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 269 tok/s
- Orcaใหม่OrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 93 tok/s
- Moonshotใหม่MoonshotAI: Kimi K3.1 Pro2026-10-2446ความฉลาด
- Orcaใหม่OrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 104 tok/s
- minimaxใหม่MiniMax: M3.1 Flash2026-10-1929ความฉลาด
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 66 tok/s
- deepseekใหม่DeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekใหม่DeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 100 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2854ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 180 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2228ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xiaomiXiaomi: MiMo-V2.6-Flash2026-09-2127ความฉลาด
- xiaomiXiaomi: MiMo-V2.6-Pro2026-09-2130ความฉลาด
- xAIGrok 4.72026-09-2134ความฉลาด
คู่มือการโฮสต์ด้วยตนเองทุกฉบับที่เผยแพร่ในสัปดาห์ที่ผ่านมาบอกคุณสามสิ่งเดียวกันเกี่ยวกับ Mistral Large 4: ไฟล์ใบอนุญาตคืนค่า 404, ไม่มีเช็กพอยต์แบบควอนไทซ์อยู่จริง และการกำหนดค่าใด ๆ ที่คุณเขียนล้วนเป็นการคาดการณ์ที่ยืมมาจากโมเดลก่อนหน้า ณ เช้าวันที่ 29 ตุลาคม 2026 ทั้งสามข้อนี้ผิด ใบอนุญาตอยู่ในรีโพซิทอรี — ขนาด 2,632 ไบต์ — และตระกูลเช็กพอยต์ก็มีอยู่จริง: mistralai/Mistral-Large-4-1T-A52Bที่ 54 ชาร์ด FP8 และ 1,060.6 GB พร้อมอีกรุ่นในตระกูลเดียวกันแบบ NVFP4 ที่ 32 ชาร์ดและ 610.1 GB บันทึก day-zero ของ NVIDIA ซึ่งเป็นบันทึกที่กล่าวชื่นชมทีม Mistral AI และพูดถึงการรองรับ NVFP4 บน Hugging Face ในลมหายใจเดียวกัน คือฉบับที่สั้นที่สุดเท่าที่เป็นไปได้ของเรื่องนี้ ฉบับที่มีประโยชน์คือฉบับที่ยาวกว่า: สูตรที่เผยแพร่สมมติอะไรไว้จริง ๆ ราคาเกิดอะไรขึ้นในขณะที่ไม่มีใครมอง และคำแนะนำการโฮสต์ด้วยตนเองของวันอังคารข้อใดที่กำลังทำให้เข้าใจผิดอย่างชัดเจนในตอนนี้หากคุณต้องการเปรียบเทียบสิ่งที่กำหนดเส้นทางได้ในวันนี้ แทนที่จะเป็นสิ่งที่ดาวน์โหลดได้ แคตตาล็อกโมเดล OrcaRouterแสดงรายการทุกโมเดลที่เราให้บริการ หน้าต่างบริบท และราคาต่อโทเค็น พร้อมการกำหนดค่าการสลับสำรองเมื่อเกิดข้อผิดพลาดเป็นรายเส้นทาง
เริ่มจากวันที่กันก่อน เพราะนี่คือส่วนที่การรายงานข่าวส่วนใหญ่เข้าใจผิดทั้งสองทาง Mistral Large 4 ถูกประกาศเมื่อวันที่ 6 ตุลาคม 2026 ในฐานะพรีวิว API — โมเดล mixture-of-experts ขนาด 1.05 ล้านล้านพารามิเตอร์ ที่มีพารามิเตอร์ใช้งานจริง 49 พันล้านตัวต่อโทเคน หรือ 52 พันล้านตัวเมื่อนับชั้น embeddings และเอาต์พุต รวมถึงตัวเข้ารหัสภาพขนาด 1.6 พันล้านพารามิเตอร์ และหน้าต่างบริบท 1 ล้านโทเคน โดยมีราคา 1.36 ดอลลาร์ต่อล้านโทเคนอินพุต เทียบกับ 4.18 ดอลลาร์ต่อล้านโทเคนเอาต์พุต มีการสัญญาว่าจะเปิด weights สาธารณะก่อนสิ้นเดือนตุลาคม โดยเปิดให้ใช้งานจริงเมื่อเวลา 14:51 UTC ของวันที่ 29 ตุลาคม ซึ่งประมาณสองวันหลังจากวันที่ 27 ตุลาคมที่รายงานข่าวสรุปกันไว้ ช่องว่างนี้สำคัญ เพราะงานเขียนเกี่ยวกับโมเดลนี้จำนวนมากถูกเขียนขึ้นภายในช่วงเวลาดังกล่าว
จริง ๆ แล้วเช้านี้มีอะไรอยู่บน Hub
ข้อมูลเมตาของรีโพซิทอรีมีข้อมูลมากกว่าข้อความในประกาศ ดังนั้นจึงขอนำมาแสดงโดยตรงดังนี้:
• เช็กพอยต์หลัก — mistralai/Mistral-Large-4-1T-A52B, 54 ชาร์ด safetensors, 1,060.6 GB บนดิสก์, แท็กเป็น fp8, รีโปถูกสร้างเมื่อ 30 กันยายน 2026, เวตถูกเขียนล่าสุดเมื่อ 29 ตุลาคม เวลา 14:51 UTC, ไม่จำกัดการเข้าถึง
• โมเดลคู่แบบควอนไทซ์ — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 ชาร์ด, 610.1 GB, repo ถูกสร้างเมื่อ 15 ตุลาคม 2026 และอัปเดตวันนี้เวลา 14:11 UTC — สี่สิบนาทีก่อนที่ repo หลักจะเสร็จสิ้น
• สัญญาอนุญาต — Mistral Ecosystem Open-Weight License ซึ่ง Mistral อธิบายว่าเป็นสัญญาอนุญาตแบบ MIT ที่ดัดแปลงแล้ว โดยไม่มีเกณฑ์รายได้เข้ามาเกี่ยวข้อง
• สถาปัตยกรรม จาก params.json — ผู้เชี่ยวชาญ 128 ราย โดยมีผู้เชี่ยวชาญสี่รายที่ถูกเลือกเส้นทางต่อโทเค็น พร้อมผู้เชี่ยวชาญที่ใช้ร่วมกันหนึ่งราย, 72 เลเยอร์, ขนาดซ่อน 6,144, หอคอยภาพ 30 เลเยอร์ที่รับภาพได้สูงสุด 1,540 พิกเซล และการแชร์ KV ในเลเยอร์ส่วนใหญ่
• ตัวเลขที่ไม่ตรงกัน — การ์ดโมเดล NVFP4 ระบุ 39 ภาษา ขณะที่ประกาศอ้างว่า 160+ ภาษา การ์ดนับพารามิเตอร์ที่ใช้งานต่อโทเคนได้ 49 พันล้านพารามิเตอร์ ส่วนเอกสาร API และตารางของบริษัทผู้ผลิตเองระบุว่า 52 พันล้าน ซึ่งเป็นตัวเลขเดียวกันเมื่อรวม embedding และชั้นเอาต์พุตเข้าไป โพสต์ของ Mistral ระบุว่าใช้ Grace Blackwell GPU จำนวน 3,800 ตัวในการฝึกโมเดล ขณะที่สื่อหลายสำนักปัดเป็น 4,000 ตัว ไม่มีข้อใดถึงขั้นร้ายแรง และความไม่สอดคล้องแต่ละจุดก็บอกได้ว่าเอกสารใดเขียนโดยทีมใด
ตัวเลข 610 GB คือรุ่นที่เปิดตัว
โมเดลขนาด 1.05 ล้านล้านพารามิเตอร์ไม่ได้ถูกดาวน์โหลดในลักษณะที่ใครจะพูดถึงแบบสบาย ๆ เช็กพอยต์ FP8 มีขนาด 1,060.6 GB ซึ่งเกินหนึ่งเทระไบต์ของน้ำหนักโมเดลอย่างสบาย ๆ ก่อนที่ KV cache, activation หรือ fragmentation จะเกิดขึ้นแม้แต่โทเคนเดียว บนโหนด Blackwell ที่มีแปด GPU ขนาดนี้จะพอดีโดยเหลือพื้นที่ว่างราว 400 GB บน H200 แปดตัวจะพอดีโดยแทบไม่เหลือพื้นที่ว่างเลย เช็กพอยต์ NVFP4 ลดขนาดลงเหลือ 610.1 GB และการประหยัดนี้ไม่ใช่เรื่องผิวเผิน: มันคือความแตกต่างระหว่างโหนดที่เป็นน้ำหนักโมเดลล้วน ๆ กับโหนดที่ยังมีพื้นที่เหลือสำหรับบริบท 1M โทเคนที่โมเดลโฆษณาไว้
รูปแบบการควอนไทซ์ยังเจาะจงมากกว่าแค่ "4-bit" อีกด้วย ตามข้อมูลบนการ์ด น้ำหนักของ mixture-of-experts เป็น NVFP4 ขณะที่เลย์เยอร์เชิงเส้นคงเป็น FP8 และสูตรการตั้งค่าของ vLLM กำหนดให้ใช้ FP8 KV cache บนเลย์เยอร์ MLA นี่คือสแต็กการให้บริการแบบผสมความแม่นยำ ไม่ใช่การลดความแม่นยำแบบเหมารวม และมันเจาะจงสำหรับ Blackwell โดยเฉพาะ — B200, B300, GB200 และ GB300 คือรุ่นที่ระบุชื่อไว้
มีผลลัพธ์หนึ่งประการที่ควรเน้นเป็นพิเศษสำหรับผู้ที่กำลังวางแผนจะซื้อ: สูตรอย่างเป็นทางการยังคงต้องใช้ GPU แปดตัว vLLM เผยแพร่โดยใช้ tensor parallelism 8 ส่วน SGLang ใช้ tp-size 4 การควอนไทซ์ในที่นี้ไม่ใช่หนทางหลักในการลดจำนวนโหนด แต่เป็นหนทางที่จะเหลือหน่วยความจำให้โหนดมากพอที่จะให้บริการบริบทแบบยาวได้จริง และพารามิเตอร์การให้บริการที่เผยแพร่ไว้คือหลักฐานยืนยัน
สูตร ทีละแฟล็ก
สิ่งที่ทำให้การเปิดตัวนี้แตกต่างจากการปล่อยโมเดลแบบ open-weight ส่วนใหญ่ คือ ผู้ขายได้จัดส่งคำแนะนำในการให้บริการมาด้วย แทนที่จะปล่อยให้ชุมชนจัดการเอง แนวทาง vLLM ตามที่เผยแพร่:
• อิมเมจ — vllm/vllm-openai:mistral-large-4
• การทำงานแบบขนาน — --tensor-parallel-size 8
• แคช — --kv-cache-dtype fp8_ds_mla โดยใช้ --gpu-memory-utilization 0.85
• ตัวแยกวิเคราะห์ — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice
• การคาดการณ์แบบเลือกได้ — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'
เส้นทางของ SGLang แตกต่างในบางแง่ที่ควรอ่านซ้ำ:
• อิมเมจ — lmsysorg/sglang:mistral-large-4 โดยใช้ --tp-size 4 และ --mem-fraction-static 0.85
• การคาดการณ์ล่วงหน้า — --speculative-algorithm DSPARK เปิดใช้งานเป็นค่าเริ่มต้นในคำสั่งที่เผยแพร่
• ขีดจำกัดการให้บริการ — --max-running-requests 64 โดยตั้งค่าตัวแยกวิเคราะห์การให้เหตุผลและเครื่องมือทั้งคู่เป็น auto
สามสิ่งที่ธงบอกคุณแต่ประกาศไม่ได้บอก
ข้อแรกคือ DSpark ไม่ใช่โมเดลแยกต่างหาก ไฟล์คอนฟิกูเรชันอธิบายเลย์เยอร์สำหรับการพยากรณ์หลายโทเคนสามชั้น พร้อมหัวดราฟต์แบบรีเคอร์เรนต์ขนาดเล็ก — แรงก์มาร์คอฟ 512 — ที่ฝังอยู่ในเช็กพอยต์เอง การถอดรหัสแบบสเปกกูเลทีฟโดยปกติหมายถึงการรันโมเดลที่สองซึ่งเล็กกว่าไว้เคียงข้างโมเดลใหญ่และต้องเสียหน่วยความจำให้กับมัน ในที่นี้หัวดราฟต์อยู่ใน 610 GB แล้ว ซึ่งเป็นเหตุผลที่แฟล็กสเปกกูเลทีฟเป็นเพียงสตริงคอนฟิกูเรชันสั้น ๆ แทนที่จะเป็นการดีพลอยชุดที่สอง
ประการที่สองคือ attention stack เป็นเรื่องของการบีบอัด การกำหนดค่ามี sparse indexer ที่มี top-k เท่ากับ 2,048 จาก 32 heads, KV LoRA rank 512 และการแชร์ KV ครอบคลุมเลย์เอาต์ส่วนใหญ่ของ 72 ชั้น — เป็นรูปแบบการจัดวางแบบที่กลายเป็นมาตรฐานในโมเดลสาย DeepSeek บริบท 1M เข้าถึงได้เพราะหน่วยความจำ attention ถูกแชร์อย่างหนักและ KV cache เป็น FP8 ไม่ใช่เพราะโมเดลมี cache ระดับเทระไบต์ให้ใช้
ข้อที่สามคือการคำนวณ บล็อก YaRN ที่เผยแพร่ขยายหน้าต่าง RoPE แบบเนทีฟ 512 โทเคนด้วยตัวคูณ 2,048 ซึ่งคูณออกมาได้พอดี 1,048,576 — ความยาวคอนเท็กซ์ที่โฆษณาไว้ ไม่ว่าตารางการเทรนจะเป็นอย่างไร คอนฟิกที่คุณกำลังดาวน์โหลดไปถึง 1M โทเคนด้วยการประมาณค่านอกช่วง และนั่นก็ควรรู้ไว้ก่อนที่คุณจะป้อนเอกสาร 900,000 โทเคนให้มันและถือว่าโมเดลเคยเห็นรูปแบบนั้นมาก่อน
สมุดราคาถูกย้ายในขณะที่คู่มือกำลังถูกเขียนขึ้น
เอกสารของ Mistral ระบุอัตราปัจจุบันอยู่ที่ 0.70 ดอลลาร์ต่ออินพุตหนึ่งล้านโทเคน 0.07 ดอลลาร์ต่ออินพุตที่แคชไว้หนึ่งล้านโทเคน และ 2.10 ดอลลาร์ต่อเอาต์พุตหนึ่งล้านโทเคน ประกาศเมื่อวันที่ 6 ตุลาคมอ้างอิงราคาตามรายการที่ 1.36 และ 4.18 ดอลลาร์ โดยมีส่วนลดช่วงพรีวิวอยู่ที่ประมาณครึ่งหนึ่งของราคาดังกล่าว เมื่ออ่านเอกสารทั้งสองฉบับประกอบกัน การเปิดตัวแบบ open-weight ไม่ได้เพียงแค่นำไฟล์ออกมาเผยแพร่ — แต่ยังลดราคาตามรายการถาวรลงมาอยู่ในระดับที่ช่วงพรีวิวเคยให้บริการในราคานั้น สำหรับผู้ที่ตั้งงบประมาณจากประกาศในเดือนตุลาคม ราคาตามการ์ดใหม่นั้นอยู่ที่ประมาณครึ่งหนึ่งของตัวเลขที่พวกเขาจดไว้
ภาพจากบุคคลที่สามไม่ได้ดูดีเท่ากับการลดราคา Artificial Analysis บน Intelligence Index ปัจจุบัน — ซีรีส์ v5 ที่สร้างใหม่เมื่อวันที่ 27 ตุลาคม — ให้คะแนน Mistral Large 4 ที่ 26 ระบุว่าใช้จ่าย $2.06 เพื่อทำ Index task หนึ่งงานให้สำเร็จ และวัดความเร็วได้ 161.3 โทเค็นเอาต์พุตต่อวินาที โดยใช้เวลา 1.42 วินาทีถึงโทเค็นแรก ความเร็วนั้นดีจริง: 161 โทเค็นต่อวินาทีมากกว่าค่ามัธยฐานของชุดเปรียบเทียบถึงสองเท่าขึ้นไป แต่ต้นทุนต่องานไม่ดี: ที่ $2.06 อยู่ในควอไทล์ล่างของระดับเดียวกัน เพราะโมเดลที่ใช้เหตุผลยาว ๆ จะใช้เงินไปกับโทเค็นมากกว่าอัตราค่าบริการที่ประกาศไว้
ตัวเลขของ Mistral เอง และตัวเลขที่ไม่ได้เปิดเผย
ทุก benchmark ในโพสต์เปิดตัวของ Mistral ล้วนเป็นของ Mistral ซึ่งควรกล่าวไว้ก่อนจะอ้างอิงตัวเลขใด ๆ จากโพสต์นั้น Terminal-Bench 4.0 ถูกอ้างว่าอยู่ที่ 41% สูงกว่า preview อยู่สิบสามจุด และตามโพสต์ระบุว่าเป็นผู้นำในกลุ่มโมเดลน้ำหนักเปิด FrontierCode 2.0 อยู่ที่ 19.7% AA Coding Agent Index อยู่ที่ 48% ซึ่งถูกอธิบายว่าเสมอกันในทางปฏิบัติกับ GLM-5.3 BrowseComp อยู่ที่ 84.5% เทียบกับ 75% ของ supervised checkpoint ใน preview FinWorkBench อยู่ที่ 73.3% ตามหลัง Kimi K3 ที่ 77.3% และอัตราการปฏิเสธเฉลี่ย 96.6% ต่อคำขอไซเบอร์ที่เป็นอันตราย ซึ่งเป็นตัวเลขที่การเปิดตัวนี้ถูกจัดวางไว้โดยรอบจริง ๆ ตัวเลขบางส่วนมาจาก harness ของบุคคลที่สาม — FrontierCode ของ Cognition, Coding Agent Index ของ Artificial Analysis, human preference ของ Surge Code — แต่ Mistral เป็นผู้รันและ Mistral เป็นผู้รายงาน ณ เวลาที่เขียน ยังไม่มีตัวเลขใดถูกทำซ้ำต่อสาธารณะ
ตัวเลขที่หายไปคือตัวเลขที่ผู้ที่โฮสต์เองต้องการมากที่สุด: คุณภาพของ NVFP4 เมื่อเทียบกับเช็กพอยต์ FP8 ในการประเมินเดียวกัน การ์ดนำเสนอการควอนไทซ์ว่าให้การลดหน่วยความจำ “โดยมีประสิทธิภาพใกล้เคียง” ซึ่งเป็นคำกล่าวอ้าง ไม่ใช่ผลการวัด จนกว่าจะมีใครเผยแพร่การรันแบบเทียบเคียงกันจริง จุดยืนที่ซื่อตรงคือ เช็กพอยต์ 610 GB คือตัวที่คุณสามารถโหลดให้พอดีได้ และเช็กพอยต์ 1,060.6 GB คือตัวที่มีหลักฐานเอกสารรองรับ
เมื่อนำตารางผู้ให้บริการมาเทียบกับชุดทดสอบเดียวกันกับที่ Artificial Analysis ดำเนินการ ภาพก็เปลี่ยนไป แถวปัจจุบันของ AA สำหรับ Mistral Large 4 — API แบบโฮสต์ ความพยายามในการใช้เหตุผลระดับสูง — ระบุ Terminal-Bench 4.0 ไว้ที่ 25% ต่ำกว่าค่า 41% ในโพสต์เปิดตัวอยู่ 16 จุด และ FrontierCode 2.0 อยู่ที่ 15% เทียบกับ 19.7% ที่ Mistral อ้างถึง ทั้งสองเป็นฮาร์เนสที่ Mistral เองอ้างถึง คำอธิบายที่เป็นไปได้คือการกำหนดค่า: ตัวเลขในตอนเปิดตัวอาจมาจากการตั้งค่าการใช้เหตุผลเฉพาะหรือสไลซ์การประเมินผลเฉพาะ และ AA วัดสิ่งที่ API สาธารณะส่งกลับมา คำอธิบายที่ยอมรับไม่ได้คือคำอธิบายที่สื่อส่วนใหญ่ลงเอยด้วย — การพิมพ์ตัวเลขทั้งสองออกมาราวกับว่าวัดสิ่งเดียวกัน
ข้อสัญญาใบอนุญาตที่กำหนดว่าใครสามารถให้บริการได้
สัญญาอนุญาตสั้นพอที่จะอ่านจบได้ในคราวเดียว และข้อที่สำคัญคือข้อเกี่ยวกับโมเดล-as-a-service การให้บริการโฮสต์บนเวตต์ (weights) ต้องมีสัญญาอนุญาตเชิงพาณิชย์แยกต่างหากจาก Mistral แต่คำนิยามของโมเดล-as-a-service ยกเว้นผลิตภัณฑ์สำหรับผู้ใช้ปลายทางที่ฝังรวมอยู่ และแยกต่างหาก "การส่งต่อคำขอไปยังโมเดลที่โฮสต์โดยผู้อื่นเพียงอย่างเดียว" ข้อยกเว้นนั้นแคบกว่าที่เห็นในตอนแรก: ไม่ได้อนุญาตให้คุณตั้งระบบอนุมานของตัวเองแล้วขายต่อ และอนุญาตให้เกตเวย์ส่งต่อคำขอไปยังระบบอนุมานที่ Mistral โฮสต์โดยไม่ต้องเป็นผู้ได้รับอนุญาต ว่าการตีความนั้นจะคงอยู่ในการโต้แย้งหรือไม่ เป็นคำถามสำหรับทนายของ Mistral ไม่ใช่บล็อกนี้
ซึ่งนำมาสู่ส่วนที่น่าอึดอัด OrcaRouter ไม่ได้ระบุ Mistral Large 4 — แค็ตตาล็อก 214 โมเดลของเราไม่มี endpoint ของ Mistral อยู่เลย — ดังนั้นจึงไม่มีสิ่งใดในรีลีสนี้ที่สามารถ route ได้ที่นี่ในวันนี้ และใครก็ตามที่อ้างเป็นอย่างอื่นกำลังหลอกขายคุณอยู่ สิ่งที่แค็ตตาล็อกมีจริง ๆ คืออีกครึ่งหนึ่งของการเปิดใช้งานแบบนี้: routing DSL ที่สามารถตรึง workload ไว้กับโมเดลหนึ่งและสลับไปใช้โมเดลอื่นได้โดยไม่ต้องแก้โค้ด, failover อัตโนมัติเมื่อ endpoint ทรุดลง, และราคาแบบ pass-through ที่ markup 0% ทำให้การปรับอัตราค่าบริการของผู้ให้บริการเองมาถึงฝั่งเราในวันเดียวกับที่ไปถึงฝั่งพวกเขา ทีมที่ดึง 610 GB และติดตั้งเครื่อง vLLM ของตนเองมักจะยังคงมีเส้นทางแบบโฮสต์รองรับอยู่ด้านหลังในช่วงสัปดาห์แรก ๆ และนั่นคือส่วนที่เราสามารถดำเนินการได้จริง
คืนนี้ใครควรเริ่มดาวน์โหลด
หากคุณรัน Blackwell GPU แปดตัวอยู่แล้ว หรือมีกฎเรื่องที่ตั้งของข้อมูล (data-residency) ที่ไม่มีโฮสต์เอนด์พอยต์ใดตอบโจทย์ได้ การคำนวณได้เปลี่ยนไปเมื่อเช้านี้ และเปลี่ยนไปในทางที่เป็นผลดีกับคุณ: น้ำหนักโมเดลมีอยู่แล้ว สัญญาอนุญาตมีอยู่แล้ว และผู้ขายยื่นคำสั่งเสิร์ฟที่ผ่านการทดสอบมาให้คุณแล้ว แทนที่จะเป็นเพียงข้อเสนอแนะ ดึงเช็กพอยต์ NVFP4 ก่อน — 610.1 GB ถือเป็นช่วงเย็นที่พอทนได้ และอิมเมจ vLLM ก็ถูกปักหมุดเวอร์ชันไว้แล้ว ลองประเมินผลด้วยตัวเองเทียบกับ API ที่โฮสต์ไว้ก่อนที่คุณจะกำหนดเส้นทางโปรดักชันให้กับมัน เพราะข้ออ้างเรื่องการควอนไทซ์ยังไม่ได้ผ่านการวัดผล และผลทดสอบมาตรฐานจากผู้ขายก็เป็นของผู้ขายเอง
ถ้าคุณไม่ได้ใช้งานฮาร์ดแวร์ระดับนั้น ก็ยังไม่มีอะไรในรีลีสนี้ที่เหมาะกับคุณ โมเดล 1T ที่มีพารามิเตอร์ที่ใช้งานอยู่ 49 พันล้านตัวต่อโทเคนไม่ใช่ไฟล์ที่ดาวน์โหลดลงแล็ปท็อปหรือการทดลองบนการ์ดเดียว และเช็กพอยต์ FP8 มีขนาดหนึ่งเทระไบต์ ข่าวที่คุณควรได้รับคือราคา ไม่ใช่รายการไฟล์: API แบบโฮสต์ตอนนี้เริ่มต้นที่ $0.70 และ $2.10 ซึ่งประมาณครึ่งหนึ่งของสิ่งที่ประกาศในเดือนตุลาคมทำให้คุณคาดไว้ และนั่นคือการเปลี่ยนแปลงที่คุณใช้ได้โดยไม่ต้องมี GPU แม้แต่ตัวเดียว
คำถามที่ยังเปิดอยู่คือส่วนที่น่าสนใจ โมเดลที่มีพารามิเตอร์หนึ่งล้านล้านตัวซึ่งพอดีอยู่ใน 610 GB เป็นข้อพิสูจน์ว่า NVFP4 สามารถบีบอัด mixture-of-experts ระดับแนวหน้าได้โดยไม่เปลี่ยนรูปร่างของมัน ส่วนจะบีบอัดได้โดยไม่เปลี่ยนคำตอบของมันด้วยหรือไม่นั้น คือสิ่งที่การรันอิสระในสองสัปดาห์ข้างหน้าจะเป็นตัวตัดสิน และยังไม่มีใครเผยแพร่เรื่องนั้นเลย รวมถึงคนที่ปล่อยมันออกมาด้วย



การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
