การโฮสต์ Mistral Large 4 ด้วยตัวเอง: 1.06 TB ต้องแลกมาด้วยค่าใช้จ่ายจริงเท่าไรสำหรับคุณ

น้ำหนักโมเดลถูกปล่อยออกมาแล้ว ไม่มีข้อจำกัดในการเข้าถึง และสัญญาอนุญาตอนุญาตให้ใช้เชิงพาณิชย์ได้ สามข้อเท็จจริงที่ทำให้การโฮสต์ Mistral Large 4 ด้วยตนเองดูเป็นทางเลือกที่ตัดสินใจได้จริง ไม่ใช่เรื่องเพ้อฝัน จากนั้นคุณอ่านรายการไฟล์: safetensors จำนวน 54 ชาร์ด, 1,060.6 GB ในรูปแบบ bf16 ก่อนจะถึง KV cache แม้แต่โทเคนเดียว ตัวเลขนั้น — ไม่ใช่พาดหัวเรื่องพารามิเตอร์ระดับล้านล้าน — คือสิ่งที่คุณใช้เป็นฐานในการวางแผนพื้นที่จัดเก็บและ GPU และเป็นเหตุผลที่ทีมส่วนใหญ่จะอ่านหน้านี้แล้วยังใช้ API ต่อไป

สองจุดตรวจ และสิ่งที่แต่ละแห่งกำหนด

• bf16 — 54 ชาร์ด, 1,060.6 GB โดยสองชาร์ดมีขนาด 16.9 GB และ 4.2 GB ส่วนอีก 52 ชาร์ดอยู่ระหว่าง 19.7 ถึง 20.0 GB เมื่อสำรองสถานะ KV แล้ว จะไม่สามารถใส่ได้อย่างมีประโยชน์บนตัวเร่งความเร็ว 141 GB จำนวนแปดตัว ดังนั้นควรวางแผนใช้ฮาร์ดแวร์เพิ่มหรือใช้เส้นทางแบบควอนไทซ์

• NVFP4 —รีโพซิทอรีแยกต่างหาก มี 32 ชาร์ด ขนาด 610.1 GB ซึ่ง Mistral วางตำแหน่งไว้สำหรับฮาร์ดแวร์ Blackwell ที่รองรับ NVFP4 แบบเนทีฟ คำแนะนำของ Mistral เอง: ใช้ GPU B200 หรือ B300 จำนวนสี่ตัว ข้อกล่าวอ้างที่ว่ามันคง "ประสิทธิภาพเดียวกัน" ไว้ได้นั้นเป็นข้อกล่าวอ้างของผู้จำหน่าย ไม่ใช่ผลจากการวัด

• สูตรการให้บริการ — การกำหนดค่า vLLM ของการ์ดโมเดลระบุให้ใช้ tensor parallelism เท่ากับ 8 พร้อม dtype ของ KV-cache เป็น FP8 นั่นคือการกำหนดค่าที่ใช้เป็น基準ในการ benchmark ไม่ใช่การรับประกันเรื่องอัตราการประมวลผล

• บริบท —กำหนดค่า 1M โทเค็น วัดได้ 524,288 บนคอนฟิกูเรชันที่ทดสอบ บริบทที่ยาวจะทวีแรงกดดันของ KV-cache ซึ่งเมื่ออยู่บนตัวเข้ารหัสภาพขนาด 1.6 พันล้านพารามิเตอร์บวกกับ MoE ขนาด 1.05 ล้านล้านพารามิเตอร์ คือความแตกต่างระหว่างการที่โมเดลจะบรรจุลงหน่วยความจำได้หรือไม่

จุดคุ้มทุนที่ไม่มีใครคำนวณ

ใช้ราคาโปรโมชันเป็นเกณฑ์มาตรฐานที่โฮสติ้งต้องเอาชนะ: $0.68 ต่อหนึ่งล้านโทเค็นอินพุต และ $2.09 ต่อหนึ่งล้านโทเค็นเอาต์พุต B200 สี่ตัวในอัตราคลาวด์ที่สมจริง — สมมติว่า $8 ถึง $12 ต่อชั่วโมง GPU — คิดเป็น $32 ถึง $48 ต่อชั่วโมง หรือประมาณ $23,000 ถึง $35,000 ต่อเดือน ก่อนรวมค่าจัดเก็บข้อมูล เครือข่าย งานวิศวกรรม และเวลาในการปรับแต่งสแตกสำหรับให้บริการ

เพื่อคุ้มทุนกับค่าใช้จ่ายรายเดือนดังกล่าวเมื่อเทียบกับราคา $2.09 ต่อหนึ่งล้านโทเค็นเอาต์พุต คุณจะต้องสร้างโทเค็นเอาต์พุตมากกว่าสิบเอ็ดพันล้านโทเค็นต่อเดือน ทุกเดือน และต้องใช้งานเต็มกำลังตลอด ซึ่งเป็นปริมาณที่แทบไม่มีทีมใดนอกบริษัทไฮเปอร์สเกลเลอร์จะมีได้จริง และยังไม่นับต้นทุนด้านวิศวกรรมสองสัปดาห์สำหรับการติดตั้งใช้งานครั้งแรกอีกด้วย

พูดอีกทางหนึ่ง: ที่ 100 ล้านโทเค็นเอาต์พุตต่อเดือน — ซึ่งเป็นตัวเลขการผลิตที่ใหญ่แต่สมจริง — API มีค่าใช้จ่ายประมาณ $209 ในราคาโปรโมชัน หรือ $418 ในราคาปกติ เทียบกับค่าบิลโฮสติ้งหลักหมื่นดอลลาร์ การโฮสต์เองไม่ใช่ส่วนลดในระดับนั้น แต่คือการซื้อสิ่งอื่นแทน

สิ่งที่สิ่งอื่นนั้นคืออะไร

สี่ข้อ และนี่คือเหตุผลเดียวที่ซื่อสัตย์ในการดาวน์โหลด 1.06 TB

ถิ่นที่อยู่ของข้อมูล น้ำหนักโมเดลจะไม่ออกนอกขอบเขตของคุณเลย สำหรับงานที่อยู่ภายใต้การกำกับดูแล นี่ไม่ใช่ความชอบส่วนตัว แต่เป็นข้อกำหนด และไม่มีราคา API ใดแข่งขันกับสิ่งนี้ได้

ความแน่นอนของใบอนุญาต ใบอนุญาต Ecosystem Open-Weight ของ Mistral อนุญาตให้ใช้ในเชิงพาณิชย์ ดัดแปลง ฝึกเพิ่มเติม และสร้างงานดัดแปลง โดยมีข้อสงวนหนึ่งประการ: การให้บริการแบบ model-as-a-service — ซึ่งให้บุคคลภายนอกควบคุมอินพุต พารามิเตอร์ หรือข้อมูลการฝึกอย่างมีนัยสำคัญ — ต้องมีข้อตกลงเชิงพาณิชย์แยกต่างหาก คุณลักษณะที่ฝังตัว การใช้งานภายใน และการส่งต่อเพียงอย่างเดียวได้รับการยกเว้น การเป็นเจ้าของชิ้นงานหมายความว่าข้อกำหนดที่คุณตกลงไว้คือข้อกำหนดที่ใช้บังคับ

สิทธิ์ในการฟাইনทูน โมเดลต่อยอดที่คุณฝึกเองเป็นของคุณ และไม่มี API แบบโฮสต์ใดที่เสนอสิ่งนั้นได้ในราคาใดก็ตาม

ความแน่นอน. เช็กพอยต์ที่คุณตรวจสอบแล้วคือเช็กพอยต์ที่คุณรัน โมเดลแบบโฮสต์อาจถูกชี้ไปยังเวอร์ชันใหม่ภายใต้ชื่อเดิมได้ แต่ไฟล์บนดิสก์ของคุณทำแบบนั้นไม่ได้

สิ่งหนึ่งที่ไม่มีอยู่ในสี่ข้อนั้นคือ: ราคาต่อโทเค็นที่ถูกกว่า การคำนวณข้างต้นตัดความเป็นไปได้นี้ออกสำหรับทีมใดก็ตามที่ต่ำกว่าระดับไฮเปอร์สเกล และแผนที่สร้างขึ้นจากความคาดหวังว่าจะประหยัดได้จะไม่รอดถึงใบแจ้งหนี้ใบแรก

ข้อสัญญาอนุญาตที่ผู้ให้บริการโฮสติ้งต้องอ่านสองครั้ง

หากเหตุผลที่คุณโฮสต์โมเดลด้วยตนเองคือเพื่อให้บริการโมเดลแก่ลูกค้า ข้อ 2 คือย่อหน้าที่กำหนดโครงสร้างทางกฎหมายของคุณ การประมวลผลสำหรับผลิตภัณฑ์ของคุณเองนั้นทำได้ ส่วนแพลตฟอร์มที่มอบโมเดลให้ลูกค้าและให้การควบคุมที่มีนัยสำคัญเหนือปัจจัยนำเข้า พารามิเตอร์ หรือการฝึก ไม่ได้รับอนุญาตภายใต้สัญญาอนุญาตนี้ เว้นแต่จะมีข้อตกลงแยกต่างหาก ข้อยกเว้นสำหรับ “การส่งต่อคำขอไปยังโมเดลที่ผู้อื่นโฮสต์ไว้เพียงอย่างเดียว” นั้นแคบและหมายความตามที่เขียนไว้: การส่งต่อไปยังเอนด์พอยต์ของบุคคลอื่นไม่ใช่การโฮสต์

ความแตกต่างนั้นเป็นสิ่งเดียวในหน้านี้ที่ตารางราคาไม่สามารถตอบได้ และคุ้มค่าที่จะใช้เวลาหนึ่งชั่วโมงกับทนายความก่อนซื้อ GPU

ใครควรดาวน์โหลด

ดาวน์โหลดหากหน่วยงานกำกับดูแล สัญญาลูกค้า หรือนโยบายการจำแนกชั้นข้อมูลบอกคำตอบกับคุณไว้แล้ว ดาวน์โหลดหากคุณตั้งใจจะ fine-tune และส่งมอบโมเดลที่ต่อยอดออกมา เพราะนั่นคือความสามารถที่ API ไม่ได้ขาย ดาวน์โหลดหากคุณมีกำลังประมวลผล Blackwell ที่จ่ายเงินไปแล้วและว่างอยู่ — เส้นทาง NVFP4 บน B200s จำนวนสี่ตัวคือการกำหนดค่าเดียวที่ตัวเลขเข้าใกล้จุดคุ้มทุน

ถ้าคำถามคือเรื่องราคา ก็ให้ใช้ API ต่อไป ที่ราคา $0.68 และ $2.09 ในช่วงโปรโมชัน หรือ $1.36 และ $4.18 ตามราคาปกติ การเรียกใช้โมเดลนี้เป็นหนึ่งในวิธีที่ถูกที่สุดในตลาดที่จะได้คำตอบแบบมัลติโมดัลขนาด trillion พารามิเตอร์ โดยมีเงื่อนไขว่าคุณต้องมองโปรโมชันนี้เป็นช่วงเวลาหน้าต่าง ไม่ใช่อัตราราคาถาวร Mistral Large 4 ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter ดังนั้นเส้นทางนั้นจึงต้องวิ่งผ่าน API ของ Mistral เองและโฮสต์ของบุคคลที่สาม ส่วนรูปแบบทั่วไปที่เราเสนอคือเอนด์พอยต์เดียวที่เข้ากันได้กับ OpenAI ครอบคลุม 224 โมเดล ในราคาปกติของผู้ให้บริการโดยไม่บวกกำไร ซึ่งการเปลี่ยนแปลงราคาของผู้ขายจะมีผลในวันที่ประกาศ ไม่ใช่เมื่อถึงรอบต่ออายุครั้งถัดไป