Ripple 65B Preview กับ Muse Wonder: ราคาที่แพงกว่า 20 เท่าซื้ออะไรได้จริง

มีเบนช์มาร์กเพียงหนึ่งเดียวที่ {{1}}Ripple 65B Preview และ Muse Wonder{{/1}} เปิดเผยทั้งคู่ ในเวอร์ชันเดียวกัน โดยมีตัวเลขที่ยกมาใส่ในประโยคเดียวกันได้: {{2}}DeepSWE 1.1{{/2}} Muse Wonder ของ Meta รายงานว่า {{3}}78.8{{/3}} Ripple 65B Preview ของ Ricursive รายงานว่า {{4}}44.3{{/4}} นั่นคือ{{5}}ช่องว่าง 34.5 คะแนน{{/5}}ในงานเอเจนต์ด้านวิศวกรรมซอฟต์แวร์ และเป็นการเปรียบเทียบที่ตรงไปตรงมาเพียงหนึ่งเดียวที่การเปิดตัวทั้งสองครั้งมีให้ — ส่วนที่เหลือไม่เป็นฉบับแก้ไขของเบนช์มาร์กที่ต่างออกไป ก็เป็นคอลัมน์ที่มีขีดกลางอยู่

ดังนั้น คำถามไม่ใช่ว่า Muse Wonder ดีกว่าสำหรับงานนั้นหรือไม่ มันดีกว่าอย่างชัดเจน เมื่อดูจากตัวเลขของทางแล็บเอง คำถามคือ มันดีกว่ามากพอที่จะคุ้มกับค่าใช้จ่ายที่สูงกว่าประมาณยี่สิบเท่าสำหรับอินพุต และสามสิบสามเท่าสำหรับเอาต์พุตหรือไม่ นั่นคือการตัดสินใจจริงที่มีคำตอบจริง และคำตอบนั้นไม่เหมือนกันสำหรับทุกเวิร์กโหลด

ทำไม DeepSWE 1.1 จึงเป็นการแข่งขันที่ยุติธรรม

แล็บทั้งสองแห่งรันการประเมินเดียวกันเวอร์ชัน 1.1 ไม่มีแห่งใดเผยแพร่ผลการรันซ้ำโดยบุคคลที่สาม ดังนั้นตัวเลขทั้งสองจึงมีข้อแม้เดียวกัน คือ เป็นข้อมูลที่ผู้ขายรายงานเองและยังไม่มีการทำซ้ำ และความสมมาตรนี้เองที่ทำให้การเปรียบเทียบใช้ได้ เมื่อข้อกล่าวอ้างสองข้อมีผลประโยชน์ในตัวเองพอ ๆ กัน ช่องว่างระหว่างข้อกล่าวอ้างเหล่านั้นก็ยังให้ข้อมูลที่เป็นประโยชน์

ต่างจาก Terminal-Bench ตรงที่สองแล็บไม่ได้สอบข้อสอบเดียวกันเลย Ripple รายงาน 80.5 บน Terminal-Bench 2.1 ส่วน Meta รายงาน Muse Wonder Full ที่ 57.1 บน Terminal-Bench 4.0 ซึ่งเป็นฉบับแก้ไขที่มาทีหลังและยากกว่า ใครก็ตามที่นำตัวเลขเหล่านี้มาเทียบกันเพื่อประกาศว่า Ripple เป็นผู้ชนะ กำลังเปรียบเทียบโมเดลที่สอบข้อสอบปี 2024 กับโมเดลที่สอบข้อสอบปี 2026 การวางกรอบของ Meta เองในจุดนี้ระมัดระวัง ขณะที่เธรดเปิดตัวของ Ricursive ไม่ได้ระมัดระวังเช่นนั้น

ข้อควรระวังอีกประการในฝั่ง Meta: ตาราง JobBench ของบริษัทอ้างว่า Muse Wonder Full ได้ 75.3 เทียบกับ 30.8 สำหรับ Muse Wonder มาตรฐาน ซึ่งเป็นช่องว่าง 44 คะแนนที่ไม่มีผู้ประเมินอิสระรายใดจำลองผลได้ ให้ถือตาราง benchmark ภายในของแล็บใดๆ เป็นการตลาด จนกว่าจะมีคนนอกองค์กรเป็นผู้รันตารางเหล่านั้น

ส่วนต่างราคาที่แท้จริงคือเท่าไร

Muse Wonder ราคา 4.00 ดอลลาร์ต่อหนึ่งล้านโทเค็นอินพุต และ 20.00 ดอลลาร์ต่อหนึ่งล้านโทเค็นเอาต์พุต โดยอินพุตที่แคชไว้อยู่ที่ 0.20 ดอลลาร์ Ripple 65B Preview ถูกระบุราคาไว้ที่ 0.20 และ 0.60 ดอลลาร์บนเอนด์พอยต์ที่โฮสต์แห่งแรก — เป็นตัวเลขที่ควรถือไว้หลวม ๆ เนื่องจาก Ricursive ยังไม่ได้เผยแพร่ตารางราคา และเอนด์พอยต์นั้นให้บริการบริบทขนาด 16,384 โทเค็น เทียบกับหน้าต่างที่โฆษณาไว้ 1M แม้จะรับราคาที่ระบุไว้ตามตัวอักษร อัตราส่วนก็อยู่ที่ 20× สำหรับอินพุต และ 33× สำหรับเอาต์พุต

อัตราส่วนต่อโทเคนทำให้โมเดลเล็กดูดีเกินจริงและชวนให้เข้าใจผิดเกี่ยวกับค่าใช้จ่ายจริง ดังนั้นนี่คือเลขคณิตของปริมาณงานที่คุณอาจใช้งานจริง สมมติว่าเอเจนต์เขียนโค้ดของคุณสร้างโทเคนเอาต์พุต 50 ล้านโทเคนต่อเดือน และอ่านโทเคนอินพุต 200 ล้านโทเคนในการทำเช่นนั้น

• บน Muse Wonder: อินพุต 200 × $4.00 = $800 บวกเอาต์พุต 50 × $20.00 = $1,000 รวม $1,800 ต่อเดือน

• สำหรับ Ripple 65B Preview ในอัตราที่ระบุ: อินพุต 200 × $0.20 = $40 บวกเอาต์พุต 50 × $0.60 = $30 รวม $70 ต่อเดือน

ความแตกต่าง: $1,730 ต่อเดือน หรือประมาณ $20,760 ต่อปี สำหรับจำนวนโทเค็นตามที่ระบุไว้เท่ากัน

ตอนนี้คือส่วนที่สเปรดชีตมองข้ามไป หาก Ripple ทำงานล้มเหลวหนึ่งในสามงานและคุณลองใหม่ ปริมาณผลผลิตที่ได้จริงของคุณจะเพิ่มขึ้นครึ่งหนึ่ง ลองใหม่สองครั้งก็เท่ากับเพิ่มเป็นสองเท่า จุดคุ้มทุนไม่ใช่เรื่องที่มองข้ามได้ง่าย ๆ — Ripple อาจมีประสิทธิภาพต่อโทเค็นต่ำกว่าถึงสามสิบสามเท่าแต่ยังมีต้นทุนต่ำกว่า — แต่รูปแบบความล้มเหลวนั้นแย่กว่าบิลมาก เอเจนต์เขียนโค้ดที่ล้มเหลวหนึ่งในสามของงานไม่ได้แค่ทำให้ต้องจ่ายมากขึ้นเท่านั้น แต่ยังทำให้คุณต้องเสียวิศวกรที่ต้องคอยสังเกต แก้ไขสิ่งที่พัง และรันงานใหม่ คิดราคาการกำกับดูแลด้วย ไม่ใช่แค่โทเค็น

Artificial Analysis ระบุบนหน้าของโมเดลแบบไลฟ์ว่า Muse Wonder (Max) อยู่ที่ 6.95 ดอลลาร์ต่อหนึ่งงานในดัชนี — เป็นหน่วยที่ตรงไปตรงมากว่าหน่วยดอลลาร์ต่อล้าน และเป็นหน่วยที่ไม่มีค่าที่เทียบเท่าได้สำหรับ Ripple เพราะยังไม่มีใครรัน Ripple ผ่านชุดงานมาตรฐาน

Meta เรียกเก็บเงินค่าอะไรบ้าง นอกเหนือจากน้ำหนักโมเดล

Muse Wonder เป็นโมเดลแบบปิดที่มีขอบเขตการรับข้อมูลกว้างอย่างผิดปกติ โดยรับข้อความ รูปภาพ วิดีโอ เสียง และ PDF แล้วส่งออกเป็นข้อความ ภายในบริบท 1,048,576 โทเคน พร้อมเพดานเอาต์พุต 131,072 โทเคน ทำงานด้วยการให้เหตุผลแบบเปิดตลอดเวลาพร้อมระดับความพยายามที่เลือกได้ 6 ระดับ รองรับการเรียกเครื่องมือแบบขนานและเอาต์พุตแบบมีโครงสร้าง และมีสองฟีเจอร์ที่ไม่มีสิ่งที่เทียบเท่าบนการ์ดของ Ripple เลย ได้แก่ Active Memory ซึ่งพาบริบทข้ามบทสนทนา และ Active Focus ซึ่งออกแบบมาเพื่อประคองงานยาวให้ต่อเนื่องโดยไม่เบี่ยงเบน

การที่คุณจะใส่ใจหรือไม่นั้นขึ้นอยู่กับลักษณะของภาระงานของคุณทั้งหมด ถ้าเอเจนต์ของคุณต้องอ่านภาพหน้าจอของการทดสอบที่ล้มเหลว ถอดเสียงการโทรของลูกค้า และกระทบยอดกับใบแจ้งหนี้ PDF ในการดำเนินการครั้งเดียว คะแนน benchmark ของ Ripple ก็ไม่ช่วยคุณเลย เพราะ Ripple 65B Preview รับข้อความและส่งคืนข้อความ ช่องว่างด้าน modality ไม่ใช่ความแตกต่างด้านประสิทธิภาพที่คุณจะปิดได้ด้วย prompt ที่ดีขึ้น

Muse Wonder (Max) ได้คะแนน 44 บนดัชนี Intelligence Index ของ Artificial Analysis — อยู่อันดับที่ 26 จาก 66 โมเดลในชั้นเดียวกัน และสูงกว่าค่ามัธยฐานที่ 36 ของโมเดลที่เทียบเคียงได้ แม้จะไม่ใช่คะแนน 52 ที่ใกล้เคียงระดับแนวหน้าอย่างที่สื่อรายงานในสัปดาห์เปิดตัวแล้วก็ตาม ดัชนีนี้ถูกสร้างใหม่ในช่วงปลายเดือนตุลาคม และมีหลายโมเดลที่ถูกปรับอันดับ Ripple 65B Preview ไม่ปรากฏอยู่ในดัชนีนี้เลย

Apache 2.0 มีมูลค่าแค่ไหน

Ripple 65B Preview เป็นโมเดล dense 65 พันล้านพารามิเตอร์ภายใต้ Apache 2.0 โดยมีน้ำหนักเต็มรูปแบบอยู่บน Hugging Face ในรูปแบบ BF16 พร้อมทั้ง NVFP4 และตัวแปร base-model ใน BF16 checkpoint นั้นมีขนาดราว 130 GB ซึ่งอยู่ในระดับ DGX Spark หรือการรันแบบ quantised บนเครื่องที่เล็กกว่า — ไม่ใช่ MacBook ถึงแม้ข่าวการเปิดตัวจะบอกเช่นนั้น เว้นแต่คุณจะรันบิลด์ NVFP4 Ricursive อ้างว่าทำได้ 250 โทเคนต่อวินาทีบน B200 สองตัวที่ batch size 8 ก่อนที่จะมี custom kernel ใด ๆ และมี MFU ประมาณ 40% ตลอดการ pretraining ด้วย sharding แบบธรรมดา

สิ่งที่คุณได้จากสิ่งนี้คือทุกอย่างที่โมเดลแบบปิดที่โฮสต์ไว้ไม่สามารถให้ได้ ได้แก่ ความสามารถในการไฟน์จูนกับข้อมูลของคุณเอง การรัน inference โดยไม่มีค่าใช้จ่ายต่อโทเคนและไม่มีข้อมูลออกจากเครือข่ายของคุณ การปักหมุดเวอร์ชันไว้ตลอดไป และการให้บริการตอนตี 3 โดยไม่ต้องพึ่งหน้าสถานะของคนอื่น สำหรับงานที่มีการกำกับดูแล รายการนี้มักมีค่ามากกว่า 34 คะแนน DeepSWE สำหรับสตาร์ทอัพที่กำลังปล่อยเอเจนต์ในไตรมาสนี้ โดยปกติแล้วไม่ใช่

ยังมีความไม่สมมาตรด้านสัญญาอนุญาตที่ควรกล่าวถึงอีกประการหนึ่ง Apache 2.0 นั้นถือว่าเปิดกว้างเกือบที่สุดเท่าที่ open weights จะเป็นได้ ส่วน Muse Wonder เป็นแบบปิดโดยสิ้นเชิง — รุ่นร่วมตระกูลแบบ open weights ของ Meta คือ Muse Spark Open ซึ่งเป็นโมเดลคนละรุ่นและใหญ่กว่ามากที่ 816B พารามิเตอร์ โดยมี 42B พารามิเตอร์ที่ใช้งานและ 256 ผู้เชี่ยวชาญ ไม่ใช่ Wonder เวอร์ชันที่เล็กกว่า หาก open weights เป็นข้อกำหนดไม่ใช่เพียงความชอบ การเปรียบเทียบนี้ก็จบเพียงเท่านี้

การรันทั้งสองแบบเคียงข้างกัน

วันนี้ยังไม่มีโมเดลใดในสองโมเดลนี้อยู่ในแคตตาล็อกของเรา และจะไม่มีการสื่อเป็นนัยว่ามี Muse Wonder เข้าถึงนักพัฒนาผ่าน API ของ Meta เอง ส่วน Ripple ผ่าน endpoint ของ Ricursive และแพลตฟอร์มบุคคลที่สาม โดยมี weights อยู่บน Hugging Face สิ่งที่ router มีประโยชน์ในสถานการณ์นี้คือสิ่งที่ทั้งสองการเปิดตัวทำให้เห็นชัด: คุณไม่ต้องการให้เส้นทาง production ถูกต่อเข้ากับ Preview ที่เพิ่งเปิดตัวได้เพียงหนึ่งวัน ซึ่งการ์ดของโมเดลเองระบุว่าคะแนนของมันยากต่อการทำซ้ำ คุณต้องการให้โมเดลนั้นอยู่หลัง fallback โดยรับส่วนแบ่งทราฟฟิกที่คุณสามารถเพิ่มได้เมื่อมีหลักฐานสะสมมากขึ้น — failover อัตโนมัติไปยังโมเดลที่พิสูจน์แล้วว่าดีเมื่อเกิดข้อผิดพลาดหรือ timeout แทนที่จะต้องเขียนใหม่เมื่อการทดลองน่าผิดหวัง

รูปแบบนั้นยังเป็นวิธีที่คุณตอบคำถามเรื่องราคาเชิงประจักษ์ด้วย ส่งทราฟฟิกการเขียนโค้ด 10% ไปที่ Ripple เก็บ 90% ไว้ที่ Muse Wonder และเปรียบเทียบไม่ใช่ค่าโทเคน แต่เป็นต้นทุนต่องานที่เสร็จสมบูรณ์ — รวมถึงการลองใหม่และเวลาของมนุษย์ คีย์ API หนึ่งคีย์ บรรทัดการเรียกเก็บเงินหนึ่งบรรทัด และตัวเลขที่คุณปกป้องได้ในที่ประชุมวางแผน ซึ่งมากกว่าที่ตาราง benchmark ใด ๆ จะให้คุณได้

ใครควรจ่ายยี่สิบเท่า

จ่ายเงินสำหรับ Muse Wonder หากงานของคุณเป็นแบบหลายรูปแบบ ระยะยาว หรือต้องติดต่อกับลูกค้า: เอเจนต์ที่อ่านภาพหน้าจอ ผู้ช่วยที่ต้องจดจำผู้ใช้ข้ามเซสชัน หรือสิ่งใดก็ตามที่อัตราการหลอน 27% ถือว่าสูงเกินไปแล้ว และคุณต้องการความน่าเชื่อถือที่ได้จากการฝึกหลังการฝึก (post-training) ของห้องปฏิบัติการชั้นแนวหน้า ราคา $6.95 ต่องานจัดทำดัชนีถือเป็นราคาที่สมเหตุสมผลสำหรับโมเดลที่ทำงานเสร็จ

ใช้ Ripple 65B Preview หากงานเป็นข้อความล้วน มีขอบเขตจำกัด และมีปริมาณมาก และหากคุณมีฮาร์ดแวร์หรือเอนด์พอยต์ราคาถูก: การจำแนกแบบแบตช์ การรีวิวโค้ดตามเกณฑ์ที่กำหนดตายตัว ผู้ช่วยในเครื่อง ฐานสำหรับการทำ fine-tuning ที่ $0.20 และ $0.60 มันถูกกว่าถึงสามสิบสามเท่าในด้านเอาต์พุต และบนเวิร์กโหลดที่เสริมจุดแข็งของมัน อัตราส่วนดังกล่าวย่อมชนะการด้อยกว่า 34.5 จุดบนเบนช์มาร์กเพียงรายการเดียวได้

การตีความช่องว่างของ DeepSWE ว่าเป็นคำตัดสินถือเป็นความผิดพลาด มันเป็นเพียงข้อสอบชุดหนึ่ง ที่ทำเพียงครั้งเดียว และถูกรายงานโดยห้องแล็บที่สร้างมันขึ้นมา ตัวเลขที่ควรใช้ตัดสินเรื่องนี้สำหรับคุณไม่ใช่ 78.8 เทียบกับ 44.3 — แต่คือสิ่งที่ชุดงานของคุณเองให้ผลออกมาเมื่อคุณรันทั้งสองอย่าง และตัวเลขนั้นยังไม่มีอยู่จริงจนกว่าคุณจะสร้างมันขึ้นมา