Muse Spark 1.2 เทียบกับ Gemini 3.5 Flash-Lite: สองแล็บ สองนิยามของซับเอเจนต์

ภายในระยะเวลาสองสัปดาห์จากกัน ห้องแล็บสองแห่งเปิดตัวโมเดลและบรรยายมันด้วยคำเดียวกัน ตาม model card ของมันเอง Gemini 3.5 Flash-Lite "เหมาะสำหรับตัวแทนย่อยที่ปฏิบัติงานเฉพาะเจาะจงภายในเวิร์กโฟลว์แบบหลายเอเจนต์ที่ซับซ้อน." Meta กล่าวว่า Muse Spark 1.2 สามารถทำหน้าที่ "เป็นได้ทั้งเอเจนต์หลักสำหรับการวางแผนและมอบหมายงาน หรือเป็นตัวแทนย่อยที่ทำงานแบบขนาน." คำศัพท์เดียวกัน และกว่าจะเห็นว่าทั้งคู่ให้ความหมายต่างกันอย่างไร ก็ต้องให้ Artificial Analysis นำทั้งสองไปทดสอบผ่าน Intelligence Index: Flash-Lite ทำชุดทดสอบเสร็จด้วย output tokens 43 ล้าน ขณะที่ Muse Spark 1.2 ต้องใช้ถึง 95 ล้าน โมเดลหนึ่งคิดสั้น ๆ และบ่อยครั้ง ส่วนอีกโมเดลหนึ่งคิดหนักและคิดนาน ทั้งคู่เรียกผลลัพธ์ว่าตัวแทนย่อย

อัตราส่วนโทเค็นดังกล่าวคือตัวเลขที่เกี่ยวข้องกับการตัดสินใจมากที่สุดในการเปรียบเทียบ เพราะระดับซับเอเจนต์เป็นสิ่งที่คุณแฟนเอาต์ออกมา — ครั้งละยี่สิบ ครั้งละร้อย — และการแฟนเอาต์จะคูณนิสัยต่อการเรียกใช้ที่โมเดลมีอยู่ สิ่งที่ตามมาจะอธิบายว่าห้องปฏิบัติการแต่ละแห่งสร้างอะไรขึ้นมาจริงๆ เลขคณิตของแฟนเอาต์ที่ราคาจริงเป็นอย่างไร และจุดที่ตัวถูกกลับกลายเป็นตัวเลือกที่แพง

แต่ละแล็บหมายถึงอะไรด้วยคำว่า

เวอร์ชัน Flash-Lite คือการนิยามบทบาทตามขนาด Gemini 3.5 Flash-Lite เป็นระดับที่ถูกที่สุดในตระกูลของมัน และการวางตำแหน่งนี้โดดเด่นตรงที่เชื่อมโยงระดับการคิดเข้ากับเวิร์กโหลดของซับเอเจนต์แบบหลายขั้นตอนโดยตรง — นับเป็นครั้งแรกที่ระดับในตระกูลนี้ถูกอธิบายด้วยบทบาทของเอเจนต์แทนที่จะเป็นขนาดหรือความเร็ว การใช้เหตุผลเป็นสิ่งจำเป็นแต่ระดับความพยายามเริ่มต้นคือ น้อยที่สุด ส่วนตัวปรับระดับความพยายามมีค่าสูงสุดที่ high และตัวโมเดลถูกสร้างมาเพื่อให้เรียกใช้พร้อมกันเป็นจำนวนมากและตอบสนองได้อย่างรวดเร็ว ผู้พัฒนารายงานผล 54.2% บน SWE-Bench Pro เทียบกับ 49.6% ของ Gemini 3 Flash และ 74.0% บน OSWorld-Verified เทียบกับ 65.1% — ตัวเลขทั้งคู่มาจากการรายงานของผู้พัฒนา ไม่ได้ผ่านการตรวจสอบซ้ำอย่างอิสระ และทั้งคู่ถูกนำเสนอในแง่ของผลลัพธ์เชิงเอเจนต์มากกว่าผลลัพธ์ด้านความฉลาดดิบ

เวอร์ชันของ Meta คือการกำหนดบทบาทตามโทโพโลจี คำโปรยของผลิตภัณฑ์ Muse Spark 1.2 บรรยายโมเดลที่สามารถรวบรวมบริบท วางแผน และมอบหมายการดำเนินงานให้กับซับเอเจนต์แบบขนาน หรือตัวมันเองก็เป็นหนึ่งในซับเอเจนต์เหล่านั้นได้ แถบปรับระดับการให้เหตุผลของมันมีตั้งแต่ระดับน้อยที่สุดจนถึงสูงพิเศษ โดยค่าเริ่มต้นคือปานกลาง และ Meta ระบุงานเป้าหมายอย่างชัดเจน ได้แก่ การรีแฟกเตอร์หลายไฟล์ เซสชันการดีบักแบบขยาย และการสร้างทั้งรีโพซิทอรี นี่คือโมเดลที่ออกแบบมาให้เป็นผู้ประสานงานที่สามารถลงมือทำงานเองได้ด้วย ซึ่งเป็นผลิตภัณฑ์ที่แตกต่างจากโมเดลที่ออกแบบมาให้สร้างขึ้นครั้งละยี่สิบตัว

ไม่มีห้องปฏิบัติการใดเผยแพร่เกณฑ์มาตรฐานสำหรับข้อกล่าวอ้างเฉพาะดังกล่าว Meta เปิดตัว 1.2 เมื่อวันที่ 5 สิงหาคม โดยไม่มีโพสต์ประกาศเปิดตัวเลย — หน้าประกาศ Muse Spark 1.1 ยังคงอธิบายถึงเวอร์ชันก่อนหน้า

ช่องว่างที่ดัชนีวัดได้จริง

คะแนนอิสระจาก Artificial Analysis ซึ่งรันการประเมินแบบเดียวกันทั้งเก้ารายการบนทั้งสองโมเดล:

• ดัชนีความฉลาด — Muse Spark 1.2 (xhigh) 54, อันดับ #13 จาก 185. Gemini 3.5 Flash-Lite 36, อันดับ #20 จาก 163. 18 คะแนน เทียบกับค่ามัธยฐานของกลุ่มที่ 32.

• ความเร็วเอาต์พุต — 165.0 โทเคนต่อวินาที เทียบกับ 343.6 Flash-Lite สตรีมได้เร็วกว่าสองเท่า

• เวลาจนถึงโทเคนแรก — 26.12 วินาที เทียบกับ 10.30 วินาที ทั้งสองกรณีใช้ความพยายามสูงสุด Artificial Analysis ระบุว่า 10.30 วินาทีของ Flash-Lite นั้นถือว่าอยู่ในระดับสูงอยู่แล้วสำหรับโมเดลเชิงเหตุผลในระดับราคาเดียวกัน

• ความมากของข้อความ — โทเค็นผลลัพธ์ 95M เทียบกับ 43M สำหรับชุดเดียวกัน โดยมีค่ามัธยฐาน 65M ในทุกรุ่น Muse Spark 1.2 สูงกว่าค่ามัธยฐาน 46% ส่วน Flash-Lite ต่ำกว่า 34%

• ค่าใช้จ่ายในการรันดัชนี — $637.85 เทียบกับ $153.08.

• รายมิติ — ดัชนีย่อยของ Artificial Analysis จัดให้ Gemini 3.5 Flash-Lite ได้ 49.3 ด้านการเขียนโค้ด และ 26.8 ด้าน agentic ยังไม่มีรายละเอียดเผยแพร่สำหรับ Muse Spark 1.2 ส่วนรุ่นก่อนหน้าได้คะแนน 71.3 และ 37.5

คะแนนดัชนีสิบแปดจุดไม่ใช่ความแตกต่างจากการปัดเศษ สิ่งเหล่านี้ไม่ใช่ผู้สมัครสองคนสำหรับตำแหน่งเดียวกัน

เลขคณิตแฟนเอาต์

ราคาต่อโทเค็นเป็นมุมมองที่ผิดสำหรับระดับซับเอเจนต์ เพราะจุดรวมของระดับนี้คือคุณต้องรันมันหลายๆ ตัว. ลองคิดตัวอย่างตามราคารายการ — $0.30 สำหรับอินพุต และ $2.50 สำหรับเอาต์พุต สำหรับ Gemini 3.5 Flash-Lite, $1.25 สำหรับอินพุต และ $4.25 สำหรับเอาต์พุต สำหรับ Muse Spark 1.2

ออร์เคสเตรเตอร์กระจายงานให้ซับเอเยนต์จำนวนยี่สิบตัว แต่ละตัวอ่านโทเคน 25,000 โทเคนจากบริบทที่จำกัดขอบเขต และเขียนกลับมา 1,500 โทเคน

• Gemini 3.5 Flash-Lite — 20 × ($0.0075 + $0.00375) = ประมาณ 22.5 เซนต์ ต่อ fan-out.

• Muse Spark 1.2 — 20 × ($0.03125 + $0.006375) = ประมาณ 75 เซนต์ ต่อ fan-out.

สามกับหนึ่งในสามเท่า ซึ่งฟังดูแล้วจัดการได้ ทีนี้ลองใช้ความต่างด้านความยืดยาวที่วัดได้ดู หาก Muse Spark 1.2 เขียนมากขึ้นตามสัดส่วนเมื่อเทียบกับ Flash-Lite แบบเดียวกับที่ทำในดัชนี — กล่าวคือมีโทเค็นเอาต์พุตประมาณ 2.2 เท่าสำหรับงานที่เหมือนกัน — คำตอบขนาด 1,500 โทเค็นจึงกลายเป็นประมาณ 3,300 และ fan-out ก็เพิ่มขึ้นเป็นประมาณ 91 เซนต์ สี่เท่า ไม่ใช่สามเท่า ที่ fan-out หนึ่งร้อยครั้งต่อชั่วโมงในระบบเอเจนต์ที่ยุ่ง นั่นคือความแตกต่างระหว่าง $22 กับ $91 ต่อชั่วโมง หรือประมาณ $600,000 ต่อปีเมื่อรับโหลดต่อเนื่อง

รายละเอียดด้านราคาสองประการทำให้ช่องว่างที่แท้จริงกว้างขึ้นอีกในทิศทางหนึ่งและแคบลงในอีกทิศทางหนึ่ง:

• Flash-Lite คิดค่าใช้จ่ายการให้เหตุผลภายในในอัตราเดียวกับเอาต์พุต ราคาที่ระบุไว้สำหรับโทเค็นการให้เหตุผลภายในคือ 2.50 ดอลลาร์ต่อล้าน — เท่ากับเอาต์พุตที่มองเห็นได้ การคิดไม่ได้ฟรี แต่เพียงมองไม่เห็นในคำตอบเท่านั้น หากซับเอเจนต์ใช้โทเค็น 2,000 โทเค็นในการไตร่ตรองก่อนตอบ ให้เพิ่มครึ่งเซนต์ต่อการเรียก หรือ 10 เซนต์ทั่วทั้ง fan-out

• การแคชให้ความได้เปรียบกับ Muse Spark 1.2 ในแง่อัตราส่วน การอ่านอินพุตที่แคชมีราคา $0.15 ต่อล้านครั้ง เทียบกับราคาปกติ $1.25 ซึ่งเป็นส่วนลด 88% Flash-Lite อ่านอินพุตที่แคชในราคา $0.03 เทียบกับ $0.30 ซึ่งเป็นส่วนลด 90% แต่ยังคิดค่าธรรมเนียมประมาณ $0.083 ต่อล้านครั้งสำหรับการเขียนแคช ขณะที่ Muse Spark 1.2 ไม่เปิดเผยค่าธรรมเนียมการเขียนแคชแยกต่างหาก สำหรับ fan-out ที่ซับเอเจนต์ทุกตัวใช้พรีฟิกซ์ขนาดใหญ่ร่วมกัน ช่องว่างดังกล่าวจะแคบลงอย่างมีนัยสำคัญ

ความหน่วงในระบบผลิตจริงคือจุดที่ Flash-Lite หนีห่างมากที่สุด และตัวเลข benchmark กลับปิดบังข้อเท็จจริงนี้ไว้ บน OrcaRouter ตลอดหนึ่งสัปดาห์ของทราฟฟิกจริงแบบหมุนเวียน Gemini 3.5 Flash-Lite แสดงค่า p50 time to first token ที่ 816 มิลลิวินาที และ p95 ที่ 4.57 วินาที. Muse Spark 1.1 — ตัวแทนที่ใกล้เคียงที่สุดที่มีอยู่ เนื่องจาก 1.2 ยังไม่มีเทเลเมทรี — แสดงค่า p50 ที่ 1.84 วินาที และ p95 ที่ 6.00 วินาที เมื่อซับเอเจนต์ยี่สิบตัวทำงานแบบขนาน ตัวที่ช้าที่สุดจะเป็นตัวกำหนดเวลาจริง (wall clock) ดังนั้น p95 คือตัวเลขที่กำหนด latency ของการ fan-out ไม่ใช่ p50

ที่ซึ่งของถูกคือการตัดสินใจที่ผิด

ข้อจำกัดสี่ประการของ Gemini 3.5 Flash-Lite ที่ไม่ปรากฏในการเปรียบเทียบราคา และจะปรากฏในการทบทวนเหตุการณ์

• ข้อจำกัดเอาต์พุต 65,536 โทเคน ซึ่งเป็นครึ่งหนึ่งของที่โมเดลส่วนใหญ่ในคลาสนี้อนุญาต และเป็นกำแพงแข็งสำหรับซับเอเจนต์ที่ถูกขอให้สร้างไฟล์ขนาดใหญ่หรือส่งคืนเอกสารที่มีโครงสร้างยาว เอนด์พอยต์ของ Muse Spark 1.2 ประกาศว่าไม่มีความยาวคอมพลีชันสูงสุดเลย — ซึ่งผิดปกติพอที่จะทดสอบมากกว่าเชื่อถือ แต่ก็ไม่ใช่ขีดจำกัดที่บันทึกไว้ในเอกสาร

• เป็นเอนด์พอยต์ที่ไม่มีการกลั่นกรอง ลิสติ้งของ Flash-Lite ไม่มีแฟล็กการกลั่นกรอง ขณะที่ของ Meta สำหรับ Muse Spark 1.2 มี นั่นเป็นข้อได้เปรียบที่แท้จริงสำหรับบางเวิร์กโหลด แต่เป็นปัญหาด้านการปฏิบัติตามข้อกำหนดสำหรับบางกรณี และควรเป็นการตัดสินใจอย่างตั้งใจมากกว่าที่จะมาเรียนรู้ภายหลัง

• การค้นหาในตัวที่มีราคาแพง.เครื่องมือค้นหาเว็บของ Flash-Lite มีราคาอยู่ที่ประมาณ 14 ดอลลาร์ต่อการเรียกหนึ่งพันครั้ง เทียบกับ 2.50 ดอลลาร์สำหรับ Muse Spark 1.2 ถ้าตัวแทนย่อยของคุณค้นคว้าแทนที่จะอ่านเพียงอย่างเดียว โมเดลที่ราคาถูกก็จะกลายเป็นโมเดลที่แพง — แพงขึ้นถึงห้าเท่าครึ่ง — และปริมาณการค้นหาในสถาปัตยกรรมแบบแฟนเอาต์จะปรับขนาดตามแฟนเอาต์

• ราคาของมันเพิ่มขึ้น ไม่ได้ลดลง Gemini 3.5 Flash-Lite มีราคา $0.30 และ $2.50 ในขณะที่ Gemini 3.1 Flash-Lite รุ่นก่อนหน้าอยู่ที่ $0.25 และ $1.50 เอาต์พุตแพงกว่าระดับที่มันเข้ามาแทนที่ 67% หากคุณตั้งงบประมาณซับเอเจนต์ตามรุ่นเก่า ให้ปรับขนาดใหม่

ยังมีความไม่สมมาตรอีกประการหนึ่งที่ควรกล่าวให้ชัดเจน: Muse Spark 1.2 ให้บริการโดยผู้ให้บริการเพียงรายเดียว — Meta — โดยไม่มีโฮสต์จากบุคคลที่สามและไม่มีฟอลแบ็ก Gemini 3.5 Flash-Lite มีพื้นที่ให้บริการหลายภูมิภาคตามปกติของฝ่ายแรก สำหรับออร์เคสเตรเตอร์ นั่นคือจุดเดียวที่ทำให้ทั้งโครงสร้างเอเจนต์ของคุณล้มเหลวได้ และสำหรับชั้นเวิร์กเกอร์ นั่นคือจุดเดียวที่ทำให้การกระจายแบบแฟนเอาต์ล้มเหลวได้

การจับคู่ที่ทีมส่วนใหญ่จะลงเอยด้วยจริงๆ

เมื่ออ่านเทียบกันแล้ว โมเดลทั้งสองนี้ไม่ได้เป็นคู่แข่งกันมากนัก แต่เป็นสองซีกของสถาปัตยกรรมเดียวกัน และคำโปรยผลิตภัณฑ์ของ Meta เองก็กล่าวเช่นนั้น เมื่ออธิบายบทบาท primary-agent แยกจากบทบาท subagent

รูปร่างที่ตามมาจากตัวเลข: Muse Spark 1.2 เป็นตัวประสานงาน Gemini 3.5 Flash-Lite เป็นตัวทำงาน การเรียกใช้ครั้งเดียวที่แพงและรอบคอบ ซึ่งอ่านที่เก็บโค้ด เก็บแผนงาน และตัดสินใจว่าจะมอบหมายอะไร — โดยที่การคิด 26 วินาทีและความมากมายของข้อความในระดับ 95M โทเค็นแลกมาซึ่งแผนที่คุ้มค่าต่อการดำเนินการ — ตามด้วยการเรียกใช้ราคาถูก รวดเร็ว และเฉพาะเจาะจงยี่สิบครั้ง ซึ่งแต่ละครั้งทำงานในขอบเขตเดียวและตอบกลับภายในไม่ถึงวินาทีที่ p50 คุณจ่ายในอัตราใกล้เคียงโมเดลระดับแนวหน้าครั้งละหนึ่งงาน และจ่ายในอัตราประหยัดต่อหน่วยงาน ซึ่งเป็นเส้นต้นทุนที่สถาปัตยกรรม fan-out ต้องการพอดี

ถ้าพลิกกลับ เศรษฐศาสตร์ก็พังทลาย ซับเอเจนต์ Muse Spark 1.2 จำนวนยี่สิบตัวที่ราคา 91 เซนต์ต่อ fan-out คิดเป็นสี่เท่าของค่าใช้จ่ายสำหรับงานที่โมเดลที่อ่อนกว่า 18 จุดใช้เวลาทำเสร็จในหนึ่งในสามของเวลา และออร์เคสเตรเตอร์ Flash-Lite ที่ดัชนี 36 จะสร้างแผนการที่คนทำงานไม่สามารถกู้กลับมาได้

การที่ต้องสร้างระบบโดยกระจายข้ามผู้ให้บริการสองรายเคยเป็นจุดที่ยุ่งยาก Gemini 3.5 Flash-Lite อยู่ในแคตตาล็อกของ OrcaRouter ที่ราคา $0.30 และ $2.50 — เป็นราคารายการของผู้ให้บริการ ส่งผ่านโดยบวกเพิ่ม 0% การเปลี่ยนแปลงราคาจึงถึงฝั่งเราในวันเดียวกันแทนที่จะมาในรอบสัญญา — และ Muse Spark 1.1 ก็อยู่ที่นั่นที่ราคา $1.25 และ $4.25 บนพื้นฐานเดียวกัน โดยทั้งคู่ถูกให้บริการผ่านเอนด์พอยต์เดียวที่เข้ากันได้กับ OpenAI นั่นหมายความว่ารูปแบบออร์เคสเตรเตอร์และเวิร์กเกอร์นั้นใช้สตริงโมเดลสองตัวในโค้ดเบสเดียว แทนที่จะเป็นสอง SDK สองคีย์ และสองใบแจ้งหนี้ และการเฟลโอเวอร์อัตโนมัติจะรองรับกรณีที่ผู้ให้บริการรายหนึ่งมีปัญหาชั่วคราวกลางการกระจายงานแบบ fan-out เพื่อให้ชัดเจนว่ามีอะไรพร้อมใช้งานบ้าง: ตัว Muse Spark 1.2 เองยังไม่ได้อยู่ในแคตตาล็อก — Meta ให้บริการโดยตรงในฐานะผู้ให้บริการเพียงรายเดียว — ดังนั้นในวันนี้ เวอร์ชันที่ใกล้เคียงที่สุดของสแตกนี้จึงรัน 1.1 ในตำแหน่งออร์เคสเตรเตอร์

เลือกตามบทบาท ไม่ใช่ตามคะแนน

หากคุณกำลังเลือก worker tier — การแยกวิเคราะห์เอกสาร การดึงข้อมูล การแก้ไขไฟล์ตามขอบเขต การจัดหมวดหมู่ งานซ้ำๆ แคบๆ ตรงกลางของ agent tree — Gemini 3.5 Flash-Lite คือเครื่องมือที่ดีกว่า และคะแนนดัชนีที่ขาดไป 18 จุดนั้นแทบไม่เกี่ยวข้องเลย เพราะคุณไม่ได้ขอให้มันใช้เหตุผล จับตาดูเพดานผลลัพธ์ (output ceiling) และราคาการค้นหา (search pricing)

หากคุณกำลังเลือกโมเดลที่ตัดสินใจว่าคนทำงานต้องทำอะไร Muse Spark 1.2 คือตัวเลือกที่แข็งแกร่งกว่าจากสองตัวเลือก โดยมีข้อแม้ว่ามันไม่มีคะแนน agentic แยกตามมิติที่เป็นอิสระ ไม่มีบันทึกใน arena ใดๆ ไม่มีข้อมูลเทเลเมทรีจากการใช้งานจริง และมีผู้ให้บริการเพียงรายเดียว นี่คือช่องว่างที่ต้องปิดก่อนที่มันจะสามารถรองรับแผนการผลิตได้

และหากคุณหวังว่าโมเดลหนึ่งจะสามารถทำงานทั้งสองอย่างได้ คำตอบที่ตรงไปตรงมาจากการวัดผลก็คือ ไม่มีโมเดลใดทำได้ Flash-Lite ไม่สามารถวางแผนที่ดัชนี 36; Muse Spark 1.2 ไม่สามารถสร้างอินสแตนซ์ได้ครั้งละยี่สิบตัวในราคา 91 เซนต์ต่อแฟนเอาต์ คำว่า "subagent" ที่ปรากฏในคำอธิบายผลิตภัณฑ์ทั้งสองเป็นความบังเอิญทางการตลาด ไม่ใช่สัญญาณว่าพวกมันอยู่ในตำแหน่งเดียวกัน