ScaleDown Classify vs Microsoft-Decision-1: รายหนึ่งเผยแพร่ตัวเลข อีกรายหนึ่งเผยแพร่วิธีการ

ScaleDown Classify และ Microsoft-Decision-1 เป็นสองตัวเลือกแบบปิดที่โฮสต์ให้บริการในการเปรียบเทียบนี้ ทั้งคู่ไม่มีการแจกจ่ายน้ำหนักโมเดล ไม่ใช่สิ่งที่คุณดาวน์โหลด และทั้งคู่สร้างบนหลักการเดียวกัน นั่นคือ การตัดสินใจ — หมวดหมู่ใด ตัวเลือกใด หรือสิ่งใดในเหล่านี้ — ควรถูกอ่านออกมาจากความน่าจะเป็นของโมเดล แทนที่จะถูกเขียนออกมาเป็นข้อความโดยลูปการสร้าง Microsoft-Decision-1 เปิดให้ใช้ทั่วไปบน Microsoft Foundry ตั้งแต่ 8 ตุลาคม 2026 ในฐานะตัวถอดรหัสแบบหนาแน่นขนาด 9 พันล้านพารามิเตอร์ที่ผ่านการฝึกเพิ่มเติมโดย Microsoft โดยรองรับ 25 ภาษาและบริบท 32,768 โทเค็น ScaleDown Classify เป็นเอนจิน Rubric แบบโฮสต์ในราคา $0.05 ต่อล้านโทเค็นอินพุต และ $0 ต่อล้านโทเค็นเอาต์พุต โดยมีขีดจำกัดอินพุต 1 ล้านโทเค็น และเพดาน 20 ป้ายกำกับ สิ่งที่แยกทั้งสองออกจากกันไม่ใช่ความสามารถ แต่เป็นสิ่งที่แต่ละบริษัทเต็มใจจะเผยแพร่เกี่ยวกับโมเดลของตัวเอง และพวกเขาเลือกเปิดเผยคนละครึ่งที่ตรงข้ามกัน

การผกผันของการเปิดเผย

เอกสาร Foundry ของ Microsoft-Decision-1 อธิบายการประเมินของโมเดลนี้อย่างละเอียดผิดปกติ ทั้งชุดทดสอบมาตรฐานการตัดสินใจแบบสาธารณะและจากชุมชน บวกกับชุดภายในที่กันไว้ไม่ได้ใช้ฝึก เมตริกต่าง ๆ รวมถึงความแม่นยำและความคลาดเคลื่อนของการคาลิเบรต ลำดับตัวเลือกถูกสลับ การทดสอบทางสถิติแบบจับคู่ และชุดทดสอบเดียวกันทุกประการสำหรับทุกโมเดลที่นำมาเปรียบเทียบด้วย จากนั้นก็รายงานว่าโมเดลนี้ "มีประสิทธิภาพทัดเทียมกับโมเดลการตัดสินใจชั้นนำ และนำหน้าโมเดลการตัดสินใจแบบเปิดอื่น ๆ ที่ประเมินด้วยระเบียบวิธีเดียวกัน" — และไม่พิมพ์ตัวเลขใด ๆ เลย ไม่มีตัวเลขความแม่นยำ ไม่มีค่าความคลาดเคลื่อนของการคาลิเบรต ไม่มีตารางแยกตามชุดทดสอบมาตรฐาน

สิ่งที่ Microsoft เผยแพร่คือรายการข้อจำกัด และเป็นรายการที่ดี คะแนนจะเปลี่ยนไปตามถ้อยคำและการจัดลำดับตัวเลือก คำถามที่ตั้งกรอบไว้ไม่ดียังคงให้คะแนนกลับมา การคาลิเบรตจะแม่นยำที่สุดกับประเภทงานที่คุ้นเคย ไม่มีการสร้างคำอธิบาย จุดแข็งที่ระบุชื่อของโมเดลคือการให้เหตุผล การนำกฎไปใช้ และความทนทานต่อรูปแบบพรอมป์ต์ ส่วนจุดอ่อนที่ระบุชื่อคือความรู้เฉพาะทางและประสิทธิภาพในภาษาที่ไม่ใช่ภาษาอังกฤษ

ScaleDown Classify ดำเนินการในลักษณะตรงกันข้ามกับนโยบายนั้น เอกสารประกอบของมันลงรายละเอียดเชิงปฏิบัติเกี่ยวกับวิธีเขียนคำขอ — โดยเกณฑ์การประเมิน (rubric) ถูกอธิบายว่าเป็นส่วนที่สำคัญที่สุดของคำขอจำแนกประเภท เรียบเรียงเป็นคำถามแบบใช่/ไม่ใช่โดยตรง หลีกเลี่ยงการปฏิเสธ และทำให้ไม่ทับซ้อนกัน เพื่อไม่ให้มวลความน่าจะเป็นถูกแบ่งอย่างคาดเดาไม่ได้ — และการตลาดของผู้ขายมีข้อกล่าวอ้างด้านความแม่นยำและต้นทุน รวมถึงโมเดลขนาดประมาณครึ่งพันล้านพารามิเตอร์ที่ทำได้ 91.7% ในงานจำแนกประเภทง่าย ๆ เทียบกับ 88.6% ของโมเดลขนาด 72 พันล้านพารามิเตอร์ ไม่มีข้อกล่าวอ้างเหล่านั้นข้อใดที่ผูกอยู่กับระเบียบวิธีที่อธิบายไว้ และ ScaleDown Classify ไม่มีค่าความคลาดเคลื่อนการปรับเทียบที่คาดหวัง (expected calibration error) ที่เผยแพร่บนฮาร์เนสการประเมินสาธารณะใด ๆ

ดังนั้น ทางเลือกจึงอยู่ระหว่างผู้ขายที่บอกคุณว่าเขาวัดอย่างไร แต่ไม่บอกว่าพบอะไร กับผู้ขายที่บอกคุณว่าพบอะไร แต่ไม่บอกว่าวัดอย่างไร ไม่มีทางเลือกใดเป็นการเปิดเผยข้อมูลอย่างครบถ้วน และไม่ควรถือว่าทั้งสองเป็นเช่นนั้น

ภาษา: ภาษาหนึ่งเผยแพร่จำนวน ส่วนอีกภาษาไม่เผยแพร่อะไรเลย

Microsoft-Decision-1 ระบุรายชื่อภาษาที่รองรับ 25 ภาษา และระบุอย่างชัดเจนว่าความครอบคลุม คุณภาพ และการปรับเทียบ "อาจแตกต่างกันไปตามภาษา" โดยระบุว่าภาษาที่ไม่ใช่ภาษาอังกฤษและโดยเฉพาะภาษาที่มีทรัพยากรต่ำเป็นพื้นที่ที่ประสิทธิภาพต่ำกว่า นั่นคือการเปิดเผยข้อมูลที่นำไปใช้ประโยชน์ได้: มันบอกคุณว่าโมเดลนี้รองรับหลายภาษา บอกคุณคร่าว ๆ ว่ารองรับหลายภาษาเพียงใด และบอกคุณว่าที่ไหนไม่ควรเชื่อถือมัน

เอกสารประกอบ Classify ของ ScaleDown ไม่ได้เผยแพร่รายการภาษา ไม่มีส่วนใดในเอกสารอ้างอิง API ที่ระบุว่าการให้คะแนนตามรูบริกรองรับภาษาใด หรือว่าถ้อยคำของรูบริกในภาษาที่ไม่ใช่อังกฤษจะให้ผลแบบเดียวกันหรือไม่ และคำแนะนำเรื่องรูบริก — ให้เขียนเป็นคำถามใช่/ไม่ใช่โดยตรง หลีกเลี่ยงการปฏิเสธ — ถูกเขียนในลักษณะที่สื่อโดยนัยว่าผู้เรียกใช้เป็นผู้พูดภาษาอังกฤษที่เขียนรูบริกเป็นภาษาอังกฤษ สำหรับตัวจำแนกประเภทที่ในทางปฏิบัติจะถูกชี้ไปที่ตั๋วสนับสนุนระหว่างประเทศ นั่นคือช่องว่างที่ต้องปิดก่อนที่คุณจะตัดสินใจใช้งาน และเป็นช่องว่างที่มีเพียงการประเมินของคุณเองเท่านั้นที่ปิดได้

หากคุณต้องการขอบเขตภาษาที่มีเอกสารยืนยัน การเปรียบเทียบนี้ก็จบลงตรงนี้ และ Microsoft ชนะไปโดยปริยาย หากคุณใช้ภาษาอังกฤษเพียงอย่างเดียว จำนวนดังกล่าวก็ไม่ใช่ปัจจัย และส่วนที่เหลือของการตัดสินใจจะขึ้นอยู่กับความยาวของอินพุตและเกณฑ์ต่าง ๆ

บริบท: 32,768 โทเค็น เทียบกับหนึ่งล้าน

Microsoft ระบุการเรียกใช้ครั้งเดียวสูงสุด 32,768 โทเค็น ScaleDown ระบุขีดจำกัดอินพุต 1M โทเค็น และระบุว่าการปรับเทียบต่อชังก์นั้นเหมือนกันไม่ว่าจะส่งชังก์เดียวหรือเป็นส่วนหนึ่งของแบตช์ห้าสิบชังก์ โดยโปรไฟล์ที่ใช้ร่วมกันจะถูกเรียกเก็บเงินครั้งเดียวต่อคำขอ เมื่อดูจากตัวเลขดิบ นั่นคือความแตกต่างสามสิบเท่า และเป็นช่องว่างเดียวที่ใหญ่ที่สุดระหว่างสองผลิตภัณฑ์

สิ่งที่ได้มานั้นไม่ใช่ปริมาณงาน — แต่เป็นว่าคุณจำเป็นต้องมีชั้นการแบ่งชิ้นส่วนหรือไม่ เธรดสนับสนุน ตั๋วพร้อมประวัติของมัน ข้อความที่ดึงคืนมาสั้น ๆ ทั้งหมดนั้นพอดีอยู่ใน 32k โดยเหลือที่สำหรับสคีมาคำถาม และโมเดลทั้งสองให้ผลพอ ๆ กันที่ขนาดนั้น สัญญาฉบับเต็ม เอกสารนโยบายหลายหน้า บริบทที่ดึงคืนมายาว หรือแบบฟอร์มที่สแกน ไม่มีสิ่งใดพอดีใน 32k และเส้นทางเอกสารของ Classify — base64 JPEG, PNG, TIFF หรือ PDF หน้าเดียวหรือหลายหน้า โดยมีข้อความที่สกัดได้ส่งกลับมาในฟิลด์ ocr_text — หมายความว่าเอกสารสามารถใส่เข้าไปเป็นไบต์แทนที่จะเป็นข้อความที่ประมวลผลล่วงหน้า

ตัวเลขทั้งสองเป็นของผู้ขายเอง คำกล่าวอ้างเรื่องโทเคนหนึ่งล้านของ ScaleDown ยังไม่ได้รับการยืนยันจากแหล่งอิสระ และรายการแค็ตตาล็อกของบุคคลที่สามสำหรับโมเดลนี้แสดงความยาวบริบทว่าไม่เกี่ยวข้อง แทนที่จะสะท้อนตัวเลขดังกล่าว ซึ่งเป็นข้อจำกัดของแค็ตตาล็อกมากกว่าจะเป็นข้อขัดแย้ง

คำอธิบาย: รายหนึ่งปฏิเสธ อีกรายคิดค่าบริการสองเท่า

Microsoft-Decision-1 ไม่ให้คำอธิบายใด ๆ และหน้าโมเดลระบุสิ่งนั้นว่าเป็นข้อจำกัดมากกว่าจะเป็นตัวเลือกในการออกแบบ ScaleDown Classify จะส่งคืนคำอธิบายหนึ่งประโยคของป้ายกำกับอันดับต้น และเอกสารก็ระมัดระวังเกี่ยวกับสิ่งที่ประโยคนั้นเป็น: มันถูกสร้างขึ้นหลังจากที่ป้ายกำกับอันดับต้นถูกกำหนดแล้ว ดังนั้นมันจึงอธิบายการตัดสินใจแทนที่จะตั้งคำถามกับมัน มันเป็นรูปแบบอิสระ และมันส่งป้ายกำกับและเกณฑ์การให้คะแนนซ้ำด้วยจำนวนโทเค็นอินพุตที่คิดค่าบริการ 2 เท่า มันใช้ได้เฉพาะกับคำขอแบบป้ายกำกับเดียวที่มีข้อความหรือเอกสารอินพุตเดียวเท่านั้น — คำขอแบบหลายป้ายกำกับและแบบเป็นชุดจะไม่ส่งคืนมันเลย

สำหรับคิวการตรวจสอบโดยมนุษย์ ประโยคนั้นมักเป็นตัวตัดสินว่าผู้ตรวจสอบจะยอมรับการจำแนกประเภทหรือจะต้องทำใหม่ ซึ่งทำให้เป็นเรื่องง่ายที่จะอธิบายความสมเหตุสมผลของค่าธรรมเนียมเพิ่ม 2 เท่า สำหรับสัดส่วนของทราฟฟิกที่ไปถึงมนุษย์ สำหรับไปป์ไลน์อัตโนมัติ มันเป็นภาระที่ไร้ประโยชน์บนบิล และควรปิด

ทั้งคู่ปิดอยู่ และนั่นเปลี่ยนสิ่งที่คุณสามารถทดสอบได้

• เวท — ทั้งสองเจ้าไม่ได้ส่งมอบเวทเหล่านี้เลย; ScaleDown เสนอการโฮสต์ใช้งานเองระดับองค์กรและการให้สิทธิ์ใช้งานเมื่อร้องขอ ส่วนหน้าเว็บของ Microsoft ไม่ได้ระบุเส้นทางการปรับละเอียด (fine-tuning) ไว้เลยแม้แต่น้อย

• เพดานจำนวนตัวเลือก — ScaleDown 20 ป้ายกำกับต่อคำขอ, 16 ในโหมดหลายป้ายกำกับ, ให้คะแนนแยกกัน; เพดานชุดตัวเลือกของ Microsoft-Decision-1 ไม่ได้ระบุไว้ในหน้าของโมเดล

• การอนุมานแบบเป็นชุด — ScaleDown ระบุว่ารองรับได้สูงสุด 50 ชังก์ต่อหนึ่งคำขอ โดยอิงกับโปรไฟล์ป้ายกำกับที่ใช้ร่วมกัน ส่วนหน้าเพจของ Microsoft ระบุว่าการอนุมานแบบเป็นชุดถูกปิดใช้งาน

• การเปิดเผยการเรียกเก็บเงิน — อัตราของ Classify ถูกระบุไว้ที่ $0.05 ต่อล้านโทเค็นอินพุต และ $0 ต่อล้านโทเค็นเอาต์พุต; อัตราต่อโทเค็นของ Foundry ไม่ได้ระบุไว้บนหน้าของโมเดล

• โครงสร้างราคา — Classify จะคูณตามจำนวนป้ายกำกับของคุณในโหมดหลายป้ายกำกับ และจะเพิ่มเป็นสองเท่าเมื่อเปิดใช้การให้เหตุผล; อัตราของ Foundry คิดต่อโทเคนโดยไม่มีตัวคูณป้ายกำกับที่เผยแพร่

• คำตอบว่างเปล่า — Classify จะคืนค่าผู้ชนะแม้ไม่มีอะไรเข้าข่ายเลย คุณจึงต้องเป็นผู้กำหนดเกณฑ์เอง พฤติกรรมตามที่ Microsoft ระบุไว้คือ แม้คำถามจะตั้งไว้ไม่ดี ก็ยังคงได้คะแนนกลับมา

ผลที่ตามมาของการที่ทั้งคู่ถูกปิดก็เหมือนกันในทั้งสองกรณี: คุณไม่สามารถตรวจสอบอาร์ติแฟกต์ได้ ดังนั้นการตรวจสอบเดียวของคุณจึงเป็นเชิงพฤติกรรม สิ่งนี้ทำให้ชุดข้อมูลที่กันไว้ซึ่งเป็นข้อมูลติดป้ายกำกับของคุณเองกลายเป็นสิ่งจำเป็น และทำให้ต้นทุนของการสลับผู้ให้บริการกลายเป็นการรันการประเมินนั้นใหม่ แทนที่จะเป็นการแก้โค้ด

ตำแหน่งที่ OrcaRouter อยู่ในไปป์ไลน์ที่สร้างขึ้นบนไม่ว่าจะเป็น

ไม่มีโมเดลใดในสองตัวนี้อยู่ในแคตตาล็อกของเรา และไม่มีสิ่งใดในนี้ที่เป็นการยืนยันเรื่องความพร้อมใช้งาน — ทั้งสองเป็นปลายทางสำหรับให้คะแนนแบบมีโครงสร้าง ไม่ใช่เป้าหมายแบบ chat-completions และเลเยอร์การจัดเส้นทางก็ไม่ใช่สิ่งที่ทั้งสองตัวนี้ต้องการ สิ่งที่เรามีคือเลเยอร์ที่อยู่เหนือขึ้นไป: โมเดลเจเนอเรทีฟมากกว่า 200 ตัวที่อยู่เบื้องหลังคีย์ที่เข้ากันได้กับ OpenAI เพียงคีย์เดียว ซึ่งสร้างฉบับร่างที่ตัวแยกประเภทกำลังประเมิน ณ ราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยไม่บวกกำไร 0% พร้อม DSL สำหรับการจัดเส้นทางเพื่อประกอบหลายโมเดลให้เป็นการเรียกครั้งเดียว และการสลับไปใช้เส้นทางสำรองอัตโนมัติเมื่อเส้นทางที่ให้บริการเสื่อมประสิทธิภาพ หากโมเดลสำหรับตัดสินใจเป็นตัวกำหนดว่าชั้นการสร้างของคุณได้รับอนุญาตให้ปล่อยอะไรออกมา ชั้นการสร้างก็คือจุดที่ความเสี่ยงด้าน uptime ของคุณอยู่ และนั่นคือครึ่งหนึ่งที่คีย์เดียวสามารถรวมศูนย์ไว้ได้

เลือกอันไหนดี

เลือก Microsoft-Decision-1 หากคุณต้องการขอบเขตภาษาที่มีเอกสารรองรับ หากคุณอยู่ใน Azure อยู่แล้ว หรือหากจุดยืนด้านการปฏิบัติตามข้อกำหนดของผู้ขายรายใหญ่มีความสำคัญต่อการจัดซื้อจัดจ้างของคุณมากกว่าตัวเลขความแม่นยำที่เผยแพร่ จงยอมรับว่าคุณจะต้องประเมินมันด้วยข้อมูลของคุณเองทั้งหมด เพราะ Microsoft เลือกที่จะไม่ให้สิ่งอื่นใดแก่คุณ

เลือก ScaleDown Classify หากอินพุตของคุณยาวเกิน 32k tokens หากคุณต้องการให้ขั้นตอนการสกัดถูกรวมเข้าไปในการเรียกจำแนกประเภท หรือหากคุณต้องการรูบริกต่อป้ายกำกับที่คุณสามารถเขียนใหม่ได้โดยไม่ต้องฝึกอะไรใหม่ ยอมรับว่าข้อโต้แย้งเรื่องความแม่นยำเป็นของผู้ขายเองและยังไม่ได้รับการทำซ้ำ ว่าไม่มีตัวเลขการสอบเทียบใดถูกเผยแพร่ และว่าคุณจะต้องเขียนเกณฑ์ความเชื่อมั่นของคุณเองและป้ายกำกับแบบครอบคลุมทั้งหมด

การวัดที่จะตัดสินเรื่องนี้ — ทั้งสองโมเดลบนอินพุตเดียวกัน การจัดลำดับตัวเลือกเดียวกัน การกวาดค่าขีดจำกัดแบบเดียวกัน ดำเนินการโดยผู้ที่ไม่มีส่วนได้ส่วนเสีย — ยังไม่ถูกเผยแพร่โดยผู้จำหน่ายรายใดเลย จนกว่าหนึ่งในนั้นจะรันมัน การตีความตามตรงคือ Microsoft เป็นค่าเริ่มต้นที่ปลอดภัยกว่า และ ScaleDown เป็นเครื่องมือที่มีความสามารถมากกว่า

การเปรียบเทียบแบบนี้ก็เป็นจุดที่โหมดความล้มเหลวปรากฏให้เห็นเช่นกัน: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในระดับนี้ได้รับการรวบรวมไว้ในthe OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้งเป็นของตนเอง