pplx-decider-flash กับ Laya: โมเดลการตัดสินใจสองแบบ การเปรียบเทียบที่ผิดหนึ่งครั้ง

ตัวเลขที่แพร่สะพัดกันอยู่นั้นดูเรียบร้อยแต่ไร้ประโยชน์ ดัชนีเปรียบเทียบหนึ่งให้คะแนน Layaที่ 69.5 และ pplx-decider-flash-v1.2ที่ 68 ซึ่งเกือบเสมอกัน อีกดัชนีให้คะแนน Flash ที่ 73.7 และจัดให้อยู่อันดับหนึ่งจาก 48 ดัชนีที่สามให้ Flash 451 จาก 504 เทียบกับ 240 ของ Laya multilingual สามแหล่ง สามคำตัดสิน เพราะแต่ละแหล่งกำลังวัดโมเดลที่ต่างกันบนชุดงานที่ต่างกัน — และอย่างน้อยสองในสามกำลังวัด Laya เวอร์ชันหนึ่งโดยไม่บอกว่าเป็นเวอร์ชันใด นี่คือการเปรียบเทียบที่สำคัญจริง ๆ และประโยคที่ซื่อสัตย์ประโยคแรกก็คือ ยังไม่มีใครรันมันอย่างถูกต้องเลย

สิ่งที่เปรียบเทียบได้คือโครงสร้างของสองระบบนี้: สิ่งที่它們ถูกสร้างมาเพื่อทำ ค่าใช้จ่ายในการใช้งาน และสิ่งที่แต่ละระบบเรียกร้องจากคุณก่อนที่จะให้ค่าความน่าจะเป็นที่ใช้งานได้ บนแกนเหล่านี้ พวก它ไม่ใช่คู่แข่งที่ใกล้เคียงกันเลย พวก它是ผลิตภัณฑ์ที่แตกต่างกันซึ่งบังเอิญมีชื่อตำแหน่งงานเดียวกัน

ย่อหน้าละหนึ่งย่อหน้า

pplx-decider-flash-v1.2เป็นโมเดลตัดสินใจแบบหลายรูปแบบระดับ 4B จาก Perplexity สร้างขึ้นบนโครงหลัก Qwen3.5-4B พร้อมหัวอ่านค่าแยกต่างหากแบบ 255 ทาง คุณป้อนสถานะให้มัน — ไม่ว่าจะเป็นข้อความ, JSON หรือรูปภาพขนาดไม่เกิน 1.6 เมกะพิกเซล — พร้อมคำถามที่มีการกำหนดชนิดไว้ และมันจะคืนค่าความน่าจะเป็นที่ปรับเทียบแล้วในการประมวลผลไปข้างหน้าครั้งเดียว โดยออกแบบมาให้ทำงานแบบ zero-shot: ค่าอุณหภูมิที่บันทึกไว้คือ 1.554 และการ์ดรายงานความแม่นยำ 88.8% พร้อมค่าความคลาดเคลื่อนจากการปรับเทียบที่คาดหวัง (expected calibration error) 0.021 บนชุดพัฒนาขนาด 1,497 คำถาม ใช้สัญญาอนุญาต Apache-2.0 มีขนาดประมาณ 9 GiB ใน BF16 และมีค่าใช้จ่าย $0.01 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็นบน API ของ Perplexity โดยเอาต์พุตฟรี

Laya เป็นตระกูลของตัวเข้ารหัสการตัดสินใจแบบ non-autoregressive จาก Convai Innovations เปิดตัวเมื่อวันที่ 18 กันยายน 2026 และอยู่ภายใต้สัญญาอนุญาต Apache-2.0 เช่นกัน เช็กพอยต์ภาษาอังกฤษเป็น ModernBERT-large ที่ผ่านการปรับแต่งละเอียดจำนวน 421M พารามิเตอร์ มีบริบท 512 โทเคน ส่วนโมเดลหลายภาษาคือ mmBERT-base จำนวน 322M พารามิเตอร์ รองรับ 1,024 โทเคน และเช็กพอยต์ที่สามชื่อ laya-typed-decisions เป็นตัวที่ทำคะแนนเด่นที่สุด มันตอบทุกคำถามในการเรียกหนึ่งครั้งด้วยการส่งผ่านไปข้างหน้าครั้งเดียว โดยใช้โทเคนมาสก์แยกตามแต่ละตัวเลือก โดยไม่มีขั้นตอนการสร้างข้อความและไม่มีอินพุตรูปภาพ

ทำไมตารางเปรียบเทียบจึงไม่ตรงกัน

ความไม่สอดคล้องกันเริ่มต้นจากเกณฑ์วัดที่ผู้ขายแต่ละรายสร้างขึ้น Perplexity ให้คะแนนโมเดลของตนด้วย Decision Index 0.3 ซึ่งเป็นคะแนนรวมจากความรู้ ภาษา การดึงข้อมูล เครื่องมือ และศิลปะ Convai ให้คะแนน Laya ด้วยเกณฑ์วัดแบบ typed-decisions ที่มี 400 เคสและการตัดสินใจ 2,000 ครั้ง ซึ่งบริษัทก็เผยแพร่ด้วย ยังไม่มีโมเดลใดเคยถูกนำไปรันบนชุดทดสอบของอีกฝ่ายในที่สาธารณะ

ดัชนีจากบุคคลที่สามอุดช่องว่างนั้นได้อย่างย่ำแย่ คอมโพสิตของ Anchor Terminal จัดให้ Laya อยู่อันดับสี่ที่ 69.5 และ Flash อยู่อันดับหกที่ 68 ซึ่งเป็นส่วนต่าง 1.5 คะแนนที่อยู่ในระดับความคลาดเคลื่อนปกติของคอมโพสิตที่ไม่มีใครตรวจสอบได้อย่างสบาย ๆ Ollaya Bench รายงานว่า Flash ได้ 73.7 โดยรวมและอยู่อันดับหนึ่งจาก 48 ด้วยความแม่นยำระดับมหภาค 82.4% แต่ไม่เผยแพร่ฮาร์เนส ชุดงานทดสอบที่ Jev เป็นผู้เขียนให้คะแนน Flash ที่ 451/504 และ Laya multilingual ที่ 240 — เป็นความพ่ายแพ้ยับเยินบนชุดทดสอบที่เขียนโดยผู้ดูแลของโมเดลคู่แข่ง หน้าของ PublicAI บันทึกได้ว่า Flash เอาชนะ Laya 322M และ Laya multilingual ขณะเดียวกันก็แพ้ 3–0 ให้กับ “Laya” ที่ไม่ระบุชื่อ

รายการสุดท้ายนั้นคือปัญหาทั้งหมดในรูปแบบย่อ "Laya" ไม่ใช่โมเดลเดียว การเปรียบเทียบ Flash กับตัวเข้ารหัสภาษาอังกฤษขนาด 421M ตัวเข้ารหัสหลายภาษาขนาด 322M และผู้เชี่ยวชาญด้านเบนช์มาร์กที่ผ่านการปรับแต่ง ให้คำตอบที่แตกต่างกันสามแบบ และมีเพียงหนึ่งเดียวเท่านั้นที่เป็นสิ่งที่คุณจะนำไปใช้งานจริง

กระดานคะแนนที่เราป้องกันได้

นี่คือมิติที่ระบบทั้งสองแตกต่างกันอย่างแท้จริง โดยมีตัวเลขที่แต่ละฝ่ายเผยแพร่เองและระบุแหล่งที่มาไว้อย่างชัดเจน

• พารามิเตอร์ — pplx-decider-flash-v1.2 อยู่ในคลาส 4B (เอกสาร API ระบุว่า 4B ส่วนหัวของการ์ดระบุว่า 5B ใน BF16) เทียบกับ Laya ที่ 421M สำหรับภาษาอังกฤษ และ 322M สำหรับหลายภาษา

• บริบท — 262,144 โทเคนบน Flash ฝึกมาเพื่อประมาณ 32,000 เทียบกับ 512 โทเคนบน Laya English และ 1,024 สำหรับหลายภาษา

• รูปแบบข้อมูล — Flash รองรับข้อความ JSON และรูปภาพสูงสุด 1.6 MP ในขณะที่ Laya รองรับเฉพาะข้อความ

• การใช้แบบ zero-shot — Flash ถูกส่งมอบโดยผ่านการคาลิเบรตแล้ว พร้อมค่า temperature ที่บันทึกไว้และตัวชี้วัดข้อผิดพลาดที่เผยแพร่เทียบกับ checkpoint ฐานของ Laya ซึ่งการ์ดของโมเดลเองก็เรียกมันว่า "ฐานที่เร็วสำหรับการนำไปปรับให้เชี่ยวชาญเฉพาะทาง ไม่ใช่เอนจินตัดสินใจแบบ zero-shot"

• ความหน่วง — Laya ใช้ 32.8 มิลลิวินาทีสำหรับหนึ่งคำถามบน T4, 72.3 มิลลิวินาทีสำหรับสิบคำถาม, 103–332 คำถามต่อวินาทีเมื่อประมวลผลเป็นชุด และ 193–464 มิลลิวินาทีบน CPU เมื่อเทียบกับ Flash โดยไม่มีตัวเลขระดับบริการที่เผยแพร่จาก Perplexity; ตัวเลขเดียวที่ผู้จำหน่ายเผยแพร่คือการทดสอบในเอกสารซึ่งโทเค็นอินพุตประมาณ 248,000 โทเค็นใช้เวลา 16 วินาที

• ราคา — Flash ที่ $0.01 ต่อล้านโทเค็นอินพุต เอาต์พุตฟรี บน API ของ Perplexity เทียบกับ Laya ที่ไม่มีราคาแบบโฮสต์ เพราะเป็นการปล่อยเวตที่คุณรันเอง

ความหน่วงและฮาร์ดแวร์: จุดที่ Laya ยังไม่ใกล้เคียง

ข้อเสนอทั้งหมดของ Laya คือการตัดสินใจไม่จำเป็นต้องใช้โมเดลเชิงสร้าง และตัวเลขความหน่วงก็สนับสนุนเรื่องนี้ หนึ่งคำถามใช้เวลา 32.8 ms บน T4 สำหรับ checkpoint ที่รองรับหลายภาษา และ 39.5 ms สำหรับภาษาอังกฤษ สิบคำถามใช้เวลา 72.3 ms และ 103 ถึง 332 คำถามต่อวินาทีเมื่อประมวลผลแบบแบตช์ บน CPU เมื่อโหลดล่วงหน้าแล้ว จะทำงานใน 193 ถึง 464 ms encoder ขนาด 322M นั้นเล็กพอที่จะอยู่ในเส้นทางการเรียกคำขอที่ไม่สามารถรองรับการใช้ GPU ได้

Flash อยู่ในคลาสการติดตั้งใช้งานที่แตกต่างออกไป น้ำหนัก BF16 เก้ากิกะไบต์ใส่พอดีในการ์ดสำหรับผู้บริโภคขนาด 16 GB และการทดสอบประสิทธิภาพจากบุคคลที่สามรายงานว่าบน RTX 5090 ใช้ VRAM ประมาณ 10.4 GB และใช้เวลา 90–127 ms ต่อการตัดสินใจ ซึ่งถือว่าน่ายอมรับได้สำหรับโมเดล 4B และมีความหน่วงประมาณสามเท่าของ T4 ที่ใช้กับ Laya บนฮาร์ดแวร์ที่มีราคาแพงกว่าหลายเท่า หากข้อจำกัดของคุณคือมิลลิวินาทีบนฮาร์ดแวร์ราคาถูก ข้อโต้แย้งก็จบลงก่อนที่ความแม่นยำจะเข้ามาเกี่ยวข้อง

คำถามเรื่องการปรับแต่งละเอียด

นี่คือส่วนที่ตารางเปรียบเทียบซ่อนไว้ และมันเป็นสิ่งชี้ขาด

ความแม่นยำเด่นที่ 0.766 ของ Laya เป็นของ laya-typed-decisions ซึ่งเป็นเช็กพอยต์ที่ไฟน์จูนบนชุดฝึกของเบนช์มาร์กเอง เช็กพอยต์ภาษาอังกฤษฐานได้คะแนน 0.362 บนเบนช์มาร์กเดียวกัน เทียบกับเส้นฐานแบบคลาสส่วนใหญ่ที่ 0.461 และการเดาสุ่มที่ 0.318 พูดอีกอย่างก็คือ โมเดลที่คุณดาวน์โหลดมาแบบดิบ ๆ นั้นแย่กว่าการตอบด้วยเลเบลที่พบบ่อยที่สุดเสมอ Convai ระบุตรง ๆ ไว้บนการ์ดโมเดล การศึกษาการทำซ้ำอิสระบน arXiv ยังรายงานว่าตัวชี้วัดเด่นตัวหนึ่ง คือ soft accuracy ที่ 0.509 เทียบกับ 0.471 ที่เผยแพร่ ไม่สามารถทำซ้ำได้ และให้เหตุผลว่าข้อมูลคาลิเบรชันปนเปื้อนโดยวิธีการสร้างตั้งแต่แรก

ข้อกล่าวอ้างของ Flash มีรูปแบบตรงกันข้าม: ตัวเลข 60.05 บน Decision Index ที่ผู้ขายรายงาน โดยใช้หนึ่งคำถามต่อคำขอ จากโมเดลที่คุณถูกคาดหมายให้ใช้ตามที่จัดส่งมา ข้อกล่าวอ้างนั้นยังไม่ได้รับการยืนยัน — Perplexity เป็นผู้สร้าง benchmark และการ์ดของมันระบุว่างานฝึกอบรมรวมชุดข้อมูลฝึกอย่างเป็นทางการของงาน Decision Index หลายงาน ซึ่งถูก decontaminate เทียบกับชุดทดสอบแล้ว นั่นเป็นแนวปฏิบัติที่ปกป้องได้และระบุไว้อย่างตรงไปตรงมา แต่มันยังหมายความว่าโมเดลเคยเห็นข้อมูลในโดเมนของ benchmark ที่มันถูกให้คะแนน และการ decontamination เป็นข้อกล่าวอ้างของ Perplexity เอง ไม่ใช่ข้อเท็จจริงที่ผ่านการตรวจสอบ แต่ภาระการพิสูจน์นั้นต่างกัน กับ Laya คุณต้อง fine-tune และปรับ calibration ใหม่ก่อนที่ตัวเลขที่เผยแพร่จะมีความหมายใดๆ การ์ดแนะนำ temperature fitting เพราะความน่าจะเป็นดิบมักมั่นใจเกินไป โดย ECE ลดลงจาก 0.466 เป็น 0.081 หลังการ refit กับ Flash คุณกำลังเชื่อถือ calibration ของผู้ขายบนข้อมูลที่คุณยังไม่เคยเห็น

ทั้งคู่ไม่ฟรี ทางหนึ่งต้องแลกด้วยเวลาทางวิศวกรรม อีกทางต้องแลกด้วยเวลาตรวจสอบ

ภาษาและจำนวนเชิงการนับ

Laya multilingual รองรับภาษามากกว่า 100 ภาษาในหลักการ และ 45 จาก 51 ภาษาในทางปฏิบัติ ตามเกณฑ์ "ใช้งานได้" ของการ์ดเองที่กำหนดไว้ที่สามเท่าของการสุ่ม คะแนน XNLI ของมันนอกภาษาอังกฤษอยู่ที่ 0.731 เทียบกับ 0.521 สำหรับเช็กพอยต์ที่ใช้ภาษาอังกฤษเท่านั้น และความแม่นยำด้านเจตนาบน MASSIVE ในอีก 13 ภาษาอยู่ที่ 0.451 ตัวเลขเหล่านั้นถือว่าพอประมาณ แต่มีอยู่จริง และ Flash ไม่มีการประเมินแบบพหุภาษาที่เผยแพร่เลยแม้แต่รายการเดียว หากทราฟฟิกของคุณไม่ใช่ภาษาอังกฤษ ผู้จำหน่ายที่มีการประเมินแบบพหุภาษาถือเป็นจุดเริ่มต้นที่ปลอดภัยกว่า แม้ว่าคะแนนจะต่ำก็ตาม

Cardinality ไปในทิศทางตรงกันข้าม Laya เสื่อมประสิทธิภาพอย่างรุนแรงในคำถามแบบเลือกที่มี cardinality สูง: 0.425 บน 72 ป้ายของ Banking77 เทียบกับ 0.870 ของ Jev เพราะตัวเลือก 77 ตัวภายใต้การตั้งค่าเริ่มต้นได้รับประมาณสามถึงสี่โทเคนต่อตัว การ์ดแนะนำให้เพิ่มงบประมาณสำหรับตัวเลือกหรือแบ่งแบบหยาบไปละเอียด Flash รองรับตัวเลือกได้ถึง 255 ตัวและไม่มี benchmark high-cardinality ที่เผยแพร่ ดังนั้นการตีความที่ปลอดภัยคือ Flash ถูกออกแบบมาสำหรับกรณีที่ Laya ระบุว่าเป็นจุดอ่อน และยังไม่ได้แสดงให้เห็นว่าทำงานได้อย่างไร

ราคาที่ต้องจ่ายสำหรับการตัดสินใจหนึ่งพันครั้ง

Laya ไม่มีราคาต่อการตัดสินใจ เพราะคุณโฮสต์มันเอง บน T4 ที่ 103–332 คำถามต่อวินาที การตัดสินใจหนึ่งล้านครั้งจะใช้เวลา GPU ประมาณ 50 นาทีถึงสามชั่วโมง ในอัตราคลาวด์ทั่วไป นั่นคิดเป็นไม่กี่เซนต์ถึงไม่กี่ดอลลาร์ บวกกับงานวิศวกรรมในการติดตั้งและตรวจสอบระบบ

Flash บน API คำนวณได้ง่าย สถานะ 400 โทเคน หนึ่งคำถาม: การตัดสินใจ 1,000 ครั้งคือโทเคนอินพุต 400,000 โทเคน ซึ่งในราคา $0.01 ต่อล้านคือ $0.004. การตัดสินใจหนึ่งล้านครั้งประมาณ $4 การโฮสต์น้ำหนักโมเดลด้วยตนเองขจัดค่าใช้จ่ายต่อโทเคน แต่ทำให้คุณกลับไปอยู่บน GPU ที่มีน้ำหนักโมเดลราว 9 GiB และรูปแบบแอตเทนชันแบบ noncausal ซึ่งเซิร์ฟเวอร์แบบ causal มาตรฐานไม่สามารถทำซ้ำได้

กับดักอยู่ที่การถามรวมเป็นชุด Flash เรียกเก็บเงินจาก state ใหม่ทุกครั้งสำหรับแต่ละคำถาม ดังนั้นการถามสามคำถามต่อ state หนึ่งครั้งจึงทำให้ค่าใช้จ่ายเป็นสามเท่า ถ้า gate ของคุณถามหลายอย่างพร้อมกัน โมเดลราคาถูกก็ไม่ถูกอีกต่อไป

นี่ก็เป็นชั้นที่คำถามเรื่องการจัดเส้นทางปรากฏขึ้นเช่นกัน โมเดลการตัดสินใจเป็นประตูหน้าทางการสร้าง และฝั่งการสร้างคือจุดที่ค่าใช้จ่ายส่วนใหญ่อยู่ OrcaRouter วางโมเดลกว่า 200 รายการไว้หลังคีย์เดียว โดยไม่บวกเพิ่มจากราคาที่ประกาศไว้ ดังนั้นจึงใช้ตัวสร้างที่ถูกกว่าหรือส่วนลดราคาจากผู้ขายได้ในวันเดียวกัน และการสลับสำรองอัตโนมัติช่วยไม่ให้คำขอที่จัดเส้นทางผิดล้มเหลวไปเลย เราไม่ได้โฮสต์ pplx-decider-flash หรือ Laya โมเดลการตัดสินใจเดียวที่เราให้บริการคือ Jev ของ TypeSafe ในชื่อ jev-1.13 และ jev-1.14 ซึ่งน่ารู้ไว้หากคุณต้องการตัวตัดสินใจแบบโฮสต์โดยไม่ต้องตั้ง GPU ขึ้นมาเอง

วิธีเลือกตามลำดับ

• ทราฟฟิกที่ไม่ใช่ภาษาอังกฤษ — เริ่มด้วย Laya multilingual แล้ววัดผล เป็นฝ่ายเดียวที่มีตัวเลขข้ามภาษาที่เผยแพร่แล้ว

• ต่ำกว่า 100 มิลลิวินาทีบนฮาร์ดแวร์ทั่วไป — Laya บน T4 ตอบกลับภายใน 33 มิลลิวินาที ส่วน Flash ต้องใช้ GPU รุ่นใหม่ และมีรายงานว่าใช้เวลา 90–127 มิลลิวินาทีบนอุปกรณ์ดังกล่าว

• รูปภาพในสถานะ — Flash โดยไม่มีคู่แข่งที่แท้จริง Laya ไม่มีเส้นทางด้านวิชัน

• สถานะยาว — Flash หน้าต่าง 512 โทเค็นทำให้ Laya ใช้ไม่ได้กับสิ่งใดก็ตามที่คล้ายเอกสาร

• ไม่มีข้อมูลที่ติดป้ายกำกับและไม่มีเวลาสำหรับไฟน์ทูน — Flash อย่างน้อยก็ใช้เป็นจุดเริ่มต้นได้ เช็กพอยต์พื้นฐานของ Laya อยู่ต่ำกว่า baseline แบบ majority

• มากกว่า 20 ตัวเลือกต่อคำถาม — Flash หรือ Laya ที่เพิ่มโควตาตัวเลือกและใช้การแบ่งแบบหยาบไปละเอียด

สรุปตามจริงคือ โมเดลเหล่านี้แข่งขันกันในคำอธิบายงานเดียวกัน และแทบไม่เคยแข่งขันกันในการนำไปใช้งานจริงแบบเดียวกัน Laya เป็น encoder ขนาดเล็กที่รวดเร็วและปรับ fine-tune ได้ สำหรับการจำแนกประเภทปริมาณมากในภาษาที่คุณทดสอบได้ ส่วน Flash เป็นตัวตัดสินแบบอเนกประสงค์ที่ปรับเทียบแล้วและรองรับหลายรูปแบบ พร้อมบริบทขนาดใหญ่และมี scoreboard ของผู้ขายหนุนหลัง ตารางเปรียบเทียบที่ทำให้ทั้งสองห่างกัน 1.5 คะแนนไม่ได้ผิดมากนัก แต่ไร้ความหมาย เพราะมันเฉลี่ยกลบคุณสมบัติที่ใช้ตัดสินใจเลือกพอดี