Jev vs Laya: 33 มิลลิวินาทีบน T4 และเส้นฐานแบบสุ่ม

การ์ดโมเดลของ Laya มีประโยคที่ชี้ขาดการเปรียบเทียบนี้ และมันถูกเขียนโดยคนที่สร้าง Laya “Laya เป็นฐานที่เร็วสำหรับการปรับให้เชี่ยวชาญเฉพาะทาง ไม่ใช่เอนจินตัดสินใจแบบ zero-shot” Convai Innovations เปิดตัว Laya เมื่อวันที่ 18 กันยายน 2026 สามวันหลังจาก TypeSafe AI เปิดตัว Jev 1.13 (typesafe/jev-1.13) ภายใต้ Apache 2.0 พร้อมเวตบน Hugging Face และจุดเข้าใช้งานด้วย pip install laya มันตอบคำถามแบบมีชนิดใน forward pass เพียงครั้งเดียวโดยไม่มีการถอดรหัสทีละโทเคน ซึ่งเป็นการเดิมพันเชิงสถาปัตยกรรมแบบเดียวกับที่ Jev ทำ ข้ออ้างหลักคือความหน่วง p50 32.8 มิลลิวินาทีต่อการตัดสินใจบน Tesla T4 โดยถูกนำเสนอว่าเร็วกว่าประมาณ 7.8 เท่าเมื่อเทียบกับค่า p50 ที่เผยแพร่ของ Jev ที่ 236–276 มิลลิวินาทีผ่าน hosted API ของมัน ข้ออ้างนี้เป็นเรื่องจริง และมันยังวัดสองสิ่งที่แตกต่างกัน — GPU ภายในเครื่องเทียบกับการเรียกผ่านเครือข่าย — และภาพความแม่นยำที่อยู่ใต้ข้ออ้างนั้นคือส่วนที่ควรกำหนดว่าคุณจะดาวน์โหลดมันหรือไม่ เมื่อใช้แบบ zero-shot Laya ได้คะแนน 0.362 บน benchmark typed-decisions ของ TypeSafe การเดาแบบสุ่มได้คะแนน 0.318 baseline ของ majority class ได้คะแนน 0.461 Laya เมื่อใช้แบบ out of the box ใกล้เคียงกับการเดาสุ่มมากกว่ากับ baseline แบบง่าย สิ่งที่ใหม่ไม่ใช่โมเดลใดโมเดลหนึ่ง แต่คือที่ที่หนึ่งในนั้นสามารถเรียกใช้ได้: เมื่อวันที่ 24 กันยายน 2026 OrcaRouter ได้เพิ่ม typesafe/jev-1.13 เข้าแค็ตตาล็อกของตน — ตัวโมเดลเองเป็นของ TypeSafe ตั้งแต่ 15 กันยายน — ซึ่งเป็นสิ่งเดียวในการเปรียบเทียบนี้ที่เพิ่งเปลี่ยนแปลงเมื่อเร็ว ๆ นี้

Laya จริง ๆ แล้วคืออะไร

Laya มาพร้อมเช็กพอยต์สองตัวที่อยู่เบื้องหลังเราเตอร์ในตัว ซึ่งจะส่งแต่ละอินพุตไปยังเช็กพอยต์ที่เหมาะสม เช็กพอยต์ภาษาอังกฤษคือ ModernBERT-large ที่มีพารามิเตอร์ 421M และบริบท 512 โทเค็น ส่วนตัวแปรหลายภาษาคือ mmBERT-base ที่มีพารามิเตอร์ 322M และหน้าต่าง 1,024 โทเค็นครอบคลุมมากกว่า 100 ภาษา ทั้งสองเป็นแบบไม่ออโตรีเกรสซีฟ: การส่งผ่านไปข้างหน้าครั้งเดียวจะคืนคำตอบ ดังนั้นจึงไม่มีลูปถอดรหัส ไม่มี JSON ให้แยกวิเคราะห์ และไม่มีช่องว่างให้ส่งข้อความออกมานอกชนิดที่ประกาศไว้ คุณสมบัติข้อหลังนี้เป็นการรับประกันเชิงโครงสร้างแบบเดียวกับที่ Jev เสนอ แต่มาถึงจากคนละทิศทาง และมีคุณค่าจริง ๆ สำหรับใครก็ตามที่เคยเขียนลอจิกการลองใหม่รอบโมเดลที่บางครั้งลืมปิดปีกกา

Jev คือคู่แบบปิด และความแตกต่างที่สำคัญระหว่างสองตัวนี้คือใครเป็นคนรันโมเดล ไม่ใช่ว่าตัวไหนได้คะแนนสูงกว่า โมเดล System One ตัวแรกของ TypeSafe AI ซึ่งเปิดตัวเมื่อวันที่ 15 กันยายน 2026 เป็นแบบโฮสต์ — ไม่มีเวตให้นดาวน์โหลด — และสามารถเรียกผ่านเราได้ในชื่อ typesafe/jev-1.13 ผ่าน POST /v1/systemone แบบไม่สตรีมมิ่ง ด้วยบริบท 65,536 โทเคน Laya คือรูปแบบอีกแบบ: เวตเปิดภายใต้ Apache 2.0 ที่คุณรันเอง บนฮาร์ดแวร์ที่คุณมีอยู่แล้ว โดยไม่มีเอนด์พอยต์อยู่ในเส้นทางเลย Jev รับพรีมิทีฟแบบมีชนิดสามตัว — Choice จากรายการที่คุณให้มา, Score บนรูบริกที่มีลำดับ และ Noul ซึ่งเป็นข้อกล่าวอ้างใช่/ไม่ใช่ที่มีความน่าจะเป็นแบบปรับเทียบแล้ว คำถามทั้งหมดถูกประเมินพร้อมกันเทียบกับการอ่านสถานะครั้งเดียวที่ใช้ร่วมกัน ราคาอยู่ที่ $0.042 ต่อหนึ่งล้านโทเคนอินพุต โดยคิดค่าต์พุตเป็นศูนย์ เพราะไม่มีโทเคนเอาต์พุตให้วัด สถาปัตยกรรม จำนวนพารามิเตอร์ และคอมพิวต์ที่ใช้ฝึกของมันไม่ถูกเปิดเผย และ TypeSafe กล่าวว่ารายละเอียดถูกเก็บเป็นความลับ โดยอาจมีเปเปอร์ตามมาภายหลัง

คำกล่าวอ้างเรื่องเลเทนซี เมื่อวัดอย่างถูกต้อง

ค่า p50 32.8ms ของ Laya บน T4 เป็นตัวเลขจริงและเป็นค่าที่ดี การเปรียบเทียบ 7.8x กับ 236–276ms ของ Jev คือจุดที่ต้องระมัดระวัง และการ์ดของ Laya เองก็ตรงไปตรงมาอย่างผิดปกติเกี่ยวกับสาเหตุว่า ตัวเลขของ Jev เป็นตัวเลขที่เผยแพร่โดยบุคคลที่สามซึ่ง Convai ไม่เคยวัดด้วยตนเอง และการเปรียบเทียบนี้จับการ forward pass บน GPU ภายในเครื่องมาเทียบกับ API call แบบโฮสต์ซึ่งรวมเวลาไป-กลับของเครือข่ายและการเข้าคิว เมื่อตัดเครือข่ายออก การเปรียบเทียบเชิงสถาปัตยกรรมจะอยู่ระหว่างโมเดล single-pass สองตัว โดยตัวหนึ่งมี 421M พารามิเตอร์ และอีกตัวมีขนาดที่ไม่เปิดเผยซึ่ง TypeSafe ไม่เคยเผยแพร่

ยังมีตัวเลขการทำแบตช์ที่น่าทราบ: ที่แบตช์ขนาดสิบ Laya รายงานว่าใช้เวลา 7.2 มิลลิวินาทีต่อคำถาม นั่นคือลักษณะของผลิตภัณฑ์นี้ Laya ถูกสร้างมาให้รันในเครื่องแบบปริมาณมาก และพอร์ตจากชุมชนที่ทำงานบนอุปกรณ์อย่าง laya-mlx ก็ขยายความสามารถนั้นไปสู่ Apple Silicon ข้อกล่าวอ้างแบบไวรัลว่า "เร็วกว่า Jev 50 เท่า" ไม่ได้รับการสนับสนุนจากเบนช์มาร์กที่โครงการเผยแพร่เอง และการนำเสนออย่างตรงไปตรงมาคือช่องว่างขนาดใหญ่ระหว่างในเครื่องกับคลาวด์ ซึ่งส่วนหนึ่งเป็นเรื่องสถาปัตยกรรม และอีกส่วนหนึ่งก็เป็นเพียงความแตกต่างระหว่าง GPU ของคุณกับ API ของคนอื่น

สิ่งที่ตัวเลขความแม่นยำบอก ตามลำดับ

นี่คือจุดที่การเปรียบเทียบเริ่มไม่เป็นผลดีอีกต่อไป และควรวางให้เห็นตามลำดับ เพราะลำดับนั้นสำคัญ

• Zero-shot บนเบนช์มาร์ก typed-decisions ของ TypeSafe — Laya 0.362, สุ่ม 0.318, คลาสส่วนใหญ่ 0.461, Jev 0.727. Laya สูงกว่าการเดาสุ่มและต่ำกว่าค่าพื้นฐานแบบง่าย

• ผ่านการไฟน์จูนบนชุดฝึกของ benchmark เอง — Laya 0.766 เทียบกับ Jev 0.727 Laya ชนะ และชัยชนะนี้มาจากเช็กพอยต์ที่เคยเห็นข้อมูลฝึกของ benchmark ซึ่งทำให้มันเป็นข้อความเกี่ยวกับการไฟน์จูน ไม่ใช่เกี่ยวกับโมเดลฐาน

• การจำแนกเจตนา Banking77 ซึ่งชุดตัวเลือกมีขนาดใหญ่ — Laya 0.425 เทียบกับ 0.870 ของ Jev Laya มีประสิทธิภาพลดลงอย่างรวดเร็วเมื่อมีตัวเลือกเกินประมาณ 20 รายการ และ Choice fields ของ Jev มีเอกสารระบุว่ารองรับได้ถึง 255 รายการก่อนที่จะต้องใช้รูปแบบการให้คะแนนแบบสองขั้นตอน

• การสอบเทียบ (Calibration) — Laya มาพร้อมกับค่าความคลาดเคลื่อนการสอบเทียบที่คาดหวังเฉลี่ยที่ 0.466 โดยจะดีขึ้นเป็น 0.081 ก็ต่อเมื่อปรับ temperature ใหม่แยกตามประเภทคำถาม Jev ถูกฝึกด้วยวิธีการที่ TypeSafe เรียกว่า RLCD (Reinforcement Learning for Calibrated Decisions) และให้คำตอบทุกข้อพร้อมการแจกแจงความน่าจะเป็น — แม้ว่า TypeSafe จะแนะนำให้ผู้ใช้ตรวจสอบเกณฑ์บนข้อมูลที่มีป้ายกำกับของตนเองด้วย และการตรวจสอบอิสระครั้งหนึ่งพบว่าการสอบเทียบของ Jev แปรผันอย่างรุนแรงไปตามงาน

รูปแบบนี้ชัดเจนไม่มีกำกวม Laya เป็นฐานที่แข็งแกร่งสำหรับการ fine-tune และเป็นเอนจินตัดสินใจแบบ zero-shot ที่อ่อนแอ และตัวมันเองก็บอกเช่นนั้น Jev เป็นเอนจินตัดสินใจแบบ zero-shot ที่แข็งแกร่ง ซึ่งการสอบเทียบยังต้องได้รับการตรวจสอบต่อการนำไปใช้ในแต่ละครั้ง สิ่งเหล่านี้เป็นผลิตภัณฑ์ที่แตกต่างกันด้วยโครงสร้างราคาที่แตกต่างกัน และการเลือกระหว่างทั้งสองส่วนใหญ่เป็นคำถามว่าคุณมีข้อมูลที่มีป้ายกำกับและลูปการฝึกหรือไม่

การคำนวณต้นทุนไม่ได้มีรูปแบบเดียวกับของ Jev

Jev มีราคา $0.042 ต่อโทเคนอินพุตหนึ่งล้านโทเคน โดยเอาต์พุตฟรี ซึ่งคิดเป็น $42 ต่อพันล้าน และการเรียกขนาดสูงสุดที่งบคำขอ 64K โทเคนตามที่เอกสารระบุ มีค่าใช้จ่ายต่ำกว่าหนึ่งเซนต์มาก ตัวเลขที่มักถูกอ้างกันว่าประมาณ 32,000 โทเคนนั้นเป็นเพดานของสถานะบวกกับคำถามยาวที่สุดเพียงข้อเดียว ไม่ใช่เพดานของคำขอ — TypeSafe ระบุในเอกสารว่า 64K โทเคนต่อคำขอ ครอบคลุมทั้งสถานะและคำถามทั้งหมดรวมกัน และการ์ดโมเดลของเราเองสำหรับ typesafe/jev-1.13 ระบุบริบทขนาด 65,536 โทเคน การทดสอบอิสระของ Every มีค่าใช้จ่ายประมาณหนึ่งในสี่ของเซนต์สำหรับคำตัดสิน 777 รายการจากเอกสาร 37 ฉบับ

ค่าใช้จ่ายต่อการเรียกของ Laya เป็นศูนย์ที่ส่วนเพิ่มและไม่เป็นศูนย์โดยรวม และยอดรวมก็ไม่น้อย โมเดลขนาด 421 ล้านพารามิเตอร์บน T4 นั้นใช้งานได้ในราคาถูกแต่ก็ยังต้องใช้ GPU และขั้นตอนการปรับแต่งละเอียดที่ทำให้ Laya แข่งขันได้คือจุดที่ค่าใช้จ่ายจริงอยู่ — การติดป้ายข้อมูล การรันฝึก ชุดเครื่องมือประเมิน และการปรับ temperature ใหม่แยกตามประเภทคำถาม ซึ่งทำให้ค่าความคลาดเคลื่อนของการปรับเทียบลดจาก 0.466 เหลือ 0.081 สำหรับอนุกรมวิธานแบบคงที่ที่ไม่เปลี่ยนแปลง นั่นคือค่าใช้จ่ายครั้งเดียวที่คืนทุนเมื่อใช้ในปริมาณมาก สำหรับอนุกรมวิธานที่คลาดเคลื่อน มันเป็นค่าใช้จ่ายที่เกิดซ้ำ และ baseline zero-shot ของ Jev ที่ 0.727 ก็กลายเป็นข้อเสนอที่ดีกว่ามาก

มีต้นทุนอย่างที่สามที่มักถูกมองข้ามได้ง่าย: เช็คพอยต์ภาษาอังกฤษของ Laya มีหน้าต่างบริบท 512 โทเคน นั่นไม่ใช่โมเดลตัดสินใจที่มีงบประมาณบริบทเล็ก ๆ — แต่เป็นโมเดลตัดสินใจที่มีขนาดเหมาะกับหนึ่งย่อหน้า งบคำขอ 64K โทเคนของ Jev นั้นใหญ่กว่านั้นกว่าหนึ่งร้อยเท่า และแม้แต่ขนาดนั้นก็ยังต่ำกว่าโมเดลเจเนอเรทีฟที่ทั้งสองถูกตั้งราคาเทียบด้วยอยู่หนึ่งอันดับขนาด ถ้าสถานะของคุณเป็นเธรดสนับสนุนมากกว่าข้อความสนับสนุน หน้าต่างของโมเดลทั้งสองก็ไม่ใช่ข้อจำกัดที่คุณควรปรับให้เหมาะสมด้วย

คำถามเรื่องการปรับใช้คือความแตกต่างที่แท้จริง

ข้อโต้แย้งที่แข็งแกร่งที่สุดของ Laya ไม่ใช่ความหน่วง (latency) แต่คือการที่เวต Apache 2.0 บน Hugging Face หมายความว่าการตัดสินใจไม่เคยออกจากโครงสร้างพื้นฐานของคุณ และ endpoint ไม่เคยมี rate limit สำหรับการตัดสินใจด้าน routing ที่ทำกับเวชระเบียน เอกสารทางกฎหมาย หรือประวัติบัญชีของลูกค้า นั่นไม่ใช่ความชอบ แต่เป็นปัจจัยชี้ขาด และไม่มี endpoint แบบโฮสต์ใดในราคาเท่าใดก็ตามที่จะชนะข้อโต้แย้งนั้นได้ หน้าเว็บไซต์ของ TypeSafe เองยังคงระบุว่า Jev อยู่ในช่วง early access และเอกสารของผู้ขายระบุว่า rate limit ของมันกำลังปรับเปลี่ยนแบบไดนามิกและสามารถเปลี่ยนได้โดยไม่แจ้งให้ทราบ

ข้อโต้แย้งอีกด้านคือสิ่งที่คุณต้องยอมสละไป สถาปัตยกรรมขนาดใหญ่ที่ไม่เปิดเผยของ Jev กำลังทำหน้าที่ในสิ่งที่พารามิเตอร์ 421M ของ Laya ทำไม่ได้: ช่องว่าง zero-shot ที่ 0.727 เทียบกับ 0.362 และช่องว่าง Banking77 ที่ 0.870 เทียบกับ 0.425 ต่างก็เป็นตัวชี้วัดว่ามีความรู้อยู่ในโมเดลมากเพียงใดก่อนที่คุณจะเทรนมัน คำตอบของ Laya คือคุณต้องป้อนความรู้นั้นเองผ่าน fine-tuning และในโดเมนแคบที่ตายตัว คำตอบนั้นใช้ได้ — ผลลัพธ์ fine-tuned ที่ 0.766 คือหลักฐาน

ตำแหน่งที่ชั้นการตัดสินใจตั้งอยู่ในสแตกจริง

ทั้งสองโมเดลไม่ได้สร้างข้อความ ดังนั้นไม่มีโมเดลใดเป็นทั้งหมดของเวิร์กโฟลว์ใด ๆ รูปแบบที่ทั้งคู่ถูกออกแบบมาสำหรับคือสองโมเดล: ชั้นตัดสินใจที่เรียกแบบมีชนิด และโมเดลเชิงสร้างที่จัดการส่วนที่ต้องใช้ร้อยแก้ว โค้ด หรือคำอธิบาย การแยกแบบนี้เคยหมายถึงสัญญากับผู้ขายรายที่สอง เพราะครึ่งที่เป็นการตัดสินใจไม่ใช่สิ่งที่คุณเรียกได้จากคีย์เดียวกับครึ่งที่เป็นการสร้าง ตอนนี้เรียกได้แล้ว Jev สามารถเราเตอร์ผ่านเราเป็น typesafe/jev-1.13 ผ่าน POST /v1/systemone — ไม่สตรีมมิง คอนเท็กซ์ 65,536 โทเคน $0.042 ต่อล้านโทเคนอินพุต โดยเอาต์พุตคิดราคาเป็นศูนย์ บันทึกการให้บริการเจ็ดวันของเราเองสำหรับเส้นทางนั้นอ่านได้ p50 ที่ 151 มิลลิวินาที ซึ่งเป็นทราฟฟิกของเราเองบนฮาร์ดแวร์ของเราเอง ไม่ใช่เบนช์มาร์ก มันคือการวัดผ่านเครือข่าย และเป็นการวัดที่ต่างจากการ forward pass ภายในเครื่อง 32.8ms ข้างต้น Laya ยังคงเป็นการจัดวางอีกแบบ: น้ำหนักเปิดที่คุณรันเอง ซึ่งเราไม่ได้โฮสต์และไม่จำเป็นต้องโฮสต์ ครึ่งที่เป็นการสร้างของรูปแบบนั้นคือสิ่งที่เราครอบคลุมพอดี: โมเดล 200+ ตัวหลังคีย์ที่เข้ากันได้กับ OpenAI คีย์เดียว ที่ ราคาตามรายการของผู้ให้บริการส่งผ่านโดยบวกเพิ่ม 0% ดังนั้นการเปลี่ยนราคาของผู้ขายจะมีผลฝั่งเราในวันเดียวกัน สถาปัตยกรรมสองโมเดลสามารถทดสอบได้โดยไม่ต้องมีสัญญาผู้ขายรายที่สอง — สำหรับครึ่งการตัดสินใจพอ ๆ กับครึ่งการสร้าง — และด้วยการ failover อัตโนมัติ เส้นทางการสร้างจะไม่กลายเป็นจุดล้มเหลวจุดเดียวขณะคุณตัดสินใจว่าชั้นการตัดสินใจราคาถูกนั้นปรับเทียบดีพอที่จะทำงานอัตโนมัติด้วยหรือไม่

คำตัดสิน

หากคุณมีการจัดหมวดหมู่ที่ตายตัวและแคบ มีตัวอย่างที่มีป้ายกำกับ และมีข้อกำหนดด้านความเป็นส่วนตัวหรือความหน่วงที่ตัด API แบบโฮสต์ออกไป Laya คือตัวเลือกที่ปกป้องได้ง่ายกว่า และตัวเลขจากการ fine-tune ก็สนับสนุนข้อนี้ หากคุณต้องการให้การตัดสินใจทำงานได้ทันทีโดยไม่ต้องตั้งค่า หากชุดตัวเลือกของคุณมีเกินยี่สิบหมวดหมู่ หรือหากสถานะยาวกว่าหนึ่งย่อหน้า การ์ดโมเดลของ Laya เองบอกคุณว่ามันไม่ใช่ผลิตภัณฑ์สำหรับงานนั้น — และคะแนน zero-shot 0.362 เมื่อเทียบกับเส้นฐาน majority 0.461 คือตัวเลขที่ควรจดจำไว้เมื่อมีคนยกตัวเลขความหน่วง 7.8x มาอ้างกับคุณ

สิ่งที่ทั้งสองมีร่วมกันนั้นมีประโยชน์ยิ่งกว่าสิ่งที่ทำให้ทั้งสองแตกต่างกัน ทั้งคู่ขจัดข้อผิดพลาดประเภทที่เกิดจากรูปแบบผลลัพธ์ แต่ไม่ได้ทำอะไรกับประเภทที่เกิดจากการตัดสินใจ ทั้งคู่ให้ค่าความน่าจะเป็นมาด้วยกัน และไม่มีตัวใดมีไดอะแกรมความน่าเชื่อถือที่เผยแพร่ไว้ซึ่งคุณจะเชื่อได้โดยไม่ต้องตรวจสอบ ทดสอบการปรับเทียบค่าความเชื่อมั่นกับเคสที่มีป้ายกำกับของคุณเองก่อนที่จะนำระบบใดระบบหนึ่งไปทำงานอัตโนมัติ — ความหน่วงกลายเป็นเรื่องธรรมดาไปแล้ว ส่วนค่าความเชื่อมั่นคือส่วนที่ต้องพิสูจน์ให้ได้ในแต่ละการติดตั้งใช้งาน