
Karpo Decision 31B กับ Laya: ผู้นำระดับ 31B ปะทะเอนโคเดอร์ 421M ที่คุณรันบนแล็ปท็อปได้
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 184 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 223 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 96 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
วาง Karpo Decision 31B ไว้ข้าง Laya แล้วปฏิกิริยาแรกที่ตรงไปตรงมาคือมีใครสักคนทำหน่วยผิดพลาด Karpo เป็น Gemma 4 เวอร์ชัน fine-tune ขนาด 31.3 พันล้านพารามิเตอร์ที่ต้องใช้weights 62.5 GB และ GPU ในดาต้าเซ็นเตอร์ ส่วน Laya เป็นเอนโคเดอร์ ModernBERT ขนาด 421 ล้านพารามิเตอร์จาก Convai Innovations ภายใต้ Apache-2.0 ขนาด 808 MB บนดิสก์ ที่รันบนแล็ปท็อปและตอบกลับในเวลาประมาณ 33 มิลลิวินาที บน Decision Index ซึ่งเป็นกระดานชุมชนที่ทั้งคู่อยู่ ช่องว่างในคะแนน Full คือ 73.9 ต่อ 9.2 — เป็นความต่างที่กว้างที่สุดในชุดการเปรียบเทียบทั้งหมดนี้
แต่ถึงอย่างนั้น Laya คือโมเดลที่มาพร้อมแพ็กเกจ pip ที่มีการดูแลรักษา, MCP server, บิลด์ ONNX และ Core ML และเส้นทางการ fine-tuning ที่มีเอกสารระบุว่าความแม่นยำเพิ่มขึ้นจาก 0.362 เป็น 0.766 บนชุดเวิร์กโฟลว์จริง ส่วน Karpo มาพร้อม README และรีโพซิทอรี คำถามที่น่าสนใจไม่ใช่ว่าโมเดลไหนดีกว่า แต่คือแต่ละตัวมีไว้เพื่ออะไรกันแน่ เพราะช่องว่างของคะแนนและช่องว่างของการใช้งานชี้ไปในทิศทางตรงกันข้าม และมีเพียงหนึ่งในนั้นที่สำคัญในแต่ละครั้ง
ตัวเลขทั้งสองหมายถึงอะไร และเหตุใดการเปรียบเทียบจึงเอนเอียงโดยการออกแบบ
คะแนน Full 9.21 ของ Laya บน tracker เป็นค่าทักษะที่ปรับแก้ตามโอกาสแล้ว และความแม่นยำดิบของมันทั่วทั้งชุดเดียวกันอยู่ที่ 37.7% โดยมี coverage 0.76 — หมายความว่าประมาณหนึ่งในสี่ของคำขอในชุดนี้ไม่ได้รับการตอบเลย tracker บันทึกเหตุผลไว้: มี 320 คำขอที่ถูกทำเครื่องหมายว่าไม่รองรับ ซึ่งส่วนใหญ่เป็นเพราะคำสั่งยาวเกินงบประมาณแบบเนทีฟของ Laya และโมเดลเลือกที่จะปฏิเสธแทนที่จะตัดทอน ในชุดที่สร้างขึ้นสำหรับโมเดลที่รับ state ได้ 32k โทเคน encoder ขนาด 512 โทเคนไม่ได้กำลังแข่งขัน แต่กำลังใช้ค่าตั้งต้น
Karpo ตอบชุดเดียวกันด้วยความครอบคลุม 99.87% และความแม่นยำดิบ 83.2% มีคำขอเก้ารายการถูกปฏิเสธ ทั้งหมดเป็นเพราะคำถามหนึ่งข้อรวมกับสถานะของคำถามนั้นมีจำนวนเกิน 32,768 โทเค็น
ดังนั้น การเปรียบเทียบคะแนนโดยตรงจึงบอกคุณว่าโมเดลที่ออกแบบมาสำหรับการจำแนกประเภทแบบสั้นบนหน้าต่าง 512 โทเคนนั้นทำได้แย่บนเบนช์มาร์กที่ออกแบบมาสำหรับโมเดลตัดสินใจเอกสารยาว นั่นไม่ใช่คำวิจารณ์ Laya แต่เป็นข้อความเกี่ยวกับชุดทดสอบนี้ การเปรียบเทียบที่มีประโยชน์คือการเปรียบเทียบแต่ละงาน และการ์ดของ Laya มีหนึ่งรายการ: บน MASSIVE intent classification ได้ 0.783 ภาษาอังกฤษ และบน XNLI 0.860 บนอินพุตที่พอดีภายในหน้าต่างของมัน Karpo ไม่มีตัวเลขที่เผยแพร่เทียบเท่าสำหรับงานจำแนกประเภทเดี่ยวแบบสั้น เพราะการ์ดของมันไม่เผยแพร่ผลลัพธ์ระดับงานเลย
สเปก และสิ่งที่แต่ละรายการบ่งบอก

พารามิเตอร์ — Karpo 31.3B พร้อม readout ขนาด 255 × 5,376, 62.5 GB ใน bf16; Laya 421M ดาวน์โหลดประมาณ 808 MB
• สถาปัตยกรรม — แบ็กโบนของแบบจำลองภาษาศาสตร์เชิงสาเหตุที่รันแบบ prefill-only พร้อม linear readout เทียบกับเอนโคเดอร์แบบสองทิศทางที่ให้คะแนนแต่ละตัวเลือกที่โทเค็น[MASK]ของตัวเอง.
• บริบท — Karpo 32,768 โทเคนต่อลำดับ โดยแบ่งตามคำถามและมีสถานะทำซ้ำ; Laya 512 โทเคนทั้งหมดในการกำหนดค่าที่จัดส่ง โดย 192 โทเคนถูกสงวนไว้สำหรับพรอมต์ตัวเลือก เหลือประมาณ 320 โทเคนสำหรับสถานะ
• มัลติโมดัลลิตี — Karpo อ่านทั้งภาพและข้อความ; Laya อ่านเฉพาะข้อความ ไม่มีเส้นทางการมองเห็นในเช็กพอยต์ภาษาอังกฤษ
• ความหน่วง — Karpo 94 ms ค่ามัธยฐานบน GPU อ้างอิง; Laya 39.5 ms ที่วัดบนการ์ดของตัวเอง และตัวติดตามบันทึกค่ามัธยฐาน 5.8 ms บนฮาร์ดแวร์ของมัน
• สัญญาอนุญาต — Apache-2.0 ทั้งน้ำหนักโมเดลและโค้ด ไม่มีข้อจำกัดการใช้งาน
• การโฮสต์ — ทั้งสองไม่ได้อยู่บนเอนด์พอยต์ที่โฮสต์โดยผู้เผยแพร่ของตน Laya ไม่ต้องการสิ่งใดนอกจาก pip install laya.
แถวบริบทคือการตัดสินใจทั้งหมด 320 โทเคนที่ใช้ได้สำหรับ state นั้นพอสำหรับตั๋วสนับสนุน อีเมล ข้อความแชท ชื่อผลิตภัณฑ์ หรือบรรทัดบันทึกหนึ่งบรรทัด ไม่ใช่ใบแจ้งหนี้ที่มีรายการสินค้า หรือนโยบายยาวสี่สิบหน้า หาก state ของคุณยาวกว่าหนึ่งย่อหน้า จะถามคำถามกับ Laya ไม่ได้ — ไม่ใช่แค่ถามได้ไม่ดีหรือถามได้ช้า แต่ถามไม่ได้เลย
เมื่อใดที่โมเดลขนาดเล็กคือคำตอบที่ถูกต้องอย่างแท้จริง
มีประเภทของการตัดสินใจที่ Karpo ไม่เหมาะอย่างยิ่ง และการออกแบบของ Laya มุ่งเป้าไปที่สิ่งนี้โดยตรง ลองพิจารณาเอเจนต์ที่ในทุกขั้นตอนต้องตอบว่าใช่หรือไม่ว่าผลลัพธ์ของเครื่องมือดูเหมือนจะตอบสนองเจตนาหรือไม่ หรือคำค้นควรไปยังแหล่งค้นคืนแหล่งใดจากหกแหล่ง หรือข้อความของผู้ใช้มีสัญญาณการเลิกใช้หรือไม่ สิ่งเหล่านี้เป็นคำถามระดับไมโครวินาทีบนบริบทเพียงหนึ่งประโยค และอาจมีคำถามเช่นนี้ถึงห้าสิบข้อในการสนทนาหนึ่งครั้ง
ที่ 94 ms และโมเดลที่คงอยู่ในหน่วยความจำขนาด 62.5 GB การเรียกห้าสิบครั้งใช้เวลา GPU เกือบห้าวินาทีต่อบทสนทนา บนฮาร์ดแวร์ที่มีต้นทุนสูงเกินกว่าที่ปริมาณทราฟฟิกจะคุ้มค่า ที่ค่ามัธยฐาน 5.8 ms ด้วยโมเดลขนาด 800 MB ที่รันบนเครื่องเดียวกับแอปพลิเคชันของคุณ การเรียกห้าสิบครั้งเดิมใช้เวลาเพียงหนึ่งในสามของวินาที และไม่มีรายการค่าใช้จ่ายดาต้าเซ็นเตอร์ นั่นไม่ใช่ความแตกต่างเล็กน้อยในลูปต่อขั้น แต่เป็นความแตกต่างระหว่างฟีเจอร์ที่ส่งมอบได้กับฟีเจอร์ที่ส่งมอบไม่ได้
การ์ดของ Laya ยังบันทึกโหมดความล้มเหลวไว้อย่างตรงไปตรงมา ซึ่งมีค่ามากกว่าเอกสารสเปกที่เรียบร้อยไร้ที่ติ เช็กพอยต์ภาษาอังกฤษพังทลายเมื่อเจออักษรที่ไม่ใช่ละติน — เขมรได้ความแม่นยำ 0.000 ทั้งที่ระบุความมั่นใจไว้ 0.952 — ซึ่งเป็นความล้มเหลวแบบ "มั่นใจแต่ผิด" ที่ชั้นตัดสินใจต้องไม่มีเด็ดขาด ตัวที่จัดส่งจริงคือ Routerซึ่งตรวจจับอักษรได้ภายในเวลาไม่ถึงครึ่งมิลลิวินาทีด้วย Python ล้วน และส่งต่อไปยังเช็กพอยต์หลายภาษาก่อนการ forward pass คำถามที่มีจำนวนคลาสสูงก็เสื่อมประสิทธิภาพเช่นกัน: ตัวเลือก 77 ตัวภายใต้งบ 256 โทเคน ทำให้แต่ละป้ายมีเพียงสามหรือสี่โทเคน และความแม่นยำของ Banking77 ลดลงเหลือ 0.425 เทียบกับ 0.870 ของ Jev การ์ดใบนี้บอกให้คุณเพิ่มงบของหัวจำแนก แทนที่จะแสร้งว่าค่าเริ่มต้นใช้งานได้

การรวมกันนั้น — โมเดลขนาดเล็กที่มีโหมดความล้มเหลวซึ่งเผยแพร่ไว้ และมีวิธีแก้ไขที่จัดทำเอกสารไว้สำหรับแต่ละโหมด — มีประโยชน์ในเชิงปฏิบัติการมากกว่าคะแนนที่ดีกว่าโดยไม่มีการแจกแจงรายละเอียดในระดับงาน
จุดที่โมเดล 31B คุ้มค่ากับ 62 GB ของมัน
ข้อได้เปรียบของ Karpo คือข้อได้เปรียบที่มาจากการมีโมเดลภาษาจริงอยู่ภายในตัวมัน มันอ่านภาพหน้าจอได้ มันเก็บเอกสารนโยบายและข้อมูลลูกค้าไว้ในสถานะ 32,768 โทเคนเดียวกัน และตอบคำถามหนึ่งร้อยข้อเกี่ยวกับทั้งสองอย่างได้ในครั้งเดียว เพราะสถานะถูกคำนวณเพียงครั้งเดียว และแต่ละคำถามแยกสาขาออกจากบล็อกที่ใช้ร่วมกันโดยไม่เห็นตัวเลือกของคำถามอื่น มันจัดการตัวเลือกแบบ 255 ทางได้โดยไม่เกิดภาวะโทเคนขาดแคลน เนื่องจากการอ่านค่าจะให้คะแนนรหัสแทนการฝังข้อความตัวเลือกลงในงบประมาณที่จำกัด
โปรไฟล์หมวดหมู่นี้สนับสนุนเรื่องดังกล่าวในแบบที่สอดคล้องลงตัวกับสิ่งที่คุณได้จากการใช้โมเดลขนาดใหญ่ ทักษะด้านความรู้และการให้เหตุผลของ Karpo อยู่ที่ 65.5 เทียบกับ 2.9 ของ Laya ซึ่งเป็นตัวเลขที่สะท้อนคำถามด้านความรู้บริบทยาวของชุดทดสอบเป็นหลัก และเป็นคำถามที่ Laya ไม่สามารถถูกถามได้ ทักษะด้านเครื่องมือและระบบอัตโนมัติของมันอยู่ที่ 88.4 เทียบกับ 5.8 สิ่งเหล่านี้ไม่ใช่ความแตกต่างเล็กน้อยระหว่างโมเดลสองตัวที่เทียบกันได้ แต่เป็นเครื่องมือคนละระดับกันโดยสิ้นเชิง
สิ่งที่ Karpo ไม่มีคือโครงสร้างพื้นฐานด้านการปฏิบัติการใด ๆ ไม่มีการส่งออก ONNX ไม่มีบิลด์ Core ML ไม่มีเซิร์ฟเวอร์ MCP ไม่มีเอเจนต์ที่ติดตั้งผ่าน pip ได้ซึ่งคุณสามารถชี้ไปที่คำอธิบายเวิร์กโฟลว์และไฟน์ทูนได้ภายในบ่ายเดียว ชุมชนเริ่มทำควอนไทซ์มันแล้ว — มี IQ3_M GGUF และบิลด์ NVFP4 ปรากฏขึ้นภายในสองสัปดาห์ — แต่ ณ ขณะที่เขียนนี้ ยังไม่มีเส้นทางอย่างเป็นทางการสำหรับขนาดเล็กกระทัดรัด และยังไม่มีราคา
ช่องว่างของการ fine-tuning ซึ่งเป็นตัวตัดสินการนำไปใช้งานจริงได้มากกว่าตารางอันดับ
ตัวเลขที่สำคัญที่สุดเพียงตัวเดียวบนการ์ดของ Laya ไม่ใช่คะแนนแบบ benchmark แต่คือ 0.766 เทียบกับ 0.362: ความแม่นยำของ checkpoint ที่ผ่านการปรับแต่งละเอียดเทียบกับโมเดลภาษาอังกฤษพื้นฐาน จากการตัดสินใจ 2,000 รายการในสี่เวิร์กโฟลว์ การปรับแต่งละเอียดเพิ่มความแม่นยำมากกว่าสองเท่าในภาระงานที่สำคัญ
นั่นคือข้อโต้แย้งสนับสนุนโมเดลขนาด 421M ในประโยคเดียว โมเดลเล็กที่คุณเทรนใหม่ได้ด้วยการตัดสินใจที่ติดป้ายกำกับของคุณเองภายในหนึ่งชั่วโมงจะเหนือกว่าโมเดล 31B ที่คุณไม่สามารถเทรนใหม่ได้เลย เมื่อทำงานกับทราฟฟิกของคุณและสคีมาของคุณ 73.9 ของ Karpo เป็นค่าเฉลี่ยจากชุดทดสอบส่วนตัว การกระจายตัวของคุณไม่ใช่ชุดนั้น คะแนนฐาน 0.362 ของ Laya ก็เป็นค่าเฉลี่ยจากการตัดสินใจของคนอื่นเช่นกัน และทั้งสองโมเดลจะเปลี่ยนไปเมื่อข้อมูลเป็นของคุณ — แต่มีเพียงตัวเดียวเท่านั้นที่มาพร้อมเส้นทางที่มีเอกสารกำกับสำหรับการเปลี่ยนแปลงดังกล่าว
Karpo เป็นการ fine-tune แบบเต็มของ checkpoint ขนาด 31B โดยไม่มีสูตรการฝึกที่เผยแพร่และไม่มี adapter การ fine-tune มันเป็นไปได้ในหลักการ และไม่ใช่สิ่งที่การ์ดรองรับ จัดทำเอกสาร หรือคาดหวังไว้
การรันทั้งสองอย่าง ซึ่งมักเป็นคำตอบมากกว่าการรันเพียงอย่างใดอย่างหนึ่ง
สองโมเดลนี้เสริมกันมากกว่าจะทดแทนกัน และการแบ่งแยกนั้นเป็นไปตามกลไก ส่ง state สั้นไปยัง encoder และ state ยาวไปยัง 31B แพตเทิร์น Routerเป็นค่าเริ่มต้นที่ใช้งานจริงแล้วฝั่ง Laya; ฝั่ง Karpo สิ่งที่เทียบเท่าคือการตรวจขนาดของ state ก่อนที่คุณจะ dispatch
จุดที่เลเยอร์การกำหนดเส้นทางคุ้มค่าที่จะใช้งานคือกรณีที่สาม: ชั้นที่อยู่ระหว่างทั้งสอง หากสถานะของคุณอยู่ระหว่าง 512 โทเค็นถึง 32,768 ทั้งสองตัวนี้ก็ไม่เหมาะสม — Laya ปฏิเสธ และ Karpo เกินความจำเป็นและมีราคาแพง ช่วงกลางนั้นคือจุดที่โมเดลตัดสินใจแบบให้บริการสมเหตุสมผล และ Jev 1.14 อยู่ในแคตตาล็อกของเราสำหรับเรื่องนี้ เรียกใช้ได้ด้วยคีย์เดียวกับทุกอย่าง การวางนโยบายเกณฑ์ขั้นต่ำไว้หน้า endpoint การกำหนดเส้นทางเดียว — สถานะสั้นไปยัง encoder ที่คุณโฮสต์ สถานะยาวไปยังโมเดลที่ให้บริการ เอาต์พุตที่ไม่แน่ใจไปยังคิวตรวจสอบ — เป็นงานวิศวกรรมที่เล็กกว่าการดูแล checkpoint ขนาด 62.5 GB และช่วยแยกการสลับโมเดลออกจากโค้ดแอปพลิเคชันของคุณ แคตตาล็อกของเรามี200+ โมเดล คิดราคาตามราคาลิสต์ของผู้ให้บริการโดยไม่บวกเพิ่ม ยังรวมถึง Gemma 4 31B ซึ่งเป็นฐานที่ Karpo ถูกปรับแต่งละเอียดมาจาก ซึ่งเป็นวิธีที่ประหยัดในการตรวจสอบว่าการปรับแต่งละเอียดนั้นให้อะไรมาจริง ๆ ก่อนจะลงทุน GPU กับมัน
ถ้าต้องเลือกคำแนะนำเดียว: เริ่มที่ Laya ไม่มีค่าใช้จ่าย ติดตั้งได้ในหนึ่งนาที และสำหรับการตัดสินใจสั้น ๆ ที่มีปริมาณสูงซึ่งเอเจนต์ต้องทำในทุกขั้นตอน มันคือเครื่องมือที่ถูกต้อง — ไม่ใช่การประนีประนอม เปลี่ยนไปใช้ Karpo Decision 31B เมื่อสถานะหนึ่งเริ่มยาวเกินกว่าจะบรรจุในย่อหน้าเดียว และยอมรับว่าคุณกำลังซื้อ GPU, การดาวน์โหลด 62 GB และโมเดลที่ไม่มีราคา ไม่มีการประกาศ และไม่มีคะแนนอิสระ ช่องว่าง 64 คะแนนบนลีดเดอร์บอร์ดเป็นเรื่องจริง และมันกำลังวัดบางสิ่งที่จะสำคัญก็ต่อเมื่ออินพุตของคุณยาวพอที่จะต้องการมัน

