การ์ดชื่อเรื่องที่สร้างขึ้นโดยมีหัวข้อ 'Karpo Decision 31B vs Kev 27B' พร้อมคำบรรยายใต้หัวข้อ 'อยู่บนกระดานเดียวกัน ห่างกันสิบสี่คะแนน — และผู้แพ้มีการคาลิเบรตที่ดีกว่า' ชิปสี่ชิ้นที่ระบุว่า 'Karpo 73.9 Full', 'Kev 59.6 Full', 'ข้อผิดพลาดการคาลิเบรต 4.8 เทียบกับ 2.18' และ 'การทดสอบส่วนตัวที่เหมือนกัน' และการ์ดแบบมีเส้นขอบสองใบที่ติดป้ายว่า 'Kev 27B' และ 'Karpo Decision 31B' เชื่อมต่อกันด้วยเส้นที่ระบุว่า 'ทั้งคู่ได้รับการให้คะแนนโดย Decision Index'
Guides & Insights

Karpo Decision 31B กับ Kev 27B: โมเดลที่มีเอกสารประกอบครบถ้วนกว่ากลับแพ้ไป 14 คะแนน

ผู้เขียน

Elias Hawthorne

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

นี่คือการจับคู่ที่หาได้ยาก ซึ่งโมเดลทั้งสองถูกให้คะแนนบนเครื่องมือเดียวกันโดยคนกลุ่มเดียวกัน Karpo Decision 31B และ Kev 27B ต่างอยู่ใน Decision Index ซึ่งเป็นกระดานของชุมชนที่ให้คะแนนการทำซ้ำแบบโอเพนซอร์สของ Jev จาก TypeSafe และช่องว่างระหว่างทั้งสองไม่น้อยเลย: 73.9 Full สำหรับโมเดล MachinePulse เทียบกับ 59.6 สำหรับ Kev 27B ของ Jared Palmer ซึ่งต่างกันถึงสิบสี่คะแนนในการทดสอบส่วนตัวชุดเดียวกัน Karpo นำกระดานอยู่ ส่วน Kev อยู่อันดับ 74 จาก 307

ผลลัพธ์นั้นชวนฉงน เพราะ Kev 27B เป็นโมเดลที่มีเอกสารกำกับอย่างเข้มงวดกว่าอย่างชัดเจนมาก และในคุณสมบัติเดียวที่โมเดลสำหรับการตัดสินใจถูกเลือกมาใช้งานจริง — ความซื่อตรงของความน่าจะเป็น — มันดีกว่าอย่างวัดได้เมื่อเทียบกับโมเดลที่เอาชนะมันได้ ข้อกล่าวอ้างทั้งสองข้อมาจากแหล่งเดียวกันสองแหล่ง และการเข้าใจว่าทำไมทั้งสองข้อจึงไม่ขัดแย้งกันคือสิ่งที่มีประโยชน์ที่สุดในการเปรียบเทียบนี้

แต่ละโมเดลคืออะไร ก่อนคะแนน

Kev 27B เป็นการ fine-tune แบบเต็มน้ำหนักของ Qwen3.8-27B ซึ่งเผยแพร่โดย Jared Palmer ภายใต้ Apache-2.0 เวอร์ชันที่สอง ซึ่งเผยแพร่เมื่อวันที่ 30 กันยายน 2026 เป็นค่าเฉลี่ยถ่วงน้ำหนัก: เทนเซอร์แบ็กโบนทุกตัวมีค่าเป็น 0.85 เท่าของน้ำหนักที่ fine-tune แล้ว บวกกับ 0.15 เท่าของน้ำหนักจากเวอร์ชันก่อนหน้า โดยเก็บ pointer head ไว้จากการรันใหม่ เช็กพอยต์ที่ให้บริการมีแบ็กโบนขนาด 25.6B บวกกับ head ขนาด 2.6M พารามิเตอร์ รวม 51.3 GB ใน bf16 โดยมีอุณหภูมิการคาลิเบรตเดียวที่ 1.32 ฝังอยู่ในไฟล์ head สถานะไปได้ถึง 65,536 โทเค็น โดยมีอย่างน้อย 8,192 โทเค็นต่อคำถาม และตัวเลขนั้นได้รับการตรวจสอบแล้ว ไม่ใช่เพียงค่าที่ระบุไว้เฉย ๆ — การ์ดเผยแพร่ผลต่างความแม่นยำแบบจับคู่ในทุกบักเก็ตตั้งแต่ 8k ถึง 64k เทียบกับ baseline 8k พร้อมช่วงความเชื่อมั่น

Karpo Decision 31B เป็นการไฟน์ทูนของ Gemma 4 31B ที่ผ่านการปรับแต่งให้ทำตามคำสั่ง เผยแพร่โดย MachinePulse เมื่อวันที่ 5 พฤศจิกายน 2026 และอยู่ภายใต้สัญญาอนุญาต Apache-2.0 เช่นกัน โดยคงพารามิเตอร์ 31.3B ไว้ใน bf16 พร้อมส่วนอ่านค่า 255 × 5,376 แบบ fp32 — ขนาด 62.5 GB บนดิสก์ — และตอบผ่านหัวเชิงเส้นเหนือรหัสตัวเลือกแทนที่จะเป็น pointer head เหนือโทเค็น บริบทคือ 32,768 โทเค็นต่อลำดับ โดยแยกตามคำถามเมื่อคำขอมีขนาดเกิน และจะปฏิเสธโดยตรงแทนการตัดทอนเมื่อคำถามเดียวไม่สามารถใส่ได้พอดี

งานเดียวกัน แต่ใช้องค์ประกอบทางวิศวกรรมต่างกัน Kev อ่านเอกสารยาวและสร้างการแจกแจง ส่วน Karpo อ่านเอกสารที่สั้นกว่าเล็กน้อยและสร้างการแจกแจงได้เร็วกว่า

14 ข้อ และสิ่งที่ทำให้เกิดข้อเหล่านี้

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

ทั้งสองแถวมาจากบอร์ดเดียวกัน ดังนั้นส่วนนี้จึงเป็นหนึ่งในไม่กี่จุดที่การลบโดยตรงนั้นสมเหตุสมผล

• คะแนนรวม — Karpo 73.9, Kev 59.6

• ดัชนีสาธารณะ — Karpo 75.05, Kev 56.69

• จัดอันดับตามคะแนนเต็ม — Karpo อยู่อันดับ 1 (เสมอ GLiDE 27B ที่ 73.4), Kev อยู่อันดับ 74 จาก 307

• ความรู้และการใช้เหตุผล — Karpo 65.5 ทักษะที่ปรับแก้ตามโอกาส, Kev 45.7

• เครื่องมือและระบบอัตโนมัติ — Karpo 88.4, Kev 72.7

• ศิลปะและรสนิยมของมนุษย์ — Karpo 68.2, Kev 42.7

• ความหน่วงค่ามัธยฐาน GPU หนึ่งตัว ทีละคำขอ — Karpo 94 ms, Kev 135 ms

รูปแบบของส่วนต่างนั้นสอดคล้องกันในทุกหมวดหมู่ และช่องว่างสัมบูรณ์ที่ใหญ่ที่สุดอยู่ที่ความรู้ เกือบยี่สิบจุด นั่นคือสิ่งที่ควรทำให้ใครก็ตามที่วางแผนจะใช้ Kev เพื่อการตัดสินใจเกี่ยวกับเอกสารกังวล: โมเดลนี้ได้รับการฝึกอย่างหนักกับงานด้านเอกสารและเครื่องมือสำหรับนักพัฒนา — โดย 24,000 จาก 145,840 บันทึกการฝึกมาจากกลุ่มงานที่มีลิขสิทธิ์ อีก 7,617 รายการเป็นเอกสารยาวที่ประกอบขึ้น — และมันยังทำได้เพียงสองในสามของทักษะความรู้ของ Karpo

การ์ดของ Kev เองก็พูดตรงไปตรงมาเกี่ยวกับทิศทางที่กำลังมุ่งไป เมื่อวัดบนชุดทดสอบ breadth ของตัวเองเทียบกับ Jev ของ TypeSafe รายงานดัชนีที่ 52.3 โดยมีช่วงความเชื่อมั่น [49.2, 55.4] เทียบกับ 54.0 [51.2, 57.0] ของ Jev — เป็นความพ่ายแพ้ที่มันระบุอย่างตรงไปตรงมาและไม่ปิดบัง ทีมที่เผยแพร่ช่วงความเชื่อมั่นที่ตัวเองแพ้คือทีมที่ตัวเลขอื่น ๆ ควรได้รับความไว้วางใจโดยปริยาย นั่นคือสิ่งที่ทำให้ 59.6 น่าเชื่อถือแทนที่จะน่าอับอาย

ตัวเลขที่วิ่งไปในอีกทิศทาง

นี่คือจุดพลิกผัน ความคลาดเคลื่อนของการปรับเทียบ — ระยะที่ความน่าจะเป็นที่ระบุเบี่ยงเบนไปจากอัตราการทายถูกที่สังเกตได้ — เอื้อประโยชน์ต่อ Kev และไม่ใช่เพียงเล็กน้อย

ตัวติดตามบันทึกค่าความคลาดเคลื่อนของการปรับเทียบที่คาดหวังไว้ที่ 2.18 คะแนนสำหรับ Kev 27B เทียบกับ 4.77 สำหรับ Karpo Decision 31B พูดง่าย ๆ คือ เมื่อ Kev ระบุว่า 0.8 มันถูกต้องประมาณ 80% ของเวลา โดยคลาดเคลื่อนเฉลี่ยสองคะแนน เมื่อ Karpo ระบุว่า 0.8 ความคลาดเคลื่อนเฉลี่ยใกล้เคียงห้าคะแนน การ์ดของ Kev ยืนยันเรื่องนี้จากมุมของตัวเอง โดยเผยแพร่ตัวเลข ECE แยกตามแผงระหว่าง 0.014 ถึง 0.053 และการตรวจสอบไขว้ห้าทบที่ลดความคลาดเคลื่อนในการปรับให้พอดีจาก 4.8% เหลือ 3.8%

ดังนั้น โมเดลที่ตอบได้แย่กว่า กลับรู้ดีกว่าว่าคำตอบของมันดีเพียงใด นั่นไม่ใช่ความขัดแย้ง แต่คือความแตกต่างระหว่างความแม่นยำกับการปรับเทียบ และมันเป็นตัวกำหนดว่าโมเดลใดควรอยู่ที่ใด:

• หากการตัดสินใจถูกทำให้เป็นอัตโนมัติที่เกณฑ์หนึ่ง การปรับเทียบคือคุณสมบัติที่เป็นตัวกำหนด เกตที่ตั้งไว้ที่ 0.9 ซึ่งทำงานกับคำตอบ 0.9 ของ Karpo จะผิดพลาดบ่อยกว่าประมาณสองเท่าเมื่อเทียบกับเกตเดียวกันกับคำตอบของ Kev ความแม่นยำที่ต่ำกว่าของ Kev ทำให้อัตราการประมวลผลของคุณลดลง — มีเคสมากขึ้นที่ต่ำกว่าเกณฑ์และต้องส่งไปตรวจทาน — และการปรับเทียบที่ดีกว่าของมันหมายความว่าเคสที่ผ่านเกณฑ์จะปลอดภัยกว่า

• หากการตัดสินใจถูกตรวจทานหรือให้คะแนน ความแม่นยำคือสิ่งที่สำคัญที่สุด มนุษย์หรือกระบวนการปลายน้ำจะเห็นคำตอบอันดับต้นและความน่าจะเป็น และความแม่นยำที่เพิ่มขึ้นสิบสี่จุดก็คืองานที่ทำได้ถูกต้องสิบสี่จุด ข้อได้เปรียบด้านการปรับเทียบของ Kev ไม่ได้สร้างประโยชน์ใด ๆ เมื่อไม่มีใครกำหนดเกณฑ์ตัดสิน

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

{{1}}ทั้งสองโมเดล{{/1}} ให้คำถามสามประเภทเดียวกัน — {{2}}choice{{/2}} สูงสุด 255 ตัวเลือก, {{3}}noul{{/3}} สำหรับจริง/เท็จ, {{4}}score{{/4}} สำหรับรูบริกแบบมีลำดับ — และทั้งคู่เปิดให้ใช้ {{5}}HTTP endpoint ที่มีรูปแบบเหมือน System One{{/5}} ดังนั้นการเลือกนี้จึงย้อนกลับได้ในโค้ด {{6}}นั่นคือข่าวดี: คุณสามารถวัดเรื่องนี้กับข้อมูลของคุณเองได้ภายในบ่ายเดียว แทนที่จะโต้เถียงกันเรื่องนี้{{/6}}

ความยาวของเอกสารคือจุดที่สเปกแตกต่างกันจริง ๆ

เพดาน 32,768 โทเคนของ Karpo คือต่อหนึ่งลำดับ และกฎการแบ่งคือ "ตามคำถาม โดยแต่ละส่วนมีสถานะเต็ม" สำหรับคำถามหนึ่งร้อยข้อในสัญญาความยาว 20k โทเคน นั่นคือหนึ่งรอบและไม่มีปัญหา สำหรับคำถามเดียวในสัญญาความยาว 40k โทเคน คำขอจะถูกปฏิเสธ — เก้าใน 140,178 คำขอในการรันของ MachinePulse เองล้มเหลวในลักษณะนี้พอดี

Kev รองรับสถานะขนาด 65,536 โทเคน ซึ่งตรวจสอบความถูกต้องแบบแบ่งช่วง และพาเนลเอกสารยาวของมันคือสิ่งที่มีประโยชน์ที่สุดบนการ์ดสำหรับใครก็ตามที่ต้องจัดการสัญญาจริง บนข้อตกลงเชิงพาณิชย์ CUAD มันรายงานความแม่นยำ 0.874 จากคำถาม 2,194 ข้อ โดยตัวเลขรายช่วงอยู่ในระหว่าง 0.867 ถึง 0.880 ตั้งแต่ต่ำกว่า 8k ไปจนถึง 32k–64k โทเคน ความแม่นยำไม่ดิ่งลงตามความยาว สิ่งที่เปลี่ยนไปคือการคาลิเบรชัน: ค่าความคลาดเคลื่อนบนพาเนลเอกสารยาวนั้นอยู่ที่ 0.053 ซึ่งประมาณสามเท่าของค่าของเอกสารสั้น สถานะยาวคือจุดที่ความมั่นใจของ Kev เริ่มหลวม

ดังนั้นข้อแลกเปลี่ยนที่ตรงไปตรงมาเรื่องความยาวคือ Kev จะรับเอกสารที่ Karpo ปฏิเสธ และจะตอบได้เชื่อถือได้น้อยกว่าการตอบเอกสารสั้นเล็กน้อย ทั้งสองโมเดลจะไม่ตัดทอนแบบเงียบ ๆ ซึ่งสำคัญกว่าตัวเลขทั้งสองตัว — โมเดลตัดสินใจที่ทิ้งข้อสัญญาที่คุณถามถึงไปเงียบ ๆ แย่กว่าโมเดลที่บอกว่าไม่

การติดตั้งใช้งาน ค่าน้ำหนัก และใบอนุญาตต่างใช้ร่วมกัน

โมเดลทั้งสองใช้ Apache-2.0 สำหรับเวตและ head ทั้งคู่ต้องใช้ loader ของตัวเอง และทั้งคู่จะล้มเหลวอย่างหนักหากคุณปฏิบัติต่อมันเป็นแชตโมเดล Kev ต้องใช้ GPU ระดับ 80 GB — สถานะ 64k-token พีคที่ 87.1 GB บน H200 — หรือ Mac ที่มีความจุราว 96 GB ส่วน Karpo ต้องใช้ GPU ที่จุเวต bf16 ได้ 62.5 GB ทั้งคู่ไม่มีเอนด์พอยต์แบบโฮสต์จากผู้เผยแพร่ Kev ให้บริการผ่านเซิร์ฟเวอร์ของรีโพซิทอรีตัวเอง ส่วน Karpo ผ่านแพ็กเกจของตัวเอง ทั้งคู่ดึงดูดการทำควอนไทเซชันจากชุมชน ซึ่งเป็นสัญญาณปกติว่าผู้คนกำลังรันมันจริงมากกว่าแค่อ่านเกี่ยวกับมัน

ความต่าง 135 ms เทียบกับ 94 ms นั้นเป็นต่อคำขอ บนฮาร์ดแวร์ที่ไม่เหมือนกันทุกประการ จึงควรถือว่าเป็นเพียงทิศทางโดยประมาณ สิ่งที่ไม่ใช่เพียงทิศทางคือลักษณะการทำงาน: การให้ความสนใจแบบไม่เป็นเหตุเป็นผล (non-causal attention) ของ Kev ที่ครอบคลุมทั้งลำดับนั้นมีต้นทุนต่อโทเคนสูงขึ้นเมื่อสถานะยาวขึ้น ขณะที่ Karpo คำนวณสถานะที่ใช้ร่วมกันหนึ่งสถานะต่อคำขอ แล้วแยกคำถามต่าง ๆ ออกมาจากสถานะนั้น หากงานของคุณคือการถามหลายคำถามจากสถานะสั้น ๆ Karpo ถูกออกแบบมาสำหรับสิ่งนั้นโดยเฉพาะ หากเป็นคำถามเดียวจากเอกสารยาว Kev คือคำตอบ

จะรันอันไหน

เลือก Kev 27B หากคุณต้องส่งข้อตกลงขนาด 64k โทเค็นให้โมเดล หากคุณต้องการตั้งเกณฑ์บนความน่าจะเป็นและสนใจว่าเกณฑ์นั้นหมายความตามที่มันพูดจริง และหากคุณให้ความสำคัญกับผู้ขายที่เผยแพร่ช่วงความเชื่อมั่นของความสูญเสียของตัวเอง คุณกำลังยอมรับความแม่นยำประมาณสิบสี่จุดบนบอร์ดที่ทั้งสองโมเดลแข่งขันกัน และคุณกำลังได้หลักฐานที่ดีที่สุดในวงการว่าความแม่นยำนั้นครอบคลุมและไม่ครอบคลุมอะไรบ้าง

เลือก Karpo Decision 31B หากสถานะเป็นภาพหน้าจอ ตั๋ว หรือหน้าเพจ — สั้น มีคำถามจำนวนมาก ไวต่อเวลาตอบสนอง — และหากคะแนน Full ของบอร์ดคือหลักฐานที่คุณให้น้ำหนัก คุณกำลังยอมรับความคลาดเคลื่อนในการสอบเทียบห้าจุดและเพดาน 32k และคุณจะได้รับผู้นำปัจจุบันที่ 94 ms

สิ่งที่ทั้งสองอย่างไม่ได้มอบให้คุณคือเอนด์พอยต์สำหรับใช้งานจริง หากเลเยอร์ตัดสินใจต้องอยู่หลังเกตที่ทำงานก่อนการเรียกเครื่องมือทุกครั้ง คุณจะต้องรันหนึ่งในนั้นด้วยตัวเอง หรือไม่ก็เรียกใช้บริการที่โฮสต์ไว้ Jev 1.14 ของ TypeSafe อยู่ในแคตตาล็อกของเราสำหรับบทบาทนั้นโดยเฉพาะ และเป็นโมเดลที่ทั้งสองเช็กพอยต์ถูกสร้างมาเพื่อไล่ตาม — มีประโยชน์ในฐานะตัวควบคุมในการทดสอบแบบ shadow เนื่องจากรีโปรดักชันแบบเปิดที่เอาชนะเป้าหมายของตนบนบอร์ดของบุคคลที่สามได้ ก็ควรเอาชนะมันบนทราฟฟิกของคุณได้เช่นกัน แคตตาล็อกยังมีโมเดลฐานทั้งสอง ได้แก่ Gemma 4 31B และ Qwen3.8-27B ผ่าน API เดียวสำหรับโมเดล 200+ รุ่น ในราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม ซึ่งเป็นวิธีที่ถูกที่สุดในการพิสูจน์ว่าเลเยอร์ตัดสินใจคุ้มค่าที่จะถือครองเลยหรือไม่ก่อนที่คุณจะซื้อ GPU

คำถามเปิดที่การจับคู่นี้ทิ้งไว้คือคำถามที่คณะกรรมการไม่สามารถตอบได้ว่า แต้มนำสิบสี่แต้มของ Karpo จะอยู่รอดเมื่อเผชิญกับภาระงานจริง หรือว่ามันเป็นแต้มนำประเภทที่เกิดจากการปรับจูนบนการแจกแจงที่ใกล้ชิดกับชุดทดสอบส่วนตัวมากกว่าของคู่แข่ง การ์ดของ Kev เอกสารส่วนผสมการฝึกของตนละเอียดถึงจำนวนเรกคอร์ด ส่วนของ Karpo ไม่ได้ทำเช่นนั้น ความไม่สมมาตรนี้ไม่ใช่หลักฐานของสิ่งใด และเป็นเหตุผลที่ต้องวัดแทนที่จะเชื่อตัวเลขใดตัวเลขหนึ่ง

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.
© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube