การ์ดชื่อเรื่องที่สร้างขึ้นซึ่งมีข้อความว่า "Jev vs Kev" เหนือคำบรรยายว่า "ไฟน์จูนราคา $95 ที่เอาชนะ Jev ในตั๋วสนับสนุน" โดยเปรียบเทียบ Jev (ปิด, โฮสต์, สถาปัตยกรรมที่ไม่เปิดเผย, $0.042 ต่ออินพุต 1 ล้าน, เอาต์พุตฟรี) กับ Kev (Apache 2.0, Qwen3.5 base, 0.8B ถึง 9B, ประมาณ $95 ในเวลา H100)
Engineering & Research

Jev vs Kev: การไฟน์ทูนราคา $95 ที่เอาชนะ Jev บนตั๋วสนับสนุน

ผู้เขียน

Alistair Wren

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

Jared Palmer เปิดตัว Kev เมื่อวันที่ 20 กันยายน 2026 ห้าวันหลังจาก TypeSafe AI เปิดตัว Jev และตัวเลขสำคัญไม่ได้อยู่ในตาราง benchmark แต่อยู่ใน README: ทั้งหมดใช้เงินประมาณ $95 สำหรับเวลา H100 บน Modal บวกกับค่าเรียก Jev API สามเซนต์ที่ใช้สร้างข้อมูลประเมินผล Kev เป็น Apache-2.0 โฮสต์เองได้ และมีสามขนาดที่สร้างบนน้ำหนักฐาน Qwe​n3.5 แบบเปิด — ประมาณ 0.8B, 4B และ 9B — พร้อมอะแดปเตอร์ LoRA แบบ rank-16 และ pointer head ที่ยึดติดกับฐานที่แช่แข็ง แทนที่จะเป็นโมเดลตัดสินใจที่สร้างจากศูนย์ มันเหมือนกับ API การตัดสินใจแบบมีชนิดของ Jev ทุกประการ: Choice, Score และ Noul ใกล้เคียงพอที่จะเข้ากันได้กับ Python SDK ของ TypeSafe เอง ฝ่าย Jev นั้นเปิดตัวเมื่อวันที่ 15 กันยายน 2026 ในฐานะโมเดล System One แบบปิดและโฮสต์ให้บริการของ TypeSafe AI คืนคำตอบแบบมีชนิดพร้อมความมั่นใจที่ปรับเทียบแล้วและไม่มีข้อความใด ๆ เลย และไม่เคยเปิดเผยสถาปัตยกรรม จำนวนพารามิเตอร์ คอมพิวต์ที่ใช้ฝึก หรือน้ำหนักของมัน ดังนั้นการเปรียบเทียบนี้จึงไม่ใช่การเปรียบเทียบโมเดลจริง ๆ มันคือการทดสอบว่าคุณค่าของ Jev ยังคงอยู่มากแค่ไหนเมื่อถูกทำซ้ำภายในบ่ายเดียวในราคาเท่ากับแล็ปท็อปมือสอง ทั้งสองโมเดลไม่ใช่ของใหม่ — Jev 1.13 (typesafe/jev-1.13) คือรุ่นที่เปิดตัววันที่ 15 กันยายน และ Kev ตามมาอีกห้าวันต่อมา — แต่มีสิ่งหนึ่งเกี่ยวกับการเปรียบเทียบนี้ที่เพิ่งเปลี่ยนไปเมื่อเร็ว ๆ นี้: วันที่ 24 กันยายน 2026 OrcaRouter ได้เพิ่ม Jev 1.13 เข้าแค็ตตาล็อกของตน ดังนั้นครึ่งด้านการตัดสินใจของคู่นี้จึงตอบด้วยคีย์เดียวกับครึ่งด้านการสร้าง แทนที่จะตอบผ่านปลายทางของผู้ขายเองเท่านั้น

สิ่งที่เบนช์มาร์กบอกจริง ๆ

A screenshot of the TypeSafe AI documentation for Jev, showing the typed Choice, Score and Noul primitives, the calibrated probability returned with every answer, free output, and the roughly 32,000-token request budget with a 255-option Choice cap.

พาดหัวข่าวคือ Kev เข้าใกล้ และในงานแคบๆ งานหนึ่งมันชนะ บนชุดทดสอบ new-source ที่ถูกล็อกของ Kev, Kev-9B ได้คะแนน 0.837 เทียบกับ 0.857 ของ Jev ในการจัดเส้นทางตั๋วสนับสนุนจาก 900 ตั๋ว — ชุด scienthoon — Kev-9B ได้คะแนน 0.952 เทียบกับ 0.897 ของ Jev ซึ่งเป็นผลลัพธ์ที่เผยแพร่เพียงหนึ่งเดียวที่การทำซ้ำแบบเปิดเอาชนะโมเดลที่มันทำซ้ำได้ Kev ยังนำหน้าเล็กน้อยในงานการจดจำตรรกะบางงาน บนชุดการตัดสินใจ SemiF ซึ่งเป็นชุดแบบมีโครงสร้าง 144 คำถาม Jev ชนะไป 0.965 ต่อ 0.917 ของ Kev-9B

ตรงจุดที่ Kev แพ้ มันแพ้อย่างย่อยยับ ความแม่นยำแบบนอกโดเมน: Kev-8B อยู่ที่ 79.6% เทียบกับ 85.7% ของ Jev MMLU: 70% เทียบกับ 90% MMLU-Pro: 0.515 เทียบกับ 0.840 การคำนวณวันที่ที่ความละเอียดระดับวัน: 60% เทียบกับ 93% รูปแบบนี้คงเส้นคงวา — Kev แข่งขันได้ในงาน routing และ classification แบบแคบ ๆ ซึ่งชุดป้ายกำกับมีขนาดเล็กและโดเมนคงที่ แต่จะแตกสลายกับสิ่งใดก็ตามที่ต้องใช้ความรู้เกี่ยวกับโลกหรือการคำนวณเลขหลายขั้นตอน เพราะอะแดปเตอร์แบบ rank-16 บนโมเดลฐานขนาดเล็กที่ถูก freeze ไม่ใช่ที่ที่ความรู้เกี่ยวกับโลกอยู่

ตัวเลขทั้งหมดเหล่านั้นมาจากชุดทดสอบของ Kev เองหรือจากตัวติดตามของบุคคลที่สาม และ README ของ Palmer ระบุไว้อย่างชัดเจนว่ามันไม่ใช่การเปรียบเทียบแบบควบคุม — ข้อมูลการฝึกของ Jev ไม่ถูกเปิดเผย ดังนั้นจึงไม่มีทางสร้างมันขึ้นมาได้ README ยังระบุด้วยว่าไม่มีเอาต์พุตของ Jev ถูกนำมาใช้ในการฝึก คำปฏิเสธความรับผิดชอบทั้งสองนี้เป็นแบบที่ทำให้ตัวเลขนั้นน่าเชื่อถือมากขึ้น ไม่ใช่น้อยลง: คนที่เผยแพร่การเปรียบเทียบคือคนที่บอกคุณว่ามันพิสูจน์อะไรไม่ได้

สิ่งที่คุณได้รับในราคา $95 ซึ่งคุณไม่สามารถได้รับจาก Jev ไม่ว่าจะราคาเท่าใด

A screenshot of the Kev repository page for jaredpalmer/kev, showing the Apache-2.0 licence, the Qwen3.5 base weights, the rank-16 LoRA and pointer-head recipe, the about-$95 H100 training cost, and the README statement that no Jev outputs were used for training.

การเปรียบเทียบต้นทุนคือจุดที่ผลิตภัณฑ์ทั้งสองเทียบกันไม่ได้อีกต่อไป Jev ราคา 0.042 ดอลลาร์ต่อโทเคนอินพุตหนึ่งล้านโทเคน โดยเอาต์พุตฟรี — เป็นอัตราที่อยู่ในตารางราคาของ TypeSafe เอง และเป็นอัตราที่การ์ดโมเดลของเราสำหรับ typesafe/jev-1.13 ระบุไว้ — ซึ่งถูกในแบบที่ยากจะเอาชนะได้จริง ๆ เมื่อคิดต่อการเรียกหนึ่งครั้ง มันเป็น API ที่โฮสต์ไว้ และหน้าแรกของ TypeSafe เองยังคงอธิบายว่าอยู่ในระยะเข้าถึงก่อนเปิดตัว ซึ่งเป็นถ้อยคำของเจ้าของผลิตภัณฑ์เอง และรายชื่อรอที่เคยอยู่เบื้องหลังตอนนี้หายไปแล้ว — TypeSafe ลบมันออกเมื่อวันที่ 21 กันยายน 2026 และสิ่งที่เอกสารโมเดลของมันเผยแพร่แทนในตอนนี้คือขีดจำกัดการให้บริการเอง: 100,000 โทเคนต่อวินาที และ 40 คำขอต่อวินาทีต่อบัญชี ปรับแบบไดนามิกและอาจเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบ Kev คือเวตที่คุณดาวน์โหลด ต้นทุนส่วนเพิ่มของการจำแนกประเภทครั้งที่สิบล้านคือค่าไฟฟ้าของคุณเอง

สี่สิ่งที่ตามมาจากเรื่องนั้น และไม่มีข้อใดเลยที่เกี่ยวกับคะแนน benchmark

• ไม่มีข้อมูลออกจากโครงสร้างพื้นฐานของคุณ Jev เป็นปลายทางแบบโฮสต์ ทุกสถานะที่คุณส่งไป — ตั๋วสนับสนุน บรรทัดล็อก บันทึกทางการแพทย์ — จะไปที่ TypeSafe Kev ทำงานบน GPU ของคุณเอง ซึ่งสำหรับงานที่มีการควบคุมแล้ว ไม่ใช่ทางเลือก แต่เป็นปัจจัยชี้ขาด

• ไม่มีข้อจำกัดอัตราจากบุคคลที่สาม ไม่มีการเข้าถึงที่ต้องขออนุญาตก่อน ไม่มีความเสี่ยงที่จะเลิกสนับสนุน เอกสารของ TypeSafe เองขอสงวนสิทธิ์ในการปรับเปลี่ยนข้อจำกัดที่เผยแพร่เหล่านั้นได้ตลอดเวลา ซึ่งเป็นความแตกต่างที่แท้จริงจากเช็คพอยต์บนดิสก์ของคุณเอง เช็คพอยต์ภายในเครื่องไม่มีข้อกำหนดเช่นนั้น

• คุณสามารถไฟน์จูนมันได้ Kev เป็นฐานสำหรับการทำให้เชี่ยวชาญเฉพาะทาง และสูตร LoRA ที่สร้างมันขึ้นมานั้นเปิดเผยต่อสาธารณะ หากอนุกรมวิธานการจัดเส้นทางของคุณมี 40 คลาสที่ไม่มีโมเดลทั่วไปตัวใดจัดการได้ดี คุณสามารถเทรนด้วยเลเบลของคุณเอง — ซึ่งเป็นสิ่งที่ Palmer ทำพอดี ด้วยค่าใช้จ่ายในระดับสิบบดอลลาร์ แทนที่จะเป็นทีม ML

• เพดานบริบทเป็นสิ่งที่คุณเปลี่ยนได้ งบคำขอที่ระบุไว้ในเอกสารของ Jev คือ 64K โทเค็น โดยในจำนวนนี้ 32,000 คือ state บวกกับคำถามที่ยาวที่สุดเพียงข้อเดียว ไม่ใช่โควตาแยกต่างหาก และ Choice fields จำกัดที่ 255 ตัวเลือก Kev สืบทอดหน้าต่างของ Qwe​n3.5 ซึ่งใหญ่กว่ามาก และเพดานจำนวนตัวเลือกเป็นรายละเอียดการนำไปใช้ของ serving stack ของคุณเอง ไม่ใช่ข้อจำกัดของผู้ให้บริการ

สิ่งที่ Jev ยังมี แต่ Kev ไม่มี

ข้อกล่าวอ้างเรื่องการคาลิเบรต (calibration) เป็นข้อที่ไม่ถ่ายโอนไปได้อย่างสะอาดนัก และมันเป็นหัวใจของข้อนำเสนอของ TypeSafe Jev ถูกฝึกด้วยวิธีที่ TypeSafe เรียกว่า RLCD — Reinforcement Learning for Calibrated Decisions — ซึ่งปรับให้เหมาะกับการที่ค่าความมั่นใจมีความซื่อสัตย์ มากกว่าการที่คำตอบเป็นที่พึงพอใจ ทุกคำตอบของ Jev มาพร้อมกับการแจกแจงความน่าจะเป็นเหนือตัวเลือกต่าง ๆ ดังนั้นโค้ดของคุณจึงสามารถกำหนดเกณฑ์ได้: ลงมือทำโดยอัตโนมัติในแถบบน, ติดธงในแถบกลาง, ส่งต่อในแถบล่าง

Kev สร้างรูปแบบที่มีการระบุชนิดเดียวกันและเอาต์พุตความน่าจะเป็นเดียวกัน เนื่องจาก API ถูกออกแบบให้เข้ากันได้โดยเจตนา การที่ความน่าจะเป็นเหล่านั้นได้รับการปรับเทียบหรือไม่นั้นเป็นอีกคำถามหนึ่ง และคำตอบที่ตรงไปตรงมาคือยังไม่มีใครเผยแพร่ไดอะแกรมความน่าเชื่อถือสำหรับทั้งสองโมเดล การตรวจสอบการปรับเทียบแยกต่างหากรายงานว่า Jev ได้ความแม่นยำ 44.7% โดยมีค่าความคลาดเคลื่อนการปรับเทียบที่คาดหวัง 0.325 ในงานจัดลำดับความสำคัญตามนโยบายที่ซ่อนอยู่ ซึ่งบ่งชี้ว่าการปรับเทียบบน Jev แตกต่างกันอย่างมากตามงาน มากกว่าที่จะเป็นคุณสมบัติสากล — และ TypeSafe เองก็บอกให้ผู้ใช้ทดสอบเกณฑ์ความเชื่อมั่นกับตัวอย่างที่มีป้ายกำกับของตนเอง แทนที่จะเชื่อพฤติกรรมที่เผยแพร่

อีกอย่างที่ Jev มีคือมันไม่ได้ถูกฝึกบน Qwen3.5 โมเดล 9B ที่มีอะแดปเตอร์ rank-16 ย่อมมีเพดานด้านความรู้ และช่องว่างของ MMLU-Pro ที่ 0.515 เทียบกับ 0.840 คือเพดานนั้นที่มองเห็นได้ หากการตัดสินใจจัดเส้นทางของคุณบางครั้งต้องรู้ว่าสิ่งหนึ่งคืออะไร สถาปัตยกรรมที่ใหญ่กว่าและไม่ได้เปิดเผยของ Jev กำลังทำงานที่อะแดปเตอร์ของ Kev ไม่สามารถทำได้

ความหน่วงและรูปแบบการติดตั้งใช้งาน

ความหน่วงแบบ end-to-end ที่มีการบันทึกไว้ของ Jev อยู่ที่ 70–500 มิลลิวินาที เทียบกับ 3–329 วินาทีสำหรับการเรียก LLM ชั้นแนวหน้าในการเปรียบเทียบของ TypeSafe เอง และการเพิ่มคำถามเข้าไปในการเรียกหนึ่งครั้งแทบไม่ทำให้ค่านั้นเปลี่ยนไป เพราะคำถามทุกข้อถูกประเมินแบบขนานเทียบกับการอ่านสถานะร่วมกันเพียงครั้งเดียว มีข้อมูลเทียบเคียงที่วัดได้เพียงรายการเดียวสำหรับคำกล่าวอ้างของผู้ขายรายนั้น และมันเป็นของเรา ไม่ใช่ของ TypeSafe: ตลอดเจ็ดวันนับตั้งแต่วันที่ 24 กันยายน 2026 ที่โมเดลการ์ดของเราสำหรับ typesafe/jev-1.13 ได้ให้บริการโมเดลนี้ คำขอค่ามัธยฐานใช้เวลา 151 มิลลิวินาที และเปอร์เซ็นไทล์ที่ 95 ใช้เวลา 247 มิลลิวินาที นั่นคือบันทึกการให้บริการของเส้นทางเดียว ไม่ใช่เบนช์มาร์ก Kev-9B บน H100 จะอยู่ในระดับขนาดเดียวกันสำหรับ forward pass เพียงครั้งเดียว แต่การเปรียบเทียบนี้ไม่ได้เป็นการเทียบแอปเปิลกับแอปเปิลในทั้งสองทิศทาง: โมเดล 9B ที่โฮสต์เองบน GPU ที่ใช้ร่วมกันขณะมีโหลด มีความหน่วงไม่เท่ากับ endpoint ที่โฮสต์ให้บริการ และ endpoint ที่โฮสต์ให้บริการก็ไม่เหมือนกับเครื่องในแร็กของคุณเอง สิ่งที่พูดได้โดยไม่ต้องเลี่ยงคือ ทั้งคู่เร็วพอสำหรับการใช้แบบต่อเทิร์นในลูปเอเจนต์ และความหน่วงของ Kev ขึ้นอยู่กับฮาร์ดแวร์ที่คุณควบคุม มากกว่าระดับบริการที่คุณได้รับสัญญาไว้

การตีความที่ตรงไปตรงมาเกี่ยวกับการจำลอง

การที่ Kev มีอยู่จริงนั้นเป็นหลักฐานเกี่ยวกับ Jev และเป็นเรื่องที่ควรค่าแก่การเอ่ยถึง โมเดลแบบปิดที่พฤติกรรมสามารถถูกประมาณได้ในห้าวันด้วยงบ 95 ดอลลาร์ โดยคนคนเดียว บนน้ำหนักฐานสาธารณะ กำลังบอกอะไรบางอย่างกับคุณว่า ความได้เปรียบของมันมาจากสถาปัตยกรรมมากแค่ไหน และมาจากข้อมูลฝึกกับการให้บริการมากแค่ไหน แต่ก็ไม่ได้หมายความว่าการสร้าง Jev นั้นง่าย — ผิว API นั้นคัดลอกได้ง่าย แต่การปรับคาลิเบรตไม่ใช่ แต่มันหมายความว่าคูเมืองไม่ใช่อินเทอร์เฟซ และใครก็ตามที่ประเมิน Jev สำหรับเส้นทางสู่การผลิต ควรคิดเผื่อความเป็นไปได้ที่การไฟน์จูนฐานแบบเปิดจะพาไปได้เกือบถึงเป้าหมาย ด้วยความมุ่งมั่นเพียงเศษเสี้ยว

ซึ่งนี่ก็เป็นข้อโต้แย้งสำหรับการที่ยังไม่ควรเดิมพันเส้นทางโปรดักชันกับตัวใดตัวหนึ่งในตอนนี้เช่นกัน หากคุณกำลังประเมิน Jev ท่าทีที่สมเหตุสมผลคือลองใช้โดยไม่ผูกมัด และนับตั้งแต่วันที่ 24 กันยายน 2026 นั่นคือสิ่งที่คุณทำได้บนคีย์ของเรา: OrcaRouter ให้บริการ Jev 1.13 ในชื่อ typesafe/jev-1.13 เรียกผ่านปลายทาง POST /v1/systemone เดียวกัน และรูปแบบคำขอแบบไม่สตรีมมิ่งแบบเดียวกับที่ใช้ทุกที่ โดยมีบริบท 65,536 โทเคน ในราคา $0.042 ต่อล้านโทเคนอินพุต และเอาต์พุตคิดค่าบริการเป็นศูนย์ ชั้นตัดสินใจและชั้นสร้างเนื้อหาตอนนี้อยู่บนบัญชีเดียว: โมเดล 200+ ตัวภายใต้คีย์ที่เข้ากันได้กับ OpenAI คีย์เดียว ในราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยบวกเพิ่ม 0% โดยมีการสลับไปใช้เส้นทางสำรองอัตโนมัติ สถาปัตยกรรมแบบสองโมเดลที่ชั้นตัดสินใจราคาถูกจัดเรียงทราฟฟิก และโมเดลสร้างเนื้อหาจัดการส่วนที่เหลือนั้น ทดสอบได้ฝั่งเราโดยไม่ต้องมีสัญญากับผู้ขายรายที่สอง และหากองค์ประกอบการตัดสินใจกลายเป็นว่าถูกปรับเทียบได้ไม่ดีกับข้อมูลของคุณ เส้นทางการสลับไปใช้ระบบสำรองนี่แหละคือสิ่งที่กันไม่ให้เรื่องนั้นกลายเป็นเหตุการณ์ผิดปกติ

คำตัดสิน

ถ้างานตัดสินใจของคุณมีขอบเขตแคบ อยู่ในโดเมนตายตัว มีปริมาณสูง และอ่อนไหวต่อความเป็นส่วนตัว Kev คือตัวเลือกที่ป้องกันได้มากกว่าในวันนี้ และไม่ใช่การเปรียบเทียบที่สูสีกันเลย — คุณเป็นเจ้าของเวต คุณควบคุมเส้นทางข้อมูล คุณไฟน์จูนด้วยป้ายกำกับของคุณเองได้ และในงานจัดเส้นทางตั๋วสนับสนุน เช็กพอยต์ 9B ก็เอาชนะ Jev ด้วยตัวเลขที่ Jev เองเผยแพร่แล้ว หากงานตัดสินใจของคุณต้องใช้ความรู้รอบโลก การคำนวณหลายขั้นตอน หรือค่าความเชื่อมั่นที่คุณตั้งใจจะนำไปใช้กับระบบอัตโนมัติ โมเดลที่ยังไม่เปิดเผยและมีขนาดใหญ่กว่าของ Jev กับการฝึก RLCD ของมันกำลังทำงานจริง และอะแดปเตอร์ของ Kev ไม่สามารถใช้แทนสิ่งใดในสองสิ่งนั้นได้

สิ่งหนึ่งที่การเปรียบเทียบทั้งสองแบบยังไม่ได้ข้อสรุปคือการสอบเทียบ เพราะยังไม่มีใครเผยแพร่แผนภาพความน่าเชื่อถือของโมเดลใดในสองตัวนี้เลย จงทดสอบเรื่องนี้กับเคสที่มีป้ายกำกับของคุณเองก่อนจะนำไปใช้แบบอัตโนมัติกับตัวใดตัวหนึ่ง — ค่าความเชื่อมั่นคือส่วนของผลิตภัณฑ์ทั้งสองที่ต้องพิสูจน์ให้ได้ในแต่ละการนำไปใช้งาน และความเร็วคือส่วนที่กลายเป็นสินค้าพื้นฐานที่มีอยู่ทั่วไปแล้ว

A generated two-column scoreboard comparing Jev and Kev across the same six labelled dimensions, with a footer reading "Kev figures per its own README and harness; not a controlled comparison."
© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube