Jev ปฏิเสธที่จะเขียนแม้แต่คำเดียว: สิ่งที่โมเดลการตัดสินใจของ TypeSafe AI ทำ และสิ่งที่ยังไม่มีใครตรวจสอบยืนยัน

Jev เป็นโมเดลแรกจาก TypeSafe AI ที่ผู้อ่านมีแนวโน้มจะได้พบผ่านตารางค่าใช้จ่ายมากกว่ากล่องแชต เพราะไม่มีกล่องแชต เปิดตัวเมื่อวันที่ 15 กันยายน 2026 โดย Diogo Almeida — ผู้ร่วมเขียนบทความ InstructGPT งานที่ทำให้ ChatGPT ทำงานเหมือนผู้ช่วย — Jev ไม่ได้สร้างข้อความเลยสักนิด มันรับข้อมูลสถานะชิ้นหนึ่ง (อีเมล บรรทัดล็อก ใบแจ้งปัญหาการสนับสนุน หรือ JSON ก้อนหนึ่งของพิกัดในเกม) พร้อมรายการคำถามที่มีการระบุชนิด และคืนคำตอบที่มีการระบุชนิด ได้แก่ ตัวเลือกจากชุดที่คุณให้มา คะแนนตามเกณฑ์การให้คะแนน หรือความน่าจะเป็นแบบใช่/ไม่ใช่ โดยแต่ละอย่างมีค่าความเชื่อมั่นของตัวเอง ไม่มีข้อความร้อยเรียง ไม่มีโค้ด ไม่มีคำอธิบาย จุดขายของ TypeSafe คือความแคบนี้เองคือตัวผลิตภัณฑ์ เพราะมันให้ความเร็วและราคาที่โมเดลเชิงสร้างเทียบไม่ได้ — เร็วขึ้น 20 ถึง 200 เท่า และถูกกว่า 40 ถึง 400 เท่า เมื่อเทียบกับ "LLM ที่เทียบเคียงได้" ในเอกสารเปิดตัวของบริษัทเอง โดยอยู่ที่ 0.042 ดอลลาร์ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น และคิดค่าเอาต์พุตเป็นศูนย์

ตัวเลขที่มีประโยชน์ที่สุดที่เผยแพร่ใน 48 ชั่วโมงแรกไม่ใช่หนึ่งในนั้น มันมาจาก Every ซึ่งหัวหน้าฝ่ายประเมินได้รัน Jev กับบทความของ Every ที่เผยแพร่แล้ว 27 บทความ บวกกับบทความที่เขียนโดย AI อีก 10 บทความ โดยถาม 21 คำถามกับเอกสารทั้ง 37 ฉบับพร้อมกัน: ได้ 777 การตัดสินในเวลาไม่ถึง 0.7 วินาที ด้วยค่าใช้จ่ายประมาณหนึ่งในสี่ของเซนต์ การทดสอบครั้งที่สอง ซึ่งดำเนินการโดยซีอีโอของ Every ได้นำข้อความสังเคราะห์ 12 ข้อความ — หกข้อความที่สะอาด หกข้อความที่มีข้อบกพร่องที่ถูกปลูกฝังไว้โดยเจตนา — มาทดสอบกับการตรวจสอบการเขียน 4 ข้อ Jev ตอบกลับด้วยค่ามัธยฐาน 0.35 วินาทีต่อข้อความ เทียบกับ 8.83 วินาทีของ Claude Fable 5.1 ที่ตั้งค่าความพยายามสูง: เร็วกว่าประมาณ 25 เท่า ด้วยค่าใช้จ่ายประมาณ 1/580 มันตรวจจับข้อบกพร่องที่ปลูกฝังไว้ได้ 6 จาก 7 จุด Claude Fable 5.1 ตรวจจับได้ทั้งหมด 7 จุด คำตัดสินของ Every คือ "ดีแต่ไม่สมบูรณ์แบบ" และนั่นคือการอ่านแบบซื่อสัตย์เพียงบรรทัดเดียวของ Jev จากบททดสอบอิสระเพียงหนึ่งเดียวที่ใครก็ตามได้เผยแพร่จนถึงตอนนี้ — ข้อกล่าวอ้างเรื่องความเร็วและค่าใช้จ่ายยังคงเป็นจริงเมื่อผ่านการทดสอบโดยบุคคลที่สาม ข้อกล่าวอ้างเรื่องความแม่นยำต่ำกว่าระดับแนวหน้าอยู่หนึ่งขั้น และกลุ่มตัวอย่างเล็กเกินไปจนไม่มีใครควรดึงข้อสรุปสำหรับการใช้งานจริงจากมัน

หมายเหตุเกี่ยวกับประเภทของหลักฐานที่บทความนี้ใช้ เพราะระดับของหลักฐานห่างกันมากผิดปกติสำหรับโมเดลใหม่ขนาดนี้ Jev มีอยู่จริงและเรียกใช้งานได้: มี endpoint ที่มีเอกสารประกอบ, Python SDK, alias ของโมเดล และราคาที่ประกาศไว้ การเปิดตัวเป็นสิ่งที่ผู้ขายประกาศเอง ไม่ใช่ข้อมูลหลุด และไม่มีใครต้องเดาว่ามันมีอยู่จริงหรือไม่ แต่คำกล่าวอ้างด้านประสิทธิภาพทุกข้อที่ TypeSafe นำมาเป็นจุดขายล้วนเป็นข้อมูลของ TypeSafe เอง สถาปัตยกรรมยังไม่ถูกเปิดเผย น้ำหนักโมเดลยังไม่ออก และแดชบอร์ด benchmark ที่อยู่เบื้องหลังพาดหัว 20-200x นั้นเป็นการประเมินเวิร์กโฟลว์ภายในชุดหนึ่ง ไม่ใช่ลีดเดอร์บอร์ดสาธารณะ มีบุคคลภายนอกหนึ่งรายที่ทดสอบมันแล้ว บทความนี้แยกตัวเลขจากผู้ขาย ตัวเลขอิสระ และคำถามที่ยังเปิดอยู่ ให้เห็นชัดเจนว่าแตกต่างกัน แทนที่จะเฉลี่ยรวมเป็นฉันทามติที่ไม่มีอยู่จริง

สิ่งที่ TypeSafe ส่งมอบจริง ๆ

Jev เป็นตัวแรกในสิ่งที่ TypeSafe เรียกว่าโมเดล System One — ชื่อนี้ยืมมาจากครึ่งหนึ่งของกระบวนการรับรู้ที่เร็วและใช้สัญชาตญาณของ Daniel Kahneman ตรงข้ามกับโหมดคิดไตร่ตรองที่ช้ากว่า ซึ่งแชตบอตเลียนแบบ ความแตกต่างที่ TypeSafe ชี้ให้เห็นคือการเปรียบเทียบกับรูปแบบมาตรฐานของการบังคับให้ตัวสร้างข้อความส่งออกเอาต์พุตแบบมีโครงสร้าง แล้วแยกวิเคราะห์ข้อความนั้นกลับมาเป็นสิ่งที่โค้ดเชื่อถือได้ Jev ข้ามข้อความไปทั้งหมด เอกสารของ TypeSafe เองระบุกรณีนี้อย่างตรงไปตรงมา: "โมเดลภาษาขนาดใหญ่ (LLMs) ถูกออกแบบมาเพื่อสร้างข้อความให้มนุษย์อ่าน เมื่อคุณต้องการให้โมเดลตัดสินใจในสิ่งที่โค้ดของคุณจะนำไปใช้ นั่นทำให้เกิดความไม่สอดคล้องกัน"

พื้นผิวเอาต์พุตประกอบด้วยองค์ประกอบพื้นฐานสามอย่าง และไม่มีสิ่งอื่นใดอีก ทุกคำถามที่คุณถามต้องเป็นหนึ่งในนั้น:

• Choice — เลือกหนึ่งตัวเลือกจากรายการที่คุณจัดเตรียมไว้ โดยคืนค่าตัวเลือกที่เลือก พร้อมความน่าจะเป็นสำหรับแต่ละแคนดิเดตและค่าความเชื่อมั่น ตัวเลือกถูกจำกัดไว้ที่ 255 ต่อฟิลด์; หากเกินกว่านั้น TypeSafe ระบุรูปแบบสองขั้นตอนไว้ในเอกสาร โดยให้คะแนนแคนดิเดตแต่ละรายการอย่างอิสระแล้วจึงเลือก

• ให้คะแนน — จัดวางสถานะลงบนรูบริกแบบเรียงลำดับ โดยคืนค่าระดับ ความน่าจะเป็นของแต่ละระดับ และความเชื่อมั่น ตัวอย่างในเอกสารคือความเสี่ยงการเลิกใช้ (churn risk) บนสเกล 0-1

• Noul — คำผสมของ "no" และ "null" — ข้อกล่าวอ้างแบบใช่/ไม่ใช่เพียงข้อเดียว โดยคืนค่าความน่าจะเป็นที่ปรับเทียบแล้วว่าข้อกล่าวอ้างนั้นเป็นจริง

สมบัติที่น่าสนใจไม่ใช่ primitive ตัวใดตัวหนึ่ง แต่คือวิธีที่มันประกอบเข้าด้วยกัน ทั้งสามแบบผสมกันได้ในการเรียก API ครั้งเดียว และทุกคำถามจะถูกประเมินพร้อมกันเทียบกับการอ่านสถานะเดียวกันเพียงครั้งเดียว เอกสารของ TypeSafe ระบุว่าการเพิ่มคำถามนั้น "แทบไม่เปลี่ยนเวลาตอบสนอง" และการทดสอบอิสระก็ยืนยันสิ่งนี้ในทางปฏิบัติ — 21 คำถามจาก 37 เอกสารเสร็จสิ้นภายใน 0.7 วินาทีเดียวกัน นั่นคือสิ่งที่ทำให้ราคาต่อการตัดสินหนึ่งครั้งดิ่งลง คุณไม่ได้จ่ายสำหรับการสร้างที่ยาวขึ้น แต่จ่ายสำหรับรอบเดียว

ขอบเขตการใช้งานจริง ตามที่เอกสารระบุและตามที่ผู้ใช้กลุ่มแรกรายงาน: งบคำขอประมาณ 32,000 โทเคน ซึ่งเอกสารของ TypeSafe อธิบายว่าประมาณ 150,000 ตัวอักษรภาษาอังกฤษ; ไม่มีอินพุตรูปภาพหรือเสียงเมื่อเปิดตัว; และรูปแบบคำขอและคำตอบที่ไม่ใช่ธรรมเนียม chat-completions ของ OpenAI ดังนั้นการเรียกใช้จึงต้องใช้ไคลเอนต์เฉพาะ ไม่ใช่แค่สลับ base URL การเข้าถึงเป็นรายการรอสำหรับ early access พร้อมกับ playground บนเบราว์เซอร์ โดยมี code>jev-latest/code> เป็นนามแฝงของโมเดล

RLCD หมายถึงการสอบเทียบ ไม่ใช่ค่าที่ต้องการ

TypeSafe ฝึก Jev ด้วยวิธีการที่บริษัทเรียกว่า RLCD — การเรียนรู้แบบเสริมกำลังสำหรับการตัดสินใจที่ปรับเทียบแล้ว ตามเอกสารของบริษัทเอง คำย่อนี้ใหม่พอที่การรายงานข่าวช่วงแรก ๆ จะขยายความอย่างไม่สอดคล้องกัน จึงคุ้มค่าที่จะปักหมุดให้แน่ชัดว่าจริง ๆ แล้วมันตั้งชื่อสิ่งใด เพราะความแตกต่างนี้คือข้ออ้างของงานวิจัยทั้งหมด

RLHF ปรับให้เหมาะกับผลลัพธ์ที่มนุษย์ต้องการ RLVR ปรับให้เหมาะกับความถูกต้องที่ตรวจสอบได้ แบบที่ผ่านกรณีทดสอบ RLCD ปรับให้เหมาะกับการปรับเทียบ: โมเดลที่บอกว่าตัวเองมั่นใจ 70% ควรจะถูกต้องประมาณ 70% ของเวลา นั่นเป็นเป้าหมายที่แตกต่างจากการถูกต้อง และนั่นคือเหตุผลที่ทุกคำตอบของ Jev มาพร้อมกับการแจกแจงความน่าจะเป็นแนบมาด้วย แทนที่จะเป็นเพียงคำตอบ โหมดความล้มเหลวที่ตั้งใจไว้คือโมเดลที่รู้ว่าตัวเองไม่รู้ เพื่อให้โค้ดของคุณตัดสินใจได้ว่าจะทำอย่างไรกับมัน

สิ่งที่คุณได้จากมันในทางปฏิบัติคือส่วนควบคุม รูปแบบที่เอกสารระบุไว้คือช่วงความเชื่อมั่นสามช่วง — ทำงานอัตโนมัติที่ช่วงบนสุด ติดธงหรือยืนยันที่ช่วงกลาง ส่งต่อให้มนุษย์ที่ช่วงล่างสุด — โดยมีค่าเกณฑ์อยู่ในโค้ดของคุณ ไม่ใช่ในโมเดล การที่ช่วงเหล่านี้สะท้อนความจริงหรือไม่เป็นคำถามเชิงประจักษ์เกี่ยวกับข้อมูลของคุณ และเป็นคำถามหนึ่งที่ TypeSafe บอกไว้อย่างชัดเจนให้คุณตอบด้วยตัวเอง โดยระบุว่าเกณฑ์ความเชื่อมั่นนั้นขึ้นอยู่กับกรณีการใช้งานเฉพาะ และควรทดสอบกับตัวอย่างที่คุณติดป้ายกำกับเอง คำแนะนำนั้นเป็นประโยคที่สำคัญที่สุดในเอกสาร และเป็นเหตุผลที่ส่วนถัดไปมีอยู่

ตัวเลข เรียงตามผู้ที่ผลิตมันขึ้นมา

นี่คือจุดที่การรายงานข่าวเกี่ยวกับ Jev ส่วนใหญ่เริ่มอ่อนลง จึงคุ้มค่าที่จะระบุแหล่งที่มาให้ชัดเจน นี่คือสิ่งที่มาจากผู้ขาย สิ่งที่มาจากผู้ทดสอบอิสระ และสิ่งที่ยังไม่ทราบแน่ชัด

• รายงานโดยผู้ขาย ยังไม่ได้ทำซ้ำ — คำกล่าวอ้างเรื่องความเร็วและต้นทุนที่พาดหัว 70-500ms สำหรับความหน่วงแบบต้นทางถึงปลายทาง เทียบกับ 3-329 วินาทีสำหรับการเรียก LLM ชั้นแนวหน้า เร็วขึ้น 20-200 เท่า และถูกกว่า 40-400 เท่า ผลลัพธ์เวิร์กโฟลว์กรณีดีที่สุดเพียงกรณีเดียวที่โฆษณาไว้ที่เร็วขึ้น 193.6 เท่า และถูกกว่า 444.6 เท่า TypeSafe ยอมรับว่าตัวเลขเหล่านี้เป็นกรณีดีที่สุด ไม่ใช่ตัวเลขสากล

• ตามที่ผู้ขายรายงาน และตรวจสอบได้ในตารางราคา — $0.042 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น ซึ่งเท่ากับ $42 ต่อพันล้าน โดยเอาต์พุตฟรี เหตุผลที่เอาต์พุตฟรีนั้นเป็นเชิงกลไกมากกว่าเชิงโปรโมชัน: ไม่มีการถอดรหัสแบบออโตรีเกรสซีฟให้วัด จึงไม่มีโทเค็นเอาต์พุตให้คิดเงิน เพื่อให้เห็นขนาด สื่อเปิดตัวชุดเดียวกันระบุราคาอินพุตของโมเดลแนวหน้าทั่วไปไว้ที่ $0.20 ถึง $10 ต่อล้าน โดยเอาต์พุตมักอยู่ที่ประมาณห้าเท่าของราคาอินพุต

• รายงานโดยผู้ขาย จากเกณฑ์มาตรฐานภายใน — แดชบอร์ดเวิร์กโฟลว์ของ TypeSafe เอง 711 เคสจากสี่ภารกิจ โดยคำตอบอ้างอิงได้มาจากค่าเฉลี่ยการตัดสินของ GPT-6 Astra และ Claude Fable 5.1 แทนที่จะเป็นกราวด์ทรูธ บนแดชบอร์ดนั้น Jev ได้คะแนนรวม 67.8% เทียบกับ 74.1% ของคู่เปรียบเทียบที่ดีที่สุด เมื่อแยกดู: เหตุการณ์ด้านความปลอดภัย 61.7% เทียบกับ 66.2% ของ Opus 5; ความสามารถในการสังเกตการณ์ agent-trace 71.6% เทียบกับ 76.6%; การประมวลผลใบแจ้งหนี้ 61.8% เทียบกับ 79.1%; บริการลูกค้า 76.0% เทียบกับ 78.3% Jev ชนะในคอลัมน์ต้นทุนและเวลาแฝงบนแผนภูมินั้น และแพ้ในคอลัมน์ความแม่นยำ ตัวแดชบอร์ดเองระบุถึงอคติของฮาร์เนสที่อาจเกิดขึ้น และ TypeSafe กล่าวว่าได้ข้ามลีดเดอร์บอร์ดสาธารณะโดยเจตนา เพื่อหันไปใช้การประเมินแบบครั้งเดียวที่ผูกกับอัปเดตผลิตภัณฑ์

• วัดโดยอิสระ ตัวอย่างขนาดเล็ก — การทดสอบ Every ที่อธิบายไว้ข้างต้น: การตัดสิน 777 ครั้งในเวลาไม่ถึง 0.7 วินาที ด้วยค่าใช้จ่ายประมาณหนึ่งในสี่ของเซนต์; การตัดสิน 1,709 ครั้งจากการทดลอง 11 ครั้ง ด้วยค่าใช้จ่ายรวมไม่ถึงหนึ่งเซนต์; เร็วกว่าประมาณ 25 เท่า และมีค่าใช้จ่ายเพียง 1/580 ของ Claude Fable 5.1 ในงานจำแนกประเภท 12 พาสเสจ ในขณะที่พลาดข้อบกพร่องที่ถูกฝังไว้ 1 ใน 7 รายการ ซึ่งตัวเปรียบเทียบตรวจพบ ข้อสรุปของ Every เองคือต้องการการตรวจสอบความแม่นยำที่ละเอียดถี่ถ้วนมากกว่านี้ก่อนนำไปใช้งานจริง

• ไม่ทราบ — สถาปัตยกรรม ไม่มีเปเปอร์ตอนเปิดตัว ไม่มีจำนวนพารามิเตอร์ ไม่มีการเปิดเผยคอมพิวต์ที่ใช้ฝึก และไม่มีเวตต์ TypeSafe กล่าวว่าขณะนี้ยังเก็บรายละเอียดไว้ "แนบชิดอก" โดยอาจมีเปเปอร์ตามมาภายหลัง

รูปแบบในระดับเหล่านั้นมีความสอดคล้องกัน และไม่ใช่รูปแบบที่พาดหัวข่าว 200 เท่าชี้ให้เห็น ตัวเลขจากแหล่งอิสระและจากผู้ขายทุกตัวเห็นตรงกันว่า Jev ถูกกว่าอย่างมากและเร็วกว่าอย่างมาก ไม่มีตัวเลขใดเลย รวมถึงของ TypeSafe เอง ที่แสดงว่ามันแม่นยำกว่าโมเดล frontier ที่มันถูกตั้งราคาให้เปรียบเทียบด้วย บนแดชบอร์ดของผู้ขายเอง มันอยู่ประมาณระดับของโมเดลระดับกลางที่ดี การเปรียบเทียบที่ยังใช้ได้ไม่ใช่ "ฉลาดเท่าโมเดล frontier ในราคาหนึ่งในร้อย" — แต่เป็น "ใกล้เคียงกับวิจารณญาณของโมเดลระดับกลาง ในราคาเศษเสี้ยวของเซนต่อการเรียกใช้ เร็วพอที่จะรันในทุกเทิร์น"

“zero hallucination” หมายถึงอะไร และไม่หมายถึงอะไร

เอกสารเปิดตัวของ TypeSafe รวมถึงแผนภูมิที่แสดงอัตราความผิดพลาดในการเรียกใช้เครื่องมือ 0% สำหรับ Jev เทียบกับอัตราที่ไม่เป็นศูนย์สำหรับโมเดลเปรียบเทียบ และวลี “ต้านทานการหลอน” ก็ติดไปกับโมเดลนี้ ทั้งสองอย่างเป็นความจริง และทั้งสองอย่างก็แคบกว่าที่ข้อความอ่านแล้วดูเหมือนจะสื่อ

การรับประกันนี้เป็นเชิงโครงสร้าง คำตอบที่เป็นไปได้ทั้งหมดจะถูกแจกแจงไว้ก่อนที่โมเดลจะทำงาน — คุณเป็นผู้ให้รายการตัวเลือก เกณฑ์การประเมิน หรือข้อความจริง/เท็จ — ดังนั้นจึงไม่มีช่องว่างให้ส่งค่าที่อยู่นอกเหนือชนิดข้อมูลที่ประกาศไว้ การเรียกใช้เครื่องมือที่ผิดรูปแบบไม่ใช่สิ่งที่ Jev สามารถสร้างขึ้นมาได้ นั่นเป็นคุณสมบัติทางวิศวกรรมอย่างแท้จริง และสำหรับใครก็ตามที่ใช้เวลาหนึ่งสัปดาห์เขียนตรรกะการลองใหม่เพื่อรับมือกับความล้มเหลวในการแยกวิเคราะห์ JSON มันมีค่าคุ้มเป็นตัวเงินจริง ๆ

มันไม่ใช่ข้อกล่าวอ้างเกี่ยวกับความถูกต้อง คำตอบที่ถูกต้องตามสคีมายังคงผิดได้: Jev สามารถส่งเรื่องร้องเรียนด้านการเรียกเก็บเงินไปยังคิวเทคนิคได้อย่างมั่นใจ และผลลัพธ์ก็จะอยู่ในรูปแบบที่สมบูรณ์แบบแต่ไร้ประโยชน์ Almeida เองก็พูดทำนองนี้ โดยยอมรับว่ามันเป็นไปได้ที่จะผิดอย่างมั่นใจ วิธีที่เป็นประโยชน์ในการยึดข้อเท็จจริงทั้งสองข้อไว้ด้วยกันก็คือ Jev ขจัดข้อผิดพลาดประเภทที่เกิดจากการจัดรูปแบบผลลัพธ์ และไม่ทำอะไรเลยกับประเภทที่เกิดจากการตัดสินใจ ซึ่งหมายความว่าคำถามเรื่องความแม่นยำเป็นคำถามเรื่องการคาลิเบรตทั้งหมด และการคาลิเบรตก็คือสิ่งนั้นแหละที่คุณต้องวัดด้วยตัวเอง

วิธีทดสอบข้ออ้างเรื่องการสอบเทียบกับข้อมูลของคุณเอง

การคาลิเบรชันเป็นหนึ่งในคุณสมบัติของโมเดลเพียงไม่กี่อย่างที่คุณตรวจสอบได้อย่างเหมาะสมด้วยตัวอย่างเพียงไม่กี่ร้อยรายการและไม่ต้องใช้โครงสร้างพื้นฐาน ML และเป็นการทดสอบเดียวที่สำคัญก่อนที่ Jev จะแตะพาธโปรดักชัน ขั้นตอนนี้สั้น

ลองหยิบเคสสักไม่กี่ร้อยเคสที่คุณมีป้ายกำกับอยู่แล้ว ถาม Jev ด้วยคำถามที่สำคัญ — การตัดสินใจเรื่องการจัดเส้นทาง คะแนนความเสี่ยง การตรวจข้อบกพร่อง — แล้วจัดกลุ่มคำตอบตามระดับความมั่นใจที่มันรายงาน จากนั้นตรวจดูว่ากลุ่มที่รายงานความมั่นใจ 0.9 ถูกต้องประมาณ 90% ของเวลา กลุ่ม 0.7 ถูกต้องประมาณ 70% และอื่น ๆ โมเดลที่ปรับคาลิเบรตมาอย่างดีจะลากเป็นเส้นทแยงมุม ส่วนโมเดลที่แค่ดูมั่นใจจะจับทุกอย่างที่สูงกว่า 0.9 มารวมกันและถูกต้อง 70% ของเวลา และนั่นคือรูปร่างที่ค่อย ๆ ทำให้ไปป์ไลน์อัตโนมัติพังอย่างเงียบ ๆ

การทดสอบเดียวกันนี้บอกคุณว่าควรใช้เกณฑ์เท่าใด หากกลุ่ม 0.9 ของคุณแม่นยำ 90% กับข้อมูลของคุณจริง คุณก็ทำให้มันเป็นอัตโนมัติได้ หากช่วงกลางของคุณคลุมเครือไม่ชัดเจน คุณก็ส่งต่อให้มนุษย์หรือมอบให้โมเดลเชิงสร้างจัดการ แล้วปล่อยให้เส้นทางที่มีต้นทุนสูงจัดการความกำกวมนั้น การแยกแบบนั้น — โมเดลราคาถูกกับกลุ่มส่วนใหญ่ที่มั่นใจ โมเดลราคาแพงกับส่วนที่เหลือซึ่งไม่แน่ใจ — คือสถาปัตยกรรมจริงที่ Jev กำลังเสนอ และนี่คือเหตุผลว่าทำไมจึงควรเข้าใจโมเดลในฐานะองค์ประกอบหนึ่ง มากกว่าจะเป็นสิ่งทดแทน

ค่าใช้จ่าย เมื่อคิดจนครบทุกขั้นตอน

การคิดราคานั้นเรียบง่ายพอที่จะวิเคราะห์ได้ ซึ่งเป็นเรื่องที่หาได้ยาก อินพุตราคา $0.042 ต่อล้านโทเคน เอาต์พุตฟรี ที่งบคำขอตามเอกสารประมาณ 150,000 อักขระ การเรียกใช้ขนาดสูงสุดเพียงครั้งเดียวมีค่าใช้จ่ายต่ำกว่าหนึ่งเซนต์มาก

ตัวเลขสองตัวที่ถูกรายงานช่วยให้เห็นขนาดได้คร่าว ๆ ผู้ใช้รายแรก ๆ รันประมาณ 5,000 คำขอ ด้วยค่าใช้จ่ายราว 2 ดอลลาร์ การสาธิต Doom — โดย Jev บังคับบอตโดยใช้คำอธิบายสถานะเกมแบบข้อความแทนพิกเซลดิบ — ทำงานที่ประมาณ 10 การเรียกต่อวินาที ด้วยค่าใช้จ่ายประมาณ 7 ดอลลาร์ต่อชั่วโมง และการตัดสิน 777 ครั้งของ Every จากเอกสาร 37 ฉบับ มีค่าใช้จ่ายประมาณหนึ่งในสี่ของหนึ่งเซนต์ ซึ่งเป็นตัวเลขที่ทำให้กรณีการใช้งานที่น่าสนใจนั้นเห็นภาพชัดเจน: ที่ราคานั้น การตรวจสอบทุกเทิร์นของลูปเอเจนต์ไม่ใช่การตัดสินใจเรื่องต้นทุนอีกต่อไป และกลายเป็นค่าเริ่มต้น

นั่นคือข้อโต้แย้งที่แท้จริงสำหรับ Jev การตรวจสอบยืนยันแบบต่อรอบ — การเรียกใช้เครื่องมือนี้ขัดกับครั้งก่อนหรือไม่ เอาต์พุตนี้สอดคล้องกับเจตนาที่ผู้ใช้ระบุไว้หรือไม่ สิ่งนี้ควรถูกตั้งธงเตือนหรือไม่ — เป็นสิ่งที่ทำได้ในทางเทคนิคมาโดยตลอดด้วยโมเดลระดับแนวหน้า และไร้เหตุผลในเชิงเศรษฐศาสตร์เมื่อทำในระดับขนาดใหญ่ ที่ราคา $0.042 ต่อล้านโทเค็นโดยไม่มีค่าใช้จ่ายเอาต์พุต การตรวจสอบแบบเดียวกันนี้จึงมีราคาที่จ่ายได้ในทุก ๆ รอบ คุณค่าในที่นี้ไม่ใช่ว่า Jev คิดได้ดีกว่าโมเดลระดับแนวหน้า เพราะมันไม่ได้เป็นเช่นนั้น คุณค่าคือมันคิดได้อย่างประหยัดและรวดเร็วพอที่จะถูกปรึกษาอย่างสม่ำเสมอ

ควรพูดให้ชัดเจน เพราะนี่คือคำถามถัดไปที่เห็นได้ชัด: OrcaRouter ไม่ได้ให้บริการ Jev โมเดลของ TypeSafe อยู่ในช่วง early-access ต้องรอคิว และมีรูปแบบคำขอเป็นของตัวเอง ดังนั้นใครก็ตามที่ทดสอบมันจึงต้องผ่าน TypeSafe โดยตรง จุดที่ชั้นการกำหนดเส้นทางเข้าได้พอดีคืออีกครึ่งหนึ่งของเวิร์กโฟลว์ รูปแบบที่ Jev ถูกออกแบบมาสำหรับคือสองโมเดล ไม่ใช่หนึ่ง — Jev ทำการตัดสินใจแบบมีชนิดข้อมูล และโมเดลแบบ generative จัดการส่วนที่ต้องใช้ถ้อยคำร้อยเรียง โค้ด หรือคำอธิบาย ครึ่งที่เป็น generative นั่นแหละคือส่วนที่ OrcaRouter ครอบคลุม: 197 โมเดลจาก 15 ผู้ให้บริการภายใต้คีย์เดียวที่เข้ากันได้กับ OpenAI ในราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยไม่บวกเพิ่ม 0% ดังนั้นเมื่อผู้ขายลดราคา ฝั่งเราก็ได้รับผลในวันเดียวกับที่เปิดตัว ทั้งสองครึ่งของเวิร์กโฟลว์แบบ Jev สามารถทดสอบได้โดยไม่ต้องมีสัญญาฉบับที่สอง และเมื่อองค์ประกอบการตัดสินใจยังไม่ผ่านการพิสูจน์ เส้นทาง failover คือสิ่งที่ป้องกันไม่ให้ผลการคาลิเบรตที่ผิดพลาดกลายเป็นเหตุการณ์ในโปรดักชัน

ที่ซึ่ง Jev ไม่ลงตัว

ข้อจำกัดเหล่านี้ถูกระบุไว้อย่างชัดเจนผิดปกติโดยผู้จำหน่าย ซึ่งทำให้ส่วนนี้ง่ายต่อการเขียนอย่างตรงไปตรงมา Jev ไม่สามารถสร้างข้อความอิสระได้ มันเขียนโค้ดไม่ได้ มันสนทนาโต้ตอบไม่ได้ มันไม่มีอินเทอร์เฟซแชต ไม่มีอินพุตรูปภาพ และมีงบประมาณบริบทประมาณ 32,000 โทเคน — ต่ำกว่าประมาณหนึ่งหลักเมื่อเทียบกับโมเดลบริบทยาวที่ถูกนำมาเปรียบเทียบด้านราคา ฟิลด์ตัวเลือกมีเพดานที่ 255 ตัวเลือก และคุณสมบัติ "no hallucination" ดังที่กล่าวข้างต้น เป็นเรื่องเกี่ยวกับรูปแบบเอาต์พุตมากกว่าความจริง

เน็ตเวิร์กนี้เหมาะกับงานที่ค่อนข้างจำกัด ข้อดี: การจำแนกประเภทและการจัดเส้นทางปริมาณมาก, รอบการตรวจสอบ guardrail และ verification, การตัดสินใจที่ความหน่วงเป็นสิ่งสำคัญ, การให้คะแนนชุดเอกสารขนาดใหญ่แบบขนาน, ทุกที่ที่คำตอบที่ถูกต้องเป็นตัวเลือก ตัวเลขบนสเกล หรือค่าบูลีนอย่างแท้จริง ข้อเสีย: การสร้างแบบเปิดกว้างทุกประเภท, การให้เหตุผลกับบริบทขนาดยาว, บทสนทนาแบบหลายรอบ หรืองานใดก็ตามที่คำตอบที่ถูกต้องเป็นประโยค ถ้าปัญหาของคุณไม่สามารถลดทอนให้เป็นคำถามที่มีชนิดคำตอบได้ Jev ก็ไม่ใช่วิธีที่ถูกกว่าในการแก้ปัญหา — มันไม่ใช่วิธีแก้ปัญหานั้นเลยด้วยซ้ำ

ยังมีคำวิจารณ์ที่ยุติธรรมเกี่ยวกับกรอบการนำเสนอตรงนี้ที่ควรค่าแก่การจดจำไว้ต่อไป การเรียก Jev ว่าเป็นโมเดลระดับแนวหน้านั้นเป็นการหยิบยืมความน่าเชื่อถือที่โมเดลนี้ยังไม่ได้มาด้วยความสามารถของตัวเอง เพราะมันเขียนโค้ดไม่ได้ คุยโต้ตอบไม่ได้ และเขียนประโยคสักประโยคก็ไม่ได้ อีกทั้งแผนภูมิเปรียบเทียบก็อาศัยโมเดลระดับแนวหน้าเป็นเส้นฐาน ขณะที่คอลัมน์ความแม่นยำกลับเล่าเรื่องอีกแบบหนึ่ง ข้อกล่าวอ้างที่ปกป้องได้มากกว่า และเป็นข้อที่หลักฐานสนับสนุนจริง คือ TypeSafe ได้ผลักดันพรมแดนด้านความเร็วและต้นทุนสำหรับการตัดสินใจเชิงโครงสร้างออกไปได้ไกลมาก นั่นเป็นสิ่งที่ได้ทำสำเร็จและมีน้ำหนักทีเดียว แต่มันก็เป็นคนละเรื่องกับการสร้างโมเดลที่เทียบชั้น GPT-6 Astra หรือ Claude Fable 5.1

อะไรจะเปลี่ยนแปลงภาพนี้

สามเรื่อง โดยเรียงตามลำดับคร่าว ๆ ว่าสิ่งเหล่านั้นจะมีความสำคัญมากน้อยเพียงใด

• บทความทางสถาปัตยกรรมที่ตีพิมพ์เผยแพร่ หรือน้ำหนักโมเดลแบบเปิด ทุกสิ่งเกี่ยวกับวิธีที่ Jev บรรลุความเร็วนั้นในปัจจุบันยังเป็นกล่องดำ และข้ออ้างที่ว่าการประเมินแบบขนานคือกลไกนั้น — การเปรียบเทียบที่ Almeida ยกขึ้นมาคือการแทนที่การคำนวณแบบลำดับ เช่นเดียวกับที่ transformers แทนที่โครงข่ายแบบเวียนเกิด — เป็นเพียงข้อกล่าวอ้าง มากกว่าจะเป็นผลลัพธ์ที่พิสูจน์ให้เห็นแล้ว จนกว่าการออกแบบจะได้รับการตีพิมพ์ ความเร็วก็เป็นเพียงข้อเท็จจริง และคำอธิบายก็คือการตลาด

• การประเมินอิสระครั้งที่สองด้วยกลุ่มตัวอย่างที่ใหญ่ขึ้น การทดสอบของ Every เป็นหลักฐานที่แข็งแกร่งที่สุดเท่าที่มี และครอบคลุมเนื้อหา 12 ท่อนในประเด็นชี้ขาดเรื่องความแม่นยำ การรันอิสระอีกครั้งหนึ่งกับกรณีที่มีป้ายกำกับไม่กี่ร้อยกรณีจะช่วยชี้ชัดว่า การพลาดข้อบกพร่อง 1 ใน 7 นั้นเป็นเพียงความคลาดเคลื่อนหรือเป็นอัตราความผิดพลาดที่แท้จริง

• การตรวจสอบการปรับเทียบกับอินพุตที่สมจริงและยุ่งเหยิง ทุกอย่างที่เผยแพร่มาจนถึงตอนนี้ใช้โครงทดสอบที่สะอาด คำถามที่ยังไม่มีคำตอบสำหรับโมเดลที่ข้อเสนอคุณค่าทั้งหมดตั้งอยู่บนคะแนนความเชื่อมั่นที่เชื่อถือได้ คือคะแนนเหล่านั้นทำงานอย่างไรกับกรณีที่กำกวมอย่างแท้จริง — กรณีที่ผู้ตรวจสอบที่เป็นมนุษย์ก็ยังลังเล นั่นคือตัวเลขที่กำหนดว่า Jev ปลอดภัยพอที่จะใช้งานอัตโนมัติหรือไม่ และยังไม่มีใครเผยแพร่มัน

จนกว่าจะถึงตอนนั้น ท่าทีที่สมเหตุสมผลคือการเจาะจงเฉพาะ มากกว่าการพูดแบบกว้าง ๆ Jev เป็นโมเดลจริงที่เปิดให้ใช้งานแล้ว ราคาถูกอย่างผิดปกติ มีข้อได้เปรียบเชิงโครงสร้างที่แท้จริงในด้านความน่าเชื่อถือของเอาต์พุต มีระดับความแม่นยำอยู่ราวระดับกลาง และมีข้ออ้างเรื่องการปรับเทียบที่ฟังขึ้น ผู้ขายของมันเองแนะนำอย่างชัดเจนให้ทดสอบด้วยตัวเอง และได้รับการตรวจสอบยืนยันโดยอิสระเฉพาะกับตัวอย่างขนาดเล็กเท่านั้น หากเวิร์กโฟลว์ของคุณมีขั้นตอนที่ลดทอนลงมาเป็นคำถามแบบมีชนิดซึ่งถูกถามบ่อยพอที่การใช้โมเดลระดับแนวหน้าจะสิ้นเปลือง นี่คือหนึ่งในวิธีที่ถูกที่สุดในการถามมัน — และค่าความมั่นใจที่มันส่งคืนคือส่วนที่ต้องทดสอบก่อนที่คุณจะเชื่อ ไม่ใช่ความเร็ว