Gemini Decision 1 กับ Kev: คำถามนับพันในครั้งเดียว หรือสูตรที่คุณฝึกใหม่ได้
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 202 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 99 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0727 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 120 tok/s
- Orcaใหม่OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 229 tok/s
- Orcaใหม่OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 ต่อ 1 ล้านโทเค็น · 42 tok/s
- Orcaใหม่OrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 128 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 58 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 127 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 65 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 392 tok/s
ตระกูล Kev ของ Jared Palmer มีค่าใช้จ่ายประมาณ $95 สำหรับเวลา H100 บน Modal ในการฝึก บวกค่าการเรียก API ประมาณสามเซนต์สำหรับข้อมูลประเมินผล และสูตรทั้งหมดอยู่ในรีโพซิทอรี Gemini Decision 1 มีค่าใช้จ่ายเท่ากับที่ห้องปฏิบัติการแนวหน้าแห่งหนึ่งใช้จ่ายกับโมเดลที่มันจะไม่เปิดเผย และสิ่งที่คุณได้สำหรับเงินนั้นคือสคีมาคำขอ: ปลายทางเดียว คำถามแบบมีชนิดได้สูงสุด 1,000 ข้อต่ออินพุตเดียวขนาด 262,144 โทเคน ได้ความน่าจะเป็นที่ปรับเทียบแล้วกลับมา โทเคนเอาต์พุตเป็นศูนย์ $0.10 ต่อหนึ่งล้านโทเคนอินพุต วาง Kev ไว้ข้าง ๆ แล้วการเปรียบเทียบก็ไม่ใช่ระหว่างสองโมเดลจริง ๆ แต่เป็นการเปรียบเทียบระหว่างเครื่องให้คะแนนแบบแบตช์กับเครื่องจักรชิ้นเล็ก ๆ ที่คุณถอดแยกได้
ทั้งสองโครงการยังไม่ได้เผยแพร่ตัวเลขที่อีกฝ่ายจะใช้ให้คะแนนเทียบกันได้ ซึ่งเป็นสิ่งแรกที่ต้องพูดอย่างตรงไปตรงมา Google ไม่ได้เผยแพร่ตาราง benchmark ใด ๆ พร้อมกับ Gemini Decision 1 ตัวเลขประสิทธิภาพทุกตัวในบทความนี้มาจาก Artificial Analysis ซึ่งให้โมเดลอยู่ที่ 66 บน Decision Index v2.1 Kev ไม่ปรากฏบนกระดานนั้นเลย สิ่งที่ Kev เผยแพร่แทนคือ harness ชุดทดสอบที่ล็อกไว้ และอัตราความผิดพลาดของตัวเอง และสิ่งเหล่านั้นไม่สามารถนำไปหักลบจากอะไรได้
สิ่งที่ Gemini Decision 1 ทำได้ แต่ Kev ทำไม่ได้
เริ่มจากช่องว่างด้านความสามารถ เพราะเป็นสิ่งที่ตัดสินสถาปัตยกรรมมากกว่าคะแนน Gemini Decision 1 ประเมินคำถามอิสระได้สูงสุด 1,000 ข้อ เทียบกับอินพุตที่ใช้ร่วมกันหนึ่งรายการในการส่งผ่านไปข้างหน้าครั้งเดียว คำถามแต่ละข้อมองไม่เห็นกัน การเพิ่มหรือลบคำถามหนึ่งข้อไม่ส่งผลต่อข้ออื่น และอินพุตที่ใช้ร่วมกันจะถูกคิดค่าใช้จ่ายเพียงครั้งเดียว
อนุประโยคสุดท้ายนั่นแหละคือผลิตภัณฑ์ ตั๋วสนับสนุนหนึ่งใบที่ถูกตรวจกับกฎนโยบายสี่สิบข้อคือคำขอหนึ่งครั้ง อ่านตั๋วหนึ่งครั้ง และได้คำตอบที่ปรับเทียบแล้วสี่สิบคำตอบ ในโมเดลแบบรายคำถาม — ซึ่ง Kev ก็เป็นเช่นนั้น ในแง่ที่ว่า head ให้คะแนนแต่ละตัวเลือกเทียบกับคำถามในแถวเดียว — การตรวจสี่สิบครั้งเดียวกันนั้นกลายเป็นการไล่ผ่านสถานะสี่สิบรอบ ไม่ว่าคุณจะจัดกลุ่มเป็นแบตช์หรือไม่ก็ตาม ตัวเลขการให้บริการของ Kev เองทำให้ต้นทุนเป็นรูปธรรม: 18.1 มิลลิวินาทีสำหรับหกคำถามบนสถานะสั้น ๆ บน H100, 12.9 มิลลิวินาทีเมื่อแคชไว้, ใช้หน่วยความจำแบบ resident 14.3 GB หกคำถาม ไม่ใช่หนึ่งพัน
พื้นผิวอินพุตแตกต่างกันในลักษณะเดียวกัน:
• โมดัลลิตี้ — Gemini Decision 1 อ่านข้อความ รูปภาพ วิดีโอ เสียง และ PDF ได้ ส่วน Kev อ่านได้เฉพาะข้อความ การบันทึกเสียงการสนทนาหรือแบบฟอร์มที่สแกนแล้วจึงเป็นปัญหาการประมวลผลล่วงหน้าสำหรับ Kev แต่เป็นอินพุตตามธรรมชาติสำหรับ Gemini Decision 1
• บริบท — 262,144 โทเคนสำหรับ Gemini Decision 1 ครอบคลุมอินพุตและคำถาม; Kev รองรับสูงสุด 65,536 โดยมีอย่างน้อย 8,192 ต่อคำถาม แต่ตรวจสอบได้เพียงสูงสุด 8,192 และการ์ดของมันระบุไว้เช่นนั้น
• การงดตอบ — Gemini Decision 1 ส่งคืนความน่าจะเป็นที่จำกัดอยู่ในช่วง 0.01–0.99 พร้อมฟิลด์ความมั่นใจ ดังนั้นคำตอบที่มีความมั่นใจต่ำจึงมองเห็นได้โดยไม่ต้องมีตัวเลือกแยกต่างหาก ส่วน Kev ส่งคืน softmax ของตัวเลือกที่คุณให้มา ซึ่งหมายความว่าการงดตอบคือตัวเลือกใดก็ตามที่คุณตั้งชื่อไว้ บวกกับเกณฑ์ที่คุณกำหนด
• น้ำหนัก — ไม่มีสำหรับ Gemini Decision 1; เป็นปลายทางที่โฮสต์บน Gemini Developer API ที่ v1beta โดยมีระดับฟรี 200 คำขอต่อนาที และ 10,000 คำขอต่อวัน Apache-2.0 สำหรับ Kev พร้อมอะแดปเตอร์ LoRA แบบ rank-16 บนฐาน Qwen3.5 ที่ถูกแช่แข็งและมี pointer head ในขนาด 0.8B, 4B และ 9B
สิ่งที่ Kev ทำได้แต่ Gemini Decision 1 ทำไม่ได้
{{1}}Kev{{/1}} ช่วยให้คุณเปลี่ยนโมเดลได้ ไม่ใช่แค่ปรับพรอมป์ต์ให้ต่างออกไป — แต่รีเทรนพฤติกรรมการตัดสินใจด้วยเลเบลของคุณเอง ในราคาที่คุณใส่ในรายงานค่าใช้จ่ายได้
โครงสร้างนี้เรียบง่ายอย่างตั้งใจ: ฐาน Qwen3.5 ที่ถูกแช่แข็ง อะแดปเตอร์ rank-16 ที่มีพารามิเตอร์ที่เทรนได้ประมาณ 33.8 ล้านตัว และเฮดตัวชี้ขนาดเล็กที่ให้คะแนนโทเคนปิดท้ายของแต่ละตัวเลือกเทียบกับโทเคนสุดท้ายของคำถาม เนื่องจากฐานยังคงถูกแช่แข็ง ต้นทุนส่วนเพิ่มของโดเมนการตัดสินใจใหม่จึงมีขนาดเท่าอะแดปเตอร์ ไม่ใช่ขนาดเท่าฟาวด์เดชันโมเดล คุณสามารถเก็บฐานหนึ่งตัวไว้ในหน่วยความจำและสลับอะแดปเตอร์ตามโดเมน ซึ่งเป็นรูปแบบการดีพลอยที่ไม่มีเอนด์พอยต์แบบโฮสต์ใดแสดงออกมา
สิ่งที่ Kev เผยแพร่เกี่ยวกับตัวเองนั้นเจาะจงมากพอที่จะนำมาโต้แย้งได้ ซึ่งหาได้ยากกว่าที่ควรจะเป็น:
• Transfer-v4 ถูกล็อกไว้นอกโดเมน — ความแม่นยำ 0.838, Brier 0.224, ECE 0.017.
• Breadth-v1, ชุดข้อมูลที่แยกไว้ทดสอบ 14 ชุด, คำถาม 3,089 ข้อ — ความแม่นยำ 0.690, ECE 0.029
• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro แบบสิบตัวเลือก — 0.565.
• การคำนวณวันที่ — 0.65 ที่ความแม่นยำระดับวัน ซึ่งผู้เขียนระบุว่าเป็นจุดอ่อนที่สุด โดยมีแฟล็กตัวประมวลผลล่วงหน้าที่เสนอเป็นวิธีแก้ไขบางส่วน และไม่มีการอ้างว่าวัดผลซ้ำ
นั่นคือการวัดของผู้เขียนเองบนฮาร์เนสของผู้เขียนเอง และการ์ดระบุว่าการปรับเทียบคืออุณหภูมิเดี่ยวแบบ in-distribution ดังนั้นความครอบคลุมจะลดลงเมื่อออกนอกโดเมน และลำดับตัวเลือกสามารถพลิกคำตอบได้ นั่นเป็นการประเมินตนเองที่น่าเชื่อถือ ไม่ใช่ผลที่ผ่านการตรวจสอบแล้ว แต่มันยังเป็นสเกลที่คุณลองทำซ้ำได้คืนนี้ ซึ่งเป็นสิ่งที่พูดไม่ได้กับตัวเลขของผู้ขายส่วนใหญ่ในหมวดนี้
ทำไมตัวเลขสองตัวบนโต๊ะจึงไม่เคยพบกัน
สิ่งล่อใจคือการนำความแม่นยำในการถ่ายโอน 0.838 ของ Kev ไปวางเทียบกับ 66 ของ Gemini Decision 1 แล้วประกาศหาผู้ชนะ จงต้านทานสิ่งนั้นไว้ ด้วยเหตุผลสามประการ
เครื่องมือแต่ละตัววัดสิ่งแตกต่างกัน Decision Index ให้คะแนนความแม่นยำลบด้วยบทลงโทษแบบ Brier สำหรับความมั่นใจที่แนบมากับคำตอบ โดยรวบรวมจากการประเมินหกครั้ง ซึ่ง 45% สร้างจากข้อมูลส่วนตัว ตัวเลข transfer-v4 ของ Kev คือความแม่นยำล้วนบนชุดที่ถูกล็อกไว้ซึ่งผู้เขียนเป็นผู้ประกอบขึ้น โดยมี Brier และ ECE รายงานไว้ข้าง ๆ แทนที่จะถูกรวมเข้าไปในตัวเลขพาดหัว
การผสมผสานงานไม่เหมือนกัน องค์ประกอบที่ใหญ่ที่สุดของดัชนี คือ AA-Paperclip ที่ 30% ซึ่งเป็นคำตอบแบบได้ทั้งหมดหรือไม่ได้เลย 15 คำตอบต่อเอกสาร — รูปแบบที่การทดสอบ documents-v1 ของ Kev ใกล้เคียง แต่ไม่ได้จำลองเหมือนทั้งหมด
และตัวส่วนก็แตกต่างกัน คะแนนดัชนีเป็นคะแนนรวมแบบถ่วงน้ำหนักซึ่งการไม่ตอบได้รับผลตอบแทนที่ดี ส่วนตัวเลขความแม่นยำคือสัดส่วนของคำถามที่ตัวเลือกซึ่งมีความน่าจะเป็นสูงสุดนั้นถูกต้อง โมเดลหนึ่งสามารถชนะอีกโมเดลในตัวชี้วัดหนึ่งและแพ้ในอีกตัวชี้วัดหนึ่งได้ โดยที่ไม่มีตัวใดผิด
ดังนั้นข้อความที่ปกป้องได้จึงแคบ: Gemini Decision 1 อยู่กลางตารางในหมู่โมเดลการตัดสินใจแบบโฮสต์ด้วยคะแนน 66 เป็นอันดับ 9 จาก 18 โดยได้อันดับหนึ่งในองค์ประกอบด้านความรู้ และมีอัตราการผ่านเอกสารแบบได้ทั้งหมดหรือไม่ได้เลยที่ 33% ส่วน Kev เป็นอะแดปเตอร์ระดับ 4B ซึ่งผู้เขียนรายงานว่ามีการคาลิเบรตในโดเมนที่แข็ง แต่การคำนวณวันที่อ่อน ใครก็ตามที่บอกคุณว่าตัวหนึ่งดีกว่ากำลังสรุปเกินข้อมูล
ค่าใช้จ่ายจริงในการใช้งานแต่ละรายการ
เศรษฐศาสตร์ของ Gemini Decision 1 นั้นคำนวณง่ายแต่ยากจะชอบเมื่อใช้งานในปริมาณมาก ที่ราคา $0.10 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น Artificial Analysis วัดได้ที่ $345 ต่อหนึ่งล้านงาน — เป็นโมเดลที่แพงที่สุดในครึ่งบนของตารางอันดับ โดยไม่มีแคชบริบท ไม่มี Batch API และไม่มีการประมวลผลแบบ Flex หรือ Priority อินพุตที่ใช้ร่วมกันซ้ำ ๆ จะถูกนับเต็มจำนวนในทุกคำขอ การสแกนทิกเก็ตหนึ่งล้านรายการทุกคืนจะอ่านเอกสารนโยบายซ้ำหนึ่งล้านครั้ง
โครงสร้างต้นทุนของ Kev กลับกันโดยสิ้นเชิง: แทบจะฟรีต่อการเรียกหนึ่งครั้งเมื่อจ่ายค่า GPU ไปแล้ว โดยต้นทุนจริงอยู่ที่ชั่วโมงที่คุณใช้สร้างป้ายกำกับ ฝึกอะแดปเตอร์ และตรวจสอบความถูกต้องของมัน ตัวเลขประมาณ $95 ของ Palmer ครอบคลุมการรันฝึกโมเดล ไม่ใช่การติดป้ายกำกับ หากกฎการจัดเส้นทางของคุณแตกต่างจากของผู้ตัดสินแบบทั่วไป — และมันแตกต่างจริง — ต้นทุนการติดป้ายกำกับนั้นกำลังซื้อสิ่งที่โมเดลการตัดสินแบบโฮสต์ไม่มีขาย: ตัวให้คะแนนที่เข้ารหัสนโยบายของคุณ แทนที่จะเพียงประมาณนโยบายนั้น
มีต้นทุนที่สามที่ชี้ขาดโครงการได้มากกว่าราคา นั่นคือความเร็วในการวนซ้ำ ขีดจำกัดของ {{1}}Gemini Decision 1{{/1}} ถูกบันทึกไว้และกำหนดตายตัว ดังนั้นการเปลี่ยนพฤติกรรมจึงเป็นการเขียนพรอมป์ต์ใหม่แล้วรันชุดการประเมินของคุณซ้ำ ส่วนของ {{2}}Kev's{{/2}} คือการเทรนอะแดปเตอร์ใหม่ ซึ่งถูกในแง่คอมพิวต์แต่ไม่ถูกในแง่กระบวนการ สำหรับทีมที่มีโดเมนเดียวและปริมาณสูง การเทรนใหม่คุ้มค่า สำหรับทีมที่มีสิบสองโดเมนและไม่มีวิศวกร ML เอนด์พอยต์แบบโฮสต์ได้เปรียบเรื่องชั่วโมงวิศวกรรม дажеที่ $345 ต่อล้านงาน
ถ้าไปป์ไลน์รอบ ๆ การตัดสินใจคือจุดที่คุณใช้เวลาจริง ๆ
OrcaRouter ไม่มีโมเดลทั้งสองตัวนี้ Kev คือเวต Apache-2.0 ที่คุณรันเอง ส่วน Gemini Decision 1 เป็น endpoint ที่ให้เฉพาะค่าความน่าจะเป็นบน API ของ Google เอง — ทั้งสองไม่ได้เป็นเป้าหมายแบบ chat-completions และเราไม่แสร้งทำเป็นอย่างอื่น โมเดลตัดสินใจในแคตตาล็อกของเราคือ typesafe/jev-1.14 ของ TypeSafe ซึ่งได้ 66.23 บนบอร์ดเดียวกัน สำหรับทีมที่ต้องการการเรียกให้ให้คะแนนด้วยคีย์เดียวกับทุกอย่างอื่น
ครึ่งหนึ่งของไปป์ไลน์ที่เราสร้างขึ้นมาเพื่อรองรับคือส่วนที่อยู่ต้นน้ำของการตัดสินใจ: การสร้างคำตอบที่เป็นตัวเลือก การเขียนรูบริก และการสรุปตั๋วก่อนที่จะถูกให้คะแนน การเรียกครั้งนั้นคือจุดที่คุณเปลี่ยนโมเดลบ่อยที่สุด และเป็นจุดที่สัญญากับผู้ให้บริการรายที่สองมีต้นทุนสูงที่สุด และเป็นจุดที่ทำงานผ่านปลายทางเดียวซึ่งมีโมเดลมากกว่า 200 โมเดลอยู่บนนั้น ราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยไม่บวกกำไร 0% และ การสลับอัตโนมัติเมื่อผู้ให้บริการมีคุณภาพลดลง หากคุณกำลังเปรียบเทียบ Kev กับตัวให้คะแนนแบบโฮสต์ ให้รันครึ่งที่เป็นการร่างผ่านเรา และเก็บการตัดสินใจให้คะแนนไว้ให้ย้อนกลับได้ — ด้วยวิธีนี้ ทางเลือกที่คุณทำวันนี้เกี่ยวกับอะแดปเตอร์ราคา 95 ดอลลาร์จะไม่กลายเป็นการย้ายระบบในภายหลัง
การตัดสินใจระหว่างการตัดสินใจทั้งสอง
เลือก Gemini Decision 1 เมื่อการตัดสินใจมีอินพุตเดียวและกฎหลายข้อ เมื่ออินพุตเป็นเสียง วิดีโอ หรือ PDF เมื่อการตรวจสอบหนึ่งพันรายการในรอบที่คิดเงินครั้งเดียวเปลี่ยนโมเดลต้นทุนของคุณ และเมื่อคุณพอใจที่จะไว้วางใจการคาลิเบรตที่คุณไม่ได้เป็นผู้ฟิตเอง จงยอมรับว่าคุณกำลังซื้อกล่องดำในราคาอินพุตระดับห้องปฏิบัติการชั้นแนวหน้า โดยไม่มีส่วนลดแบบเป็นชุด
เลือก Kev เมื่อการตัดสินใจเป็นอินพุตหนึ่งรายการและคำถามแบบกำหนดชนิดไม่กี่ข้อ เมื่อข้อความสั้นพอที่จะตรวจสอบภายใน 8,192 โทเคน เมื่อนโยบายของคุณเจาะจงพอที่ผู้ตัดสินทั่วไปจะประมาณได้แย่ และเมื่อการเป็นเจ้าของอาร์ติแฟกต์สำคัญกว่าการเป็นเจ้าของเอนด์พอยต์ ยอมรับว่าตอนนี้คุณรับผิดชอบการปรับเทียบ การคำนวณวันที่ และความอ่อนไหวต่อลำดับตัวเลือกที่การ์ดเตือนคุณไว้
สิ่งเดียวที่การเปรียบเทียบนี้ไม่ควรทำคือการสร้างตารางจัดอันดับ ไม่มีเครื่องมือร่วมกัน ไม่มีชุดงานที่ใช้ร่วมกัน และไม่มีการทวนสอบตัวเลขทั้งสองจำนวนโดยบุคคลที่สาม สิ่งที่คุณทำได้ในสัปดาห์นี้คือส่งรายการที่คุณติดป้ายกำกับเองจำนวน 200 รายการผ่านทั้งสองระบบ แล้วเปรียบเทียบอัตราการผ่านและเส้นโค้งความเชื่อมั่น — งานแค่เช้าเดียวที่จะบอกคุณได้มากกว่าการปรับปรุงกระดานผู้นำครั้งถัดไป
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
