SubQ Snap 1.1 เสมอกันเป็นอันดับหนึ่งบน Decision Index ด้วยการเรียนรู้ที่จะงดตัดสินใจ

โมเดลใหม่ล่าสุดที่อยู่บนสุดของ Artificial Analysis Decision Index v1.0 ไม่ใช่โมเดลที่ตอบคำถามถูกมากที่สุด SubQ Snap 1.1 ซึ่งเปิดตัวโดย Subquadratic เมื่อวันที่ 22 ตุลาคม 2026 ได้คะแนน 65 และเสมอกับ d1-ultra และ Elephant 9B ในอันดับแรก Jev 1.14 อยู่ที่ 57 อ่านข้อความตัวเล็กใต้ดัชนี แล้วเหตุผลของการเสมอกันไม่ใช่ความแม่นยำล้วน ๆ เลย: บทวิเคราะห์ของ Artificial Analysis ระบุความแม่นยำของ Snap 1.1 ไว้ที่ 20% เทียบกับ 32% สำหรับ d1-ultra และ 12% สำหรับ Elephant 9B สิ่งที่ Snap 1.1 ทำได้ดีกว่าทั้งสองคือการปฏิเสธที่จะตอบ

นั่นคือผลลัพธ์ทางวิศวกรรมจริง ไม่ใช่กลเม็ดจากการทดสอบ benchmark แต่มันเปลี่ยนว่าคนกลุ่มไหนควรให้ความสนใจ โมเดลตัดสินใจไม่ใช่โมเดลแชต มันรับเอกสารและชุดคำตอบที่อนุญาตแบบตายตัว — ส่งไปคิวนี้หรือคิวนั้น เรียกเครื่องมือนี้หรือปฏิเสธ ใช่หรือไม่ หรือส่งต่อให้ผู้ดูแล — แล้วคืนค่าตัวเลือกหนึ่งพร้อมความน่าจะเป็นที่ผ่านการปรับเทียบแล้ว ข้อเสนอของ Subquadratic นับตั้งแต่พรีวิวที่เปิดตัวเมื่อสิบวันก่อน คือภาระงานนี้ควรมีสถาปัตยกรรมของตัวเอง แทนที่จะใช้ LLM ทั่วไปที่เผาผลิตโทเค็นเอาต์พุตเพื่อสร้างคำว่า “refund” Version 1.1 เป็นรีลีสแรกที่ข้ออ้างเรื่องการปรับเทียบมีความเจาะจงพอจะตรวจสอบได้

อะไรเปลี่ยนแปลงไปจริง ๆ ระหว่าง Snap 1.0 กับ 1.1

นี่คือรีลีสหลังการฝึก (post-training release) ไม่ใช่โมเดลใหม่ แกนหลัก Subquadratic Sparse Attention หน้าต่าง 384K โทเคน และเส้นทางอินพุตข้อความผสานภาพ ยังคงไม่เปลี่ยนแปลงจาก Snap 1.0 ซึ่งเปิดตัวเมื่อวันที่ 12 ตุลาคม ในราคา 0.05 ดอลลาร์ต่อโทเคนอินพุตหนึ่งล้านโทเคน สิ่งที่เปลี่ยนไปคือพฤติกรรมของโมเดลเมื่อเกิดความไม่แน่ใจ ผู้จำหน่ายกล่าวว่า 1.1 เพิ่มการสอบเทียบความไม่แน่ใจอย่างชัดเจน และกลั่นการให้เหตุผลหลายขั้นตอนให้เหลือการส่งต่อเพียงครั้งเดียว แทนที่จะสร้างสายการคิดแล้วจึงตัดสินใจให้คำตอบ

ตัวเลขที่ Subquadratic รายงานสำหรับการเปลี่ยนแปลงนั้นมีความเฉพาะเจาะจงอย่างผิดปกติ ซึ่งทั้งเป็นเรื่องดีและควรค่าแก่การตรวจสอบอย่างละเอียด ค่าความคลาดเคลื่อนการปรับเทียบที่คาดหวังบนเกณฑ์มาตรฐานความน่าจะเป็นแบบ held-out ลดลงจาก 0.108 เป็น 0.014 ข้อผิดพลาดแบบมั่นใจบนคำถามที่ตอบไม่ได้ลดลงจาก 294 จาก 600 เป็น 57 จาก 600 — ซึ่งเป็นการลดลง 81% ที่สื่อตอนเปิดตัวพูดถึงซ้ำ ๆ ฮัลลูซิเนชันแบบมั่นใจเกินไปบนอินพุตที่อยู่นอกการกระจายลดลงจาก 99.3% เป็น 12.5% ความสอดคล้องกับกฎการตัดสินใจที่เหมาะสมที่สุดแบบเบย์เพิ่มขึ้นจาก 83% เป็น 90% บนชุดทดสอบระดับองค์กร 16 เกณฑ์มาตรฐานของผู้จำหน่าย 1.1 มีค่าเฉลี่ยสูงกว่า Jev 1.14 อยู่ 7.2 คะแนน โดยมีช่วงความเชื่อมั่น 95% ที่ 6.5 ถึง 7.8 ชนะ 12 เสมอ 3 และแพ้ 1 และมีค่าเฉลี่ยสูงกว่า Snap 1.0 อยู่ 5.5 คะแนน

ทั้งหมดนั้นเป็นข้อมูลที่ผู้ขายรายงานเอง ยังไม่มีใครนอก Subquadratic เผยแพร่ผลการรัน 1.1 ออกมาเลย ส่วนรีโปอิสระที่มีอยู่ได้ทดสอบโมเดลพรีวิว และจะกล่าวถึงเพิ่มเติมด้านล่าง

โมเดลที่มีความแม่นยำ 20% เสมอเป็นอันดับหนึ่งได้อย่างไร

Decision Index ไม่ได้ให้คะแนนความแม่นยำแบบแยกส่วน แต่ให้คะแนนผลลัพธ์ของการตัดสินใจภายใต้ความไม่แน่นอน ซึ่งหมายความว่าการงดตอบคำถามที่โมเดลไม่สามารถตอบได้มีค่ามากกว่าการเดาอย่างมั่นใจ และมีค่ามากกว่าการเดาผิดอย่างมั่นใจมาก Artificial Analysis รายงานว่าอัตราการไม่สร้างข้อมูลเท็จของ Snap 1.1 ซึ่งหมายถึงความถี่ที่มันตอบว่า "ฉันไม่รู้" สำหรับคำถามที่มันตอบอย่างถูกต้องไม่ได้ อยู่ที่ 86% Elephant 9B สูงกว่าที่ 93% และ d1-ultra ต่ำกว่าเล็กน้อยที่ 85% ความแม่นยำ 20% ของ Snap 1.1 อยู่ตรงกลางของทั้งสาม และคะแนนดัชนีของมันเท่ากับทั้งสองตัว

การแลกเปลี่ยนนี้จะคุ้มหรือไม่นั้น ขึ้นอยู่กับว่าคำตอบที่ผิดสร้างความเสียหายให้กับขั้นตอนปลายน้ำของคุณมากเพียงใด ในระบบจัดเส้นทางตั๋วสนับสนุน การจัดเส้นทางผิดอย่างมั่นใจจะส่งข้อร้องเรียนเรื่องการเรียกเก็บเงินไปยังคิววิศวกรรม และลูกค้าต้องรอสองวัน ส่วนการงดตอบ (abstention) จะส่งเรื่องไปยังขั้นตอนคัดแยกโดยมนุษย์ซึ่งใช้เวลาสามสิบวินาที ในงานจำแนกเนื้อหาจำนวนมากที่ไม่มีมนุษย์อยู่ในวงจร abstention ก็เป็นเพียงแถวที่ไม่มีป้ายกำกับ และตัวเลขความแม่นยำคือสิ่งสำคัญ ดัชนีกำลังบอกคุณว่า Snap 1.1 ถูกสร้างมาสำหรับกรณีแรก แต่ไม่ได้บอกว่ามันเป็นตัวจำแนกประเภทที่แม่นยำที่สุดเท่าที่คุณจะซื้อได้ เพราะมันไม่ใช่

การลดราคา และตัวหารที่ไม่มีใครกล่าวถึง

การเปลี่ยนแปลงอีกอย่างใน 1.1 คือราคา: $0.04 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น ลดลง 20% จาก $0.05 ในเวอร์ชันพรีวิว โดยโทเค็นเอาต์พุตฟรี ส่วนหลังนี้เองคือส่วนที่เปลี่ยนโฉมค่าใช้จ่าย ตัวแยกประเภทที่สร้างบนโมเดลเชิงสร้างต้องจ่ายสำหรับคำตอบ ซึ่งปกติจะเป็นคำตอบสั้น ๆ แต่โมเดลแบบให้เหตุผลอาจใช้หลายร้อยโทเค็นในการตัดสินใจว่าจะส่งออกอะไร Snap ไม่มีเอาต์พุตที่ต้องจ่าย ดังนั้นการเรียกหนึ่งครั้งที่อ่าน 100K โทเค็นจึงมีค่าใช้จ่ายประมาณสี่ในสิบของหนึ่งเซนต์ และไม่มีค่าใช้จ่ายอื่นอีก

Artificial Analysis นำเสนอตัวเลขเดียวกันในอัตราต่องาน ไม่ใช่ต่อโทเคน: ประมาณ 30 ดอลลาร์ต่อหนึ่งล้านงานสำหรับ Snap 1.1 เทียบกับ 32 ดอลลาร์สำหรับ d1-ultra และ 8.4 ดอลลาร์สำหรับ Elephant 9B ตัวเลขต่องานนั้นคือตัวเลขที่มีประโยชน์ และยังเป็นเครื่องเตือนใจว่าราคาต่อโทเคนตามรายการเป็นวิธีที่ไม่ดีในการเปรียบเทียบโมเดลการตัดสินใจกับสิ่งอื่นใด ค่าใช้จ่ายจะปรับตามความยาวอินพุต ดังนั้นการเรียกเส้นทางด้วย 4K โทเคนและการตรวจสัญญา 300K โทเคนจึงอยู่ในช่วงต้นทุนที่แตกต่างกันโดยสิ้นเชิง แม้อัตราจะเท่ากันก็ตาม

สิ่งที่ตัวเลขของผู้ขายไม่ได้ชี้ขาด

มีสองเรื่องที่ควรแยกออกจากโพสต์เปิดตัว เรื่องแรกคือความสงสัย การรายงานของคอมมูนิตี้เกี่ยวกับการเปิดตัวของ Subquadratic — รวมถึงรายงานของ BlockBeats ที่เผยแพร่ในชื่อ "AI jack-of-all-trades" — ได้ตั้งคำถามว่าชุดข้อกล่าวอ้างนี้สามารถทำซ้ำได้อย่างอิสระมากเพียงใด และโมเดลนี้ไม่มี open weights จึงไม่มีเช็กพอยต์ให้คนนอกนำไปรัน เรื่องที่สองคือการทดสอบอิสระที่มีอยู่จริงนั้นรันกับเวอร์ชันพรีวิว ไม่ใช่ 1.1 การเปรียบเทียบที่ทำซ้ำได้โดย jcarlosrodicio พบว่า Snap ตามหลัง Jev เล็กน้อยที่ต่ำกว่า 30K โทเคน (93.9% เทียบกับ 94.7%) และตามหลังค่อนข้างมากในล็อกขนาด 360K โทเคน (58.8% เทียบกับ 77.1% ของ Jev เมื่อแบ่ง Jev เป็นชังก์) เบนช์มาร์กวิศวกรรมซอฟต์แวร์แยกต่างหากชื่อ snap-vs-jev-swe พบว่า Snap อยู่ที่ 87.5% ในการระบุตำแหน่งไฟล์บน SWE-bench Verified เทียบค่าพื้นฐานแบบสุ่ม 10.6% และวัดการพลิกของคำตอบได้ 5.0% ของรายการเมื่อสลับลำดับตัวเลือก

ผลลัพธ์เหล่านั้นไม่ได้ขัดแย้งกับ 1.1 — งานปรับเทียบนั่นแหละคือการเปลี่ยนแปลงชนิดที่ทำให้ผลลัพธ์เหล่านั้นเปลี่ยนไปได้ — แต่ผลลัพธ์เหล่านั้นก็ไม่ใช่หลักฐานยืนยัน 1.1 เช่นกัน ยังมีความไม่สอดคล้องกันภายในเล็กน้อยในตัวเลขที่เผยแพร่: การรายงานข่าวตอนเปิดตัวอ้างถึงคะแนน When2Call ที่ 96.2 ขณะที่ตัวแปรแบบหลายตัวเลือกที่แก้ไขโอกาสเดาของ Subquadratic เองจากแบบทดสอบเดียวกันระบุว่า 91.0 ทั้งสองค่าสามารถเป็นจริงได้สำหรับรูปแบบงานที่ต่างกัน ผู้ซื้อที่นำ 96.2 ไปเปรียบเทียบกับตัวเลขของคู่แข่งควรรู้ว่าตนกำลังอ้างอิงตัวแปรใดอยู่

จุดที่มันพัง

คอลัมน์ loss ของชุดเบนช์มาร์ก 16 รายการของผู้ขายเองให้แง่คิดที่เป็นประโยชน์ PhishNChips ซึ่งเป็นชุดตรวจจับฟิชชิง ตามหลัง Jev 1.14 อยู่ 22 คะแนน และ Subquadratic มองว่าเป็นเพราะการปรับคาลิเบรต threshold มากกว่าคุณภาพการจัดอันดับ — ROC-AUC อยู่ในระดับใกล้เคียงกันที่ 0.91 เทียบกับ 0.92 นั่นเป็นปัญหาที่แก้ได้สำหรับทีมที่ยินดีปรับ threshold และเป็นปัญหาที่แก้ไม่ได้สำหรับทีมที่ต้องการแบบ drop-in สาขาย่อยด้านความรู้และการให้เหตุผลเป็นเพียงสาขาเดียวจากห้าสาขาที่ Jev นำอย่างชัดเจน 55.1 ต่อ 50.9 Snap 1.1 แข็งแกร่งที่สุดในกรณีที่ชุดคำตอบชัดเจนและหลักฐานอยู่ในเอกสาร: เครื่องมือและระบบอัตโนมัติ (85.3 เทียบกับ 74.6), การค้นคืนและการจำแนกประเภท (67.0 เทียบกับ 63.1), ความเข้าใจภาษา (71.6 เทียบกับ 63.3)

ใครควรย้าย และใครควรรอ

ย้ายมาใช้หากการตัดสินใจของคุณเป็นการตัดสินใจด้านการจัดเส้นทาง การเลือกเครื่องมือ การส่งต่อ หรือการประเมินความเกี่ยวข้องที่ทำกับเอกสารยาว และคำตอบที่มั่นใจแต่ผิดมีต้นทุนสูงกว่าการส่งต่อ หน้าต่าง 384K คือเหตุผลเชิงปฏิบัติการ: การประมวลผลครั้งเดียวตลอดสัญญาฉบับเต็ม เธรดตั๋ว หรือชุดบันทึก โดยไม่ต้องสร้างชั้นแบ่งข้อมูลและไม่ต้องดูแลไปป์ไลน์การดึงข้อมูลให้สอดคล้องกัน ทีมที่ใช้งานพรีวิวอยู่แล้วมีเหตุผลชัดเจนที่สุด เนื่องจากราคาลดลงและการปรับเทียบดีขึ้นโดยไม่มีการเปลี่ยนแปลง API

ให้รอก่อนหากคุณต้องการข้อความที่สร้างขึ้น หากความแม่นยำ 20% ในชุดคำถามผสมของ benchmark ต่ำกว่าเกณฑ์ขั้นต่ำของคุณ หรือหากคุณต้องการความหน่วงต่ำกว่า 100 มิลลิวินาทีใน hot path — Subquadratic ไม่ได้เผยแพร่ตัวเลขความหน่วงสำหรับ 1.1 และการวัดโดยบุคคลที่สามของ preview ระบุว่าการเรียกใช้ 8K token ใช้เวลาประมาณ 0.75 วินาที ให้รอเช่นกันหากคุณต้องการโฮสต์เอง: ไม่มี weights

ข้อสังเกตในทางปฏิบัติเกี่ยวกับตำแหน่งของสิ่งนี้ในสแต็ก SubQ Snap 1.1 ให้บริการผ่าน API และคอนโซลของ Subquadratic เอง ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter และเราไม่คิดจะแสร้งทำเป็นอย่างอื่น สิ่งที่เรามีคือชั้นที่อยู่เบื้องหลังการตัดสินใจ: เมื่อ Snap ตัดสินใจเรียกใช้งานว่า "ใช้โมเดล" โมเดลนั้นคือหนึ่งในกว่า 200 โมเดลที่เข้าถึงได้ผ่านคีย์เดียวที่ OrcaRouter ในราคาตามรายการของผู้ให้บริการ โดยบวกเพิ่ม 0% และมีการสลับไปใช้ผู้ให้บริการรายอื่นอัตโนมัติเมื่อเกิดความขัดข้อง ชั้นการตัดสินใจและชั้นการประมวลผลล้มเหลวแยกจากกัน และการไม่ให้ทั้งสองชั้นอยู่ภายใต้ผู้จำหน่ายรายเดียวกันก็ถือว่าคุ้มค่า

คำถามที่ยังไม่มีคำตอบไม่ใช่ว่าตัวเลขคาลิเบรชันของ 1.1 เป็นของจริงหรือไม่ — ตัวเลขเหล่านั้นเจาะจงพอที่จะถูกตรวจสอบ — แต่คือว่าตัวเลขเหล่านั้นจะยังคงอยู่ภายใต้ฮาร์เนสที่แตกต่างออกไปหรือไม่ ถ้อยคำในพรอมป์ทำให้ความแม่นยำเปลี่ยนไป 11 ถึง 14 คะแนนใน Snap benchmarks สาธารณะ ซึ่งมากกว่าช่องว่างระหว่างโมเดลใด ๆ สองโมเดลบนดัชนี การปรับปรุงคาลิเบรชันที่คงอยู่เฉพาะภายใต้เทมเพลตพรอมป์ของผู้ขายเองจะเป็นเรื่องที่เล็กกว่าที่การเปิดตัวบ่งชี้ไว้มาก