pplx-decider บน Ollama: โมเดลตัดสินใจขนาด 27B แบบเงียบของ Perplexity รันได้แล้ว

Perplexity ได้เผยแพร่ weights ของ pplx-decider-v1.1-27b เมื่อวันที่ 2026-10-05 และ checkpoint แรกที่มันแทนที่ pplx-decider (ชื่อ repo pplx-decider-v1-27b) เมื่อวันที่ 2026-10-01 ทั้งสองเป็น fine-tunes ของ Qwen3.8-27B ที่ตอบเป็นความน่าจะเป็นแทนประโยค และทั้งคู่อยู่ในสาย System One เดียวกันกับของ TypeSafe Jev 1.13. สิ่งที่ใหม่ไม่ใช่ตัวโมเดล: ณ วันนี้ pplx-decider เป็นรายการใน model library ของ Ollama เอง สามารถติดตั้งได้ด้วยคำสั่งเดียว ก่อนที่รายการนั้นจะปรากฏ การรัน checkpoint นี้ต้องใช้ CUDA GPU ที่มีพื้นที่สำหรับ weights bf16 ประมาณ 49 GiB ตอนนี้มันเป็น quantised pull ขนาด 17 GB บนแล็ปท็อป การเปลี่ยนแปลงเพียงอย่างเดียวคือสิ่งที่หน้านี้เกี่ยวกับ และโมเดลที่มันทำให้สามารถรันได้นั้นมีอายุสิบสี่วัน

อะไรเปลี่ยนไป ในเชิงรูปธรรม

รายการในไลบรารี Ollama มีชื่อว่า pplx-decider และไลบรารีนี้ได้รวบรวมโมเดลสำหรับการตัดสินใจมาอย่างต่อเนื่อง — Laya, Nimble, Kev, Clef, Strands Decider — ตลอดฤดูใบไม้ร่วง รายการนี้เป็นส่วนเพิ่มล่าสุด และบนรีจิสทรีที่ดูแลอยู่ได้เปิดเผยแท็กสามรายการ (pplx-decider:latest, pplx-decider:27b และ pplx-decider:27b-q4_K_M) ซึ่งชี้ไปยังไดเจสต์แมนนิเฟสต์เดียวกัน อาร์ติแฟกต์เดียว ไม่ใช่ขั้นบันไดขนาด

• รูปแบบ — GGUF ที่ให้บริการโดย llama.cpp เทียบกับไฟล์ safetensors แบบ bf16 ที่แบ่งเป็นชาร์ดบน Hugging Face

• ขนาดดาวน์โหลด — ประมาณ 17 GB ที่ q4_K_M เทียบกับน้ำหนักประมาณ 49 GiB บวกหน่วยความจำในการทำงานสำหรับเช็กพอยต์ bf16

• เลเยอร์การมองเห็น — manifest มีโปรเจกเตอร์แยกต่างหากขนาด ~927 MB อยู่ควบคู่กับเลเยอร์โมเดล ดังนั้นอินพุตรูปภาพจึงถูกบรรจุรวมไว้กับเวตข้อความ

• ฮาร์ดแวร์ — เครื่องระดับผู้บริโภค มากกว่าที่จะเป็นเครื่อง CUDA

อินเทอร์เฟซดังกล่าวคือ/v1/systemone เอนด์พอยต์ของ Ollama ซึ่งเพิ่มเข้ามาใน v0.35.0 และขยายให้รองรับโมเดล Clef ใน v0.35.1 นอกจากนี้ยังเพิ่งมีส่วนติดต่อแบบบรรทัดคำสั่งเพิ่มขึ้นด้วย: v0.40.4 ซึ่งเผยแพร่เมื่อ 2026-10-12 ได้เพิ่มโมเดลการตัดสินใจให้กับ ollama run ทำให้สามารถถามคำถามแบบใช่/ไม่ใช่ เลือกป้ายกำกับ หรือให้คะแนนตามเกณฑ์ ได้โดยตรงจากเทอร์มินัลด้วย --ask, --choice และ --level เวอร์ชันนั้นเพิ่งออกได้สามวัน ส่วนโมเดลที่มันทำให้ใช้งานสะดวกนั้นออกมาได้สองสัปดาห์แล้ว

สิ่งที่รีโพซิทอรีบันทึกไว้จริง ๆ

เช็กพอยต์นี้ไม่ใช่โมเดลแชตที่มีพรอมป์แบบสั้นกระชับ การ์ดของมันอธิบายโครงสร้างการตัดสินใจแบบเนทีฟ: แบ็กโบน Qwen3.8-27B ตามชื่อคลาสที่เปิดตัว บวกกับ readout.safetensors แยกต่างหากที่บรรจุเฮดตัดสินใจ bf16 [255, 5120] — การอ่านค่าแบบ 255 ทางบนช่องตัวเลือก ไม่ใช่เฮดภาษาที่ครอบคลุมทั้งคลังคำศัพท์ ไม่มีลูปการถอดรหัส ทุกตัวเลือกของทุกคำถามถูกให้คะแนนในฟอร์เวิร์ดพาสเดียว ซึ่งเป็นเหตุผลที่การตอบกลับรายงานโทเคนเอาต์พุตเป็นศูนย์

รายละเอียดสามประการในบัตรนี้สำคัญกว่าตาราง benchmark เพราะสิ่งเหล่านี้คือสิ่งที่ทำให้การผสานรวมแบบ naive แตกหัก:

• โหมดความสนใจเลเยอร์แบบ full-attention ใช้โหมด noncausal ที่บันทึกไว้ และการ์ดระบุไว้อย่างชัดเจนว่าการอนุมานแบบ causal ตามค่าเริ่มต้นไม่สามารถจำลองการตั้งค่าที่ประเมินไว้ได้ หากเปิดใช้งานเช็กพอยต์ด้วยตัวโหลด causal สำเร็จรูป คุณจะได้ตัวเลขที่ไม่ใช่ค่าที่เผยแพร่

• อุณหภูมิการปรับเทียบ. DecisionModel.predict ที่ให้มาจะนำอุณหภูมิที่บันทึกไว้มาใช้ หากคุณอ่าน logits โดยตรง ให้ใช้มันเพียงครั้งเดียวเท่านั้น — การใช้สองครั้ง หรือไม่ใช้เลย จะทำให้สเกลของทุกความน่าจะเป็นที่คุณนำไปใช้ตัดสินใจแยกสาขาถัดไปผิดเพี้ยน

• ขีดจำกัดการตัดสินใจที่แท้จริง ข้อความและรูปภาพทั้งหมดสำหรับหนึ่งการตัดสินใจต้องพอดีภายในงบ 8,192 โทเคน และอินพุตที่เกินขีดจำกัดจะถูกปฏิเสธแทนที่จะถูกตัดทอน การฝึกและการประเมินที่รายงานจำกัดรูปภาพไว้ที่ 512×512; ตอนนี้การเพิ่มขีดจำกัดสามารถกำหนดค่าได้ผ่าน max_image_pixels โดยค่าเริ่มต้นเป็น 2048×2048 แต่การ์ดเตือนว่าความละเอียดที่สูงกว่านั้นอยู่นอกการแจกแจงของการฝึก

นอกจากนั้น รีโพซิทอรีนี้ยังสมบูรณ์อย่างผิดปกติสำหรับโมเดลที่ไม่มีใครประกาศ: มี safetensors จำนวนสิบเอ็ดชาร์ด, decision_config.json, เทมเพลตแชต และ release-manifest.json ที่บันทึกเช็กซัมของไฟล์และแหล่งที่มาของเช็กพอยต์ สัญญาอนุญาตคือ Apache 2.0

เอกสารสองส่วนคลาดเคลื่อนไปแล้ว การ์ด v1.1 ยังคงบอกให้คุณยืนยันตัวตนกับ "ที่เก็บส่วนตัวนี้" — แต่ทุกวันนี้ที่เก็บนี้เปิดให้อ่านแบบสาธารณะแล้ว และการ์ด v1 ที่เก่ากว่ามีพอยน์เตอร์ new_version ชี้ไปที่ v1.1 ซึ่งเป็นสัญญาณที่ตรงไปตรงมาว่า v1 ถูกแทนที่แล้ว

สิ่งเดียวที่ต้องตรวจสอบก่อนที่คุณจะวางแผนโดยอิงกับมัน

รายการ Ollama ระบุหน้าต่างบริบทขนาด 256K ตัวเลขนั้นดูเหมือนจะสืบทอดมาจากโมเดลพื้นฐาน — Qwen3.8-27B มี 262,144 ตำแหน่งจริง — และไม่ใช่สัญญาที่จุดตรวจสอบการตัดสินใจบันทึกไว้สำหรับตัวเอง จุดตรวจสอบจะปฏิเสธการตัดสินใจใดก็ตามที่ข้อความบวกภาพมีโทเค็นเกิน 8,192 หากวางแผนไปป์ไลน์บน 256K ป้อนสัญญาขนาด 40,000 โทเค็นพร้อมภาพสี่หน้า คำขอจะล้มเหลวแทนที่จะถูกตัดให้สั้นลง ตัวเลขที่มากกว่าอธิบายสถาปัตยกรรม ส่วนตัวเลขที่น้อยกว่าอธิบาย API ที่คุณกำลังเรียกใช้จริง

การรองรับรูปภาพก็มีจุดกำกวมคล้ายกัน การ์ดโมเดล Ollama สำหรับ pplx-decider แสดงคำขอรูปภาพที่ส่งไปยัง /v1/systemone แต่หน้าความสามารถของ Ollama เองสำหรับ endpoint นั้นระบุว่ารูปภาพ "ใช้ได้เฉพาะกับโมเดล Clef เท่านั้น" หนึ่งในสองเอกสารนั้นล้าสมัย ให้ถือว่าอินพุตแบบหลายรูปแบบบนเส้นทางนี้ยังไม่ได้รับการยืนยัน จนกว่าคุณจะรันมันด้วยตัวเอง — เช็กพอยต์ที่อยู่เบื้องหลังรองรับรูปภาพอย่างชัดเจน และ manifest ก็ส่ง projector มาอย่างชัดเจน แต่เกตที่มีเอกสารกำกับของรันไทม์นั้นแคบกว่าที่การ์ดของโมเดลสื่อไว้

หมายเลขผู้ขาย และหมายเลขที่แตกต่างออกไป

การประเมินของ Perplexity เองสำหรับเช็กพอยต์ v1.1 รายงานว่ามี Decision Index อยู่ที่ 61.56 เทียบกับ 57.9 ของ Jev บนชุดทดสอบเดียวกัน และ 56.4 สำหรับเช็กพอยต์ที่มันเข้าแทนที่ โดยหมวดที่มีการเพิ่มขึ้นมากที่สุดคือภาษา (69.45) และการดึงข้อมูล (61.26) ตัวเลขเหล่านั้นเป็นข้อมูลที่ผู้ขายรายงานเองและผลิตขึ้นทางฝั่ง Perplexity; สำหรับเช็กพอยต์ก่อนหน้านี้ การ์ดระบุเพิ่มเติมว่าผลลัพธ์ถูกวัดผ่าน Perplexity API นั่นเป็นสิ่งที่เผยแพร่ได้อย่างสมเหตุสมผล แต่เป็นสิ่งที่อ่อนสำหรับการนำไปพึ่งพา

ภาพจากแหล่งอิสระมีประโยชน์กว่า ลีดเดอร์บอร์ดชุมชนแบบเปิดสำหรับคลาสโมเดลนี้ คือ Jev Decision Index ได้ให้คะแนน pplx-decider-v1.1-27b บนแผงของตัวเอง และการเผยแพร่ข้อมูลเมื่อวันที่ 2026-10-14 รายงานว่าช็อกพอยต์ทำสำเร็จ 110,179 จาก 110,201 เคสที่ได้คะแนน ครอบคลุม 42 เบนช์มาร์กบน RTX PRO 6000 เครื่องเดียว บนบอร์ดนั้น โมเดลได้คะแนนทักษะแบบสมดุล 62.75 และอันดับที่หก โดย Jev อยู่อันดับที่สิบสองที่ 60.11 สองสิ่งที่ตารางของผู้ขายไม่แสดงนั้นปรากฏจากข้อมูลชุดเดียวกัน:

• จุดที่แข็งแกร่ง ARC-Easy 99.3, ARC-Challenge 97.0, การตัดสินใจใช่/ไม่ใช่สำหรับการเรียกฟังก์ชัน (BFCL) 97.2, FinEntity 95.4, BPoMP 95.2, CLINC150 91.5 งานจำแนกประเภทและการค้นคืนแบบดั้งเดิมคือจุดที่เช็กพอยต์นี้พิสูจน์คุณค่าของตัวเอง

• ในจุดที่มันไม่ได้เป็นเช่นนั้น. Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, ชุดบทสนทนาที่ชี้นำด้วยสคีมา 33.2, BRIGHT 50.9, GPQA Diamond 56.1. การให้เหตุผลหลายขั้นตอนที่ยากไม่ใช่สิ่งที่การอ่านค่าแบบรอบเดียวจะให้คุณได้ และสแต็กที่ส่งงานด้านการให้เหตุผลไปยังโมเดลตัดสินใจอย่างเงียบ ๆ จะสร้างสาขาที่ผิดอย่างมั่นใจ.

การสอบเทียบควรมีบรรทัดของตัวเอง เพราะมันคือหัวใจทั้งหมดของโมเดลที่ส่งค่าความน่าจะเป็นแทนป้ายกำกับ จากการตัดสินใจที่ได้รับการให้คะแนนอย่างเป็นอิสระ 34,829 รายการ เช็กพอยต์มีความแม่นยำเฉลี่ย 76.1 เปอร์เซ็นต์ เทียบกับความมั่นใจเฉลี่ย 82.9 เปอร์เซ็นต์ — ค่าความคลาดเคลื่อนการสอบเทียบที่คาดหวัง 0.071 และคะแนน Brier 0.335 โดย 2.0 เปอร์เซ็นต์ของกรณีมีความมั่นใจสูงกว่า 0.95 แต่ยังผิดอยู่ นั่นคือพื้นผิวความน่าจะเป็นที่ใช้งานได้แต่ไม่สมบูรณ์แบบ และเมื่อวัดแล้วมีการสอบเทียบที่ดีกว่า ECE 0.074 ของ Jev บนบอร์ดเดียวกัน หากคุณกำลังตั้งเกณฑ์ที่ 0.9 และปฏิบัติกับมันเสมือนเกือบแน่นอน ตัวเลข 2 เปอร์เซ็นต์นั่นคือจำนวนที่คุณต้องออกแบบโดยคำนึงถึง

เวลาแฝงบนฮาร์ดแวร์เดียวกันอยู่ที่ค่ามัธยฐาน 104 มิลลิวินาที และ p95 835 มิลลิวินาที จากการตัดสินใจ 110,000 ครั้ง ซึ่งเป็นข้อโต้แย้งเชิงปฏิบัติที่สนับสนุนโมเดลตัดสินใจแทนโมเดลภาษาขนาดเล็กในตำแหน่งเกตติ้ง: p95 คืองบประมาณ ไม่ใช่ค่าเฉลี่ย

การตัดสินใจมีต้นทุนแค่ไหน

Perplexity ให้บริการ Decisions API แบบโฮสต์เองสำหรับเช็กพอยต์เหล่านี้ — POST https://api.perplexity.ai/v1/decisions โดยมี pplx-decider-v1.1-27b เป็น ID โมเดลเริ่มต้น และเช็กพอยต์ก่อนหน้านี้ยังคงเข้าถึงได้ หน้าราคานั้นระบุราคา $0.02 ต่อล้านโทเคนอินพุต โทเคนเอาต์พุตฟรี และไม่มีค่าธรรมเนียมต่อคำขอ โดยมีเพดานที่ 128 คำถามต่อคำขอ 262,144 โทเคนอินพุต และ 10 คำขอต่อวินาทีต่อองค์กร

ในทางตรงกันข้าม เส้นทางโลคอลไม่มีค่าใช้จ่ายต่อการตัดสินใจเลยเมื่อ 17 GB มาถึงเครื่องแล้ว สำหรับคิวคัดแยกที่รันคำถามที่พิมพ์ไม่กี่ข้อต่อตั๋ว การคำนวณนั้นตัดสินได้ด้วยตัวมันเอง — และน่าจะสังเกตว่าเพดานของโฮสต์ที่ 262,144 โทเคนอินพุตไม่ใช่ขีดจำกัดที่สำเนาโลคอลของคุณจะบังคับใช้ เพราะงบของเช็กพอยต์เองคือ 8,192

จุดที่เส้นทางโลคอลไม่ใช่คำตอบคือส่วนที่เหลือของสแตกที่ล้อมรอบการตัดสินใจ นี่คือโมเดลขนาด 27B ที่คืนค่าความน่าจะเป็นหนึ่งค่าต่อหนึ่งตัวเลือก มันจะไม่ร่างคำตอบ สรุปตั๋ว หรือเรียกเครื่องมือให้ หากคุณต้องการทั้งการตัดสินใจและการเขียนไว้เบื้องหลังคีย์เดียว นั่นคือสิ่งที่ OrcaRouter มีไว้ให้ — API เดียวครอบคลุมโมเดล 200+ ตัว โดยราคาตั้งต้นของผู้ให้บริการถูกส่งผ่านโดยไม่บวกเพิ่มต่อโทเคน พร้อมกับ routing DSL เมื่อคุณต้องการประกอบโมเดลตัดสินใจและโมเดลเขียนเข้าเป็นการเรียกเดียว สองส่วนของเรื่องนี้อยู่บนแพลตฟอร์มแล้ว: checkpoint ฐานให้บริการในชื่อ Qwen3.8-27B ดังนั้นคุณจึงเปรียบเทียบ fine-tune กับรากฐานของมันเองบนคีย์เดียวกันได้ และโมเดลอ้างอิงที่ใช้วัดเทียบให้บริการในชื่อ Jev 1.13 ผ่าน endpoint รูปแบบ systemone เดียวกัน ตัวตัดสินใจของ Perplexity ไม่ใช่ตัวที่เราให้บริการ — มันมีให้ใช้ผ่าน API ของ Perplexity เองและแพลตฟอร์มบุคคลที่สามหลายแห่ง — ดังนั้นหากคุณต้องการมันโดยเฉพาะ การดึงโลคอลข้างต้นและ endpoint ของ Perplexity คือเส้นทางของคุณ

สามคำถามที่รีโพซิทอรีไม่ได้ตอบ

checkpoint ใดอยู่ในอาร์ติแฟกต์ที่ถูกควอนไทซ์? รายการในไลบรารี Ollama ตั้งชื่อตามตระกูล ไม่ใช่ตามเวอร์ชัน และบล็อก benchmark ของมันลิงก์ไปยังรีโพซิทอรี v1 — ตาราง 11 benchmark อ่านได้ 85.7 เปอร์เซ็นต์ ซึ่งเป็นตัวเลขภาพรวมของการ์ด v1 ไม่ใช่ชุด Decision Index ของ v1.1 v1.1 เป็น checkpoint ที่แข็งแกร่งกว่าตามการนับของ Perplexity เอง และไม่ชัดเจนว่ามันคือตัวที่คุณกำลังดึงอยู่ ตรวจสอบ digest ก่อนที่คุณจะสร้างบนสมมติฐานนั้น

Perplexity ตั้งใจให้สิ่งเหล่านี้เป็นสาธารณะหรือไม่? ไม่มีประกาศ โพสต์บล็อก รายการบันทึกการเปลี่ยนแปลง หรือข้อความแจ้งความพร้อมใช้งานผ่าน API สำหรับน้ำหนักโมเดลเหล่านี้ปรากฏออกมาเลย ณ เวลาที่เขียน เช็กพอยต์เหล่านี้มีผู้คนหลายพันอ่าน — 2,740 ดาวน์โหลดบน v1 และ 3,154 ดาวน์โหลดบน v1.1 — แต่ความสนใจบนการ์ดโมเดลไม่เหมือนกับการที่ผู้ขายบอกว่ารองรับมัน ให้ถือว่าที่เก็บสาธารณะเป็นชิ้นงานที่เชื่อถือได้ และสิ่งอื่นทั้งหมดเป็นเพียงการอนุมาน

จะมีเวอร์ชันที่ผู้ขายโฮสต์เองและประกาศอย่างเป็นทางการออกมาหรือไม่ ไม่ทราบ การมีอยู่ของ Decisions API ที่มีเอกสารประกอบและมีการกำหนดราคาในฝั่งของ Perplexity บ่งชี้ว่าเส้นทางแบบโฮสต์คือผลิตภัณฑ์ที่ตั้งใจไว้ และ weights อยู่ต้นน้ำของมัน แต่นั่นเป็นการคาดเดาเกี่ยวกับเจตนา ไม่ใช่ข้อเท็จจริงจากเอกสาร และได้ถูกระบุว่าเป็นเพียงการคาดเดา

ใครควรย้าย และใครไม่ควรย้าย

ถ้าไปป์ไลน์ของคุณแตกสาขาจากการตัดสินใจของผู้ให้บริการที่มีชนิดข้อมูลอยู่แล้ว — การจัดเส้นทางตั๋ว การตรวจจับการคืนเงิน การกั้นขั้นตอนของเอเจนต์ — นี่คือเช็กพอยต์อายุสองสัปดาห์ที่มีคะแนนซึ่งได้รับการทำซ้ำอย่างอิสระ สัญญาอนุญาต Apache 2.0 และ ณ วันนี้ เส้นทางขนาด 17 GB สู่ฮาร์ดแวร์ที่คุณเป็นเจ้าของ การประเมินชี้ว่ามันถูกคาลิเบรตได้ดีกว่าโมเดลอ้างอิง และดีขึ้นประมาณสองอันดับบนบอร์ดสาธารณะ และสำเนาในเครื่องช่วยขจัดค่าใช้จ่ายต่อการตัดสินใจออกไปทั้งหมด ดึงมันมา รันกับตัวอย่างที่มีป้ายกำกับของคุณเอง และเปรียบเทียบกับสิ่งที่คุณใช้อยู่ตอนนี้ งบการตัดสินใจ 8,192 โทเคนคือข้อจำกัดที่ควรทดสอบก่อน ไม่ใช่ 256K ที่ประกาศในรายการ

ถ้าคุณต้องการการให้เหตุผลมากกว่าการจำแนกประเภท ให้รอไว้ก่อน คณะผู้ประเมินอิสระจัดให้เช็กพอยต์นี้อยู่ในช่วงสิบกว่าเปอร์เซ็นต์ต้น ๆ บนแบบทดสอบวัดความรู้ระดับยาก และพื้นผิวความน่าจะเป็นที่มั่นใจในคำถามซึ่งมันตอบไม่ได้จริงนั้น แย่กว่าในสภาพการใช้งานจริงเมื่อเทียบกับโมเดลช้าที่คิดก่อนตอบ ข้อดีของโมเดลตัดสินใจคือค่ามัธยฐาน 104 มิลลิวินาที และข้อเท็จจริงที่ว่าหกสิบคำถามใช้การประมวลผลเพียงรอบเดียว — และไม่มีส่วนไหนช่วยได้เลยเมื่อคำตอบผิด

การรันขั้นตอนการตัดสินใจบนฮาร์ดแวร์ของคุณเองก็เป็นจังหวะดีเช่นกันที่จะดูว่ามีอะไรผิดพลาดไปแล้วในกลุ่มนี้: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่เกี่ยวข้องกับโมเดลการตัดสินใจซึ่งมีการบันทึกไว้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และแฟล็กข้อโต้แย้งเป็นของตัวเอง