Bonsai 2 ปรากฏตัวบน Ollama ก่อนที่ใครจะประกาศว่ามันกำลังจะมา

ในช่วงเช้ามืดของวันที่ 17 ตุลาคม 2026, Ollama เริ่มให้บริการ Bonsai 2 — รายการไลบรารีเก้าแท็กที่ครอบคลุม Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B และ Bonsai 2 27B, โดยแต่ละรายการมีสองแพ็กเกจพร้อมนามแฝงเริ่มต้น Prism ML ยังไม่ได้กล่าวถึงเรื่องนี้ ไม่มีโพสต์บนหน้าข่าวของผู้ขาย ไม่มีบรรทัดในประกาศวันที่ 15 ตุลาคมเกี่ยวกับโมเดลขนาดเล็ก — โพสต์นั้นระบุชื่อ llama.cpp และ MLX เป็นรันไทม์ และคอนโซลที่โฮสต์เป็นเดโม และไม่เคยกล่าวถึง Ollama เลย รายการนี้มีอยู่เฉยๆ โดยทั้งเก้าป้ายถูกประทับเวลาเดียวกันเมื่อไม่กี่ชั่วโมงที่แล้ว ซึ่งเป็นลักษณะของการพุชใหม่ ไม่ใช่การทยอยเปิดตัว

ดังนั้นการแบ่งแยกที่ซื่อตรงก็คือแบบนี้ สิ่งที่รู้ได้ในตอนนี้ จาก registry และไฟล์ต่าง ๆ: แท็ก ชื่อของพวกมัน ขนาดไบต์ที่แน่นอน ไดเจสต์ของเนื้อหา และ — เนื่องจาก Ollama ส่ง GGUF — สถาปัตยกรรมและสตริงเมทาดาทาที่อยู่ภายในตัวเวตส์เอง สิ่งที่ยังไม่ยืนยัน: ใครเป็นคนแพ็กเกจมัน ทำไมประกาศของผู้ขายถึงไม่พูดถึงแพลตฟอร์ม เทอร์นารีเคอร์เนลนั้นอยู่ในเอนจินของ Ollama เองแบบ upstream หรือถูกนำเข้าไปฝังรวมไว้ และตัวเลขใด ๆ ของผู้ขายยังคงอยู่รอดหลังการเดินทางหรือไม่ สิ่งเหล่านี้เป็นคำถามที่แยกจากกัน และชิ้นงานนี้ก็แยกมันออกจากกัน

จริงๆ แล้วบนชั้นวางมีอะไร

เก้าแท็ก สี่ขนาด สามรูปแบบการแพ็กของน้ำหนักเดียวกัน หน้าไลบรารีของ Ollama แสดงนามแฝงเริ่มต้นต่อขนาด และ-q2_0 ตัวแปรต่อขนาด:

• bonsai-2:latest — 3.2 GB, ชี้ไปที่ 9B (ไดเจสต์ c8b5462f8688)

• bonsai-2:2b และ bonsai-2:2b-q2_0 — 911 MB, ไดเจสต์เดียวกัน de2ccb4e7328

• bonsai-2:4b และ bonsai-2:4b-q2_0 — 1.6 GB, digest เดียวกัน 93edd652c932

• bonsai-2:9b และ bonsai-2:9b-q2_0 — 3.2 GB ไดเจสต์เดียวกัน c8b5462f8688

• bonsai-2:27b และ bonsai-2:27b-q2_0 — 8.3 GB, ไดเจสต์เดียวกัน f3c4f4208659

การตั้งชื่อทำงานมากกว่าที่เห็นในตอนแรก แท็กสองรายการต่อขนาดหนึ่งขนาดที่ใช้ digest ร่วมกันไม่ใช่ไฟล์ซ้ำ — มันคือข้อความที่บอกว่า Ollama เลือกใช้แพ็กเกจจริง ๆ แล้ว ดึง manifest ของ bonsai-2:9b ออกมา แล้วเลเยอร์โมเดลจะอยู่ที่ 2.557 GB นั่นคือไฟล์ Q2_0ซึ่งวัดบน Hugging Face ได้ 2.557 GB ตรงเป๊ะทุกไบต์ ส่วน PQ2_0 แพ็กมีขนาด 2.417 GB และแพ็ก PTQ1_0 — ซึ่งเล็กที่สุดที่ 1.997 GB — ไม่ได้อยู่ที่นี่เลย

ตัวเลือกนั้นมีผลตามมาที่ควรพูดให้ชัด เพราะมันเป็นเรื่องแบบที่กลายเป็นกระทู้ขอความช่วยเหลือได้ ในโมเดลการ์ดของผู้ให้บริการ llama.cpp ต้นทางรันได้เพียงหนึ่งในสามแพ็กเท่านั้น คือ Q2_0 "master ล่าสุด ซึ่งรวม Hadamard activation runtime ไว้ด้วย" มันปฏิเสธ PQ2_0 และ PTQ1_0 ว่าเป็นชนิดที่ไม่รู้จัก เพราะสองตัวนั้นต้องใช้ Prism ML llama.cpp fork ส่วน Ollama ให้บริการด้วยเอนจินของตัวเอง Q2_0 คือแพ็กที่ผู้ใช้ GGUF มาตรฐานทั่วไปน่าจะโหลดได้ — และ Q2_0 ก็คือแพ็กที่ Ollama ส่งมอบมาพอดี ว่า Ollama จะพัฒนาเคอร์เนล ternary ของตัวเองขึ้นมาหรือส่งต่อไปยังบิลด์ที่ vendor จัดให้ เป็นสิ่งที่รีจิสทรีไม่ได้บอกคุณ สิ่งที่มันบอกคุณก็คือ พวกเขาไม่ได้ส่งไฟล์ที่โหลดไม่ได้มา

เมทาดาทา GGUF บอกคุณได้มากกว่าที่หน้าเว็บบอก

หน้าเว็บของ Ollama รายงานข้อเท็จจริงสี่อย่างต่อแท็ก ได้แก่ ขนาดเป็นไบต์ ป้ายบริบท "256K" ประเภทอินพุตแบบข้อความบวกภาพ และการประทับเวลาแบบสัมพัทธ์ ทุกอย่างอื่นอยู่ในไฟล์ การอ่านเฮดเดอร์ GGUF ของแต่ละเลเยอร์ของโมเดลให้ข้อมูลดังต่อไปนี้ และมันคุ้มค่าที่จะอ่านด้วยเหตุผลเฉพาะอย่าง: มันเป็นส่วนเดียวของเรื่องราวนี้ที่ไม่ใช่คำกล่าวอ้างทางการตลาดของใครบางคน

• general.architecture — qwen35 ในทั้งสี่ขนาด

• general.name — Ternary-Bonsai-2-2B, -4B, -9B บนรุ่นเล็กทั้งสาม; เลเยอร์ 27B รายงานสตริงทั่วไป Hf โดยมี general.basename = folded

• general.file_type — 41 ทั้งสี่รายการ โดยมี general.quantization_version = 2

• general.size_label — 2B, 4B, 9B, 27B โดยให้ตรงกับชื่อแท็ก

• จำนวนเทนเซอร์ — 320 สำหรับ 2B, 426 สำหรับ 4B, 427 สำหรับ 9B, 851 สำหรับ 27B

สตริงสถาปัตยกรรมคือส่วนที่น่าสนใจ qwen35 คือแบ็กโบนแบบ hybrid-attention ของ Qwen3.5 และมันยืนยันจากอาร์ติแฟกต์เองในสิ่งที่การ์ดโมเดลพูดเป็นร้อยแก้ว: สามรุ่นเล็กคือ Qwen3.5-2B, -4B และ -9B โดยสถาปัตยกรรมไม่เปลี่ยนแปลง และมีการแทนที่เวท ยังเผยให้เห็นรอยต่อการตั้งชื่อที่เอกสาร release notes ของผู้ขายเองกลบไว้ โพสต์วันที่ 15 ตุลาคมบอกว่าโมเดลใหม่ "based on Qwen3.5" รุ่น 27B เป็นฐานที่แตกต่างออกไปโดยสิ้นเชิง — Qwen3.8-27B ซึ่งประกาศเมื่อวันที่ 17 กันยายน สี่ขนาด หนึ่งชื่อตระกูล สองโมเดลฐาน อะไรก็ตามที่คุณอ่านเกี่ยวกับพฤติกรรมของ "Bonsai 2" ที่วัดบนรุ่น 27B จะไม่ถ่ายทอดลงมายังรุ่น 9B โดยอัตโนมัติ และส่วนหัว GGUF คือจุดที่คุณเห็นได้ว่าทำไม

เมทาดาทาของ 27B ก็ดูไม่เรียบร้อยเท่าตัวอื่นอย่างเห็นได้ชัดเช่นกัน: general.name = Hf, general.basename = folded, general.version = v5 และมีคีย์การสุ่มเกินมาหนึ่งคีย์ที่สามตัวเล็กไม่มี นั่นคือหน้าตาของเอาต์พุตระหว่างทางของไปป์ไลน์การแปลง เมื่อถูกส่งขึ้นโดยไม่มีรอบเปลี่ยนชื่อครั้งสุดท้าย มันไม่ใช่ข้อบกพร่อง — เทนเซอร์ก็คือเทนเซอร์ — แต่มันเป็นลายนิ้วมือ และบ่งชี้ว่าแท็ก 27B ผ่านมาเส้นทางที่ต่างจากสามตัวเล็ก

สิ่งที่ตัวเลขของ Ollama ไม่ได้หมายถึง

นี่คือจุดที่การกล่าวถึงรายการไลบรารีส่วนใหญ่มักผิดพลาด จึงคุ้มค่าที่จะค่อย ๆ พิจารณาให้ละเอียด ขนาดไบต์บนหน้าของ Ollama คือคอนเทนเนอร์และสำหรับทุกขนาดแล้ว พวกมันใหญ่กว่าไฟล์โมเดลที่อยู่ข้างใน แท็ก 2B ระบุ 911 MB เทียบกับเลเยอร์โมเดล 0.547 GB และโปรเจ็กเตอร์วิชัน 0.365 GB แท็ก 27B ระบุ 8.3 GB เทียบกับเลเยอร์โมเดล 7.626 GB และโปรเจ็กเตอร์ 0.629 GB เมื่อบวกบล็อบไลเซนส์และพารามิเตอร์เข้าไป ตัวเลขก็ลงตัว: Ollama กำลังระบุขนาดของอาร์ติแฟกต์ที่ดึงมาทั้งหมด รวมถึงวิชันทาวเวอร์ด้วย

นั่นหมายความว่า 3.2 GB บนหน้า Ollama สำหรับรุ่น 9B ไม่สามารถนำมาเทียบกับตัวเลข "2GB" ของผู้จำหน่ายสำหรับโมเดลเดียวกันได้ และช่องว่างนี้ก็ไม่ใช่ความคลาดเคลื่อนที่ต้องรายงาน — มันคือการวัดสองอย่างที่แตกต่างกันของสองสิ่งที่แตกต่างกัน 0.43 GB / 0.95 GB / 2 GB ของ Prism ML เป็นเพียงโมเดลภาษาเท่านั้น ส่วน vision tower ถูก offload ไว้และจะโหลดเฉพาะเมื่อมีรูปภาพเข้ามาจริง ๆ ดังนั้นการติดตั้งใช้งานแบบข้อความล้วนจึงไม่ต้องรับภาระนี้ แต่การ ollama pull ต้องรับภาระนี้ หากคุณกำลังกำหนดขนาดอุปกรณ์โดยอิงตามตัวเลขของผู้จำหน่าย แล้วดึงจาก Ollama คุณจะเกินงบไป 0.5 ถึง 1 GB ก่อนที่คุณจะรันอะไรเลย

ข้อควรระวังเดียวกันนี้ใช้ได้กับป้าย "256K" เช่นกัน คอนเท็กซ์ที่เป็นพื้นฐานคือ 262,144 โทเคน ซึ่งสืบทอดมาจากแบ็กโบน Qwen3.5 — เลเยอร์แบบ linear attention 24 ชั้นและ full attention 8 ชั้นบนรุ่น 9B — และป้ายของ Ollama ปัดลงเพื่อการแสดงผล คอนเท็กซ์นี้เป็นของจริงและสืบทอดมา ไม่ใช่สิ่งที่ Ollama เพิ่มเข้าไป สิ่งที่ ไม่ได้ระบุไว้ที่ใดในหน้านี้ คือคอนเท็กซ์ยาวต้องใช้หน่วยความจำมากแค่ไหน และบนโมเดลแบบไฮบริดแอตเทนชันที่มีแคชแบบ full attention อยู่บนเลเยอร์เพียงบางส่วน จำนวนนั้นก็ไม่ใช่น้อย ไม่มีอะไรในหน้าของ Ollama บอกคุณได้ว่า 262K จะพอดีกับที่ที่คุณตั้งใจจะรันมันจริงหรือไม่

ใครเป็นคนแพ็กเกจอันนี้ และมันสำคัญไหม

ยังไม่มีคำตอบ และควรถูกทำเครื่องหมายว่ายังไม่มีคำตอบแทนที่จะคาดเดา มีความเป็นไปได้สามอย่าง: Prism ML ผลักดันมันขึ้นมา, Ollama ดึงมันมาจาก repo GGUF สาธารณะของผู้จำหน่ายโดยเป็นส่วนหนึ่งของงานจัดทำแค็ตตาล็อกของตนเอง, หรือบุคคลที่สามทำมัน ทะเบียนไม่สามารถบอกคุณได้ว่าอันไหน

สิ่งที่ตรวจสอบได้คือที่มาของอาร์ติแฟกต์ และมันสอดคล้องกัน คำอธิบายโมเดลของ Ollama เองระบุว่า "Bonsai 2 จาก Prism ML เป็นตระกูลของโมเดลวิชันที่สร้างขึ้นสำหรับน้ำหนักแบบ ternary (−1, 0 หรือ +1): มีขนาดประมาณครึ่งหนึ่งของโมเดล 4-bit มาตรฐาน โดยมีคุณภาพใกล้เคียงความแม่นยำเต็ม" และลิงก์ไปยัง Hugging Face org ของผู้จำหน่าย, whitepaper Bonsai 2 27B และ Apache 2.0 บล็อกสัญญาอนุญาตที่ฝังอยู่ใน manifest ขนาดทั้งสี่รายการ ทุกรายการ เป็นข้อความ Apache 2.0 แบบคำต่อคำ บล็อกพารามิเตอร์สำหรับ 2B, 4B และ 9B ระบุว่า {"presence_penalty":1,"temperature":1,"top_k":20,"top_p":0.95} — ซึ่งเป็นสูตรการสุ่มแบบที่ผู้จำหน่ายแนะนำสำหรับโหมดคิดจากการ์ดโมเดล โดยละเว้น min_p ไว้ตรงตามที่การ์ด 27B กล่าวว่าไฟล์ GGUF ละเว้นมัน นั่นไม่ใช่การเดาของใครบางคน; นั่นคือการแปลงที่ได้อ่านการ์ดมาแล้ว

ซึ่งก็ทำให้อุ่นใจได้ และก็ยังไม่บอกอะไรคุณเลยเกี่ยวกับสิ่งที่ตัดสินประสบการณ์ของคุณจริง ๆ นั่นคือว่าเคอร์เนล ternary อยู่ในเอนจินที่คุณกำลังรันอยู่หรือไม่ จุดยืนที่ซื่อตรงคือ การ pull ที่สำเร็จพิสูจน์ได้ว่าไฟล์เป็น GGUF ที่มีรูปแบบถูกต้อง และไม่มากไปกว่านั้น ตรวจสอบบนฮาร์ดแวร์ของคุณเองก่อนที่คุณจะสร้างอะไรต่อยอดจากมัน

คำกล่าวอ้างของผู้ขาย และสิ่งที่ได้ตรวจสอบแล้ว

ทุกตัวเลขคุณภาพที่แนบมากับตระกูลนี้มาจาก Prism ML บนฮาร์เนสของ Prism ML เอง และไม่มีส่วนใดถูกทำซ้ำอย่างอิสระ นั่นเป็นเรื่องปกติในวัยนี้ และควรพูดออกมาดัง ๆ มากกว่าจะบอกเป็นนัย โพสต์วันที่ 15 ตุลาคมรายงานผลการทดสอบมาตรฐาน 19 รายการ ครอบคลุมหกด้านทักษะสำหรับโมเดลขนาดเล็ก โดยมีอัตราการคงความสามารถเทียบกับเบสไลน์ Qwen3.5 แบบความแม่นยำเต็มรูปแบบ:

• 2B — เอเจนต์ 95.5%, คณิตศาสตร์ 107.8%, การทำตามคำสั่ง 121.5%, การเขียนโค้ด 115.0%, ความรู้ 82.9%, การมองเห็น 89.0%

• 4B — 90.0% / 99.3% / 106.0% / 100.7% / 90.9% / 91.3%

• 9B — 92.4% / 98.2% / 100.0% / 100.1% / 93.0% / 92.5%

หลายรายการในนั้นเกิน 100% ซึ่งไม่ใช่การพิมพ์ผิดและไม่ใช่ผลลัพธ์เทียมจากการปัดเศษ — มันหมายความว่าโมเดลเทอร์นารีได้คะแนนสูงกว่าโมเดลความแม่นยำเต็มที่มันถูกพัฒนามาจากในหมวดหมู่นั้น การปฏิบัติตามคำสั่งที่ 121.5% สำหรับ 2B คือตัวอย่างที่ชัดที่สุด โปรดมองสิ่งนั้นด้วยความสงสัยที่มันสมควรได้รับ: โมเดลที่ถูกบีบอัดซึ่งเอาชนะเส้นฐานของตัวเองบนเบนช์มาร์กที่ผู้ขายเลือก เป็นคำกล่าวเกี่ยวกับการฝึกและฮาร์เนสอย่างน้อยก็พอ ๆ กับที่เป็นคำกล่าวเกี่ยวกับการแทนค่า และคะแนนในหมวดหมู่โมเดลขนาดเล็กก็ผันผวนมากกว่าของ 27B มาก ตัวเลขของ 27B อนุรักษ์นิยมกว่าและน่าเชื่อถือกว่าในเชิงรูปร่าง — 84.78 เทียบกับ 86.32 สำหรับ FP16, การคงความสามารถ 98.2% จากเบนช์มาร์กโหมดคิด 14 รายการ โดยคณิตศาสตร์อยู่ที่ 96.57 เทียบกับ 97.06 และระดับการเขียนโค้ดอยู่ที่ 89.42 เทียบกับ 89.07 และการสูญเสียกระจุกตัวอยู่ในความรู้/การให้เหตุผลกับวิสัยทัศน์ เมื่อตระกูลหนึ่งสูญเสียความสามารถภายใต้การแทนค่าแบบ 1.7 บิต นั่นคือโปรไฟล์ที่คุณน่าจะคาดการณ์ไว้

ข้อกล่าวอ้างหนึ่งเดียวในโพสต์เกี่ยวกับโมเดลขนาดเล็กที่ ไม่ใช่การวัดประสิทธิภาพ คือข้อที่ควรให้ความสำคัญที่สุด: โมเดล 9B "ใช้โทเค็นน้อยลงราว 40% ในงานมาตรฐานอย่างการทำตามคำสั่งและงานคณิตศาสตร์ในชีวิตประจำวัน" นั่นเป็นข้อกล่าวอ้างเรื่องความเยิ่นเย้อของคำพูด ไม่ใช่เรื่องความสามารถ และเป็นสิ่งประเภทที่คุณตรวจสอบได้ในเวลาแค่บ่ายเดียวด้วยพรอมป์ของคุณเอง มันยังเชื่อมโยงกับคำเตือนบนการ์ดโมเดลของผู้ขายเองด้วย — โหมดคิด (thinking mode) อาจเผาโทเค็นกว่า 3,000 โทเค็นกับคำถามง่ายๆ ดังนั้นควรตั้งค่าเอาต์พุตอย่างน้อย 8,192 โทเค็น และอย่าใช้การถอดรหัสแบบ greedy ขณะเปิดโหมดคิด เพราะมันอาจติดอยู่ในวงจรการให้เหตุผล โมเดลที่เยิ่นเย้อน้อยลง 40% แต่ยังต้องใช้โทเค็นถึง 8,192 กำลังบอกคุณว่ามันเยิ่นเย้อในจุดหนึ่งโดยเฉพาะ

สิ่งนี้ทำให้คุณอยู่ตรงไหน

ถ้าคุณใช้ Ollama อยู่แล้ว และอยากลองโมเดลระดับ 27B บนแล็ปท็อปโดยไม่มี GPU ของศูนย์ข้อมูล แท็กทั้งสี่คือเส้นทางที่สั้นที่สุดที่มีอยู่ในตอนนี้: ดึงครั้งเดียว ไม่ต้อง fork ไม่ต้อง build เคอร์เนล หากคุณต้องการการแพ็กที่เล็กที่สุดจริง ๆ หรือดราฟเตอร์สำหรับ speculative decoding ที่ผู้ขายจัดส่งมาให้สำหรับ 4B และ 9B หน้ารายการของ Ollama ไม่มีสิ่งเหล่านั้น — นั่นคือการดาวน์โหลดจาก Hugging Face และบิลด์ Prism ML llama.cpp และเป็นเช่นนี้มาตั้งแต่ 15 ตุลาคม

อีกสิ่งหนึ่งที่ควรรู้ก็คือ การรันในเครื่องไม่ใช่หนทางเดียวในการใช้งานโมเดลบิตต่ำ และก็ไม่ใช่หนทางที่ถูกต้องเสมอไป OrcaRouter วางAPI เดียวไว้เบื้องหน้าโมเดลที่โฮสต์ไว้มากกว่า 200 โมเดล โดยบวกราคาเพิ่ม 0% — ราคาตามที่ผู้ให้บริการประกาศไว้ถูกส่งผ่านตรง ๆ — พร้อมระบบสลับไปยังผู้ให้บริการรายอื่นอัตโนมัติเมื่อเกิดปัญหา เพื่อให้คุณประเมินโมเดลกับงานจริงได้ก่อนตัดสินใจว่าโมเดลนั้นควรค่าแก่การได้ที่บนแล็ปท็อปของคุณหรือไม่ ปัจจุบันไม่มีขนาดใดของ Bonsai 2 ที่ให้บริการผ่าน OrcaRouter และบทความนี้ก็ไม่ได้อ้างเช่นนั้น ตระกูลนี้เป็นไฟล์ดาวน์โหลดที่คุณรันเอง และจะเป็นเช่นนั้นต่อไปจนกว่าผู้พัฒนา willเผยแพร่ endpoint สิ่งที่ชั้นการจัดเส้นทางมอบให้คุณคืออีกครึ่งหนึ่งของการตัดสินใจ — โมเดลที่โฮสต์ไว้ซึ่งคุณจะนำมาเปรียบเทียบ อยู่หลังคีย์เดียว พร้อมโมเดลฟิวชันและ routing DSL ให้ใช้เมื่อโมเดลเดียวไม่เพียงพอ

สิ่งที่ต้องจับตามอง เรียงตามปริมาณที่จะเปลี่ยนภาพรวม: แท็ก Ollama ที่ได้ptq1_0เป็นพี่น้อง ซึ่งจะหมายความว่าเคอร์เนล dense-trit ได้เข้าไปอยู่ในอัปสตรีมแล้ว; โพสต์จากผู้ขายที่ยอมรับแพลตฟอร์ม ซึ่งจะตอบคำถามเรื่องแหล่งที่มา; และผลทดสอบอิสระใด ๆ ของ 9B หรือ 27B ซึ่งเป็นสิ่งเดียวที่จะย้ายตัวเลข retention ออกจากคอลัมน์ที่ผู้ขายรายงาน จนกว่าหนึ่งในนั้นจะเป็นจริง รายการนี้ก็เป็นเพียงกลไกการส่งมอบ ไม่ใช่โมเดลใหม่ — และโมเดลที่มันส่งมอบนั้นเปิดเผยต่อสาธารณะมาตั้งแต่ 15 ตุลาคม

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง