Bonsai 27B: อธิบาย 27B ในตระกูล Bonsai

Bonsai 27B เป็นโมเดลขนาด 27 พันล้านพารามิเตอร์ในตระกูล Bonsai ของ PrismML และเป็นตัวที่ผู้คนหมายถึงเมื่อพิมพ์ "bonsai 27b" — แต่ชื่อเพียงอย่างเดียวจะไม่พาคุณไปถึง เพราะมีสามสิ่งที่แตกต่างกันซึ่งใช้ชื่อที่ใกล้เคียงกัน Bonsai 27B เป็นการบิลด์ใหม่แบบบิตต่ำของ Qwen3.6-27B ระบุวันที่ 14 กรกฎาคม 2026 ในประกาศของผู้จำหน่ายเอง และวางจำหน่ายเป็นสองแพ็กของโมเดลเดียวกัน: 1-bit Bonsai 27B ซึ่งเก็บน้ำหนักไบนารี {−1, +1} ไว้ในพื้นที่ประมาณ 3.9 GB และ Ternary Bonsai 27B ซึ่งเก็บน้ำหนักไตรภาค {−1, 0, +1} ที่ 1.71 บิตประสิทธิผลต่อน้ำหนัก — 5.9 GB ในตัวเลขที่โฆษณาของผู้จำหน่าย, 7.165 GB ตามที่แพ็กจัดส่งจริง มันไม่ใช่ Ternary Bonsai 2 27B ซึ่งเป็นรุ่นที่สองที่ตั้งชื่อแยกต่างหากและสร้างบน Qwen3.8-27B และไม่ใช่โมเดลวิชัน-ภาษาขนาด 2 พันล้านพารามิเตอร์ที่ PrismML สร้างสำหรับแว่นตาอัจฉริยะ Snapdragon AR1 Gen 1 ทั้งสองแพ็กของ Bonsai 27B มีบริบทขนาด 262,000 โทเค็น วิชันทาวเวอร์ 4 บิตแบบกะทัดรัด และสัญญาอนุญาต Apache 2.0 โมเดลนี้คือ Bonsai 27B; การตัดสินใจที่ตามมาคือแพ็กใดในสองแพ็กของมันที่พอดีกับงบหน่วยความจำของคุณ

หน้านี้เป็นเอกสารอ้างอิงสำหรับโมเดลดังกล่าว ไม่ใช่ประกาศเปิดตัว: Bonsai 27B มีให้ใช้งานมาตั้งแต่เดือนกรกฎาคม 2026 และคำถามที่คุ้มค่าจะตอบในตอนนี้คือคำถามที่ผู้อ่านนำติดตัวมาด้วย — มันคืออะไรกันแน่ ชื่อนี้แยกแยะสิ่งใด และการรันมันมีค่าใช้จ่ายจริงเท่าใด

อันไหนคือ 27B

ความสับสนตรงนี้เป็นเรื่องจริง และมันคุ้มค่าที่จะคลี่คลายก่อนสิ่งอื่นใด เพราะการเดาผิดจะพาคุณไปยังโมเดลขนาด 2 พันล้านพารามิเตอร์ หรือไปยังเจเนอเรชันที่ผิดของตัวที่ถูกต้อง

• Bonsai — ชื่อตระกูล และชื่อที่ผู้ขายใช้เรียกมัน เมื่อใช้ลำพังมันไม่ได้ระบุอะไรที่คุณดาวน์โหลดได้ PrismML ได้เปิดตัว Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B และ Bonsai Image รวมถึงโมเดลแว่นตาขนาด 2 พันล้านพารามิเตอร์ และรุ่นที่เปิดตัวก่อนหน้าในเดือนเมษายน 2026 ชื่อ Ternary Bonsai สำหรับไลน์ขนาดเล็กกว่า การค้นหาด้วยคำเปล่า ๆ จะสุ่มไปโผล่ในชุดนั้น

• Bonsai 27B — หัวข้อของหน้านี้ เป็นรุ่นแรกของสาย 27B ซึ่งพัฒนามาจาก Qwen3.6-27B ลงวันที่ 14 กรกฎาคม 2026 เมื่อหน้าใดกล่าวถึง "Bonsai 27B" โดยไม่มีคำขยายอื่นและไม่มีคำว่า "2" นี่คือโมเดลที่หมายถึง และนี่คือชื่อที่ควรใช้

• Ternary Bonsai 27B — ไม่ใช่โมเดลที่แตกต่างออกไป แต่เป็นแพ็กที่เน้นคุณภาพของ Bonsai 27B: โมเดล 27B ตัวเดียวกัน สถาปัตยกรรมเดียวกัน และฐานเดียวกัน แต่ใช้น้ำหนักแบบ ternary แทนแบบไบนารี รีโพซิทอรีมีชื่อว่า Ternary-Bonsai-27B-gguf และการ์ดโมเดลของมันระบุ Qwen3.6-27B เป็นฐาน เช่นเดียวกับการ์ดแบบไบนารีทุกประการ "Ternary" คือรูปแบบน้ำหนัก ไม่ใช่เวอร์ชัน

• Ternary Bonsai 2 27B — โมเดลที่แตกต่างอย่างแท้จริง รุ่นที่สองของสาย 27B สร้างขึ้นบน Qwen3.8-27B และเปิดตัวเมื่อวันที่ 17 กันยายน 2026 พร้อมการแบ่งพารามิเตอร์ที่ต่างออกไปและคำกล่าวอ้างเรื่องคุณภาพที่ต่างออกไป ตัวเลข "2" คือสิ่งที่บ่งบอกถึงความแตกต่างทั้งหมด

• 1-bit Bonsai 2B — สมาชิกอีกสายหนึ่งในระดับสเกลที่ต่างออกไป: โมเดลภาพ-ภาษา ขนาด 2 พันล้านพารามิเตอร์ สำหรับฮาร์ดแวร์ระดับแว่นตา ไม่ใช่โมเดล 27B ที่ความแม่นยำระดับใดก็ตาม

ดังนั้น ถ้าคุณมาที่นี่เพื่อตัดสินว่าในบรรดาตัวเลือกเหล่านี้ ตัวไหนคือโมเดล 27B คำตอบก็คือ บรรทัดที่สามและสี่ข้างบนเป็นโมเดลเดียวกันในสองรูปแบบน้ำหนัก และบรรทัดที่ห้าคือตัวที่ไม่ใช่ ในทางปฏิบัติ เรียกมันว่า Bonsai 27B และเติมคำว่า pack เข้าไปเมื่อจำเป็น

ข้อมูลจำเพาะ จากโมเดลการ์ด

ตัวเลขทุกตัวในส่วนนี้มาจากการ์ดโมเดลที่ PrismML เผยแพร่สำหรับทั้งสองแพ็ก และเป็นคำกล่าวอ้างของผู้ขายเองเกี่ยวกับโมเดลของตนเอง ในกรณีที่ตัวเลขหนึ่งเป็นข้อกล่าวอ้างมากกว่าจะเป็นผลจากการวัด จะมีการระบุว่าเป็นข้อกล่าวอ้าง

• พารามิเตอร์ — รวมทั้งหมดประมาณ 27.3B โดยที่ "27B" หมายถึงจำนวนทั้งหมดนั้น การแบ่งส่วนนี้น่าทราบ เพราะมันอธิบายพฤติกรรมการใช้หน่วยความจำ: ประมาณ 24.8B อยู่ในแกนหลักด้านภาษาผ่าน 64 บล็อก ประมาณ 2.5B อยู่ใน embedding และ LM head และประมาณ 0.46B อยู่ใน vision tower 27 บล็อก การแทนค่าแบบ low-bit ถูกนำไปใช้ตั้งแต่ต้นจนจบ — embedding, attention, MLP และ LM head — โดยไม่มีช่องทางหลบไปใช้ความแม่นยำสูงกว่าในเครือข่ายภาษาเลย

• บริบท — ทั้งหมด 262,000 โทเค็น โดยไม่มีตัวแปรแบบบริบทยาวและไม่มีบิลด์ที่ลดบริบท ต้นทุนของหน้าต่างนั้นถูกบริหารจัดการแทนที่จะจ่ายเต็มจำนวน: แกนหลักเป็นแบบไฮบริด ดังนั้นมีเพียง 16 จาก 64 เลเยอร์เท่านั้นที่เก็บแคชความสนใจแบบเต็ม และแคชนั้นถูกจัดเก็บในรูปแบบ 4 บิตที่เกือบไม่สูญเสียข้อมูล ที่หน้าต่างเต็ม 262K แคชที่ถูกบีบอัดคือสิ่งที่ทำให้โมเดลอยู่ในราว 9.4 GB บนแพ็กไบนารี และ 12.8 GB บนแพ็กไตรนารี

• ประเภทข้อมูล — ทั้งข้อความและรูปภาพ ครบทั้งสองแพ็ก หอคอยวิชันมาพร้อมในรูปแบบ 4-bit ที่กะทัดรัด (0.63 GB) โดยมีสำเนา BF16 (0.93 GB) อยู่เคียงข้าง วิชันยังเป็นส่วนที่การบีบอัดมีต้นทุนสูงที่สุด ซึ่งจะกล่าวถึงด้านล่างนี้

• รูปแบบน้ำหนักและขนาด — Bonsai 27B แบบ 1-bit ใช้น้ำหนักไบนารี {−1, +1} พร้อมการสเกลแบบรายกลุ่มด้วย FP16 จัดแพ็กเป็น GGUF Q1_0_g128 ที่อัตราบิตที่มีประสิทธิผลจริง 1.125 บิตต่อน้ำหนัก ไฟล์ที่จัดส่งมีขนาด 3.803 GB และการ์ดโมเดลปัดเศษพื้นที่การใช้งานจริงให้เหลือประมาณ 3.9 GB Bonsai 27B แบบ Ternary ใช้น้ำหนัก ternary {−1, 0, +1} พร้อมการสเกลแบบรายกลุ่มเดียวกัน ค่า ternary หนึ่งค่าบรรจุข้อมูลได้ log₂3 ≈ 1.585 บิต ดังนั้นขอบเขตล่างของรูปแบบการแทนนี้จึงอยู่ที่ ~1.71 บิตต่อน้ำหนัก ซึ่งคิดเป็น 5.9 GB ในอุดมคติ แพ็ก ternary ที่เผยแพร่มีขนาดใหญ่กว่าค่าอุดมคตินั้น เนื่องจากเคอร์เนลในปัจจุบันเก็บค่า ternary แต่ละค่าไว้ในสล็อต 2 บิต — 2.125 บิตต่อน้ำหนักเมื่อนำไปใช้จริง — และไฟล์ที่จัดส่งมีขนาด 7.165 GB PrismML ระบุตัวเลขทั้งสองค่าแทนที่จะระบุเฉพาะตัวเลขที่ดูดีเท่านั้น และช่องว่างระหว่างสองค่านี้เป็นข้อจำกัดของเคอร์เนลมากกว่าที่จะเป็นทางเลือกในการออกแบบโมเดล

• สัญญาอนุญาต — Apache 2.0 สำหรับทั้งสองแพ็ก ระบุไว้ในทั้งสองรีพอซิทอรีและในประกาศของผู้จำหน่าย เป็นสัญญาอนุญาตแบบเปิดกว้างที่ไม่จำกัดขอบเขตการใช้งาน ซึ่งที่ขนาดน้ำหนักนี้ถือว่าสำคัญกว่าที่ขนาดอื่น ๆ ส่วนใหญ่

• โมเดลฐาน — Qwen3.6-27B ในทั้งสองกรณี นี่เป็นการบีบอัดซ้ำจากโมเดลของคนอื่น มากกว่าจะเป็นโมเดลที่ฝึกตั้งแต่ต้น ผลที่ตามมาคือเพดานความสามารถของ Bonsai 27B และรอบการรีเฟรชของมัน ต่างก็สอดคล้องกับสาย 27B ต้นทาง มากกว่าของ PrismML

ความสัมพันธ์ไตรภาคี กล่าวเพียงครั้งเดียว

แพ็กทั้งสองเป็นโมเดลเดียวกัน และสรุปกันตามตรงก็คือ ternary ได้คุณภาพไป ส่วน binary ได้ขนาดพื้นที่ไป โดยช่องว่างระหว่างทั้งสองนั้นเล็กกว่าที่ความต่างของขนาด 3.9 GB กับ 7.2 GB ชี้ให้เห็น

บนชุดทดสอบโหมดคิด 15 เบนช์มาร์กของ PrismML เอง โมเดลฐาน FP16 Qwen3.6-27B ได้คะแนน 85.07 Ternary Bonsai 27B ได้ 80.49 — คงคุณภาพไว้ 94.6% ซึ่งผู้ขายปัดเป็นประมาณ % 1-bit Bonsai 27B ได้ 76.11 — 89.5% ปัดเป็นประมาณ 90% ดังนั้นแพ็กคุณภาพจึงกู้คืนได้ประมาณระยะห่างระหว่างแพ็กไบนารีกับความแม่นยำเต็มรูปแบบ ในขณะที่กินพื้นที่มากกว่าราว 3.3 GB และแพ็กไบนารีคือตัวที่รันได้บนโทรศัพท์ 12 GB ชุดทดสอบเดียวกันยังแสดงให้เห็นว่าบิลด์ 4-bit Q4_K_XL ของโมเดลฐานเดียวกันได้ 84.99 หรือคงคุณภาพไว้ 99.9% ในขนาด 17.6 GB ซึ่งเป็นการเปรียบเทียบที่อธิบายว่าทำไมแพ็กบิตต่ำตัวใดก็ตามจึงมีอยู่ตั้งแต่แรก เพราะมันชนะทั้งสองตัวในด้านคุณภาพ และแพ้บนทุกอุปกรณ์ที่มีหน่วยความจำน้อยกว่า 18 GB ให้โมเดล

จุดที่ binary pack ด้อยลงนั้นไม่สม่ำเสมอ และการแยกตามหมวดหมู่คือส่วนที่มีประโยชน์ เมื่อเทียบกับ FP16 baseline ค่าจะลดลงจาก 95.33 เหลือ 91.66 ในด้านคณิตศาสตร์ และจาก 88.74 เหลือ 81.88 ในด้านการเขียนโค้ด แต่ลดจาก 78.47 เหลือ 65.74 ในด้านการทำตามคำสั่ง, 80.00 เหลือ 66.03 ในงานเชิงเอเจนต์และการเรียกใช้เครื่องมือ และ 72.61 เหลือ 59.57 ในด้าน vision ถ้า workload ของคุณคือการคำนวณเลขหรือ code completion, 3.9 GB ก็แทบจะไม่มีต้นทุน ถ้าเป็นเอเจนต์ที่เรียกใช้เครื่องมือหรือการทำความเข้าใจภาพ นั่นแหละคือจุดที่การบีบอัดต้องแลกมาด้วยต้นทุนจริง ๆ

การ์ดโมเดลยังเผยแพร่ตัวเลขที่คำนวณได้ซึ่งเรียกว่าความหนาแน่นของสติปัญญา — คะแนนรวมต่อกิกะไบต์ ซึ่งปรับมาตรฐานให้คะแนนสมบูรณ์แบบเข้าใกล้อนันต์ ตามมาตรวัดนั้น 1-bit Bonsai 27B ทำได้ 0.530 และ Ternary Bonsai 27B ทำได้ 0.400 เทียบกับ 0.199 สำหรับบิลด์ 2-bit IQ2_XXS ของ baseline เดียวกัน, 0.155 สำหรับบิลด์ 4-bit Q4_K_XL และ 0.051 สำหรับโมเดล FP16 ตัวเลขที่น่าสนใจในรายการนั้นคือการเปรียบเทียบแรก: แพ็กไบนารีเอาชนะบิลด์ 2-bit แบบทั่วไปในด้านคุณภาพรวมด้วยขนาดพื้นที่ไม่ถึงครึ่ง ซึ่งเป็นแก่นข้อโต้แย้งทั้งหมดของตระกูลนี้ในบรรทัดเดียว

การเปรียบเทียบแบบตัวต่อตัวแบบเต็มรูปแบบระหว่างสองแพ็ก รวมถึงที่มาของตัวเลขของแต่ละแพ็ก ได้แสดงไว้ในหน้า Bonsai vs Bonsai 27B บนบล็อกนี้ ควบคู่ไปกับโมเดลขนาด 2 พันล้านพารามิเตอร์ที่ใช้ชื่อตระกูลเดียวกัน

คำถามหนึ่งข้อที่มาพร้อมกับโมเดลนี้สมควรได้รับคำตอบที่เป็นข้อเท็จจริงและไม่มากไปกว่านั้น แพ็กเหล่านี้เป็นการเข้ารหัสแบบบิตต่ำของโมเดลพื้นฐานเดียวกัน ไม่ใช่ตัวแปรที่ผ่านการฝึกใหม่ และคลังเก็บต่างๆ ไม่ได้เผยแพร่เช็กพอยต์ที่ปรับแต่งแยกต่างหากหรือไม่ถูกเซ็นเซอร์ไว้ข้างๆ พวกมัน — สิ่งประดิษฐ์ที่มีความแม่นยำเต็มรูปแบบเพียงอย่างเดียวที่มีให้คือการแปลงเป็น FP16 ที่ไม่ได้แพ็กของน้ำหนักเดียวกัน ซึ่งเผยแพร่ไว้เพื่อให้คุณเปรียบเทียบแพ็กที่บีบอัดกับค่าพื้นฐานของมันเองในเครื่องมือมาตรฐาน

น้ำหนักและสัญญาอนุญาต จากที่เก็บ

เวตของ Bonsai 27B ถูกเผยแพร่บน Hugging Face ภายใต้องค์กร prism-ml และรายการไฟล์ถือเป็นสิ่งที่เป็นรูปธรรมที่สุดเกี่ยวกับการเปิดตัวนี้ รีโพของแพ็กไบนารีบรรจุตัวโมเดลเองที่ 3.803 GB, FP16 GGUF ของโมเดลเดียวกันที่ 53.808 GB เพื่อเปรียบเทียบ, ดราฟเตอร์ DSpark สำหรับ speculative decoding ที่ 1.787 GB ในแบบ 4-bit และ 7.292 GB ใน BF16 และวิชันทาวเวอร์ที่ 0.931 GB และ 0.629 GB รีโพเทอร์นารีบรรจุแพ็กของตัวเองที่ 7.165 GB บวกแพ็กกิ้งชุดที่สองที่ 7.585 GB ซึ่งเป็น group-64 ไม่ใช่ group-128 และเข้ากันได้กับอัปสตรีมมากกว่าเป็นแบบที่เหมาะสมที่สุด พร้อมไฟล์ดราฟเตอร์และไฟล์วิชันเดียวกัน ทั้งสองรีโพเป็น Apache 2.0 และทั้งคู่ระบุ Qwen3.6-27B เป็นฐาน

มีสองประการที่ตามมาจากรายการนั้น ประการแรกคือ 53.808 GB เทียบกับ 3.803 GB คืออัตราส่วน 14.2 เท่าที่โมเดลการ์ดขึ้นต้นด้วย และมันตรวจสอบได้แทนที่จะเป็นแค่การกล่าวอ้าง — ไฟล์ความละเอียดเต็มก็อยู่ตรงนั้นเลย ประการที่สองคือรีลีสนี้หนักกว่าตัวโมเดล: ถ้าคุณนับรวม drafter และ vision tower ด้วย ซึ่งเส้นทางมัลติโมดัลจำเป็นต้องใช้ คุณจะเพิ่มประมาณ 2.4 GB ทับลงไปบนโมเดลขนาด 3.9 GB ตัวเลขพาดหัว 3.9 GB คือเวตภาษา ไม่ใช่การดีพลอย

ยอดดาวน์โหลดเป็นจุดเดียวที่แพ็กที่เน้นคุณภาพเป็นผู้นำ: ณ เดือนตุลาคม 2026 คลัง GGUF แบบ ternary มียอดดาวน์โหลดเกิน 590,000 ครั้ง เทียบกับเพียงกว่า 400,000 ครั้งของแพ็กไบนารี ขณะที่คอนเทนเนอร์ MLX ของทั้งสองแบบอยู่ที่มากกว่าหนึ่งล้านครั้งต่ออัน รูปแบบนี้บ่งชี้ว่าโมเดลนี้ส่วนใหญ่ถูกใช้งานบนฮาร์ดแวร์ Apple มากกว่าเซิร์ฟเวอร์ และผู้ที่ดาวน์โหลดกำลังซื้อคะแนนการคงคุณภาพเพิ่มอีกห้าคะแนน แทนที่จะเลือกไฟล์ที่เล็กที่สุดเท่าที่จะเป็นไปได้ — ซึ่งประมาณนั้นคือสิ่งที่ผู้จำหน่ายออกแบบทั้งคู่ไว้เพื่อ

กำลังรันมัน

สิ่งที่คุณจะได้รับในวันนี้คืออาร์ติแฟกต์สี่ชนิดต่อแพ็ก และชนิดที่คุณต้องการนั้นขึ้นอยู่กับรันไทม์ของคุณ มากกว่าคุณภาพ

• GGUF for llama.cpp — เส้นทางหลัก และเป็นเส้นทางที่เคอร์เนลบิตต่ำถูกเขียนขึ้นมาเพื่อรองรับ ทั้งสองแพ็กเป็นบิลด์ของ llama.cpp สำหรับ CUDA, Metal และ CPU แต่เคอร์เนล 1-bit และ ternary นั้นอยู่ในฟอร์กของ PrismML เอง ไม่ได้อยู่ในอัปสตรีม ดังนั้น llama.cpp เวอร์ชันมาตรฐานจึงยังโหลดพวกมันได้ไม่ถูกต้อง การแพ็ก ternary แบบ group-64 มีขึ้นมาเพื่อกรณีที่คุณต้องการความเข้ากันได้กับอัปสตรีม และยอมรับขนาด 7.585 GB แทน 7.165 GB เพื่อให้ได้สิ่งนั้น

• MLX สำหรับ Apple silicon — คอนเทนเนอร์ที่จัดส่งแยกกัน โดยแพ็กไบนารีมีขนาด 5.129 GB และแพ็ก ternary มีขนาด 8.491 GB โปรดทราบว่าคอนเทนเนอร์ไบนารีของ MLX มีขนาดใหญ่กว่าแพ็กไบนารีของ GGUF ซึ่งเป็นความแตกต่างด้าน overhead ของคอนเทนเนอร์ ไม่ใช่ความแตกต่างของโมเดล

• AWQ 4-bit สำหรับเฟรมเวิร์กเซิร์ฟเวอร์ — บิลด์ 4-bit ของแต่ละโมเดลสำหรับเฟรมเวิร์กการเสิร์ฟที่คาดหวังเช็กพอยต์ AWQ แบ่งเป็นเก้าชาร์ดรวมทั้งหมด 18.70 GB พร้อมสูตรสำหรับ multi-GPU นี่ไม่ใช่อาร์ติแฟกต์ low-bit; มันคือโมเดลเดียวกันที่ความแม่นยำซึ่งสมเหตุสมผลบนแร็ก และมันแลกทิ้งเหตุผลทั้งหมดที่โมเดลนี้มีอยู่ไป

• ไฟล์ safetensors แบบ FP16 ที่ยังไม่ได้บีบอัด — โมเดลเต็มขนาดราว 54 GB ในรูปแบบ Hugging Face มาตรฐาน ที่เผยแพร่ออกมาโดยเฉพาะสำหรับเฟรมเวิร์กที่ยังไม่รองรับเวตแบบ 1 บิตโดยตรง ผู้จำหน่ายระบุว่าไฟล์นี้จะถูกยกเลิกเมื่อเคอร์เนลบิตต่ำถูกนำเข้าสู่ต้นทาง (upstream) แล้ว

อัตราการประมวลผลถอดรหัสที่วัดได้บนแพ็กไบนารี จากตารางของการ์ดโมเดลเอง คือ 66.4 โทเคนต่อวินาทีบน M5 Max, 44.2 บน M5 Pro, 26.0 บน M4 Pro และ 104.8 บน H100 โดยมีพรีฟิลที่ 874, 421, 133 และ 2,755 โทเคนต่อวินาทีตามลำดับ หน้าประกาศระบุค่าสูงสุดที่สูงกว่า — สูงถึง 87 โทเคนต่อวินาทีบน M5 Max และ 163 บน RTX 5090 — ซึ่งเป็นการกำหนดค่าที่ดีที่สุดเท่าที่เป็นไปได้ของผู้ขายเอง ไม่ใช่ค่าจากตาราง ให้ถือว่าทั้งสองชุดเป็นเงื่อนไขการวัดที่แตกต่างกัน ไม่ใช่ข้อขัดแย้ง และให้ถือว่าทั้งคู่เป็นค่าที่ผู้ขายรายงาน หน่วยความจำสูงสุด ซึ่งมาจากการ์ดอีกเช่นกัน คือ 5.2 GB ที่คอนเท็กซ์ 4K, 5.6 GB ที่ 10K และ 11.6 GB ที่ 100K บนแพ็กไบนารี และ 8.4, 8.7 และ 14.7 GB บนแพ็กเทอร์นารี — โดยมีข้อแม้ว่าตัวเลขเหล่านั้นมีมาก่อนแคช KV 4 บิต ซึ่งเป็นสิ่งที่ทำให้หน้าต่าง 262K แบบเต็มลดลงเหลือระดับ GB หลักเดียว

ตัวร่าง DSpark เป็นทางเลือกเสริมและควรทำความเข้าใจก่อนเปิดใช้งาน เพราะมันไม่เปลี่ยนแปลงอะไรเกี่ยวกับผลลัพธ์: มันเป็นทรานส์ฟอร์เมอร์แบบบล็อกขนานหกชั้นที่ปรับเงื่อนไขด้วยสถานะซ่อนซึ่งดึงมาจากเลเยอร์เป้าหมายห้าเลเยอร์ที่เว้นระยะเท่า ๆ กัน มันเพิ่มหน่วยความจำประมาณ 0.5 GB ที่ความแม่นยำสำหรับการให้บริการ และมันตรวจสอบเทียบกับโมเดลเป้าหมายแทนที่จะสุ่มด้วยตัวเอง นั่นคือเหตุผลที่ผู้ขายสามารถอ้างความเร็วเพิ่มขึ้น 1.37 เท่าบน CUDA โดยไม่กระทบตัวเลขคุณภาพ มันไม่ได้เปิดใช้งานเป็นค่าเริ่มต้นบน Apple silicon

จุดที่โมเดลโลคัลไปต่อไม่ได้คือคำถามทางวิศวกรรมที่น่าสนใจ และมันเป็นคำถามเรื่องการจัดเส้นทาง มากกว่าคำถามเรื่องโมเดล โมเดลขนาด 3.9 GB บนแล็ปท็อปจัดการสิ่งที่พอดีกับคอนเท็กซ์ของมันได้ ส่วนที่เหลือต้องไปที่ใดที่หนึ่ง และที่แห่งนั้นคือโมเดลแบบโฮสต์ที่อยู่หลัง API OrcaRouter คือเลเยอร์นั้น — ปลายทางเดียวที่ครอบคลุมโมเดลแบบโฮสต์กว่า 200 โมเดล โดยไม่บวกเพิ่ม 0% จากราคาตามรายการของผู้ให้บริการ, การสลับสำรองอัตโนมัติระหว่างผู้ให้บริการ, และกฎการยกระดับจากระดับโลคัลไปยังระดับโฮสต์ที่กำหนดเป็นคอนฟิกูเรชันแทนการประกอบขึ้นเองด้วยมือ มันคือเลเยอร์ที่อยู่เหนือโมเดลโลคัล ไม่ใช่สิ่งที่มาแทนที่โมเดลนั้น

ดัชนีการเปรียบเทียบ

Bonsai 27B อยู่ในตระกูลหนึ่งซึ่งเพื่อนบ้านแต่ละตัวตอบคำถามคนละข้อ และหน้าเหล่านี้คือหน้าที่รองรับแต่ละข้อ — ไม่มีข้อใดถูกนำมาโต้แย้งซ้ำที่นี่

• Bonsai vs Bonsai 27B — โมเดลแว่นตาขนาด 2 พันล้านพารามิเตอร์ เทียบกับตัวนี้: พารามิเตอร์มากกว่า 16 เท่า และบริบทมากกว่า 256 เท่า รวมถึงเหตุใดชื่อตระกูลจึงไม่ได้บอกข้อมูลอะไรเกี่ยวกับสิ่งที่คุณกำลังดาวน์โหลด หน้านี้เป็นโพสต์บล็อกที่นี่ ไม่ใช่โมเดลที่โฮสต์ไว้ ซึ่งเป็นความแตกต่างที่ควรแยกให้ชัดในตระกูลนี้

• Bonsai 27B เทียบกับ Qwen3.8-27B — การเปรียบเทียบแบบตัวต่อตัวระหว่างโมเดลนี้กับฐานรุ่นใหม่กว่าที่มันไม่ได้ใช้ หน้าเฉพาะหน้าหนึ่งในชุดนี้มีการเปรียบเทียบดังกล่าว และเนื่องจากทั้งสองโมเดลมีชื่อที่คล้ายกันและห่างกันเพียงหนึ่งรุ่น จึงคุ้มค่าที่จะอ่านในฐานะเนื้อหาที่มีเหตุผลของตัวเอง มากกว่าจะเป็นส่วนขยายของข้อกำหนดนี้

• Bonsai vs Ternary Bonsai 2 27B — การก้าวกระโดดข้ามรุ่น และข้อเท็จจริงที่ว่าทั้งสองเวอร์ชันรายงานคุณภาพของตนโดยเทียบกับไม้บรรทัดที่ต่างกันคนละอัน: กรณีหนึ่งคือการรักษาระดับ baseline ไว้อีกกรณีหนึ่งคือข้ออ้างเชิงเปรียบเทียบ

• Ternary Bonsai 2 27B — รุ่นที่สองแบบเดี่ยว บน Qwen3.8-27B สำหรับผู้อ่านที่ตัดสินใจแล้วว่าต้องการรุ่นใหม่กว่าแทนรุ่นนี้

อะไรที่ยังไม่ยุติ

ตัวเลขด้านคุณภาพทุกตัวบนหน้านี้เป็นของ PrismML โดยวัดจากชุดเบนช์มาร์ก 15 รายการของ PrismML เอง และไม่มีใครนอกบริษัทเผยแพร่การทำซ้ำผลลัพธ์นี้ นั่นคือช่องว่างที่ใหญ่ที่สุดเพียงหนึ่งเดียวในสิ่งที่รู้เกี่ยวกับ Bonsai 27B: ข้อกล่าวอ้างเรื่องการบีบอัดมีความเฉพาะเจาะจงและตรวจสอบได้อย่างผิดปกติ และยังไม่ถูกตรวจสอบโดยบุคคลที่สาม ผู้ขายยังระบุชัดเจนว่าการเขียนโค้ดแบบเอเจนต์ — เวิร์กโฟลว์ระยะยาว หลายไฟล์ ทำงานแล้วแก้ไข — ไม่ใช่เป้าหมายสำคัญของรุ่นนี้ และว่ารุ่นย่อยที่ปรับมาเพื่อสิ่งนั้นคือสิ่งถัดไปบนโรดแมป ซึ่งสอดคล้องกับคะแนนที่ลดลงด้านการเรียกใช้เครื่องมือและการทำตามคำสั่งในหมวดหมู่ที่แยกไว้ข้างต้น จนกว่าจะมีการประเมินที่เป็นอิสระ ควรอ่านทั้งตัวเลขการคงไว้และอันดับความหนาแน่นเป็นจุดยืนของผู้ขาย มากกว่าผลลัพธ์ที่ได้รับการยืนยันแล้ว

สิ่งที่ได้ข้อยุติแล้วนั้นมีน้อยกว่าและมีประโยชน์มากกว่า: ค่าน้ำหนักมีอยู่จริง ขนาดต่างๆ สามารถตรวจสอบเทียบกับรายการไฟล์ได้ สัญญาอนุญาตคือ Apache 2.0 และแพ็กทั้งสองชุดแตกต่างกันประมาณ 3.3 GB เพื่อแลกกับคุณภาพที่คงไว้ประมาณห้าคะแนน เท่านี้ก็เพียงพอที่จะเลือกระหว่างสองชุดนี้แล้ว ชุดใดในสองชุดนี้ที่เหมาะกับคุณนั้นขึ้นอยู่กับว่าภาระงานของคุณดูเหมือนการคำนวณมากกว่า หรือดูเหมือนการเรียกใช้เครื่องมือมากกว่า และตัวเลขในหมวดหมู่ข้างต้นเป็นหลักฐานที่ดีที่สุดเท่าที่มีอยู่ในวันนี้สำหรับการตัดสินใจนั้น