Bonsai 2 vs Bonsai 27B: 하나는 받을 수 있고, 다른 하나는 받을 수 없다

가장 구체적인 차이는 Bonsai 2와 Bonsai 27B 사이에 있으며, 이는 벤치마크와는 아무 관련이 없습니다. 2026년 10월 17일, Bonsai 2 제품군 전체를 아우르는 Ollama 라이브러리 항목이 공개되었습니다 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B 및 Bonsai 2 27B — 그리고 1세대에 대응하는 항목은 없습니다. 해당 레지스트리에서 bonsai-27b, ternary-bonsai-27b 또는 어떤 변형 이름을 찾아도 404가 반환됩니다. Bonsai 27B는 Prism ML이 2026년 7월 14일에 출시했으며, 공급업체의 Hugging Face 리포지토리에서 다운로드하여 Prism ML llama.cpp 포크로 실행해야 합니다. Bonsai 2는 한 줄 설치로 끝납니다.

그 비대칭성은 이 선택의 실질적인 전체 형태이며, 두 이름이 버전만 올라간 하나의 제품 라인처럼 보이기 때문에 놓치기 쉽습니다. 이 둘은 두 세대, 두 가지 기본 모델, 서로 다른 두 가지 패키징 세트이며 — 이번 주 기준으로 — 서로 다른 두 가지 전달 메커니즘입니다. 다음에서는 이 둘 사이에서 실제로 무엇이 바뀌었는지, 구형이 여전히 우세한 부분, 그리고 답이 어느 쪽도 아닌 단 하나의 구성에 대해 다룹니다.

각각이 무엇인지

둘 다 Qwen 하이브리드 어텐션 모델의 삼진 압축이다. 어느 것도 새로 훈련된 모델이 아니다 — 아키텍처, 가중치, 양자화 인식 훈련은 Qwen 베이스에서 비롯되었고, Prism ML이 기여하는 것은 삼진 표현과 이를 소비하는 커널이다.

• 세대 — Bonsai 2 (2026년 9월, 2026년 10월로 연장) vs Bonsai 27B (2026년 7월 14일)

• 27B 크기의 베이스 모델 — Qwen3.8-27B vs Qwen3.6-27B

• 패밀리 전반의 베이스 모델 — Bonsai 2에 포함된 Qwen3.5-2B, -4B, -9B 및 Qwen3.8-27B; 1세대에 포함된 단일 Qwen3.6-27B

• 제공되는 크기 — 네 가지(2B, 4B, 9B, 27B) 대 한 가지(27B)

• 27B에서 두 개의 동작점 — 아니, 하나: Bonsai 2 27B는 삼진만 제공하는 반면, Bonsai 27B는 삼진 빌드와 이진 빌드를 모두 제공했다

• 가장 작은 27B급 풋프린트 — Bonsai 2의 PTQ1_0 5.95GB vs 1세대 1비트 빌드의 3.9GB

• 컨텍스트 — 양쪽 모두 Qwen 백본에서 상속된 262,144 토큰

• 라이선스 — 둘 다 Apache 2.0

• 배포 — Bonsai 2용 Ollama 태그 및 Hugging Face; Bonsai 27B용 Hugging Face와 Prism ML llama.cpp 포크

다른 어떤 것보다 더 많은 배포를 좌우하는 행은 다섯 번째 행이다. Bonsai 27B는 메모리를 쓰는 두 가지 방식으로 출시되었다: 약 7.2 GB의 삼진(ternary) 빌드와 3.9 GB의 이진(binary) 빌드. Bonsai 2 27B는 한 가지로 출시된다 — dense-trit 패킹에서 5.95 GB 또는 2-bit-slot 패킹에서 7.21 GB의 삼진 빌드 — 그리고 이 세대에는 이진 동반 빌드가 없다. 첫 세대의 3.9 GB 빌드를 실행 중이면서 동등한 후속 빌드를 기대했다면, 27B에는 그런 것이 없다.

그 세대가 실제로 구매한 것

Prism ML 자체 수치이며, Prism ML 자체 하네스에서 측정된 것으로, 독립적인 재현 결과는 제공되지 않습니다. 1세대 3진(ternary) Bonsai 27B는 사고 모드 평균 80.49를 보고했으며, 이는 Qwen3.6-27B FP16 참조 모델의 85.07과 대비됩니다 — 15개 벤치마크에서 94.6% 유지되었습니다. Bonsai 2 27B는 84.78을 보고했으며, 이는 Qwen3.8-27B FP16의 86.32와 대비됩니다 — 14개 벤치마크에서 98.2%입니다. 절대 수치로 보면, 압축된 모델은 벤더의 척도에서 약 4.3점 상승했습니다.

두 가지 단서는 함께 짚어야 합니다. 헤드라인이 데이터가 뒷받침하는 것보다 더 깔끔한 해석을 이끌어내기 때문입니다. 첫째, 벤치마크 스위트는 동일한 세트가 아닙니다 — 한쪽은 15개, 다른 쪽은 14개 — 그리고 기준 모델이 Qwen3.6-27B에서 Qwen3.8-27B로 바뀌었는데, 그 자체로 더 강력한 모델이었습니다. 벤더 자체의 27B 모델 카드는 이전 릴리스를 새로운 14개 벤치마크 스위트에서 다시 계산해 동일 조건 비교 행을 제시함으로써 두 번째 요점을 명확히 합니다: 그 공통 기준에서 이전 릴리스는 80.98점을, Bonsai 2 27B는 84.78점을 기록합니다. 따라서 이 변화에 대한 정직한 해석은 동일한 벤치마크 세트 기준 약 3.8점이며, 그중 일부는 기본 모델에서, 일부는 삼진(ternary) 학습에서 비롯됩니다. 유지율은 94.6%에서 98.2%로 상승했는데, 이는 부분적으로 분모가 바뀌었기 때문입니다.

둘째, 손실의 형태는 총합보다 더 많은 정보를 준다. 동일한 14개 벤치마크 스위트에서 Bonsai 2 27B는 지속적 추론이 드러나는 영역에서는 거의 아무것도 내주지 않는다: 수학은 96.57 대 97.06, 코딩은 89.42 대 89.07 — 같은 수준이며 근소하게 앞선다 — 그리고 지시 수행은 82.66 대 81.25로 앞선다. 지식과 추론은 85.55에서 79.86으로 떨어지고, 비전은 71.36에서 66.19로 떨어진다. 이는 가중치당 1.72비트 표현에서 예상할 수 있는 프로필이다: 추론 핵심은 살아남고, 사실 회상과 이미지 이해가 타격을 입는다. 워크로드가 코드와 수학이라면 압축은 거의 무료에 가깝다. 코퍼스에 대한 검색형 질의응답이라면 그렇지 않다.

3.9 GB 슬롯이 바로 여기서 흥미로워지는 부분입니다

두 세대라는 프레이밍이 감추는 부분은 바로 이것이다. 첫 번째 세대의 가장 독특한 산물은 바이너리 빌드였다: 3.9GB에 담긴 27B 모델로, 15개 벤치마크 평균 76.11에서 FP16의 벤더 보고 89.5%를 유지했다. Bonsai 2에는 바이너리 27B가 없다. 하지만 Bonsai 2에는 dense-trit 패킹으로 1.997GB, 2-bit-slot 패킹으로 2.42GB인 9B가 있다 — 바이너리 27B의 메모리 풋프린트의 약 절반이며, 더 새로운 세대와 더 새로운 베이스 모델에서 나온 것이다.

9B가 1비트 27B보다 더 나은가? 공급업체는 그 질문에 답하는 숫자를 보고하지 않았으며, 당신이 그런 숫자를 만들어 내서도 안 된다. 두 모델은 서로 다른 평가 세트에서 평가되었다 — 소형 Bonsai 2 모델들은 6개 기술 영역에 걸친 19개 벤치마크, 1세대 27B는 15개 — 또한 서로 다른 베이스라인을 기준으로 평가되었다. 그리고 소형 모델들의 릴리스 보고서는 27B의 76.11에 비견되는 단일 절대 평균이 아니라, 각자에 대응하는 완전 정밀도 Qwen3.5 모델 대비 범주 유지율을 보고한다. 존재하는 비교는 벤치마크별이며 양방향을 가리킨다. 공급업체 수치에 따르면 9B는 BFCLv3에서 71.81점, Tau2Bench에서 73.02점을 기록한 반면, 바이너리 27B는 BFCL v3에서 74.41점을 기록했다 — 평가 세트 차이가 그것을 삼켜버릴 만큼 가깝다.

과장하지 않고 말할 수 있는 것은 더 좁지만 여전히 유용합니다: binary 27B가 혼자 차지하던 풋프린트 등급에는 이제 차세대에서 더 저렴한 진입 모델이 등장했고, 둘은 서로 너무 비슷해서 누구도 벤더 표만 보고 둘 중 하나를 골라서는 안 됩니다. 그것은 숫자를 믿으라는 것이 아니라 자신의 프롬프트로 측정해야 한다는 근거입니다. 또한 이 비교에서 답이 정말로 제목에 있는 두 모델 중 어느 쪽도 아닌 유일한 지점이기도 합니다.

그것들을 실행하기: 숫자와 숨은 함정

처리량 수치는 벤더가 측정한 것으로 공통된 장비에서 측정된 것이 아니므로, 순위라기보다는 대략적인 규모로 해석해야 한다.

• Apple M5 Max에서의 Bonsai 2 27B — 이전 pre-rotation 빌드에서 약 47 tok/s, 현재 스택에서 재측정 예정

• M5 Pro에서의 Bonsai 2 27B — 2비트 슬롯 패킹에서 28.1 tok/s, GPU 레일에서 약 27.5 W

• RTX 5090에서의 Bonsai 2 27B — 2비트 슬롯 패킹에서 129.9 tok/s, 덴스 트릿 패킹에서 120.5

• 1세대 ternary Bonsai 27B는 M5 Max에서 44.0 tok/s; H100에서는 98.0 tok/s이며, 자체 DSpark 드래프터와 함께 약 131.8까지 상승합니다

• iPhone 17 Pro Max에서의 1세대 바이너리 Bonsai 27B — 약 11 tok/s, 발열로 인한 성능 제한

문제는 패키징이며, 이는 두 세대 모두에게 똑같이 작용한다. 어느 세대의 삼진 커널도 업스트림 llama.cpp에 없다. 첫 번째 세대는 모든 파일에 Prism ML 포크가 필요하다. Bonsai 2는 동일한 가중치의 세 가지 패킹을 제공하는데, 업스트림 llama.cpp는 최근 master의 Q2_0 하나만 실행하고, 더 작은 PTQ1_0과 더 빠른 PQ2_0은 알 수 없는 유형으로 거부한다. 따라서 이론적인 가중치당 1.72비트에 가장 가까운 고밀도 트릿 팩이 바로 포크된 빌드를 필요로 하는 팩이다.

그건 곱씹어 볼 가치가 있다. 왜냐하면 그것이 Ollama 목록을 설명해 주기 때문이다. Bonsai 2의 Ollama 태그들은 Q2_0을 제공한다. 9B 태그의 모델 레이어는 2.557GB로, Hugging Face의 Q2_0 파일 크기와 바이트 단위까지 정확히 일치하며, 가장 작은 PTQ1_0 팩은 레지스트리에서 아예 빠져 있다. 그 목록이 그 밖에 무엇이든, 그것은 가장 작은 아티팩트로 가는 경로가 아니다. 여기서는 편의성과 설치 용량이 맞바뀌고 있으며, 파일 크기를 읽어 보지 않으면 그 맞바꿈은 보이지 않는다.

둘 중 하나로 가기

Ollama를 사용 중이라면 선택은 이미 정해져 있습니다: Bonsai 2, 네 가지 크기, ollama pull bonsai-2:27b 또는 :9b, 비전 프로젝터를 포함해 디스크에서 대략 8.3GB와 3.2GB입니다. dense-trit 패킹, 추측 디코딩(스페큘레이티브 디코딩) 드래프터, 또는 1세대의 무엇이든 필요하다면, Hugging Face 다운로드와 포크 빌드가 필요하며, 벤더의 데모 리포지토리가 그 경로에 대한 검증된 참조입니다.

라우팅 계층이 여기서 진짜로 도움이 되는 지점은 질문의 반대편에 있습니다. 여러분은 이 둘 중 어디로도 라우팅할 수 없습니다. 이들은 로컬 가중치이고, OrcaRouter는 현재 어떤 Bonsai 크기도 서비스하지 않습니다. OrcaRouter가 제공하는 것은 비교 기준선입니다: 0% 마크업으로 200개 이상의 호스팅 모델 앞에 놓인 단일 API, 제공업체 정가 그대로 적용, 제공업체 간 자동 장애 조치 포함. 대부분의 팀에게 합리적인 순서는 호스팅 모델에서 어떤 작업이 실제로 무엇을 필요로 하는지 확립한 다음, 2GB, 3.9GB 또는 6GB 로컬 모델이 그 기준을 통과하는지 판단하는 것입니다 — 잔존율 퍼센티지로 추측하기보다는 말이죠.

구체적으로 어느 것인가요?

• 27B의 최신 삼진 세대와 명령 하나로 끝나는 설치를 원한다면 — Ollama를 통한 Bonsai 2 27B, Q2_0 패킹과 더 큰 디스크 상 크기를 감수하는 선택.

• 가능한 한 가장 작은 27B급 아티팩트를 원하거나, DSpark 드래프터 — Hugging Face의 1세대 Bonsai 27B, 포크 빌드 — 에 의존하는 경우. Bonsai 2에서 27B에서 이를 대체하는 것은 아무것도 없습니다.

• 당신은 3.9GB 바이너리 빌드를 실행하고 있었고 그 풋프린트를 유지해야 합니다 — Bonsai 2에 후속 버전이 있다고 가정하지 마세요. 그대로 머무르거나, Bonsai 2 9B를 자신의 프롬프트를 기준으로 측정해 보세요. 크기는 절반이고 한 세대 더 새롭지만, 벤더는 이를 확정하는 비교 자료를 공개하지 않았습니다.

• 하나의 런타임에서 네 가지 크기 클래스가 필요합니다 — Bonsai 2가 이를 제공하는 유일한 세대입니다.

이 모든 것을 단순화해 줄, 주목해야 할 한 가지: ptq1_0 태그가 Ollama 목록에 등장하는 것입니다. 그렇다면 dense-trit 커널이 Ollama가 제공하는 엔진에까지 도달했다는 뜻이고, 가장 작은 팩에 대해서는 포크 요구 사항이 사라지며, 편의성 대 풋프린트의 트레이드오프는 더 이상 트레이드오프가 아니게 됩니다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.