Bonsai 2 vs Ternary Bonsai 2 27B: 패밀리 이름이 두 가지 역할을 하고 있다

를 검색하면Bonsai 2 대략 다섯 개의 서로 다른 아티팩트가 나오며, 그 풋프린트는 10배(한 자릿수) 범위에 걸쳐 있고, 이름만으로는 특정 글이 어느 것을 말하는지 분명하지 않다. Ternary Bonsai 2 27B가 바로 그 특정 모델이다 — Qwen3.8-27B를 기반으로 구축된 단일 27B급 삼진 모델로, 2026년 9월 17일에 발표되었으며 5.95GB dense-trit 팩 또는 7.21GB 2-bit-slot 팩으로 제공된다. Bonsai 2는 포괄 명칭이다: 같은 이름이 Ternary Bonsai 2 2B, Ternary Bonsai 2 4B 및 Ternary Bonsai 2 9B — 훨씬 더 작은 이 세 모델은 Qwen3.5를 기반으로 하며 2026년 10월 15일에 발표되었고, 이제는 하나의 태그 패밀리 아래에서 네 가지 크기를 모두 제공하는 Ollama 라이브러리 항목까지 아우른다.

그러니까 이것은 흔한 맞대결이 아니다. 한쪽이 다른 쪽의 부분집합이고, 유용한 질문은 어느 쪽이 더 나은가가 아니라, 검색창에 "Bonsai 2"를 입력한 독자가 실제로 원하는 것이 둘 중 어느 쪽인가이다. 답은 이름 짓기가 감추고 있는 무엇인가에 달려 있다. 즉, 이 패밀리는 두 개의 패밀리이며 기본 모델을 기준으로 갈리고, 그 분기점은 크기 숫자가 시사하는 곳에 있지 않다.

하나의 이름을 쓰는 두 가족

공개된 파일들의 GGUF 헤더를 읽어 보면, 그 이음새는 메타데이터 필드에 바로 있습니다. 모든 Bonsai 2 아티팩트 — 2B, 4B, 9B, 27B 모두 — 는 general.architecture = qwen35를 보고합니다. 그 문자열은 Qwen3.5 하이브리드 어텐션 백본이며, 작은 세 모델에게는 정확히 맞습니다: 모델 카드에는 Qwen3.5-2B, Qwen3.5-4B, Qwen3.5-9B가 아키텍처가 변경되지 않은 기본 모델로 나열되어 있습니다. 27B는 다른 동물입니다. 그 기본은 Qwen3.8-27B로, 더 새롭고 더 강력한 27B 하이브리드 어텐션 모델이며, Qwen3.8이 동일한 백본 계열을 유지하기 때문에 우연히 아키텍처 문자열을 공유합니다.

벤더 자체의 릴리스 노트는 두 개를 나란히 읽으면 그 분리가 보이지만, 각각 따로 읽으면 보이지 않는다. 10월 15일 자 소형 모델에 대한 게시물은 그들이 "Qwen3.5에 기반한다"고 말하며, Bonsai 2 27B에 합류하는 것으로 설명한다 — 이는 다른 것으로 정확하게 표현된다. 9월 17일 자 27B에 대한 게시물은 Qwen3.8-27B라고 말한다. 두 개의 발표, 두 개의 기본 모델, 하나의 패밀리 이름, 그리고 "Bonsai 2는 Qwen3.5에 기반한다"고 말하는 제3자 기사는 완벽하게 출처가 탄탄해 보이면서도 27B에 대해서는 틀렸다.

이것이 중요한 이유는 여기서 베이스 모델의 세대가 세부 사항이 아니기 때문입니다. 그것은 역량의 상한을 정하고, 유지율 백분율이 무엇의 백분율인지를 정하며, 소형 모델들의 벤치마크 수치와 27B의 벤치마크 수치가 하나의 곡선 위의 두 점이 아니라는 뜻입니다 — 그것들은 두 개의 서로 다른 기준선에 대한 두 개의 별도 보고서입니다. 그것들을 한 열에 나란히 정렬한 어떤 표든 의심스럽게 여기십시오.

숫자를 나란히

모든 수치는 Prism ML이 보고한 벤더 제공 수치이며, 독립적으로 재현된 것은 없습니다.

• 기본 모델 — Ternary Bonsai 2 2B / 4B / 9B: 각각 Qwen3.5-2B, -4B, -9B; Ternary Bonsai 2 27B: Qwen3.8-27B

• 발표 — 소형 3종은 2026년 10월 15일, 27B는 2026년 9월 17일

• 가장 작은 언어 모델 팩 — 2B 기준 0.429 GB PTQ1_0; 9B 기준 1.997 GB PTQ1_0; 27B 기준 5.947 GB PTQ1_0

• 기본 팩 — 모두 PQ2_0: 각각 0.517 GB, 1.146 GB, 2.417 GB, 7.206 GB

• 가중치당 비트 수 — 2B에서 ~1.83, 4B에서 ~1.81, 9B에서 ~1.78, 27B에서 이상적 1.72 / 패킹 시 1.75

• 컨텍스트 — 전체 제품군 전반에 걸쳐 262,144 토큰, Qwen 백본에서 계승됨

• Vision — 모든 크기마다 별도의 mmproj 팩, 이미지가 도착할 때만 로드됨

• 라이선스 — 전체적으로 Apache 2.0

• 보고된 유지율 — 27B: 14개 벤치마크 전반에서 Qwen3.8-27B FP16 대비 98.2%; 소형 모델: 6개 기술 영역에 걸친 19개 벤치마크로, 자체 Qwen3.5 기준선 대비 범주별 유지율로 보고됨

그 목록의 한 줄이 27B가 5.95GB인데 9B는 2.00GB인 이유이며, 그것은 단지 파라미터 수 때문만은 아니다. 27B는 임베딩, 어텐션 프로젝션, MLP 프로젝션, LM 헤드 전반에 걸쳐 "엔드투엔드 삼진(ternary)"으로 설명되는데, 여기에는 결정적인 세부 사항이 있다: 소수의 텐서 — 선형 어텐션 계층의 순환 상태 경로와 정규화 가중치, 약 2,620만 개 파라미터, 언어 모델의 0.0976% — 가 더 높은 정밀도로 유지되며, 그 나머지가 대표 수치를 가중치당 1.71비트에서 1.72비트로 이동시킨다. 9B에서는 같은 구조가 약 1.78을 낸다. 더 큰 모델은 가중치당 더 효율적이며, 덜 효율적인 것이 아니다. 고정된 고정밀도 오버헤드가 열 배나 많은 파라미터에 걸쳐 분산되기 때문이다. 가중치당 비트 표에서 어느 크기를 선택할지 고민하고 있다면, 표가 가리키는 방향은 바로 그쪽이다.

소형 모델이 실제로 이기는 곳

품질이 아니라 — 주장의 형태입니다. 소형 모델 릴리스는 이 제품군에서 장황함 주장을 공개한 유일한 사례이며, 두 발표 중 어느 쪽에 담긴 내용보다도 가장 검증하기 쉬운 항목입니다: Prism ML은 9B가 표준 지시 수행 및 일상적인 수학 작업에서 토큰을 약 40% 더 적게 사용한다고 보고합니다. 이는 능력이 아니라 출력 길이에 관한 진술이며, 오후 한나절이면 자신의 프롬프트로 검증할 수 있습니다. 같은 글에서는 반복 루프 회피와 장황함 제어를 명시적인 개발 우선순위로 나열하는데, 이는 이전 세대에 문제가 있었을 때 쓰는 종류의 문장입니다.

또한 이는 여러 범주에서 100%를 넘는 유지율을 보고한 유일한 릴리스이기도 하다 — 2B의 명령 수행에서 121.5%, 수학에서 107.8%, 코딩에서 115.0%로, 완전 정밀도 Qwen3.5 기준선과 비교한 수치다. 이는 벤더가 자체 스위트에서 측정한 벤더 자체의 수치이며, 압축된 모델이 손수 고른 벤치마크에서 원본 모델을 앞선다는 것은 적어도 삼진 산술만큼이나 학습과 하네스에 관한 주장이다. 27B의 보고서는 더 보수적으로 형성되어 있다 — 86.32 대비 84.78, 수학은 97.06 대비 96.57, 코딩 수준은 89.07 대비 89.42이며, 손실은 지식/추론과 비전에 집중되어 있는데, 이는 1.7비트 표현이 마땅히 만들어내야 할 양상이다. 한 보고서의 손실은 이론이 예측하는 바로 그 지점에 떨어지고 다른 보고서의 이득은 벤더가 전면에 내세우기로 선택한 범주에 떨어질 때, 그 비대칭성 자체가 정보인 셈이다.

패키징: 27B의 조용한 강점

2026년 10월 17일부터 네 가지 크기 모두 Ollama에서 bonsai-2:2b, :4b, :9b, :27b로 풀할 수 있습니다 — 총 9개 태그이며, 각 크기에는 -q2_0 별칭도 있습니다. 이는 최근 일이고 벤더가 공지한 바 없으며, 실제로 무엇을 제공하는지 알아둘 가치가 있습니다. Ollama의 태그는 Q2_0 패킹으로 귀결되는데, 이는 업스트림 llama.cpp가 로드할 수 있는 유일한 패킹입니다. 이 제품군에서 가장 작은 파일인 dense-trit PTQ1_0 팩은 레지스트리에 아예 없습니다. 따라서 편리한 경로와 작은 경로는 서로 다른 경로이며, 네 가지 크기 모두 마찬가지입니다.

27B가 다른 점은 무엇을 제공하지 않느냐에 있습니다. 4B와 9B에는 각각 두 가지 선택적 추측 디코딩 드래프터가 함께 제공됩니다. 2비트 슬롯 팩에 내장된 MTP 헤드와, 복사 비중이 높은 작업에 도움이 되지만 일반 채팅에서는 일반 디코딩보다 느린 DFlash2 블록 드래프터입니다. 2B는 의도적으로 드래프터 없이 출시됩니다. 벤더의 설명에 따르면 그 정도 크기에서는 디코딩 단계 자체가 이미 저렴하고, swept-depth 드래프팅은 일상적인 프롬프트에서 일반 디코딩보다 느린 것으로 측정되었기 때문입니다. 27B 세대는 1세대 전신 모델이 탑재했던 동등한 드래프터를 제외했습니다.

그것은 크기 간의 실질적인 역량 차이이며, Ollama 페이지에는 전혀 나와 있지 않습니다.

결정하기, 그리고 그 답을 어떻게 다룰지

장기적 추론이 필요한 워크로드라면 27B를 선택해야 한다: 코드, 수학, 에이전트형 도구 체인, 262K 컨텍스트에 담는 긴 문서 등이다. 이는 Qwen3.8 세대의 베이스 모델을 갖춘 패밀리 내 유일한 크기이며, 공급업체의 범주별 분석에 따르면 이 압축은 수학과 코딩에서는 거의 손해가 없지만 지식 회상과 비전에서는 대가를 치르게 한다.

9B는 제약이 난이도가 아니라 메모리일 때 선택할 모델입니다. 노트북 상주형 어시스턴트, 휴대폰 배포, 2 GB와 6 GB의 차이가 출시와 미출시를 가르는 모든 경우 말입니다. 공개된 프로필은 27B가 기준선 대비 가장 취약한 바로 그 지점, 즉 지시 따르기와 장황함 제어에서 가장 강합니다. 이는 작은 로컬 어시스턴트가 실제로 토큰을 쓰는 부분입니다. 2B와 4B는 더 빡빡한 예산을 위해 존재하며, 그 크기에서는 유지 수치가 충분히 들쭉날쭉해져서 벤더의 표보다 직접 작성한 프롬프트가 더 나은 지침이 됩니다.

대부분의 독자가 실제로 하게 될 비교, 즉 서로를 비교하기보다 호스팅 모델과 비교하는 것에 관한 참고 사항입니다. Bonsai 2의 두 크기 모두 OrcaRouter를 통해 제공되지 않으며, 이 글은 그렇다고 암시하는 것도 아닙니다 — 그것들은 직접 다운로드하는 가중치입니다. 하지만 "2GB 로컬 모델이 이 작업에 충분히 좋은가?"라는 질문은 무엇인가와 비교해 측정함으로써 답이 나오며, OrcaRouter는 다음을 배치합니다: 200개 이상의 호스팅 모델 앞에 0% 마크업으로 하나의 API를 제공업체 정가가 그대로 전달되도록 하면서, 제공업체 간 자동 장애 조치와 여러 모델을 하나의 호출로 구성하기 위한 라우팅 DSL을 함께 제공합니다. 호스팅 모델로 기준을 세운 다음, 로컬 모델이 당신의 하드웨어에서 그 기준을 넘어서는지 테스트하세요. 그 순서를 따르면, 결코 충분해질 수 없었던 다운로드를 튜닝하며 사람들이 허비하는 몇 주를 아낄 수 있습니다.

이 글에서 가져가야 할 주의점이 하나 있습니다. 두 릴리스 모두 유지율을 보고하는데, 둘 다 벤더 자체 하네스에서 벤더가 측정한 것이며, 오늘 현재 제3자가 어느 쪽도 재현하지 못했습니다. 스스로 검증할 수 있는 단 하나는 아티팩트입니다 — 파일 크기, 패킹, GGUF 메타데이터, 라이선스, 그리고 자신의 머신에서의 처리량입니다. 여기서 시작해야 하며, 바로 여기서 두 발표가 서로 닮지 않게 됩니다: 27B의 독립형 팩 크기는 Hugging Face에 파일별로 공개되어 있고, 소형 모델들의 입소문상 용량인 0.43GB, 0.95GB, 2GB는 비전 타워를 제외한 언어 모델만을 가리킵니다. 같은 기준으로 비교하지 않으면 9B는 애초에 하지도 않은 논쟁에서 진 것처럼 보일 것입니다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.