Nanbeige4.3-33B, 첫 외부 점수 20 기록: Qwen3.8-27B와 동일한 수준, 그리고 두 배나 수다스러움

2주 동안 Nanbeige4.3-33B가 무엇이든 잘한다는 유일한 증거는 연구소가 스스로에 대해 작성한 20행짜리 표뿐이었다. 11월 5일 상황이 바뀌었다: Artificial Analysis는 Nanbeige4.3-33B를 자사의 Intelligence Index v5.0.1에 20점으로 올렸다. 이는 Qwen3.8-27B에 최고 추론 설정에서 부여하는 점수와 같다. 종합 점수 20, 기반 v5.0 실행에서 Qwen 모델은 20.1이었다. 0.1점 차이는 동일 체크포인트를 두 번 평가할 때 생기는 노이즈보다 작으므로, 두 모델을 모두 측정하는 유일한 공개 종합 지표에서 두 모델은 막상막하이다.

그것은 그 릴리스가 기다리던 숫자이며, 그 측정에서 가장 흥미롭지 않은 부분이다. 이 종합 점수는 두 절반이 서로 반대 방향을 가리키는 모델을 감추고 있다. 능가하도록 만들어졌던 Qwen 모델보다 훨씬 앞서는 에이전트형 절반과, 측정 가능할 정도로 그 모델에 뒤처지는 지식 절반이다. 또한 Nanbeige4.3-33B가 그 20점에 도달하는 데 1억 6천만 개의 출력 토큰을 썼다는 사실도 감추고 있다. 이는 비교 클래스의 중앙값 모델이 소모하는 양의 두 배가 넘고, Artificial Analysis의 장황성 지표에서 8개 중 최하위에 올려놓을 만큼 충분하다.

그래서 이번 릴리스에 대한 정직한 해석은 더 이상 "미검증"이 아닙니다. 그것은 "검증되었고, 벤더 표가 시사한 것보다 더 기이합니다"입니다. 다음은 독립 실행이 실제로 말하는 바와, 그것이 Nanbeige 자체 수치와 일치하는 지점, 그리고 외부 측정이 나온 유일한 지점입니다 — 더 높게연구소 자체 주장보다

20이 의미하는 것과 의미하지 않는 것

Artificial Analysis는 Nanbeige4.3-33B를 자체 비교 클래스의 9개 중 1위로 배치하며, 해당 클래스의 중앙값은 10입니다. 그 클래스는 사이트가 함께 비교해 표시하는 비슷한 크기의 오픈웨이트 모델 9개이며, 사이트는 별도로 더 넓은 비교 코호트에 144개 모델이 포함되어 있다고 밝힙니다. 두 모집단을 동시에 염두에 둘 가치가 있습니다. 대략 비슷한 크기의 오픈웨이트 모델과 비교하면 측정된 것 중 가장 강력하고, 전체 분야 — 프런티어 폐쇄형 모델과 Qwen, DeepSeek, Anthropic의 최고 모델을 포함 — 와 비교하면 20점은 견고한 중위권 결과입니다.

9개 중 1위와 중간권 점수 사이의 그 격차는 붙들어 둘 가치가 있습니다. 왜냐하면 그 격차야말로 릴리스가 "Qwen을 이긴다"라고 요약될 때 정확히 사라지는 격차이기 때문입니다. 33B 오픈 웨이트 모델이 자신보다 몇 배 큰 모델들이 지배하는 종합 지표에서 중간권에 오르는 것은 진정한 성과입니다. 그것은 프런티어급 결과가 아니며, 이 릴리스의 어떤 표현도 그와 다르게 암시해서는 안 됩니다.

이 인덱스에 포함되지 않는 것은 가격입니다. 가격이 없는 이유는 호스팅 엔드포인트가 없기 때문입니다. Artificial Analysis는 "공개적으로 사용 가능한 API 없음"이라고 기록하고, 해당 저장소의 Hugging Face 추론 제공자 매핑은 비어 있으며, 이 모델을 다루는 모든 추적기는 비용을 사용 불가로 표시합니다. 당신의 비용은 하드웨어입니다.

모델의 두 절반이 서로 일치하지 않는다

Artificial Analysis는 단일 숫자를 공개하지 않으며, 이 모델을 이해할 수 있게 해주는 것은 하위 점수들입니다. 두 개의 열로 읽으세요.

• Terminal-Bench 4.0(Artificial Analysis 하네스) — Nanbeige4.3-33B 29.8%, 보드의 모든 구성 중 56위. xhigh에서의 Qwen3.8-27B는 동일 하네스에서 5.6%를 기록.

• FrontierCode 2.0 — Nanbeige4.3-33B 10.7%, 81위. Qwen3.8-27B는 xhigh에서 14.9%를 기록하므로, 코드 품질 벤치마크는 정반대 양상을 보인다.

• AA-Omniscience v1.1 — Nanbeige4.3-33B는 11.7% 정확도로 −4.4를 기록했습니다. Qwen3.8-27B는 xhigh에서 17.3% 정확도로 −6.4를 기록했습니다. Qwen이 더 많이 알지만, Nanbeige가 더 자주 답변을 거부하기 때문에 순점수는 더 좋습니다.

• AA-Omniscience 비환각 — Nanbeige4.3-33B 81.8%, 전체 사이트에서 7위. Qwen3.8-27B는 xhigh에서 71.4%를 기록했습니다.

• AutomationBench — Nanbeige4.3-33B 53.1%, 82위. AA-Briefcase v1.1 — 1,162, 90위. Terminal-Bench-Science 0.1 — 0.9%, 89위.

• HLE-Diamond — 6.9%, 117위. CritPt v2 하드 하위 집합 — 15.5%, 85위. GDP.pdf — 11.2%, 135위.

해당 행들 전반의 패턴은 일관됩니다. 작업이 "오랫동안 터미널을 구동하고 일찍 멈추지 않기"인 경우, 이 모델은 Qwen 모델 점수의 약 5배입니다. 작업이 "사실을 알기"인 경우에는 뒤처지고, 작업이 "사실을 알거나 모른다고 말하기"인 경우에는 보드의 거의 모든 항목보다 앞서며 비환각률이 81.8%입니다.

그 조합은 튜닝의 우연이 아니다. 지식 벤치마크를 겨냥했을 때 에이전트 궤적을 생성하도록 만들어진 모델이 보이는 모습이다. 사실을 만들어내는 교사 모델은 학생의 학습 데이터를 오염시키는 교사이므로, Nanbeige가 구축한다고 말하는 파이프라인에서는 재현율보다 보정이 더 중요하다. 그 절충이 의도된 것이든 창발적인 것이든, 그것은 이번 릴리스에서 가장 변호할 만한 점이다.

장황함 문제는 겉모습만 다를 뿐 비용 문제다

Artificial Analysis에 따르면 Nanbeige4.3-33B는 Intelligence Index에서 평가되는 동안 1억 6,000만 개의 출력 토큰을 생성했습니다. 비교 클래스의 중앙값 모델은 7,770만 개를 생성했습니다. 사이트의 장황성 순위에서 이 모델은 해당 클래스 8개 중 8위로 최하위이며, 중앙값의 약 2.06배입니다. 입력량은 154억 토큰으로, 출력 대 입력 비율은 1.034%입니다.

두 가지 결론이 나온다. 첫째, 20은 구매 비용이 비쌌다. 어디서든 토큰당 비용을 지불한다면, 동일한 종합 점수에 대해 두 배의 토큰을 내보내는 모델은 측정된 능력 단위당 대략 두 배의 비용이 들며, 지수는 이를 정규화하지 않는다. 둘째, 장황함은 비용 문제이기 전에 지연 문제다. 자체 GPU에서 33B 덴스 모델이 두 배의 토큰을 생성하면 작업을 완료하는 데 두 배의 시간이 걸린다.

Nanbeige의 자체 권장 설정은 그중 일부를 설명하지만 전부를 변명해 주지는 않는다. 모델 카드는 추론 및 채팅에 262,144토큰 상한을, 에이전트 작업에 65,536을 요구하며, 사고는 기본적으로 켜져 있다. 25만 토큰까지 생각해도 된다고 들은 모델이라면 그중 일부를 쓰게 마련이다. 그러나 동급 중앙값은 공정한 비교다. 같은 지수 뒤에 있는 다른 모델들도 추론 모델이며, 2.06×라는 배수는 그 통제를 거쳐도 유지된다.

자체 호스팅 배포에서는 실질적인 해결책이 모델 교체가 아니라 예산입니다. 작업당 최대 새 토큰 수를 제한하고, 카드의 기본값이 해당 워크로드에 적합하다고 가정하기 전에 8K, 16K, 32K에서 자체 통과율을 측정하세요. 대부분의 에이전트 작업은 어느 지점을 넘으면 개선되지 않으며, 이 모델은 그 지점이 어디인지 알려주지 않습니다.

외부 실행이 공급업체 자체 수치를 앞선 단 하나의 행

Nanbeige의 모델 카드는 Nanbeige4.3-33B의 Terminal-Bench 4.0 점수를 23.8로, Qwen3.8-27B는 6.3으로 주장한다. Artificial Analysis는 29.8을 측정했다. 독립적인 수치는 6포인트,더 높다 연구소가 자체적으로 발표한 수치보다

그것은 충분히 이례적이어서 분명히 말할 가치가 있습니다. 왜냐하면 이 업계의 표준적인 실패 방식은 정반대 방향으로 흐르기 때문입니다 — 연구소들은 자체 스캐폴드가 산출하는 최고 수치를 보고하고, 외부 재실행은 더 낮게 나옵니다. 벤더가 자사의 에이전틱 점수를 과소 보고한다는 것은 그쪽에 다른 하네스가 있거나, 의도적으로 보수적인 주장을 하거나, 최종 체크포인트 이전에 만들어진 표라는 뜻입니다. 어느 것도 나쁘지 않습니다. 다만 모두 벤더 표가 상한이 아니며 상한으로 읽어서는 안 된다는 것을 의미합니다.

모든 벤더 행이 신뢰할 만하다는 결론이 따라 나오는 것은 아니다. Nanbeige 표에서 가장 큰 주장들, 즉 DeepSWE 65.5 대 Qwen 42.5, SWE-Atlas-QnA 50.8 대 41.9는 아직 독립적인 대응 결과가 없으며, 둘 다 스캐폴드에 민감한 벤치마크로 하네스 선택이 모델 품질보다 점수를 더 크게 좌우한다. Terminal-Bench 결과가 확립하는 것은 더 좁지만 더 유용하다. 즉 주장의 에이전트적 방향성은 실제다. 개별 행에서의 크기는 여전히 검증되지 않았다.

이것이 그것을 시도하려는 팀을 어떤 상황에 놓는가

액세스에는 달라진 것이 없습니다. 호출할 엔드포인트도, 요금표도, 제공업체 목록도 없습니다. 가중치는 Apache 2.0 라이선스로 Hugging Face에 있으며, 서빙 경로는 사용자가 보유한 하드웨어에서 vLLM, SGLang 또는 Transformers를 사용하는 것입니다. bfloat16 체크포인트는 14개 샤드에 걸쳐 66.3GB이고, 512K 컨텍스트에서는 KV 캐시만 약 104GiB에 달합니다. 그래서 작업 구성이 큰 GPU 한 장이 아니라 4방향 텐서 병렬 처리인 것입니다.

달라진 점은 이제 실사(due diligence)에서 비용이 많이 드는 부분을 건너뛸 수 있다는 것입니다. 이번 주 전까지 Nanbeige4.3-33B를 평가하려면, 에이전트 관련 주장이 중립적인 하네스와 접촉한 뒤에도 유효한지 확인하기 위해 GPU 네 대를 프로비저닝해야 했습니다. Terminal-Bench 4.0에서의 29.8은 첫 번째 질문에 답합니다. 방향은 맞다는 것이죠. 그리고 장황함 수치는 아무도 묻지 않았던 질문, 즉 완료된 작업당 토큰 비용이 얼마인지에 답합니다.

오늘 실제로 호출할 수 있는 비교 기준을 원한다면 Qwen3.8-27B가 자연스러운 대조군입니다. 종합 점수, 공개 가격, 262K 창이 동일합니다. 이는 백만 입력 토큰당 $0.33에 OrcaRouter에서 실행되며 백만 출력 토큰당 $2.40이고, 카탈로그의 나머지와 동일한 키를 사용합니다. 제공자 정가가 마크업 없이 그대로 적용됩니다. 하나의 라우팅 규칙 뒤에 호스팅 모델과 자체 호스팅 모델을 두고 작업 세트를 실행하는 것은, 자체 하드웨어의 33B dense 체크포인트가 토큰당 과금으로 빌리는 27B를 능가하는지 알아내는 가장 저렴한 방법입니다. 그리고 이는 Intelligence Index가 대신 답할 수 없는 질문입니다. 왜냐하면 이 지수는 여러분의 작업이 무엇인지, GPU 비용이 얼마인지 알지 못하기 때문입니다.

여전히 진정으로 알려지지 않은 것들은 좁은 범위에 있다. 이 모델이 가르치기 위해 존재하는 증류 대상인 Nanbeige4.3-3B가 그 캘리브레이션 중 일부를 물려받는지. 2배의 토큰을 내보내는 작은 모델은 훨씬 더 저렴한 실수이기 때문에, 장황함이 학생 모델에서도 살아남는지. 그리고 81.8%는 놀라운 수치이고 놀라운 수치는 누구든 그 위에 파이프라인을 구축하기 전에 두 번째 검토를 받을 자격이 있으므로, 비환각 결과가 Omniscience harness 밖에서도 유지되는지.