Nanbeige4.3-33B vs Qwen3.8 27B: 20개 중 18개라는 주장 검증

Nanbeige4.3-33B는 20개 벤치마크 중 18개에서 Qwen3.8-27B를 앞선다. 이번 주 인터넷에 돌고 있는 주장이며, 기술적으로는 모델 카드에 적힌 그대로다. 또한 이 문장에는 분모가 있고, 흥미로운 부분은 바로 그 분모다. 그 20개 행 중 19개는 점수로 매겨지고 하나는 달러 금액이며, 18개 승리 중 네 개는 1점 미만 차이다. 그리고 적어도 세 개의 Qwen 수치는 Nanbeige가 다시 실행한 것이 아니라 Qwen 자체 공개 결과에서 복사한 것으로 보인다. 그렇다고 해서 그 주장이 거짓이 되는 것은 아니다. 다만 들리는 것보다 범위가 좁아질 뿐이다.

이 대결이 이례적인 이유는 Nanbeige가 Qwen3.8-27B를 스파링 파트너로 선택했기 때문입니다. Qwen3.8-27B는 2026년 8월 중순에 출시되었고, 277억 8천만 개 매개변수의 덴스 모델이며, Apache 2.0 라이선스에 입력 멀티모달을 지원하고, Nanbeige4.3-33B와 달리 독립적인 Artificial Analysis Intelligence Index 점수 34를 보유합니다. 따라서 이는 배치 내에서 상대 모델에는 검증된 점수가 있고 대상 모델에는 없는 유일한 비교입니다. 이 비대칭성은 우리가 표를 감사하는 데 사용할 수 있는 최고의 도구입니다.

누가 그 주장을 작성했으며, 분모에는 무엇이 포함되어 있나요?

이 표는 Nanbeige의 것이다. 이 표는 2026년 10월 24일에 생성된 저장소의 Nanbeige4.3-33B Hugging Face 모델 카드에 게시되었다. 함께 제공되는 블로그 글도, 출시 행사도, 제3자 재현도 없다. Qwen 열의 모든 수치와 Nanbeige 열의 모든 수치는 비교를 수행한 연구소가 생성하거나 선택한 것이다.

20개 행은 세 그룹을 다룹니다: 에이전틱 코딩(Terminal-Bench 2.1 및 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), 에이전틱 코워크(Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench), 그리고 추론(GPQA Diamond, AIME 2026, AA-LCR)입니다. 하네스는 대부분의 벤더 카드보다 더 신중하게 공개됩니다: Terminal-Bench 2.1에는 Terminus 2, Terminal-Bench 4.0, DeepSWE 및 SWE-Atlas-QnA에는 mini-swe-agent v2.4.6, NL2Repo와 JobBench에는 Claude Code, SWE-Atlas-QnA의 심사자로는 GPT-6 Sol이 사용됩니다. 이러한 공개는 Nanbeige의 공으로 돌릴 만합니다. 또한 이것이 비교를 단일 승수 집계보다 읽기 어렵게 만드는 이유이기도 합니다.

Nanbeige가 잃는 두 행

• SWE-Bench Pro — Qwen3.8-27B 61.7 대 Nanbeige4.3-33B 60.3. Qwen의 1.4포인트 우위.

• GDPval — Qwen3.8-27B 86.4 대 Nanbeige4.3-33B 84.8. Qwen이 1.6점 앞선다.

이 두 행은 “20개 중 18개”라는 헤드라인이 조용히 반올림해 가려버린 행이며, 일관된 방향을 가리킨다. 둘 다 전문적이고 경제적으로 가치 있는 작업을 평가하는 벤치마크다. SWE-Bench Pro는 더 어려운 소프트웨어 엔지니어링 변형이고, GDPval은 실제 직업 과제에서의 출력 품질을 측정한다. Qwen은 두 벤치마크 모두에서 승리하는데, 그 격차는 절대적으로는 작지만 서로 다른 두 과제군에 걸쳐 안정적이다. 리더보드가 아니라 전문 업무를 위해 이 모델들 중에서 고르고 있다면, 그 두 행은 가장 큰 비중을 두어야 할 행들에 속하며, 바로 그 두 행에서 해당 모델이 패한다.

Nanbeige의 카드는 패배 항목에 대해 설명하지 않는다. 그럴 필요도 없다. 벤더는 자신이 이기는 표를 공개할 권리가 있다. 그러나 독자라면 눈여겨봐야 할 점이 있다. 패배가 몰려 있는 곳은 정확히 벤치마크가 "전문가라면 이 출력을 받아들일까"에 가장 가까운 지점이고, 승리가 몰려 있는 곳은 벤치마크가 "에이전트가 루프를 완수했는가"에 가장 가까운 지점이다.

반올림 오차에 불과한 승리

18승 중 네 번은 1점 미만 차이로 승부가 결정된다.

• Tau3-Bench — 48.8 대 48.5. 0.3점 차이.

• GPQA 다이아몬드 — 89.5 대 89.2. 0.3점 차이.

• AIME 2026 — 95.2 대 94.5. 0.7점 차.

• EnterpriseOps-Gym — 41.0 대 40.2. 0.8점 차.

두 개는 약 2점 이내입니다: Toolathlon-Verified는 70.4 대 68.5, AA-LCR은 84.0 대 82.0입니다. 이 정도 규모와 분산을 가진 벤치마크에서 1점 미만의 차이는 우위의 증거가 아닙니다. 그것은 두 모델이 같은 구간에 있다는 증거입니다. 헤드라인을 공정하게 다시 말하면 "Nanbeige는 20개 중 12개에서 확실히 앞서고, 6개에서 동률이며, 2개에서 뒤진다"가 될 것입니다 — 이는 여전히 강력한 결과이며, 더 유용한 결과입니다.

결정적인 우위는 진짜 논쟁이 벌어지는 지점에 있습니다. DeepSWE의 65.5 대 42.5는 23포인트 격차입니다. Terminal-Bench 4.0의 23.8 대 6.3은 17.5포인트입니다. Automation Bench의 54.2 대 38.3은 15.9포인트입니다. DeepPlanning의 63.3 대 49.2는 14.1포인트입니다. 달러 기준 과제인 YC-bench는 $1,025,437 대 $641,290을 보고합니다. 이는 반올림 차이가 아닙니다. 이는 Nanbeige가 장기적인 다단계 실행, 즉 모델이 수십 번의 도구 호출에 걸쳐 계획을 유지해야 하는 종류의 작업에서 더 뛰어나다는 것을 보여줍니다. 이는 일관된 설명이며, 해당 모델의 512K 네이티브 컨텍스트와 에이전트 지향 권장 설정에 부합합니다.

열은 동일한 실험이 아닐 수 있습니다

전체 표를 복잡하게 만드는 관찰 결과가 있습니다. 세 가지 Qwen 수치는 Qwen이 자체 공개한 숫자와 정확히 일치합니다: Terminal-Bench 2.1은 73.0, SWE-Bench Pro는 61.7, GPQA Diamond는 89.2입니다. Qwen은 이 세 가지를 모두 공개합니다. Qwen이 공개하지 않는 행들 — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — 은 바로 Nanbeige의 격차가 가장 큰 행들입니다.

그 패턴은 하나의 표 안에 두 가지 서로 다른 방법이 섞여 있음과 일치한다. 상대가 이미 공개한 벤치마크에는 숫자를 복사했고, 공개하지 않은 벤치마크에는 새로 실행한 결과를 썼다는 것이다. 이는 추론이지 공개된 사실이 아니다 — Nanbeige의 카드는 모든 모델이 동일한 추론 파라미터와 하네스로 최고 수준의 사고 노력에서 평가되었다고 말하는데, 이는 복사에 반대되는 논거가 될 것이다. 그러나 세 개의 독립적인 수치에서 정확히 일치하는 것은 지적할 가치가 있는 우연이며, Qwen 열이 혼합이라면 "18 of 20"은 일부 행에서는 Nanbeige의 실행 결과를 Qwen의 실행 결과와 비교하고, 다른 행에서는 Nanbeige의 실행 결과를 Nanbeige의 실행 결과와 비교하는 셈이다.

두 번째로 더 미묘한 문제가 있습니다. Nanbeige 자체 모델은 해당 카드가 권장하는 하네스에서 실행되고 있습니다: XML 도구 호출, preserve_thinking=true, 에이전트 작업용 temperature 1.0. 카드에는 Qwen3.8-27B에 자체 권장 설정을 적용했는지, 아니면 Nanbeige의 설정에 그대로 넣었는지가 나와 있지 않습니다. 후자라면 23포인트 DeepSWE 격차의 일부는 능력 차이가 아니라 구성 차이입니다. 이는 모든 벤더 비교에 적용되는 동일한 주의사항이며, 결과를 일축할 이유가 아니라 확정된 것으로 다루기 전에 중립적인 재실행을 요구할 이유입니다.

오직 한 모델만이 가진 독립적인 점수

Artificial Analysis는 Qwen3.8-27B의 Intelligence Index 점수를 xhigh 추론 구성에서 측정해 34점으로 산정했으며, 초당 출력 토큰 수는 45.2입니다. 지연 시간은 공급자별로 다릅니다. 자체 페이지에서는 p50 첫 토큰까지의 시간을 2.95초로 보고하는 반면, Artificial Analysis가 샘플링한 엔드포인트에서 측정한 값은 3.8초입니다. 이 지수는 Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA, AutomationBench-AA를 포함한 10개 평가를 종합한 것이며, 이 중 여러 개는 Nanbeige가 자체적으로 보고하는 것과 동일한 벤치마크 계열입니다.

Nanbeige4.3-33B는 Artificial Analysis 항목이 없다. 그것은 스캔들이 아니다. 그 모델은 이제 이틀 되었다. 하지만 그것은 이 비교의 양쪽이 인식론적으로 동등하지 않다는 뜻이다. Qwen의 34는 다른 누군가가 측정한 수치다. Terminal-Bench 2.1에서 Nanbeige의 80.9는 Nanbeige가 측정한 수치다. 둘 다 정확하다면, Nanbeige는 같은 종합 점수에서 34를 훨씬 웃돌 가능성이 크다 — Terminal-Bench 4.0의 23.8과 SciCode의 52.6은 강력한 행들이다. 요점은 "likely"가 그 역할을 하고 있다는 것이고, 독립적인 평가자가 이 모델을 실행하기 전까지는 계속 그 역할을 할 것이다.

20개 중 18개라는 주장을 논의의 출발점으로 삼아야 할 실질적인 이유도 여기에 있습니다. 이 주장은 구체적이고 저렴한 방식으로 반증할 수 있습니다: Nanbeige4.3-33B를 독립 평가자에게 제출해 종합 점수를 비교하는 것입니다. 그 전까지 가장 정직한 최강의 표현은, Nanbeige가 장기 지평 에이전트 작업에서 우위를 주장하고 전문 산출물 품질에서는 약간 뒤처진다고 말하는 것, 그리고 그 두 모델 중 제조사가 아닌 누군가에 의해 검증된 모델은 하나뿐이라는 것입니다.

토큰당이 아닌 작업당 비용

이 두 모델 중 오늘 호출할 수 있는 것은 Qwen3.8-27B뿐입니다. OrcaRouter에서는 백만 입력 토큰당 $0.33, 백만 출력 토큰당 $2.40으로, Artificial Analysis가 Alibaba의 자사 엔드포인트에 대해 표시하는 $0.50 및 $3.00보다 낮습니다. 이 모델은 공급자 정가로 재판매되는 것이 아니라 자체 인프라에서 제공되기 때문에 자사 가격보다 낮게 책정됩니다. 당사가 그대로 전달하는 모델의 경우 0% 마크업 규칙에 따라 공급자의 정가가 곧 지불 가격입니다. 어느 쪽이든 경로에 따라 토큰당 가격 편차가 충분히 크므로 자사 엔드포인트가 자동으로 저렴한 것은 아닙니다. 이 모델은 텍스트와 함께 이미지와 비디오도 입력할 수 있으며 262,144토큰 윈도우를 갖추고 있습니다.

하지만 이 비교에서는 토큰당 가격이 잘못된 단위다. 리뷰어들에 따르면 Qwen3.8-27B는 유난히 토큰을 많이 소모한다. 비슷한 작업에서 Qwen3.6-27B의 약 세 배에 달하는 토큰을 사용하며, Artificial Analysis는 xhigh 설정에서 Intelligence Index 작업당 약 $1.01로 추산한다. 토큰당 가격에서는 이기지만 작업당 토큰 수에서는 지는 모델이 여전히 더 비싼 선택일 수 있다. Nanbeige4.3-33B에는 토큰당 가격 자체가 없다. 가중치는 무료이고, 이를 배포하는 추론 제공업체도 없으며, 실행하려면 트래픽이 들어오든 아니든 열어 둬야 하는 4-GPU 텐서 병렬 배포가 필요하다.

바로 그 지점에서 라우팅 계층이 제 역할을 합니다. Qwen3.8-27B는 오늘 우리 키로 접근할 수 있습니다; Nanbeige는 그렇지 않으며, 그렇다고 가장하지도 않겠습니다. 할 수 있는 일은 Qwen을 프로덕션 경로로 유지하고, 표를 믿는 대신 실제 트래픽의 일부를 자체 호스팅 Nanbeige 엔드포인트로 라우팅해 작업 완료와 소비된 토큰을 측정하는 것입니다. 여기서 자동 장애 조치는 중요합니다: 실행 중에 죽는 실험 엔드포인트는 기존 모델로 폴백해야 하며, 에이전트까지 함께 중단시켜서는 안 됩니다. 그러면 결정은 완료된 작업당 비용에 달려 있으며, 이는 두 모델의 토큰 동작을 정직하게 결합한 유일한 수치입니다.

무엇이 이것을 반증할까?

세 가지 결과만 나오면 그 문제는 해결될 것이며, 그중 어느 것도 새로운 모델을 필요로 하지 않는다.

• Nanbeige4.3-33B에 대한 Artificial Analysis 항목. 이것이 34 근처 또는 그 이상으로 나오면 벤더 표가 가리키는 방향은 확인되고 그 규모는 논쟁의 여지가 생긴다. 만약 훨씬 낮게 나오면, 20개 중 18개라는 주장에는 하네스 선택보다 훨씬 더 나은 설명이 필요하다.

• 두 모델을 각자의 권장 구성으로 실행한 {{1}}DeepSWE{{/1}}와 {{2}}Terminal-Bench 4.0{{/2}}의 중립적 재실행. 이것이 현재 표가 수행하지 않는 특정 실험이며, Nanbeige의 우위 대부분을 차지하는 행들을 겨냥합니다.

• 두 방식 모두에 대해 완료된 작업당 토큰 수치를 공개했습니다. 직접 호스팅하는 조밀한 33B 모델과 토큰을 많이 소비하는 임대형 27B 모델은 토큰당 가격으로 비교할 수 없지만, 완료된 작업당 비용으로는 비교할 수 있습니다.

우리가 옹호할 평결

Nanbeige4.3-33B는 아마도 둘 중 더 강력한 장기 작업 에이전트 모델일 것이다. DeepSWE, Terminal-Bench 4.0, Automation Bench, DeepPlanning에서의 격차는 너무 크고 방향성도 일관되어 전부 하네스 아티팩트라고 보기 어렵으며, 512K 네이티브 컨텍스트도 그 이야기와 맞아떨어진다. Qwen3.8-27B는 아마도 전문적인 결과물 품질에서 더 강력한 모델일 것이며, 이를 측정하는 두 항목 모두에서 승리하고, 더 사용하기 좋은 모델임은 분명하다. 독립 점수, 호스팅 API, 멀티모달 입력, 그리고 오늘 바로 스프레드시트에 넣을 수 있는 가격까지 갖추고 있다.

“20개 중 18개”는 실제 결과지만 더 큰 결과인 것처럼 포장되어 있다. 정확히 말하면, 아무도 독립적으로 평가한 적 없는 연구소의 이틀 된 모델이, 열 주째 출시되어 있으며 제작사가 아닌 누군가에 의해 측정된 경쟁 모델을 상대로 에이전트 실행에서 뚜렷한 우위, 일반 추론에서 동률, 전문 산출물에서 약간의 열세를 주장한다는 것이다. 이는 진정으로 흥미로운 주장이다. 아직 갈아탈 이유는 되지 못한다.