Nanbeige4.3-33B vs Gemma 4 31B: 벤더 표의 33점 격차가 실제로 의미하는 것

Nanbeige4.3-33B 자체 벤치마크 표에서 Gemma 4 31B는 Terminal-Bench 4.0에서 0.0점을 기록합니다. 이 행부터 시작해야 합니다. 왜냐하면 이 행이 이 비교의 다른 모든 수치를 어떻게 읽어야 하는지를 알려주기 때문입니다. Gemma 4 31B는 Google DeepMind가 2026년 4월 2일부터 Apache 2.0으로 다운로드할 수 있게 공개한 307억 매개변수 오픈 웨이트 릴리스이며, Google 자체 자료에서는 τ²-bench 도구 사용에서 86.4, LiveCodeBench v6에서 80.0을 기록했다고 평가합니다. 그런 모델이 현존하는 모든 터미널 작업에서 실패하지는 않습니다. 0점은 벤치마크가 ‘할 수 없었다’와 ‘작동하는 도구 루프를 한 번도 받지 못했다’를 구분하지 못할 때 나오는 값입니다.

반면 Nanbeige4.3-33B는 나온 지 이틀밖에 되지 않았다. 이 모델의 저장소는 2026년 10월 24일 02:49 UTC에 생성되었고, 모델 카드는 Nanbeige가 발표한 유일한 공지이며, 그 카드에 있는 20행짜리 표가 현재 이 모델에 대해 떠도는 모든 수치의 유일한 출처다. Gemma 4 31B는 그 표에서 세 개의 비교 열 중 하나로 등장한다. 어떤 독립 연구소도 이 두 모델을 서로 비교 평가한 적이 없고, 어느 벤더도 이 한 표 밖에서 상대 모델을 벤치마크하지 않았다. 따라서 이 맞대결에 대해 정직한 설명은 점수판이 아니다. 그것은 어떤 행이 면밀한 검토를 견디고 어떤 행이 하네스를 측정하고 있는지에 대한 논쟁이다.

각 모델이 실제로 무엇인지

두 릴리스는 6개월 반 차이가 나며, 설계 가정이 이를 보여준다.

• 매개변수 — Nanbeige4.3-33B는 33.1B 밀집 모델(BF16에서 33,118,977,024개)이며, 모든 토큰에서 모든 매개변수가 활성화됩니다. Gemma 4 31B는 30.7B 밀집 모델입니다. 둘 다 전문가 혼합(mixture of experts) 모델이 아니므로, 양쪽 모두 처리량은 전체 가중치 수에 비례하여 확장됩니다.

• 컨텍스트 — Nanbeige4.3-33B는 기본적으로 524,288 토큰을 제공합니다. Gemma 4 31B는 262,144를 제공합니다. 둘 다 해당 파라미터 등급치고는 이례적으로 크며, Nanbeige는 두 배입니다.

• 모달리티 — Nanbeige4.3-33B는 텍스트 입력, 텍스트 출력이며 영어와 중국어를 지원합니다. Gemma 4 31B는 텍스트뿐 아니라 이미지도 입력받을 수 있고, 140개 이상의 언어로 사전 학습되었으며, 네이티브 함수 호출과 구성 가능한 사고 모드를 기본 제공합니다.

• 라이선스 — 둘 다 Apache 2.0입니다. 라이선스 문제가 시작하기 전에 이미 정리되어 있는, 드문 비교입니다.

• 디스크 상의 가중치 — {{1}}Nanbeige4.3-33B{{/1}}는 {{3}}BF16{{/3}}에서 약 {{2}}66GB{{/2}}이며 4비트에서는 대략 20GB입니다. Gemma 4 31B도 같은 범위에 있습니다. 둘 다 노트북 모델이 아니며, 둘 다 단일 워크스테이션 또는 단일 노드 모델입니다.

유일하게 격차가 큰 부분은 배포입니다. Gemma 4 31B에는 관리형 API가 있고, Artificial Analysis가 현재 비용 0으로 표시하는 엔드포인트가 있으며, 독립적인 커버리지도 있습니다. Nanbeige4.3-33B에는 가중치와 모델 카드가 있고 — 모델 카드 자체의 표현에 따르면 — 이를 배포하는 추론 제공업체는 없습니다. 이 비대칭은 품질에 대한 판단은 아니지만, "직접 써 보는" 데 드는 비용을 바꿉니다.

벤더 열과 Google 자체 카드가 일치하지 않습니다

Nanbeige 표의 두 행은 Google이 공개한 수치와 대조해 확인할 수 있으며, 그중 하나만 일치한다.

• AIME 2026 — Nanbeige는 Gemma 4 31B에 89.2점을 기록했다고 표기합니다. Google은 89.2를 보고합니다. 정확히 일치합니다.

• GPQA Diamond — Nanbeige는 Gemma 4 31B에 91.3점을 부여하는데, 이는 Gemma가 Nanbeige 자체의 89.5점을 앞서는 유일한 항목입니다. Google이 해당 모델에 대해 공개한 수치는 84.3입니다. 이는 7점 차이이며, 어느 쪽 모델 카드도 그 배경이 되는 구성을 설명하지 않습니다.

두 번째 행은 주목할 만합니다. 공급업체 표에서 경쟁사에게 승리를 안겨주는 유일한 지점이기 때문입니다. 그 숫자가 최대 사고 노력으로 다시 실행한 결과에서 나왔다면, 그것은 정당한 결과이며 Gemma가 대학원 수준 과학 질문에서 진정으로 앞서는 것입니다. 평가 구성이 다른 실행에서 나왔다면, 그 표는 서로 다른 두 Gemma를 비교하는 셈입니다. 어느 쪽이든, 이번 주 모든 2차 기사에서 반복된 "Gemma wins GPQA"라는 문구는 Google이 공개하지 않는 수치에 근거하고 있습니다.

Gemma 칼럼의 나머지 부분은 Google이 서로 다른 벤치마크를 보고하기 때문에 검증하기가 더 어렵다. Nanbeige의 표는 Gemma를 Tau3-Bench에서 18.6으로 표기하지만, Google의 카드는 τ²-bench에서 86.4로 표기한다. 이들은 벤치마크 계열의 서로 다른 버전이므로 모순되는 것은 아니다. 하지만 그것들은 비교도 아니며, 둘 사이의 68점 차이는 하네스와 버전 선택이 단일 모델의 점수를 얼마나 움직일 수 있는지에 대한 합리적인 추정치다.

0을 올바르게 읽기

Gemma 열의 세 행은 거의 0에 가깝습니다: Terminal-Bench 4.0에서 0.0, DeepSWE에서 2.7, SWE-Atlas-QnA에서 3.3입니다. 이 행들은 소셜 미디어에서 회자되는 행들이며, 표에서 가장 정보가 적은 숫자입니다.

에이전트 벤치마크에서 거의 0에 가까운 점수에는 적어도 세 가지 가능한 원인이 있습니다. 모델이 작업을 완료하지 못하거나, 모델이 하네스가 제공하는 도구를 구동하지 못하거나, 하네스가 다른 채팅 템플릿과 도구 호출 형식에 맞춰 조정되었기 때문입니다. Nanbeige의 카드에는 자체 결과가 Terminal-Bench 2.1에는 Terminus 2를, Terminal-Bench 4.0, DeepSWE 및 SWE-Atlas-QnA에는 mini-swe-agent v2.4.6을 사용했다고 명시되어 있습니다. 하지만 Gemma 4 31B에 자체 도구 호출 형식을 갖춘 동일한 스캐폴드를 제공했는지, 아니면 Nanbeige의 XML 지향 스캐폴드에 넣었는지는 말하지 않습니다. 이 둘은 매우 다른 수치를 낳으며, 그중 하나만 모델에 관한 것입니다.

이것은 Nanbeige의 결과를 무시할 이유가 아닙니다. Nanbeige4.3-33B는 에이전트형 코딩을 중심으로 구축되었습니다 — 모델 카드에서는 XML 도구 호출 형식, 다중 턴 도구 사용을 위한 preserve_thinking=true, 에이전트 작업용 temperature 1.0을 권장합니다 — 따라서 이를 위해 만들어진 하네스 안에서 좋은 성능을 보이는 것은 놀라운 일이 아닙니다. 이것은 Gemma 열을 평결이 아니라 하한으로 취급할 이유입니다.

비대칭 벤치마크는 가격을 책정하지 않습니다: 이미지

Gemma 4 31B는 이미지를 입력으로 받습니다. Nanbeige4.3-33B는 받지 않습니다. 그 한 문장이 표의 어떤 행보다 더 많은 실제 배포를 좌우합니다.

에이전트가 스크린샷, 인보이스, 차트, 스캔한 양식 또는 UI 상태를 읽는다면, Nanbeige4.3-33B는 어떤 벤치마크 점수에서도 후보가 아닙니다. 그 앞에 별도의 추출 모델을 두어야 하며, 이 모델은 자체적인 지연 시간, 비용, 실패 모드를 갖게 됩니다. 그러면 파이프라인의 품질은 33B의 품질이 아니라 추출 모델의 품질이 됩니다. Gemma는 그 단계를 기본적으로 수행하며, Google이 공개한 MMMU-Pro 76.9와 MATH-Vision 85.6은 Gemma가 이를 형식적으로가 아니라 유능하게 수행한다는 것을 시사합니다.

반대로, 작업이 텍스트 전용이라면 — 코드, 로그, 긴 문서, 다중 턴 도구 추적 — 이미지 기능은 모든 순전파마다 비용을 지불하면서 얻게 되는 쓸모없는 군살입니다. 바로 그런 경우를 위해 Nanbeige가 만들어졌으며, 이는 에이전트 작업의 상당 부분을 차지합니다.

512K 대 256K, 그리고 창이 무엇을 위한 것인지

Nanbeige의 524,288토큰 윈도우는 Gemma의 262,144토큰의 두 배이며, 두 숫자 모두 충분히 커서 그 차이는 특정 작업 형태에서만 중요합니다.

256K 창에는 중간 규모 저장소 분량의 소스 코드나 수백 페이지에 달하는 텍스트가 들어갑니다. 512K 창에는 그 두 배가 들어갑니다. 긴 문서 하나와 긴 답변 하나를 처리할 때는 둘 다 충분합니다. 수백 턴에 걸쳐 도구 출력을 누적하는 에이전트의 경우, 더 큰 창을 쓰면 요약이나 제거가 일어나기 전까지 더 많은 턴을 버틸 수 있습니다. Nanbeige의 카드는 추론 및 채팅용으로 최대 262,144개의 새 토큰을 권장하는데, 이는 실질적인 추론 예산이 전체 512K보다 256K에 더 가깝다는 것을 시사합니다. Gemma의 출력 상한은 흔히 131,072로 구성됩니다.

어느 벤더도 여기서 장문맥 회상 벤치마크를 공개하지 않으므로, 누구의 512K 또는 256K가 더 잘 활용되는지 정직하게 말할 방법은 없습니다. 컨텍스트 크기는 품질 주장이 아니라 용량 주장이며, 두 카드 모두 거기서 더 나아가지 않습니다.

각각 통화하는 데 드는 비용

이 두 가지 중 오늘 서비스로 호출할 수 있는 것은 Gemma 4 31B뿐입니다. OrcaRouter에서는 입력 토큰 100만 개당 $0.13, 출력 토큰 100만 개당 $0.38이며, 캐시된 입력은 $0.02입니다 — 공급자의 정가를 마크업 없이 그대로 전달하는 방식이며, 이는 공급업체의 가격 변경이 발표되는 당일 우리 카탈로그에 반영되는 이유이기도 합니다. 현재 Artificial Analysis는 Google 자체 엔드포인트를 입력 $0.00, 출력 $0.00으로 표시하는데, 이는 거의 확실히 지속 가능한 가격이 아니라 프로모션이나 무료 티어를 반영한 것입니다. 예산 항목이 아니라 체험용 채널로 보십시오.

Nanbeige4.3-33B에는 견적을 낼 토큰당 가격이 없습니다. 가중치는 Apache 2.0에 따라 무료이며, 모델 카드는 어떤 추론 제공업체도 이 모델을 배포하지 않는다고 명시합니다. 이를 실행하려면 모델 카드 자체의 vLLM 및 SGLang 레시피에 따라 텐서 병렬 크기 4의 GPU 네 대가 필요하고, 요청이 오든 오지 않든 이 GPU들은 계속 켜져 있어야 합니다. 그때 토큰의 한계 비용은 요금표가 아니라 여러분의 전기료와 가동률입니다. "$0.13 입력"을 "무료"와 비교하는 사람은 청구서를 자본 지출과 비교하는 것입니다.

이는 새 모델이 자체 호스팅되더라도 라우터를 계속 루프 안에 두어야 하는 실용적 근거이기도 합니다. 대부분의 팀이 실제로 직면하는 결정은 "Gemma를 교체"하는 것이 아니라 "트래픽의 5%를 새 모델로 보내고 무슨 일이 일어나는지 확인"하는 것입니다. 기존 모델을 하나의 키와 자동 장애 조치를 통해 실험 엔드포인트가 죽더라도 계속 접근 가능하게 유지하면, 이는 마이그레이션이 아니라 라우팅 변경이 됩니다.

Gemma 4 31B가 단순히 정답일 때

네 가지 조건이 벤치마크 표 없이도 이것을 해결합니다.

• 워크로드에는 이미지, PDF 또는 스크린샷이 포함됩니다. Gemma, 이견의 여지 없이.

• 영어와 중국어만으로는 부족합니다. Gemma는 140개 이상의 언어로 사전 학습되었지만, Nanbeige는 두 개만을 명시합니다.

• GPU를 직접 소유하고 싶지는 않을 것입니다. Gemma는 현재 관리형 엔드포인트를 제공하고, Nanbeige는 가중치와 배포 레시피를 제공합니다.

• 품질에 대한 제2의 의견이 필요합니다. Gemma는 Artificial Analysis Intelligence Index가 15로, 그리 높지는 않지만 독립적입니다. Nanbeige는 해당 지수에 아예 항목이 없어, 그에 관한 모든 수치는 공급업체가 자기 숙제를 스스로 채점하는 셈입니다.

관점을 뒤집어 보면 Nanbeige 사례도 똑같이 분명합니다. 텍스트 전용 에이전트 작업, 긴 도구 트레이스, GPU를 갖춘 팀, 그리고 자사가 권장하는 XML 도구 형식을 실행하려는 의지입니다. 이런 형태의 작업에서 Nanbeige 자체 표는 Terminal-Bench 2.1에서 33.7포인트 우위(80.9 대 47.2)를, DeepSWE에서는 62.8포인트 우위를 주장합니다. 이 격차는 하네스 이점을 감안하고도 실제 신호가 들어 있을 만큼 큽니다. 하지만 직접 실행해 보지 않은 채 프로덕션 경로에 걸 만큼 크지는 않습니다.

오후에 열리는 베이킹 대회가 이 테이블보다 낫다

정말로 둘 중 하나를 선택해야 하는 상황이라면, 테스트는 비용이 적게 들고 어느 벤더도 믿을 필요가 없습니다. 자체 에이전트 로그에서 실제 작업 20개를 가져오세요. 각 모델을 권장 도구 호출 형식과 사고 설정으로 실행하세요 — Nanbeige에는 XML, Gemma에는 네이티브 함수 호출 — 그리고 벤치마크 유사성이 아니라 작업 완료율을 채점하세요. 완료된 작업당 소비된 토큰을 기록하세요. 왜냐하면 dense 33B와 dense 30.7B는 동일한 토큰당 가격에서도 장황함이 다를 것이기 때문입니다.

한나절이면 알게 될 것은 Nanbeige의 에이전트 성능 우위가 자체 하네스 이점을 넘어서도 유지되는지 여부다. 누군가 그것을 공개하기 전까지, 방어 가능한 요약은 헤드라인보다 범위가 좁다. Gemma 4 31B는 배포하기 더 수월한 모델이며 독립적인 점수를 가진 유일한 모델이고, Nanbeige4.3-33B는 더 야심찬 쪽으로, 네이티브 512K 컨텍스트 윈도와 눈에 띄지만 감사를 거치지 않았고 불과 이틀 된 자체 보고 에이전트 수치들을 갖추고 있다.