Nanbeige4.3-33B vs Gemma 4 26B-A4B: 엔드포인트 없는 교사 대 6센트짜리 일꾼

Nanbeige4.3-33B를 Gemma 4 26B-A4B와 벤치마크에서 비교하는 것은 잘못된 첫걸음이며, 그 이유는 수치가 비슷하거나 크게 차이가 나서가 아닙니다. 두 모델 중 하나에만 가격이 매겨져 있기 때문입니다. Gemma 4 26B-A4B는 OrcaRouter에서 호스팅되는 모델로, 입력 100만 토큰당 $0.06, 출력 100만 토큰당 $0.33이며, 262,144토큰 컨텍스트 창과 p50 첫 토큰까지의 시간 826밀리초를 제공합니다. Nanbeige4.3-33B는 엔드포인트도, 요금표도, 저장소에 나열된 추론 제공업체도 없습니다. 그 비용은 GPU 네 대와 전기 요금입니다.

그렇다면 진짜 질문은 어느 모델이 더 높은 점수를 받느냐가 아니다. 330억 파라미터의 dense 교사 모델과 토큰당 38억 개 파라미터를 활성화하는 260억 파라미터의 mixture-of-experts 사이의 성능 격차가 종량제 비용 항목에서 자본적 지출 항목으로 옮길 만한 가치가 있느냐다. 이는 산수로 답할 수 있는 질문이며, 그 계산은 더 큰 모델에 대해 벤치마크 표가 시사하는 것보다 덜 후한 결과를 준다.

인덱스 점수에는 파트너 번호가 없습니다

Nanbeige4.3-33B는 Artificial Analysis Intelligence Index v5.0.1에서 20위입니다. Gemma 4 26B-A4B는 v5 점수가 전혀 없습니다. 해당 Artificial Analysis 페이지에는 종합 점수가 N/A로 표시되어 있고, “Intelligence 부문은 4개 단위 중 알 수 없음”이라고 명시되어 있으며, 현재 하네스를 실행할 수 있는 공개 API가 없다는 점도 언급되어 있습니다. 이전 지수에서 기록한 점수가 무엇이든, 그것은 더 이상 존재하지 않는 평가 기준에 속합니다.

그 두 사실은 서로 빼서 비교할 수 없다. v5 지수는 이전 지수들과는 다른, 기준이 재설정된 평가 세트이며, 옛 방법론에서 좋은 점수를 받은 모델이 새 방법론에서도 반드시 비슷한 위치에 안착한다고 볼 수는 없다. 누군가 "20 대 작년에 Gemma가 기록한 숫자" 비교를 보여 준다면, 그것은 서로 다른 두 시험을 비교하는 것이다. 정직하게 말하면 Gemma 4 26B-A4B는 현재 종합 지표에서 측정되지 않았고 Nanbeige4.3-33B는 20으로 측정되었으며, 둘 다 v5에 나타나기 전까지는 인용할 지수 차이가 없다.

공유 하네스에서 실제로 존재하는 것은 Terminal-Bench입니다. Artificial Analysis는 Gemma 4 26B-A4B를 Terminal-Bench 2.1에서 39.0%로 기록했습니다. 또한 Nanbeige4.3-33B를 Terminal-Bench 4.0에서 29.8%로 기록했습니다 — 이는 다른 더 어려운 벤치마크이므로 역시 델타가 아닙니다. Nanbeige 자체 카드는 Terminal-Bench 2.1에서 Nanbeige4.3-33B가 80.9, Qwen3.8-27B가 73.0이라고 주장하지만, 해당 행은 Terminus 2 하네스를 사용한 벤더 보고 수치이며 독립적으로 재현되지 않았습니다. 이는 숫자로 읽지 말고 “Nanbeige는 여기서 강하다고 믿는다”로 읽어야 합니다.

각 모델이 실제로 하도록 설계된 일

아키텍처는 벤치마크보다 더 많은 것을 알려줍니다. 두 설계가 서로 반대되는 제약 조건에 맞춰 최적화하고 있기 때문입니다.

• 형태 — Nanbeige4.3-33B는 33.1B 파라미터를 갖추고 있으며, 모두 dense로 모든 토큰에서 활성화됩니다. Gemma 4 26B-A4B는 총 25.2B이며 토큰당 약 3.8B가 활성화되는 6.6:1 비율입니다.

• 가중치용 메모리 — Nanbeige4.3-33B의 경우 bfloat16에서 14개 샤드에 걸쳐 66.3GB. Gemma 4 26B-A4B는 4비트에서 약 18GB에 들어가며, 이는 소비자용 카드 한 장에 해당합니다.

• 컨텍스트 — Nanbeige4.3-33B의 경우 스케일링 없이 네이티브 524,288 토큰인 반면, Gemma 4 26B-A4B는 262,144 토큰입니다. 두 모델 모두 OrcaRouter에서 Gemma 모델 기준 262K로 서빙됩니다.

• 모달리티 — Nanbeige4.3-33B의 경우 텍스트 입력, 텍스트 출력, 영어 및 중국어를 지원합니다. Gemma 4 26B-A4B는 텍스트, 이미지, 비디오를 입력받아 텍스트를 반환하므로, 스크린샷을 읽는 모든 파이프라인에서는 비교가 끝납니다.

• 라이선스 — 둘 다 Apache 2.0이므로 법적 입장은 동일하며, 결정은 순전히 기술적·경제적입니다.

• 추론 — 둘 다 기본적으로 사고 기능이 켜진 상태로 제공되며, 둘 다 이를 줄이는 방법을 제공합니다. Nanbeige4.3-33B는 추론에 262,144토큰, 에이전트 작업에 65,536토큰의 상한을 권장합니다. Gemma 4 26B-A4B는 실제로 출력을 훨씬 낮게 제한하며, 대부분의 경로에서 약 33K 토큰입니다.

그 마지막 쌍이 핵심입니다. {{1}}Nanbeige 모델{{/1}}은 길게 실행되도록 만들어졌습니다 — 긴 터미널 세션, 긴 에이전트 궤적, 긴 추론 체인 — 그리고 그 토큰 하나하나가 dense 모델 요율로 GPU 시간을 소모합니다. {{2}}Gemma 모델{{/2}}은 토큰당 저렴하도록 설계되었습니다. 그래서 Google이 3.8B active로 출시할 수 있고, 대화를 시작하는 데 6센트가 드는 것입니다.

비용 결정이기 때문에, 구체적인 예를 하나 들어 보겠습니다.

입력 20,000토큰을 읽고 출력 3,000토큰을 생성하는 작업을 하루에 1,000번 실행한다고 가정해 보세요.

OrcaRouter 목록의 Gemma 4 26B-A4B 기준으로, 호출당 입력 비용은 20,000 × 토큰 백만 개당 $0.06 — $0.0012 — 이고, 출력 비용은 3,000 × 토큰 백만 개당 $0.33 — $0.00099 — 입니다. 즉 호출당 $0.00219, 1,000회 호출당 $2.19, 해당 사용량 기준 월 약 $66입니다.

Nanbeige4.3-33B에서는 호출당 가격을 계산할 필요가 없습니다. 호출 자체가 없기 때문입니다. 필요한 것은 하드웨어입니다. bfloat16에서 가중치만 66.3GB이며, 컨텍스트가 커지면 유용한 KV 캐시와 함께 단일 80GB 카드에 들어가지 않습니다. 캐시의 각 토큰은 약 208KiB를 차지하므로, 32K 토큰 대화는 시퀀스당 약 6.5GiB를 추가로 차지합니다. 4방향 텐서 병렬화는 Nanbeige 자체 카드가 전제하는 구성이며, 이는 이중화를 위해 필요한 두 번째 노드를 고려하기 전에 본격적인 배포를 위한 최소 조건입니다.

두 가지를 나란히 놓고 보면, 솔직한 결론은 낮은 볼륨에서는 두 모델이 서로의 대체재가 아니라는 것이다. 하루 수백만 토큰 미만에서는 Gemma 4 26B-A4B가 10배가량 더 저렴하며, 그 격차를 메우려면 에이전트 능력 격차가 엄청나야 할 것이다. 그 볼륨을 넘어서면 자체 호스팅의 고정 비용이 상각되면서 비교가 실질적인 의미를 갖게 되는데, 바로 그때 33B의 장기 과제 수행 강점이 중요해지기 시작한다.

덴스 모델이 제값을 하는 곳

Nanbeige4.3-33B에 대한 주장은 "더 우수하다"가 아닙니다. 그것은 "저렴한 모델이 서투르게 처리하는 특정한 일을 해낸다"는 것이며, 독립적인 수치들은 그것이 어떤 일인지를 가리킵니다.

Terminal-Bench 4.0에서 29.8%는 Artificial Analysis 자체 보드 기준으로 해당 벤치마크의 모든 구성 중 56번째로 좋은 결과입니다. 이는 헤드라인 숫자가 아닙니다. 그러나 대략 동일한 하네스에서 Qwen3.8-27B가 최고 추론 설정으로 기록하는 것의 약 5배이며, 이 벤치마크는 장기적인 터미널 작업을 중심으로 만들어졌습니다. 일찍 포기하는 모델은 추론을 아무리 잘하더라도 0점을 받는 종류의 작업입니다.

같은 양상이 보정 데이터에서도 나타난다. Nanbeige4.3-33B는 AA-Omniscience에서 정확도 11.7%를 기록하지만 비환각 점수는 81.8%로, 사이트 전체에서 7위다. 에이전트 루프에서는 경로를 만들어내는 대신 "모르겠다"고 말하는 모델이, 잡학 지식에서 5점 더 높지만 더 나아갈 길이 없을 때 사실을 꾸며내는 모델보다 더 가치 있다. Gemma 4 26B-A4B의 해당 보정 수치는 현재 종합 지표에 공개되어 있지 않으므로, 이는 Nanbeige에 대한 주장이지 비교는 아니다.

대부분의 팀에게 결정적인 역할을 하는 부분

주장을 읽기보다 직접 검증해 보고 싶다면, 하나의 키로 두 모델 모두에 접근할 수 있습니다. Gemma 4 26B-A4B는 위 가격으로 OrcaRouter 카탈로그에 있으며, 262K 윈도와 제로 데이터 보존 라우팅을 갖추고 같은 엔드포인트에서 이용할 수 있습니다. Nanbeige4.3-33B는 카탈로그에 없습니다 — 우리는 이를 호스팅하지 않으며, 여기 어떤 내용도 우리가 호스팅한다는 주장으로 해석되어서는 안 됩니다.

그 비대칭이 실제로 의미하는 것은 이 비교에서 저렴한 쪽은 5분짜리 실험이고 비싼 쪽은 조달 절차라는 점이다. 워크로드가 멀티모달이거나, 하루 볼륨이 수백만 토큰 미만이거나, 이번 주에 답을 내야 한다면 Gemma 4 26B-A4B는 가용성만으로도 이기며 벤치마크 질문은 꺼낼 필요조차 없어진다.

당신의 워크로드가 장기 지평 터미널 자동화라면, 4B 활성 모델이 두 시간째쯤 어딘가에서 맥락을 놓칠 것이라는 걸 이미 알고 있을 테고, 당신이 신경 쓰는 숫자는 바로 그 29.8%입니다. 그다음 문제는 GPU 네 장을 감당할 수 있느냐가 되는데, 어떤 벤치마크도 그 질문에 답해 주지 못합니다.