Claude Haiku 5.5 vs Gemma 4 12B: 직접 보유할 수 있는 가중치 모델 대 벤더 API

Claude Haiku 5.5와 G​emma 4 12B는 사실 같은 자리를 두고 경쟁하는 것이 아니며, 이를 가장 빠르게 확인하는 방법은 한 줄이다. 하나는 다운로드하고 양자화해 자기 하드웨어에서 실행할 수 있는 Apache-2.0 가중치로 배포되고, 다른 하나는 API 뒤에만 존재한다. Claude Haiku 5.5는 2026년 10월 7일에 등장해 소형 티어가 기록할 수 있는 점수를 단숨에 다시 그렸다 — 독립적인 Artificial Analysis Intelligence Index에서 43점. G​emma 4 12B는 같은 순위표에서 14점이다. 그 격차는 엄청나며, 그것이 대부분의 팀이 결국 둘 중에서 선택하게 되는 이유는 아니다.

선택은 대개 어떤 벤치마크를 참고하기 전에 이미 강제됩니다: 토큰을 벤더로 보낼 수 없는 규제된 파이프라인, 안정적인 이그레스가 없는 엣지 박스, 밀리초 단위로 측정되는 지연 예산, 또는 폐쇄형 API가 결코 충족시킬 수 없는 파인튜닝 요구사항. 그중 어느 것도 해당하지 않는다면, 답은 접전이 아닙니다. 하나라도 해당한다면, 점수 차이는 중요하지 않게 되고 배포 제약이 모든 것을 결정합니다.

이사회가 측정한 것, 그리고 그 시점

아래의 독립적인 수치는 Artificial Analysis에서 나온 것이고, 공급업체 요금은 Anthropic과 Google의 자체 문서에서 나온 것입니다. 이들은 두 가지 다른 종류의 숫자이며, 전체적으로 그렇게 표시되어 있습니다.

• 독립 점수 — Claude Haiku 5.5는 Intelligence Index에서 43점으로 182개 모델 중 2위다. G​emma 4 12B (Reasoning)는 14점으로 해당 클래스에서 142개 중 21위다. 29점 차이다.

• 백만 토큰당 입력 가격 — Claude Haiku 5.5는 100,000토큰까지 $0.10, 초과분은 $0.50; G​emma 4 12B는 $0.10.

• 백만 토큰당 출력 가격 — Claude Haiku 5.5는 100,000토큰까지 $0.50, 그 이상은 $2.50; G​emma 4 12B는 $0.30.

• 컨텍스트 윈도우 — Claude Haiku 5.5의 경우 1,000,000 토큰, G​emma 4 12B의 경우 262,000 토큰.

• 처리량 — Claude Haiku 5.5는 초당 출력 토큰 240.4개; G​emma 4 12B는 113.1개이며, 첫 토큰까지 걸리는 시간은 2.48초입니다.

• 완료된 Index 작업당 비용 — Claude Haiku 5.5의 경우 $0.21. G​emma 4 12B는 토큰당 충분히 저렴해서 보드의 혼합 수치가 백만 토큰당 $0.12에 이르지만, 파생된 작업당 비용은 이 비교를 결정할 숫자가 아닙니다.

• 가중치 — G​emma 4 12B의 경우 Apache 2.0, 다운로드 가능하며 약 120억 개 파라미터의 덴스 모델입니다. Claude Haiku 5.5는 독점 모델로, 가중치 공개가 없고 계획도 없습니다.

• 나이 — Gemma 4 12B는 2026년 6월부터 나와 있습니다. Claude Haiku 5.5는 이 글을 쓰는 시점에 이틀 된 따끈따끈한 모델입니다.

격차는 29점이고, 가격 격차는 거의 없습니다.

두 가격 행을 다시 보세요: 입력은 둘 다 $0.10이고, 출력은 $0.30 대 $0.50입니다. Gemma 4 12B가 더 저렴하며, 그 차이는 토큰 수에 묻힐 만큼 작습니다 — Claude Haiku 5.5의 더 새로운 토크나이저는 같은 텍스트를 대략 30% 더 많은 토큰으로 만들기 때문에, Gemma 쪽의 40% 순수 출력 단가 우위는 실제 청구서에서는 거의 상쇄되는 수준입니다.

그러니까 어느 칼럼을 먼저 읽느냐에 따라, Index 점수가 0점 뒤처진 모델에 같은 요율을 내고 있거나, 9점 앞선 모델에 거의 같은 요율을 내고 있는 셈입니다. 이것이 정직한 설명이며 분명히 말해야 합니다: 두 모델이 모두 할 수 있는 모든 작업에서 Claude Haiku 5.5가 정가 기준으로 더 나은 구매이고, 더 작은 모델에 아무리 많은 프롬프트 엔지니어링을 해도 좁힐 수 없는 차이로 더 낫습니다.

따라서 흥미로운 질문은 "어느 쪽이 더 나은가"가 아니다. 그것은 "내 대기열의 작업 중 G​emma 4 12B가 실패하는 작업은 무엇인가"이며, 그에 대한 답만이 이 비교를 결정한다.

가중치가 주는, API는 줄 수 없는 것은 무엇인가요?

다운로드한 모델은 다른 종류의 자산이며, 그 이점은 점진적이라기보다 구조적이다.

• 데이터 경계 — G​emma 4 12B를 사용하면 공급업체가 전혀 개입하지 않습니다. 의료, 법률, 국방 또는 금융 워크로드에서 이는 종종 유일하게 중요한 요구사항이며, 아무리 높은 점수도 API를 수용 가능하게 만들지 못합니다.

• 변동비 대신 고정비 — 4비트로 양자화된 12B dense 모델은 최신 가속기 한 대에 넉넉히 들어간다. 그 시점에서 토큰당 한계 비용은 전기이며, 워크로드는 계량기가 아니라 머신 한 대를 기준으로 산정할 수 있다.

• 외부 송출 없음, 네트워크 지연 없음 — 온프레미스 12B 모델이 밀리초 단위로 응답하는 것은 아무것도 이 박스를 벗어나지 않기 때문이다. 벤더 API는 왕복과 콜드 스타트 꼬리 지연이라는 비용을 치르지만, 엣지 배포에는 그런 것이 애초에 없다.

• 파인튜닝과 증류 — 자체 데이터로 Gemma 4 12B를 조정하고, 어댑터를 배포한 뒤 고정할 수 있습니다. Anthropic이 언젠가 Haiku급 모델을 파인튜닝하도록 허용할지는 로드맵을 세울 수 있는 문제가 아닙니다.

• 로드맵 아래를 받쳐 주는 하한선 — 가중치가 당신 발밑에서 지원 중단되는 일은 없습니다. A​nthropic은 2027년 10월 7일 전까지 Claude Haiku 5.5를 종료하지 않겠다고 약속했는데, 이는 관대한 일이지만 날짜가 붙은 약속은 여전히 날짜가 붙은 약속일 뿐입니다.

• 특이하게도 모달리티 측면에서 — 보드에는 G​emma 4 12B가 텍스트, 이미지, 음성, 비디오 입력을 받아 텍스트를 출력하는 것으로 기록되어 있는데, 이는 Claude Haiku 5.5의 텍스트와 이미지보다 더 넓은 입력 범위입니다. 별도의 전사 서비스 없이 오디오를 입력받는 로컬 파이프라인에게 이는 API 쪽에는 없는 실제 역량입니다.

12B가 접촉에서 살아남지 못하는 곳

29점 격차를 측정하는 같은 평가 보드는 소형 덴스 모델이 잘하지 못하는 것들도 기록하며, 그것들을 빼놓는 것은 정직하지 않을 것이다:

• 긴 컨텍스트 — 1,000,000 대비 262,000 토큰. 코드베이스나 1년치 기록을 하나의 프롬프트에 밀어 넣는 파이프라인은 G​emma 4 12B에서는 가망이 없고, 그것을 검색 루프로 잘게 나누면 더 큰 윈도우라면 피할 수 있었을 엔지니어링 작업이 추가된다.

• 에이전트형 및 컴퓨터 사용 작업 — 소형 모델의 실패가 조용하고 값비싼 작업 범주. Anthropic이 자체 보고한 Claude Haiku 5.5의 수치는 OSWorld 2.1을 72.4%로, 이전 Haiku를 15.7%로 제시합니다. Index가 14인 12B 모델은 그 작업에 적합한 도구가 아니며, 여기서 벤더 수치는 독립적인 실행이 이를 재현한 적이 없다는 점을 감안하더라도 유용한 신호입니다.

• 공유 플릿에서의 달러당 처리량 — 호스팅 인스턴스에서 초당 113토큰이면 충분하지만, 자체 호스팅을 하는 이유는 속도 때문이 아니며, 단일 GPU 배포는 그보다도 더 느릴 것이다.

• 아무도 대신해 주지 않음 — 프로덕션에서 G​emma 4 12B를 운영한다면, 자체 하드웨어의 장애는 곧 당신의 장애이며, 직접 구축하지 않는 한 페일오버할 두 번째 제공자가 없습니다.

둘 중 하나를 하나의 엔드포인트를 통해 실행하기

OrcaRouter는 오늘 카탈로그에서 Gemma 4 31B와 Gemma 4 26B-A4B를 Google의 정가에 0% 마크업으로 제공합니다, 하지만 12B는 제공하지 않습니다 — 그리고 그렇다고 암시하기보다는 이를 분명히 말할 가치가 있습니다. 12B는 공급업체 자체 배포와 여러 타사 플랫폼을 통해 이용할 수 있습니다. Claude Haiku 5.5도 마찬가지로 아직 카탈로그에 없으며, Anthropic의 API와 주요 클라우드에서 이용할 수 있습니다.

라우터가 실제로 제공하는 것은 이 비교가 정말로 요구하는 형태입니다. 저렴한 로컬 모델과 값비싼 API 모델의 합리적인 배포는 분기가 아니라 경로입니다. Gemma 4 12B 또는 호스팅된 Gemma 4 변형이 쉬운 다수의 요청을 처리하고, 품질이나 길이 조건에 걸리는 요청은 Anthropic 구간으로 에스컬레이션됩니다. Claude Haiku 4.5, Claude Sonnet 5.5, Claude Opus 5.5가 이제 카탈로그에 있으므로 소규모 티어 구간이 아직 제공되기 전에도 에스컬레이션 경로를 구축하고 부하 테스트를 할 수 있습니다. OrcaRouter에서 이러한 구성은 여러분이 유지 관리하는 서비스가 아니라 라우팅 DSL 표현식과 자동 페일오버이며, 제공업체 목록 가격이 0% 마크업으로 그대로 전달되므로 어느 구간의 가격이든 변동이 발생한 당일에 바로 반영됩니다.

규칙

제약 조건이 이를 배제하지 않는 한 Claude Haiku 5.5를 선택하세요. 거의 같은 정가로 G​emma 4 12B보다 Index 점수 29점 앞서고, 100만 토큰의 컨텍스트를 지원하며, 둘 다 시도할 수 있는 모든 작업에서 더 강력한 모델입니다. 이 비교에서 12B가 성능상 이기는 경우는 없습니다.

제약이 핵심일 때 Gemma 4 12B를 선택하세요 — 토큰이 여러분의 구내를 떠날 수 없을 때, 예산이 계량기가 아니라 기계일 때, 미세 조정이 필요할 때, 또는 요금표와 지원 종료일이 아니라 손에 직접 쥔 가중치가 필요할 때 말입니다. 그것들은 선호가 아니라 요구 사항이며, 요구 사항 앞에서 29점 차이는 결정을 좌우하는 숫자가 결코 아닙니다.