Gemini 4 Neon vs Claude Haiku 5.5라고 적힌 생성된 타이틀 카드, 부제는 '한 사다리의 양 끝', 각 모델 이름 아래에 하나씩 마주 보는 두 개의 세로 발판 더미, 그 아래에 '아홉 가지 설정, 하나의 지수'라는 문구.
Engineering & Research

Gemini 4 Neon vs Claude Haiku 5.5: 한 사다리의 양 끝

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

스펙 시트에 G​emini 4 Neon과 Claude H​aiku 5.5를 나란히 놓고 보면 비교는 뭔가 어긋난 것처럼 보인다. 입력 가격은 서른 배, 출력 가격도 서른 배이며, 천 토큰당 10분의 1센트가 드는 모델이 3센트가 드는 모델과 맞붙는 셈이다. 그러다 두 모델 모두 단일 지점이 아니라 사다리 형태로 판매된다는 점을 알게 된다. Neon에는 네 가지 사고 수준이 있고 기본값은 높음이며, H​aiku 5.5에는 다섯 가지가 있고 기본값은 중간이다. 카드와 카드를 비교하는 대신 단과 단을 비교하고 나면, 서른 배라는 비율은 더 이상 흥미로운 숫자가 아니게 되고 두 사다리의 모양이 논쟁할 만한 대상이 된다.

두 모델 모두 현행 모델입니다. Claude Haiku 5.5는 2026년 10월 7일 백만 입력 토큰당 $0.10, 백만 출력 토큰당 $0.50로 일반 제공에 도달했습니다. Gemini 4 Neon은 2026년 11월 18일 $3.00 및 $15.00로 출시되었습니다. 둘 다 100만 토큰 컨텍스트 창을 갖추고, 둘 다 텍스트와 이미지를 받아들이며, 둘 다 캐시된 입력에 대해 각각 $0.01 및 $0.15를 청구합니다 — 매우 다른 기본 요율에 적용되는 동일한 95퍼센트 할인입니다.

두 개의 사다리, 아홉 가지 설정

Artificial Analysis는 두 모델의 모든 단계를 동일한 9개 부분 평가 세트 — AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2, Terminal-Bench-Science 0.1 — 로 채점하고 각각의 작업별 비용을 공개한다. 이는 두 개가 아닌 아홉 개의 비교 가능한 지점을 제공하며, 작업별 비용은 요율표에서 도출한 것이 아니라 측정한 것이므로 각 모델이 얼마나 많은 토큰을 사용하기로 선택하는지가 이미 반영되어 있다.

• 저사양 설정의 Neon — 44.1, 작업당 $0.75.

• 네온 중간 — 54.9, $1.90.

• Neon 높음(기본값) — 59.6, $3.74.

• xhigh에서의 Neon — 61.4, $6.44.

• H​aiku 5.5 낮음 설정 기준 — 18.6, $0.044.

• H​aiku 5.5 중간(기본값) — 24.6, $0.092.

• Haiku 5.5, high 설정 기준 — 29.9, $0.159.

• H​aiku 5.5, xhigh 기준 — 34.6, $0.248.

• H​aiku 5.5 최대일 때 — 36.5, $0.411.

목록에서 즉시 두 가지가 드러난다. Neon의 가장 저렴한 등급은 H​aiku의 가장 비싼 등급보다 7.6점 더 높은 점수를 받고, Neon의 가장 비싼 등급은 요금표가 암시하는 30배가 아니라 H​aiku의 가장 비싼 등급보다 15.7배 더 비싸다. 이 중 어느 것도 반올림 오류가 아니다. 둘 다 같은 곳에서 비롯되는데, 두 모델이 각자의 범위 상단에서 토큰을 매우 다르게 소비한다는 점이다.

Artificial Analysis model page for Claude Haiku 5.5 at Max effort, showing an Intelligence Index of 36, $0.10 input and $0.50 output per million tokens, $0.41 per Intelligence Index task, 298 million output tokens on the index against a 90-million median, 282 tokens per second, 180.94 seconds to first answer token, a default effort of medium and a 1M-token context window.

각 카드에서 'High'가 의미하는 것

어휘가 첫 번째 함정이다. Neon에서는 high가 모델이 기본으로 제공하는 단계, 즉 thinking 파라미터를 전달하지 않을 때 얻는 단계다. H​aiku 5.5에서는 high가 다섯 단계 중 세 번째이며 기본값은 medium이다. 따라서 "Neon high versus H​aiku high"라고 쓴 비교는 기본값과 비기본값을 비교하는 것이며, 어느 벤더도 헤드라인으로 인정하지 않을 29.7포인트 격차를 만들어낸다.

실제 기본값을 비교해 보면 — Neon은 high, H​aiku는 medium — 격차가 35.0포인트로 벌어집니다. H​aiku의 기본값이 이름에서 짐작되는 것보다 한 단계 낮기 때문입니다. 두 사다리의 꼭대기를 비교해 보면 — xhigh 대 max — 24.9포인트로 좁아집니다. 이는 어떤 설정 쌍을 비교라고 부르기로 했는지에 따라 전적으로 달라지는 10포인트 변동이며, 같은 리더보드의 인접한 여러 모델 사이 격차보다 더 큽니다.

맞춰진 가로대, 그리고 그 간격이 하는 일

각 단계를 이름 기준으로 정렬하면 지수 격차는 25.5포인트에서 30.3포인트 사이의 좁은 범위에서 변동하며, 어느 방향으로도 추세는 없습니다:

• 낮은 설정에서 — Neon 44.1 대 H​aiku 18.6, 25.5포인트 차이, 작업당 비용 17.0배.

• 중간 설정에서 — 54.9 대 24.6, 30.3점, 20.8배.

• 높음에서 — 59.6 대 29.9, 29.7점, 23.6배.

• 맨 위에서 — 61.4 대 34.6, 26.8포인트, 25.9배.

지능 격차는 안정적이다. 비용 비율은 그렇지 않다. 사다리를 올라갈수록 17배에서 26배로 치솟는데, Neon이 추가적인 사고 1점당 H​aiku보다 더 많이 청구하기 때문이다. H​aiku를 high에서 xhigh로 올리면 작업당 56퍼센트 더 내고 4.7 인덱스 점수를 얻는다. Neon을 high에서 xhigh로 올리면 72퍼센트 더 내고 1.8점을 얻는다. 한계에서는 더 싼 모델이 더 나은 수익을 내는 쪽이다 — 이는 30배의 레이트카드 비율이 예상하게 하는 것과 정반대다.

다섯 번째 가로대에서 그 주장은 무너진다

H​aiku 5.5에는 Neon에는 없는 등급이 하나 있다: max. 또한 두 모델이 판매하는 등급 중 가성비가 가장 나쁜 등급이기도 하다. xhigh에서 max로 가면 H​aiku는 인덱스 점수 1.85점을 얻고 작업당 비용은 $0.248에서 $0.411로 오른다. 5퍼센트 개선에 66퍼센트 증가다. 같은 단계에서 첫 응답 토큰까지 측정된 시간은 46.2초에서 180.9초로 뛰어 약 4배가 된다.

그것은 H​aiku만의 결함이 아니다. 하네스가 손쉬운 개선거리를 모두 소진했을 때 추가 추론 계층이 보이는 모습이다: 모델은 계속 생각하지만 개선은 멈춘다. 그러나 이는 H​aiku 5.5의 36.5를 인용하는 사람이 바로 아래 구성보다 지연 시간이 네 배나 드는 그 모델의 한 구성을 인용하고 있다는 뜻이고, Neon의 61.4를 인용하는 사람이 같은 종류의 이유로 같은 종류의 상한을 인용하고 있다는 뜻이기도 하다. 두 헤드라인 수치는 끝에서 가팔라지는 사다리의 맨 위 칸이다.

Generated nine-bar horizontal chart titled Nine settings, one index, with Neon's four bars at 44.1, 54.9, 59.6 and 61.4 followed by Haiku 5.5's five bars at 18.6, 24.6, 29.9, 34.6 and 36.5 on a 0 to 65 AA Index axis, and a dashed reference line at 54.9 labelled Neon medium clears Haiku's ceiling. The footer reads Intelligence Index and thinking levels per Artificial Analysis v5.0.1, 18 November 2026 release.

추론 토큰은 숨겨진 열입니다

각 작업당 비용 수치는 각 모델이 자기 자신에게 얼마나 많이 기록하는지 보면 이해가 됩니다. 인덱스 실행에서 xhigh의 Neon은 작업당 약 80,500개의 추론 토큰과 61,100개의 답변 토큰을 생성합니다. max의 H​aiku 5.5는 약 172,800개의 추론 토큰과 53,200개의 답변 토큰을 생성합니다.

그래서 30배짜리 요금표를 가진 모델은 두 사다리의 최상단에서 10센트짜리 모델이 쓰는 추론량의 절반에도 못 미치게 쓴다. H​aiku는 더 작은 모델인 점을 더 오래 생각하는 것으로 보상하고, Neon은 더 높은 가격을 덜 생각하는 것으로 보상한다. 그래서 작업당 비율 15.7배가 가격표가 시사하는 30배보다 훨씬 낮은 것이고, 비율이 high에서 가장 크게 벌어지는 것이다 — Neon의 토큰 습관이 H​aiku의 습관과 가장 가까워지고 요금표가 모든 일을 하는 단계에서.

같은 패널의 다른 열은 허위 생성입니다. AA-Omniscience에서 Neon의 기본 설정 환각률은 13.9퍼센트이고, H​aiku 5.5의 기본 설정 환각률은 40.4퍼센트이며 최대 설정에서는 34.2퍼센트입니다. 이는 모델이 출처가 뒷받침하지 않는 내용을 주장하는 빈도에서 2~3배 차이이며, 지수와 달리 H​aiku가 단계를 올려도 거의 개선되지 않습니다. 잘못된 사실을 잡아내는 데 비용이 많이 드는 종류의 워크로드라면, 지수 격차는 Neon에 대한 근거를 과장하기는커녕 오히려 축소해서 보여줍니다.

저렴한 모델이 더 이상 저렴하지 않게 되는 지점

H​aiku 5.5의 가격 우위는 실재하며, 작업이 짧을 때 가장 큽니다. 분류 호출, 라우팅 결정, 문단 재작성, 양식에서의 추출 — 출력이 수백 토큰에 불과한 모든 작업 — 은 H​aiku에서 1센트의 몇 분의 1에 불과하고 Neon에서는 1센트에 더 가까운 비용이 듭니다. 그 정도 규모에서는 30배 비율이 거의 문자 그대로이며 인덱스 격차는 무관합니다. 두 모델 모두 기준을 쉽게 넘기 때문입니다.

작업이 길어질수록 우위는 줄어들며, 이는 서로 겹치는 두 가지 이유 때문입니다. Neon의 작업당 비용은 입력, 캐시 읽기, 캐시 쓰기에 의해 좌우됩니다 — 인덱스 실행에서는 입력이 청구서에서 차지하는 비중이 높게는 64퍼센트이므로, 길고 안정적인 접두사는 Neon의 실효 요율을 $0.15 캐시 가격 쪽으로 끌어당깁니다. H​aiku도 동일한 95퍼센트 캐시 할인을 받지만, 기본 요율이 이미 아주 작아서 절약할 여지가 적습니다. 또한 여러 단계의 계획이 필요한 작업에서는 H​aiku의 사다리가 Neon의 기본값이 위치한 지점보다 아래에서 정점을 이루므로, 저렴한 토큰이 아무리 많아도 답을 얻을 수는 없습니다.

놓치기 쉬우므로 이름 붙일 가치가 있는 세 번째 효과가 있습니다. 측정된 briefcase Elo는 — 인덱스와 별도로 채점되는 다른 하네스인데 — 실제로 최상위에서 H​aiku를 인덱스보다 더 좁은 차이로 선호합니다. Neon xhigh는 1699점이며 95퍼센트 구간은 1688에서 1710이고, H​aiku max는 1572점입니다. 기본 단계에서는 격차가 1632 대 1441입니다. 따라서 두 번째의 독립적인 하네스가 방향에는 동의하고 크기에는 동의하지 않는데, 이는 정상적인 상황이며 표준화하기 전에 두 리더보드를 확인해야 하는 이유입니다.

그리고 네 번째가 있는데, 이는 요금표가 완전히 숨기고 있는 항목이다. H​aiku 5.5는 두 구간으로 가격을 책정한다. 100,000토큰 프롬프트까지는 100만 토큰당 $0.10과 $0.50이고, 그 이상은 $0.50과 $2.50이며, 캐시 읽기는 $0.01에서 $0.05로 올라간다. 이 임계값은 캐시 읽기와 쓰기를 포함한 입력 전체를 집계하므로, 긴 컨텍스트는 이를 쉽게 넘어선다. 그 지점에서 H​aiku의 입력 가격은 대표 문구에 적힌 것의 다섯 배이고, 출력 가격도 다섯 배이며, 어떤 임계값에서도 단계가 바뀌지 않는 Neon의 단일 $3.00 및 $15.00에 대한 비율은 더 이상 서른 배가 아니라 여섯 배, 또는 출력에서는 세 배가 된다. 두 요금표를 액면 그대로 비교하는 사람은 두 구간 가격을 한 구간 가격과 비교하면서 첫 번째 구간을 전부인 양 다루는 것이다.

사다리 발판을 견뎌 내는 의사결정 규칙

중요한 순서대로, 네 가지 규칙:

• 작업이 짧고 답을 확인할 수 있다면, 중간 또는 낮은 수준에서 H​aiku 5.5를 선택하고 더 읽지 마세요. 그 규모에서는 인덱스 격차가 제약이 되지 않고 가격 격차는 엄청납니다.

• 작업에 다단계 계획이나 리포지토리 수준의 코드 변경이 필요하다면, 문제는 Haiku의 가격이 아니라 한계입니다. 최고 단계의 점수는 36.5이고 Neon의 기본값은 59.6입니다. 그 시점에서는 비용을 품질과 맞바꾸는 것이 아니라, 작동하는 답변을 값싼 답변과 맞바꾸는 것입니다.

• 이미 Neon을 사용 중이라면 기본값을 xhigh로 두지 마세요. high에서 xhigh로 올리는 단계는 작업당 72% 더 많은 비용이 들며, 그 대가로 지수 1.8포인트와 첫 토큰까지 16초의 추가 시간이 발생합니다. 대부분의 파이프라인에는 medium이 더 적합하며, 기본값의 절반 가격으로 54.9를 제공합니다.

• H​aiku를 사용 중이라면 max를 가정하지 마세요. max는 두 래더 중 어느 쪽에서든 네 번째로 좋은 값이며, max와 high 사이의 격차는 2.6배의 비용으로 6.6 인덱스 포인트입니다.

두 모델 중 어느 것도 현재 OrcaRouter의 카탈로그에 없습니다. 따라서 이 가운데 어느 것도 두 모델 중 하나를 저희 키로 옮기자는 제안은 아닙니다. 저희가 실제로 제공하는 것은 공급자 정가 그대로, 마크업 없이 Claude Haiku 4.5를 백만 토큰당 $1.00 및 $5.00에 그리고 Gemini 4 Carbon을 $2.00 및 $10.00에 — 각각의 이전 모델입니다. 위의 단계별 계산을 리더보드가 아니라 자체 트래픽에서 시험해 보고 싶은 종류라면, 유용한 방법은 이미 호출할 수 있는 모델의 저렴한 단계를 검토 중인 모델의 비싼 단계와 비교해 하나의 키에서 실행하고, 저렴한 단계가 기준을 통과하지 못할 경우에 대비해 그 아래에 장애 조치를 두는 것입니다.

솔직하게 요약하면, 이 두 모델은 실제로 경쟁 관계가 아니다. 하나는 프리미엄 가격에 판매되는 최전선급 플래너이고, 다른 하나는 바닥에 가까운 가격에 판매되는 대량 처리 작업자다. 이들의 사다리가 범위가 아니라 이름에서 겹친다는 사실 때문에 비교가 실제보다 더 가깝게 느껴지는 것이다. 양 끝을 비교해 보자 — Neon의 medium과 H​aiku의 max — 그러면 $1.90에 54.9 대 $0.41에 36.5가 나온다. 4.5배의 비용으로 18점을 더 얻는 것은 어떤 모델이 더 나은가에 대한 결정이 아니라, 그 작업이 얼마만큼의 가치가 있는가에 대한 결정이다.

Artificial Analysis model page for Gemini 4 Neon at Xhigh effort, showing an Intelligence Index of 61, $3.00 input and $15.00 output per million tokens, $6.44 per Intelligence Index task, 283 million output tokens on the index against a 65.4-million median, 110 tokens per second, 56.54 seconds to first answer token, a default effort of high and a 1M-token context window.