Ultramarine 1 Flash vs Claude Haiku 4.5: 같은 것을 측정하지 않는 두 개의 작업당 비용 수치

이 비교에 등장하는 두 모델은 모두 작업당 비용을 공개하며, 숫자를 나란히 놓고 빼고 싶은 유혹이 듭니다. Paper Instruments는 Ultramarine 1 Flash가 $0.13에 한 작업을 끝낸다고 말합니다. Artificial Analysis는 Claude Haiku 4.5를 추론 구성에서 완료된 Intelligence Index 작업당 $0.28로 측정합니다. 한쪽이 다른 쪽의 절반도 안 되며, 그것이 전부라면 결정은 10초면 끝날 것입니다. 하지만 그것이 전부가 아닙니다. 왜냐하면 그 두 수치는 모델에게 서로 다른 일을 요구하는 서로 다른 스위트에서 나온 것이고, 어느 스위트가 여러분의 업무와 비슷한지 이해하는 것이 바로 이 비교의 전부이기 때문입니다. 요율 자체는 더 벌어져 있습니다. Paper Instruments 모델은 백만 입력 토큰당 $0.15, 출력은 $0.50인 반면, Anthropic의 모델은 $1.00와 $5.00으로, 입력에서 6.7배, 출력에서 10배 차이입니다.

두 번째 비대칭이 있습니다. Claude Haiku 4.5는 자사를 만든 곳이 아닌 연구소에서 공개한 점수를 가지고 있습니다. Ultramarine 1 Flash는 자사를 학습시킨 회사가, 그 회사가 구축한 스위트에서 공개한 점수를 가지고 있습니다. 여기서는 두 사실 모두 어떤 단일 벤치마크 수치보다 더 중요하며, 어느 것도 나란히 비교한 항목에는 나타나지 않습니다.

두 요금표, 그리고 양쪽에서 서로 같지 않은 항목

Ultramarine 수치는 Paper Instruments가 공개한 API 가격과 자체 공개 평가입니다. Claude Haiku 4.5의 가격은 Anthropic의 요금표이며, 해당 평가 수치는 그렇게 표기된 Artificial Analysis 측정값입니다.

• 입력 — Ultramarine 1 Flash 백만 토큰당 $0.15 vs Claude Haiku 4.5 $1.00. Anthropic의 모델은 입력 비용이 6.7배 더 높습니다.

• 캐시된 입력 — 백만 개당 $0.03 대 $0.10, A​nthropic 쪽은 90% 할인, Paper Instruments 쪽은 80% 할인. 절대적 격차는 여전히 크게 유지되고, 비례적 격차는 좁아진다.

• 출력 — 백만당 $0.50 대 $5.00. 10배이며, 문서 작업은 출력을 엄청나게 많이 생성하기 때문에 차이가 실제로 드러나는 항목이 바로 이것입니다.

• 컨텍스트 — 기술 보고서에서 명시한 학습 구성에서는 131,072 토큰인 반면, Haiku 요금표에서는 200,000입니다. Anthropic이 약 1.5배 더 많습니다.

• 최대 출력 — Paper Instruments에서 공개하지 않음, Claude Haiku 4.5의 64,000 토큰 대비. 목록에 빈 셀 하나.

• 입력 — Claude Haiku 4.5는 텍스트, 이미지 및 파일 업로드를 지원합니다. Ultramarine 1 Flash는 텍스트와 문서 작업을 중심으로 만들어졌습니다. 그 기반인 GLM-5.3 Flash는 기본적으로 멀티모달이지만, Paper Instruments는 파생 모델에 대한 모달리티 목록을 공개하지 않습니다.

• 완료된 작업당 측정된 비용 — Ultramarine 1 Flash의 PI Knowledge Work에서는 $0.13, Claude Haiku 4.5(추론)의 Intelligence Index에서는 $0.28. 사람들이 서로에게 인용하게 될 숫자들. 다음 섹션은 이 둘이 왜 같은 단위가 아닌지에 관한 것이다.

각 점수가 실제로 다루는 내용

Claude Haiku 4.5의 공개 기록은 두 가지 구성으로 나오는데, 검색 결과가 보통 잘못된 쪽을 보여주기 때문에 이 둘은 구분할 가치가 있다. Artificial Analysis는 비추론 구성을 Intelligence Index 15, 초당 출력 토큰 87.3개로 기재한다. 추론 구성 — 작업당 비용 수치가 붙어 있고 이 글에서 일관되게 사용하는 구성 — 은 Intelligence Index 17, 초당 출력 토큰 90.0개, 백만 토큰당 입력 $1.00 및 출력 $5.00, 90% 캐시 할인, 완료된 Index 작업당 $0.28, 그리고 7,800만 출력 토큰의 장황함으로 측정된다. 이 구성의 컨텍스트 윈도는 200,000 토큰이고 지식 컷오프는 2025년 7월이며, 텍스트와 이미지를 입력으로 받는다.

Intelligence Index는 수학, 코딩, 추론, 에이전트 평가를 모아 구성됩니다. 그 구성 테스트 중 어느 것도 모델에게 이사회 발표 자료, 실사 메모, 또는 실시간 예측이 포함된 Excel 모델을 만들라고 요구하지 않습니다. 왜냐하면 그러한 산출물에는 단 하나의 정답이 없고, 그것을 채점하는 벤치마크는 과제마다 평가 기준이 필요하기 때문입니다.

이는 바로 Paper Instruments가 구축한 것이며, 비교가 단순한 뺄셈이 될 수 없는 바로 그 이유다. PI Knowledge Work는 금융, 법률, 컨설팅, 운영 분야에서 고객에게 바로 제공 가능한 산출물 모음이며, 루브릭 채점 모델이 작성된 루브릭에 따라 과제별로 채점한다. Ultramarine 1 Flash는 그곳에서 과제당 $0.13로 59.3점을 기록한다. 문서 산출물 루브릭에서의 59.3점과 수학 및 코딩 지수에서의 17점은 비교 가능한 양이 아니다. 비용 수치도 마찬가지다. 한 제품군의 과제가 다른 제품군의 과제보다 10배 더 길 수 있기 때문이다.

그 조합이 실제로 뒷받침하는 바는 더 좁지만 여전히 유용하다. Claude Haiku 4.5는 그것에 아무런 이해관계가 없는 사람에 의해, A​nthropic의 누구도 설계하지 않은 테스트에서 측정되었다. Ultramarine 1 Flash는 그렇지 않다. 그것은 Paper Instruments의 수치에 대한 비판이 아니다 — 그 회사는 방법을 이례적으로 상세히 공개한다 — 하지만 제공되는 증거의 종류에 있는 차이이며, 그 선택을 리스크 위원회 앞에 올리는 구매자는 즉시 그 점에 부딪히게 될 것이다.

Claude Haiku 4.5가 이견의 여지 없이 앞서는 부분

세 곳, 그리고 그중 어느 것도 더 똑똑해지는 것에 관한 게 아니다.

멀티모달 입력이 가장 명확하다. 스캔한 계약서, 망가진 스프레드시트의 스크린샷, 화이트보드 사진 — 이 모든 것이 1년 동안 변함없이 이를 지원해 온 인터페이스를 통해 Claude Haiku 4.5로 들어간다. Ultramarine 1 Flash는 이미지와 동영상을 읽는 베이스 모델에 기반하지만, 공급업체는 그 파생 모델에 대한 모달리티 목록을 공개하지 않으며, 기술 보고서의 어떤 예시도 모델이 실제로 봐야 하는 이미지에 달려 있지 않다. 문서가 스캔본으로 도착한다면, 이것만으로 그 문제는 판가름 난다.

두 번째는 운영 성숙도다. 1년간 프로덕션 트래픽을 감당해 온 모델은 실패 모드가 발견되고 문서화된 적이 있는데, 그 일을 하는 대가를 받지 않은 사람들에 의해서였다. 2026년 10월 14일에 공개된 모델은 그렇지 않으며, 어떤 새 엔드포인트든 첫 주에 부하가 걸렸을 때 그것이 어떻게 동작하는지 알게 된다.

독립적 검증은 세 번째이며, 바로 이것이 복리처럼 쌓이는 항목이다. Haiku 4.5의 수명이 한 달 더 늘어날 때마다, 누군가가 자신의 작업에 그것을 실행해 보고 무슨 일이 일어났는지 기록한 달이 하나 더해진다.

격차가 거의 없을 정도로 좁혀지는 곳 — 그리고 왜 그 산수가 오해를 낳는지

출력에서 헤드라인 10배는 사실이며, 긴 문서 작업에서는 예상할 수 있는 청구서를 정확히 만들어낸다. 헤드라인이 감추는 것은 두 모델의 작업당 경제성이 수렴할 수 있다는 점이다. PI Knowledge Work에서의 작업은 Intelligence Index에서의 작업과 동일한 작업량이 아니며, Anthropic 모델은 실제로 캐시가 많이 적용되는 모델이기 때문이다.

Paper Instruments 쪽에는 제대로 읽어볼 가치가 있는 직관에 반하는 숫자가 하나 있습니다. 여섯 개 벤치마크 전반에서 Ultramarine 1 Flash는 자신이 포스트트레이닝된 GLM-5.3 Flash 모델보다 출력 토큰을 6.5% 더 적게 생성합니다 — 추론 포함 3,050만 개 대 3,270만 개 — 그러면서 여섯 개 모두에서 더 좋은 점수를 냅니다. 개선되는 토큰 효율성은 포스트트레이닝 실행에서 흔히 나타나는 방향이 아니며, 백만 토큰당 요금표에서는 첫 번째 할인 위에 두 번째 할인이 겹쳐진 셈입니다. 그것은 Paper Instruments 페이지에서 양쪽 모두 동일한 스위트에 대해 동일한 방법으로 측정된 유일한 비교이며, 따라서 이번 릴리스에서 가장 신뢰할 수 있는 숫자입니다.

그에 반해, Claude Haiku 4.5는 아무도 광고하지 않는 한 가지 비교 기준에서는 더 저렴한 모델이다. 완료된 Index 과제당 $0.28로, 실사 메모보다 과제가 더 짧고 에이전트적 성격이 덜한 제품군에 맞춰 가격이 책정되어 있다. 각 모델 앞에 실제 법률 또는 금융 산출물을 놓아 보면, $0.13라는 수치는 결코 $0.28과 동일한 작업 단위를 측정한 것이 아니었다.

두 모델 모두 하나의 키로 OrcaRouter를 통해 이용할 수 있습니다 — 읽어서 판단하는 대신 경험적으로 결판을 보고 싶다면 말이죠. Claude Haiku 4.5는 백만 토큰당 $1.00와 $5.00에 제공되며 토큰당 추가되는 금액 없음 — 공급자의 정가가 그대로 전달되는 구조라, 공급사 요금이 바뀌면 같은 날 우리 쪽에도 반영됩니다. 이는 이전에도 가격이 움직인 적이 있는 모델에게 결코 사소한 속성이 아닙니다. 같은 문서 스무 개를 두 모델에 모두 돌려보고 청구서를 읽어보는 비용은 어느 쪽을 고를지에 관한 회의보다 저렴하며, 논쟁 대신 숫자를 하나 내놓습니다.

갈림길로 제시된 결정

입력이 누군가 스캔한 문서나 스크린샷이라면, 답은 Claude Haiku 4.5이며 더 논의할 것은 없습니다.

입력이 텍스트이고 출력이 완성된 결과물—모델, 덱, 메모—이며, 입력 비용 $0.15 대 $1.00이 프로젝트의 형태를 바꿀 만큼 볼륨이 크다면, Ultramarine 1 Flash는 자신의 업무에 파일럿으로 써볼 가치가 있다. 출시된 지 하루밖에 되지 않았다. $0.13은 벤더가 자체 구축한 스위트에서 보고한 수치이며, 아직 독립적인 평가는 존재하지 않는다. 하지만 요금표는 실제이고, 토큰 효율성 비교는 정직하게 측정할 수 있는 유일한 방식으로 측정되었으며, 이 모델이 앞서는 네 개 벤치마크에서 자체 기본 모델 대비 보이는 향상은 선별된 것이 아니라 일관적이다.

워크로드에 두 가지가 모두 포함되어 있다면, 유용한 방법은 둘 중 하나를 선택하는 것이 아닙니다. 라우팅 규칙을 사용하면 스캔 문서 경로는 Anthropic 모델에 두고, 텍스트를 결과물로 바꾸는 경로는 샘플에서 품질 기준을 통과하는 쪽으로 보낼 수 있습니다. 그리고 더 새로운 쪽에 문제가 생기면 코드 변경도, 두 번째 계약 체결도 없이 요청은 기존 쪽으로 전달됩니다.

미해결 질문을 해소해 줄 것은 Ultramarine 1 Flash를 제작사가 작성하지 않은 평가 모음에서 한 번 독립적으로 평가한 결과뿐이다. 그런 결과가 나오기 전까지 정직한 입장은, Claude Haiku 4.5는 그 동작을 예측할 수 있는 모델이고 Ultramarine 1 Flash는 그 가격을 사용할 수 있기를 바라게 되는 모델이라는 것이다. 오늘 공개된 어떤 것도 그것을 사용할 수 없다고 말하지 않는다. 오늘 공개된 어떤 것도, 공급업체 자체 페이지를 제외하고는, 그것을 사용할 수 있다고 말하지 않는다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.