Nemotron 3.5 Super 대 GPT-6 Astra: 스캔한 페이지 비용은 각각 얼마인가

OpenAI GPT-6 Astra는 스캔한 문서에 대해 토큰 단위로 요금을 청구한다. NVIDIA Nemotron 3.5 Super는 GPU 초 단위로 요금을 청구한다. 이 한 문장이 이 비교의 대부분을 차지하며, 어느 벤더도 헤드라인에 내걸지 않을 문장이다. NVIDIA 모델은 — 총 1,200억 개 파라미터에 토큰당 120억 개가 활성화되고, 하이브리드 Mamba-2와 Transformer 전문가 혼합(MoE) 구조에 C-RADIO 비전 인코더를 얹은 모델로, NVIDIA가 2026년 10월 15일 NVIDIA Nemotron 3.5 Super VL이라는 이름으로 발표하고 Ollama에 code>nemotron-3.5-super/code>로 출시한 — 이 모델은 가중치가 이미 사흘 지난 상태로 세상에 나왔다. 가중치는 10월 12일 Hugging Face에 업로드되었다. Astra는 OpenAI의 플래그십이다: 1,050,000 토큰의 컨텍스트, 최대 128,000 토큰 출력, 텍스트·이미지·파일 입력, 상시 추론, 그리고 백만 입력 토큰당 10달러, 백만 출력 토큰당 50달러의 정가.

그 두 가격대는 입력에서 10배, 출력에서 25배 차이가 나는데, 그 덕분에 흥미로운 질문이 유난히 날카로워진다. 문서 작업에서 고정 비용의 오픈 체크포인트가 $10/$50 종량제를 앞지르는 물량은 어느 정도이며, 문서가 텍스트 한 페이지가 아니라 픽셀 한 페이지일 때 그 답은 달라지는가?

그들은 같은 요청을 두고 경쟁하는 것이 아니다

우선 분명히 해야 할 점은, 측정된 능력 면에서 이 두 모델은 차이가 크며, 어느 벤더도 그 반대라고 주장하지 않는다는 것입니다.

• 제3자 지수 — Astra는 이러한 모델을 채점하는 패널에서 약 54.7에 위치하며, 코딩 지수 76.9, 에이전틱 지수 51.6으로, 모두 Astra 자체 카탈로그 항목에 기록되어 있습니다 · NVIDIA 체크포인트는 약 26입니다. 이는 약 28포인트의 격차이며, 어느 벤더도 측정한 것이 아닙니다.

• 컨텍스트 — Astra의 경우 1,050,000 토큰에 출력 상한 128,000 토큰 · NVIDIA 체크포인트는 1,000,000 토큰이며 공개된 출력 상한이 전혀 없고, 카드 자체에 메모리 및 런타임 설정이 실제 사용 가능한 수치를 결정한다는 단서가 붙어 있습니다.

• 추론 표면 — Astra는 low부터 max까지 구성 가능한 노력 수준으로 상시 추론을 실행하고, Responses API를 통해 전체 추론 트레이스를 반환하며, 구조화된 출력, 시드, 그리고 도구로서의 웹 검색을 지원합니다 · NVIDIA 체크포인트는 채팅 템플릿을 통해 전환되는 on/off 사고 모드와 공개된 벤치마크 표를 갖추고 있지만, 어떤 종류의 호스팅 표면도 없습니다.

• 입력 모달리티 — Astra의 경우 텍스트, 이미지, 파일 · NVIDIA 체크포인트의 경우 텍스트, 이미지, 비디오이며, 게시된 모든 태그에 1.6 GiB 비전 프로젝터가 포함되어 이미지 경로가 항상 존재합니다.

• 가격 — 백만 토큰당 입력 $10, 출력 $50이며, 프롬프트 토큰 272,000개 초과 시 롱컨텍스트 티어 적용 · 엔드포인트가 없는 모델이므로 가격 없음.

• 제공 사항 — API 키와 트레이스 · BF16 기준 H100 4장 또는 GB200 2장, 또는 82.3 GiB 기본 4비트 태그를 위한 96 GB 카드 1장, OpenMDW-1.1에 따라 상업적 사용이 허용됩니다.

그 목록을 읽고 나면 결론은 뻔하다. 작업에 최전선 수준의 추론이 필요하다면 Astra가 바로 그 모델이고, 비교는 끝난 것이다. 이 페이지를 읽을 가치가 있게 만드는 것은 작업에 최전선 추론이 필요하지 않은 경우다. 바로 그 지점에서 비전 인코더를 갖춘 1,200억 매개변수 체크포인트가 경제성을 갖기 시작하기 때문이다. 그리고 이는 누구도 인정하고 싶어 하지 않을 만큼 실제 문서 파이프라인에서 큰 비중을 차지한다.

실제 숫자로 계산해 본 페이지 비용 산수

구체적인 작업을 하나 들어 보자. 스캔한 송장 코퍼스, 하루 200페이지, 각 페이지는 손으로 쓴 참조 번호를 읽을 수 있을 만큼 높은 해상도로 렌더링된다. 인코더가 작업을 마친 뒤 페이지당 이미지 토큰 1,500개, 여기에 300토큰 프롬프트와 150토큰 답변을 더한 값이라고 하자. 즉 페이지당 대략 입력 1,950토큰, 출력 150토큰이며, 코퍼스 전체로는 하루에 입력 390,000토큰, 출력 30,000토큰이다.

Astra가 공개한 요율로는 입력 $3.90, 출력 $1.50 — 단일 GPU가 밤새 처리할 수 있는 작업에 하루 약 $5.40, 한 달이면 대략 $160이다. 해상도를 높이거나, 272,000 프롬프트 토큰을 초과하는 롱컨텍스트 티어를 발동시키는 페이지를 추가하거나, 첫 패스가 잘못되어 코퍼스를 두 번 실행하면, 그 숫자는 한 방향으로만 움직인다. 이것이 문제의 형태다: $10와 $50에서는 페이지 단위 워크플로에 페이지당 청구서가 따르고, 그 청구서는 정확히 증가하는 것 — 페이지 수 — 에 비례해 커진다.

NVIDIA 체크포인트에서는 같은 작업이 230,000개 토큰이 소비하는 GPU-시간의 얼마의 비율만큼 비용이 드는데, 이는 하루 200페이지 기준으로 전기료에 비하면 반올림 오차에 불과합니다. 청구서는 카드이고, 그 카드는 200페이지를 처리하든 20,000페이지를 처리하든 동일합니다.

누구든 하드웨어를 사러 달려가기 전에 세 가지 주의할 점이 있다. 첫째는 낮은 처리량에서는 이것이 더 이상 사실이 아니라는 점이다 — 96GB 카드와 이를 돌리는 전력은 대부분의 팀이 토큰에 쓰는 돈보다 월 비용이 더 많이 들고, 하루 200페이지라면 아마 손해를 볼 것이다. 둘째는 대부분의 사람이 실제로 돌리게 될 NVIDIA 양자화인 q4_K_M은 어디에도 공개된 평가가 없다는 점이다. NVIDIA 카드에 있는 모든 수치는 BF16 또는 NVFP4이므로, 배포하는 버전의 정확도는 알 수 없다. 셋째는 Astra의 출력이 측정 가능할 정도로 더 우수하고, 참조 번호를 잘못 읽는 것이 실제 비용으로 이어지는 말뭉치에서는 더 나은 정확도가 어떤 크기의 가격 차이도 압도할 수 있다는 점이다.

Astra가 단순히 더 나은 것이 아니라 구조적으로 더 나은 곳

Astra를 더 저렴한 옵션에 대한 값비싼 대안으로 묘사하는 것은 정직하지 않을 것이다. 여러 측면에서 그것은 전혀 다른 부류의 제품이며, 그 차이는 점수에 관한 것이 아니다.

Astra는 Responses API를 통해 전체 추론 추적을 반환합니다. 결정을 정당화해야 하는 파이프라인 — 청구 심사, 컴플라이언스 검토, 의료 코딩 단계 — 에서 감사 가능한 추적은 기능이 아니라 필수 요건입니다. NVIDIA 체크포인트에는 채팅 템플릿에서 켜고 끌 수 있는 사고 모드가 있고 호스팅된 추적 표면은 전혀 없으므로, 감사 계층을 직접 구축해야 합니다.

Astra는 스키마와 시드를 사용한 구조화된 출력을 지원합니다. 출력이 레코드 레이아웃을 따라야 하는 문서 추출 파이프라인에서는, 스키마에 맞춰 제약할 수 있는 모델이 검증 후 재시도하는 모델보다 통합 비용이 더 저렴합니다. 그리고 재시도 비용은 문제가 드러나기 전까지는 보이지 않습니다.

그리고 Astra의 도구 표면은 자사 제품입니다: 함수 호출, response_format, seed, 그리고 도구로서의 웹 검색. NVIDIA 체크포인트의 배포 레시피는 자사가 작성하지 않은 도구 호출 파서를 재사용합니다 — 벤더 자체의 vLLM 레시피는 code>qwen3_coder/code>를 도구 호출 파서로, code>nemotron_v3/code>를 추론 파서로 지정합니다. 이는 현명한 엔지니어링 선택이며, 동시에 도구 호출 표면이 이 모델을 위해 설계된 것이 아니라 빌려온 것이라는 의미이기도 하므로, 신뢰하기 전에 테스트가 필요할 것입니다.

vLLM 레시피는 또한 벤더가 레플리카가 처리하기를 기대하는 항목을 알려줍니다: 텐서 병렬화 4, GPU 메모리 사용률 0.85, 최대 32개의 동시 시퀀스, 프롬프트당 이미지 하나와 비디오 하나, 비디오 프루닝 0.5, 그리고 3개의 스페큘레이티브 토큰을 사용하는 내장 MTP 헤드를 통한 스페큘레이티브 디코딩입니다. 32개의 동시 시퀀스는 4-GPU 노드에서의 상한입니다. Astra의 상한은 속도 제한입니다.

NVIDIA 기본 설정에 있는 함정, 그리고 그것이 문서에서 가장 먼저 드러나는 이유

이 세부 사항이 첫 실험의 성공 여부를 결정할 것이며, 벤더의 게시물이 아니라 런타임 레지스트리를 읽어야만 보인다.

이 카드는 두 가지 샘플링 구성을 명시합니다. 텍스트 작업에는 temperature 1.0과 top_p 0.95, 비전에는 temperature 0.6과 top_p 0.95입니다. Ollama 매니페스트에 기본으로 실려 나가는 것은 텍스트 쪽 조합, 즉 code>{"temperature": 1.0, "top_p": 0.95}/code>와 code>draft_num_predict: 3/code>입니다. 따라서 대부분의 사람들이 이 비전 모델을 만나게 되는 구성은, 이 모델의 절반, 즉 비전이 아닌 쪽에 맞춰 튜닝된 것입니다. 이 모델로 가장 먼저 하는 일이 스캔한 인보이스를 들이미는 것이고 결과가 두루뭉술하거나 환각이라면, 체크포인트에 대해 어떤 결론을 내리기 전에 가장 먼저 바꿔야 할 것은 바로 이 샘플링 설정입니다.

배포하기 전에 알아 두면 좋을 레지스트리 세부 사항이 두 가지 더 있습니다. 게시된 아홉 개 태그 중 네 개 — code>:latest/code>, code>:120b/code>, code>:120b-a12b/code> 및 code>:120b-a12b-q4_K_M/code> — 는 동일한 q4_K_M 레이어로 귀결되므로, 전체 파라미터 수를 이름에 붙인 태그가 곧 여러분이 받게 되는 파일은 아닙니다. 그리고 버전 게이트는 권고가 아니라 강제됩니다. 설정에 code>requires: 0.40.5/code>가 선언되어 있어, 구버전 런타임에서는 풀(pull)이 아예 작동하지 않습니다.

그것을 이 비교의 반대편에 있는 실패 모드, 즉 변경된 엔드포인트와 비교해 보세요. Astra는 호스팅 서비스이므로 그 동작이 수정될 수 있습니다. 두 위험 모두 이 모델을 피할 이유는 아닙니다. 두 위험은 서로 다르며, 서로 다른 완화책을 요구합니다 — 한쪽에는 구성 변경이, 다른 쪽에는 폴백 경로가 필요합니다.

둘 모두에게 동일한 라우팅 답변

Astra는 저희 키로 제공됩니다. OrcaRouter는 이를 공급자 정가로 라우팅하며, 토큰당 마크업 없이 그대로 전달합니다 — 백만 토큰당 $10와 $50이고, 장문 컨텍스트 등급은 OpenAI가 책정한 가격과 정확히 동일하게 가격이 책정되어, 귀하의 다음 갱신 때가 아니라 저희 쪽에서는 같은 날 바로 적용됩니다. 질문이 Astra가 귀하의 문서 워크로드를 처리할 수 있는지 여부라면, 키 하나면 되고 조달 절차도 필요 없으며, 답을 얻는 데 몇 달러어치 토큰만 들면 됩니다.

우리 키에는 NVIDIA 체크포인트가 없습니다. 우리는 200개가 조금 넘는 모델을 라우팅하고 있으며, 그중에 NVIDIA Nemotron 항목은 없습니다. 따라서 이 글은 여기서 호출할 수 있다는 주장이 아닙니다. 해당 체크포인트가 필요하다면, NVIDIA 자체 빌드 및 배포 채널과 로컬 가져오기가 경로입니다.

이 결정에서 플랫폼이 진정으로 필요한 것은 순서 정하기다. 먼저 코퍼스를 Astra에 돌리고 두 가지를 측정하라: 페이지당 비용, 그리고 페이지당 오류율. 이 두 숫자가 함께 모든 것을 결정한다. 오류율이 낮고 볼륨이 낮다면, 영원히 종량제에 머물러라 — 하드웨어로는 결코 그것을 이길 수 없다. 오류율이 낮고 볼륨이 높다면, 이제 범용 페이지는 보유한 카드로 옮기고 어려운 페이지는 종량제에 남겨 둘 수 있는 방어 가능한 근거가 생긴다. 오류율이 높다면, NVIDIA 쪽의 어떤 가격 우위도 도움이 되지 않는다, 잘못 읽은 청구서의 산수는 토큰에 관한 것이 아니기 때문이다.

그리고 어떤 방식을 택하든, 새 모델을 폴백 뒤에 라우팅하세요. 가중치가 나흘 된 체크포인트는 운영 이력이 나흘뿐이며, 그에 대비하는 가장 저렴한 보험은 같은 호출에 두 번째 모델을 두는 것입니다. Astra는 나흘 된 오픈 모델 뒤에 두기에 합리적인 선택이며, 이 페이지를 읽는 대부분의 독자가 교체할 필요가 없다고 결론 내릴 모델이기도 합니다.