Ultramarine 1 Flash vs GPT-5.6 Luna: 같은 스코어보드에 결코 함께 등장하지 않는 두 모델

이 조합에서 가장 먼저 눈에 띄는 점은 공급업체 자체 차트에서 빠져 있는 것입니다. Paper Instruments는 2026년 10월 14일에 여섯 개의 벤치마크 표와 서른여 개 모델 구성을 아우르는 비용-품질 도표를 함께 공개하며 Ultramarine 1 Flash를 발표했습니다. GPT-5.6 Luna는 도표에 없습니다. 낮은 노력 수준에서도, 중간에서도, 최대에서도 없습니다. 형제 모델인 GPT-5.6 Sol은 모든 노력 수준에서 거기 있습니다. GPT-6 Luna라는 모델은 작업당 $0.11에 58.3으로 거기 있습니다. GPT-5.6 Luna는 전혀 나타나지 않습니다. 그리고 반대편에서 Artificial Analysis에는 GPT-5.6 Luna 항목이 있습니다 — Intelligence Index 37, 완료된 작업당 $0.18, 초당 115.4 출력 토큰 — 그리고 Ultramarine 1 Flash에 대한 항목은 전혀 없습니다. 세 달 간격으로 출시된 두 모델, 둘 다 저렴한 대량 작업을 겨냥했는데, 제3자가 한 모델을 다른 모델이 포함된 벤치마크에서 측정한 적이 없습니다.

그 부재가 바로 비교입니다. GPT-5.6 Luna는 2026년 7월 9일에 출시된 GPT-5.6 제품군의 빠르고 비용 효율적인 티어로, 열 가지 평가를 종합한 복합 지표에서 독립적인 점수를 받았습니다. Ultramarine 1 Flash는 GLM-5.3 Flash를 강화학습으로 사후 학습한 모델로, 백만 토큰당 입력 $0.15 / 출력 $0.50의 가격이 책정되어 있으며, 답변보다는 Excel 통합 문서, 슬라이드 덱, Word 메모를 생성하도록 만들어졌고, 제작사의 수치만을 내세웁니다. 아래의 모든 내용은 이러한 구성에서 무엇을 결론 내릴 수 있고 무엇을 내릴 수 없는지에 관한 것입니다.

두 레코드가 실제로 어디에 위치하는지

Luna의 수치는 OpenAI 자체 API에서의 Artificial Analysis 측정치입니다. Ultramarine의 수치는 Paper Instruments가 공개한 요율과 자체 공개 평가이며, 컨텍스트 수치는 기술 보고서의 훈련 구성에서 가져온 것입니다.

• 독립 점수 — 최대 노력 시 Intelligence Index 37점으로 동급 148개 모델 중 4위를 기록한 GPT-5.6 Luna와, 어떠한 종류의 독립 평가도 없는 Ultramarine 1 Flash.

• 입력 가격은 요율표 기준으로 백만 토큰당 $0.20 대 $0.15입니다. Paper Instruments 모델이 진입 단계에서 25% 더 저렴합니다.

• 출력 가격 — 100만 개당 $1.20 vs $0.50. 2.4배, 이 조합에서 가장 큰 격차.

• 캐시된 입력 — Luna의 경우 백만 개당 $0.02(90% 할인) vs $0.03(80% 할인). 1센트 차이로 OpenAI에 유리합니다.

• 컨텍스트 — Luna의 요금표 기준 1,050,000 토큰 대 Ultramarine의 학습 구성 131,072. 윈도우가 여덟 배이며, 격차가 근소하지 않은 유일한 항목이다.

• 최대 출력 — 128,000 토큰, 미공개 대비.

• 완료된 작업당 측정 비용 — Luna(최대 노력)의 Intelligence Index에서 $0.18 대 Ultramarine 1 Flash의 PI Knowledge Work에서 $0.13. 서로 다른 두 스위트, 서로 다른 두 종류의 작업, 비교 가능해 보이지만 실제로는 그렇지 않은 두 숫자.

• 첫 토큰 — OpenAI의 API에서 Luna가 최대 노력 설정으로 121.46초를 기록한 반면, 해당 가격대의 중앙값은 1.85초입니다. Ultramarine 1 Flash의 경우 어떤 형태로도 공개되지 않았습니다.

2분이 걸리는 첫 토큰, 그리고 그것이 결함이 아니라 설정인 이유

121.46초라는 수치는 별도의 섹션을 둘 만하다. 그것은 실제로는 파라미터인데도 결함으로 인용되곤 하는 종류의 숫자이기 때문이다.

GPT-5.6 Luna는 최대 추론 노력 설정에서 무엇인가를 출력하기 전에 먼저 숙고를 수행한다. Intelligence Index에서 일단 시작하면 초당 115.4개의 출력 토큰을 생성하고, 전체 스위트를 완료하는 데 총 1억 5천만 개의 출력 토큰을 생성한다 — 장황함 부문에서 동급 60개 중 41위이며, Artificial Analysis는 이를 중앙값 9,500만 개에 비해 다소 장황하다고 설명한다. Index 점수 37은 해당 최대 설정에서 측정된다.

모델은 구성 가능한 effort를 지원한다. 즉, 응답을 시작하는 데 2분이 걸리는 동일한 가중치를, 더 낮은 점수를 감수하고 즉시 응답하는 수준으로 조정할 수 있다. OpenAI는 Artificial Analysis 기록에 effort별 세부 내역을 공개하지 않으므로, 그 하락 폭은 비공개다. 기본 호출은 37 아래 어딘가에 있으며, 그 정도는 OpenAI 밖의 누구도 측정하지 않았다. 짧은 초안을 각각 작성하는 값싼 호출 100개가 필요한 fan-out 단계에서는 그것이 올바른 구성이다. 체인 끝에 있는 단 하나의 어려운 작업에는 최대 effort가 올바른 구성이다. 둘 다 동일한 모델이며, 어느 쪽도 잘못 구성된 것이 아니다.

Ultramarine 1 Flash는 지연 시간 수치도, 처리량 수치도, 첫 토큰까지 걸리는 시간도 공개하지 않는다. 다만 기술 보고서는 학습 및 평가가 이루어진 운영 범위를 밝히기는 한다 — 131,072 토큰의 컨텍스트, 에이전트 루프에 대한 250턴 제한, 창의 85%에서 또는 30,000 토큰이 남았을 때 트리거되는 압축 — 그리고 자체 작업 기억을 압축하도록 만들어진 하네스는 장시간 작업을 위해 만들어진 하네스다. 그것은 작업 형태에 관한 추론이지 속도에 관한 증거가 아니며, 정직한 입장은 이 비교의 한쪽에는 측정된 지연 시간 문제가 있고 다른 한쪽에는 측정치가 없다는 것이다.

지능 지수가 측정할 수 없는 것을 결과물 벤치마크가 측정하는 것

두 모델이 결코 만나지 않는 것은 일정상의 우연이 아니다. 벤치마크는 의도적으로 서로 다른 것을 측정한다.

Luna에 37이라는 점수를 부여하는 Intelligence Index는 AA-Briefcase, GDPval-AA, AutomationBench 등 열 가지 평가를 종합한 것입니다. 각 평가에는 채점자가 확인할 수 있는 답이 있습니다. 그것이 이 지수를 재현 가능하게 만들며, 어떤 모델에도 이해관계가 없는 평가자가 이를 실행해 모두가 비교할 수 있는 수치를 공개할 수 있는 이유입니다.

PI Knowledge Work는 전문 업무의 재현 가능한 부분이 중요한 부분이 아니라는 바로 그 이유 때문에 만들어졌다. 실사 메모는 컴파일되지 않는다. 이사회 자료에는 단위 테스트가 없다. 실시간 예측이 내장된 가격 모델은 객관식 채점자가 볼 수 없는 방식으로 틀릴 것이다. 그래서 Paper Instruments는 대신 루브릭을 작성했다. 과제당 하나씩, 각 기준은 하나의 정답을 요구하는 대신 허용 가능한 답변들에 대한 경계로 설정되었다. 그 보고서는 세 개의 정답 응답 중 두 개를 거부하는 과적합 기준과 세 개의 오답을 받아들이는 모호한 기준을 대비시키고, 그런 다음 경계에 부합하는 재작성된 버전을 보여준다. 이는 이것이 왜 어려운지에 대한 타당한 입증이며, 단일 루브릭 점수가 얼마나 큰 비중을 차지해야 하는지에 대한 적절한 경고이다.

그 결과로 나온 숫자들의 가치를 솔직히 말하자면 이렇다. Ultramarine 1 Flash는 해당 스위트에서 59.3점을 기록하며 과제당 비용은 $0.13이다. Luna의 더 큰 형제 모델인 GPT-5.6 Sol은 $2.09에 55.1점을 기록하며, 여섯 개의 Paper Instruments 표 모두에 등장한다 — JobBench에서는 45.4로 Ultramarine의 62.9에 맞서고, FrontierFinance에서는 46.8로 53.3에, APEX-Agents 1.1에서는 51.5로 57.0에 맞선다. 해당 벤더는 자사 스위트가 Artificial Analysis Intelligence Index와 r = 0.81의 상관관계를 보인다고 보고하는데, 이는 상당한 수치이긴 하지만 간접적으로 전해 들은 것이다. 어떤 제3자도 Ultramarine 1 Flash를 어떤 벤치마크에서도 실행한 적이 없다.

양쪽에서 같은 방식으로 측정되는 비교

이 조합에서 양쪽의 수치가 상대의 방법론에 좌우되지 않는 측정 범주는 정확히 하나뿐이다: 단일 스위트 안에서 단일 하네스로 측정한 토큰 효율성.

Artificial Analysis는 GPT-5.6 Luna가 Intelligence Index를 완료하는 데 1억 5,000만 개의 출력 토큰을 기록한 것으로 집계한다. 이는 동급 중간값인 9,500만 개보다 58% 높은 수치다. 그 수치는 작업당 $0.18의 배경에 있다 — 많은 양을 써내는 빠른 모델이 완성된 작업을 사는 가장 저렴한 방법은 아니며, 장황함 순위가 그 이유를 드러낸다.

Paper Instruments는 자사 모델에 대해 정반대의 주장을 펴는데, 이를 단언하는 대신 검증 가능한 방식으로 제시한다. 자사의 여섯 개 벤치마크 전부에서 Ultramarine 1 Flash는 자신이 후속 학습된 모델인 GLM-5.3 Flash보다 출력 토큰을 6.5% 더 적게 생성했다 — 추론을 포함해 3,050만 개 대 3,270만 개 — 그러면서 여섯 개 모두에서 더 높은 점수를 받았다. 그 비교의 양쪽은 동일한 과제에 대한 동일한 하네스이므로, 여기 다른 모든 것에 드리워진 비판에는 취약하지 않다. 또한 이것은 공짜로 얻어지는 방향이 아니다: 후속 학습은 더 조용해지는 만큼이나 자주 더 수다스러워진다.

출력 토큰이 청구서를 좌우하는 사람이라면, 그것이 이번 릴리스에서 가장 범용적으로 적용할 수 있는 사실이다. 그것은 Ultramarine 1 Flash가 GPT-5.6 Luna보다 더 경제적이라고 말하지 않는다. 그것은 기본 모델 기준으로 둘 중 더 짧은 쪽이라는 관계가 성립했다고 말한다, 회사 밖에서는 아무도 재현하지 못한 한 스위트에서.

직접 테스트 실행하기

GPT-5.6 Luna는 OrcaRouter에서 제공되며 입력 백만 토큰당 $0.20, 출력 백만 토큰당 $1.20이고, effort 레벨은 요청별로 설정됩니다. 이는 제공업체의 정가를 그대로 전달한 것으로, 토큰당 아무것도 추가되지 않습니다. 이는 가격이 이미 한 번 움직인 모델에 중요한데 — OpenAI가 올해 초 적용한 80% 인하가 아무도 계약을 재협상하지 않은 채 여기에 반영되어 있습니다. 동일한 엔드포인트로 GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash, GLM-5.3 Flash에 접근할 수 있으며, 마지막 모델은 Ultramarine 1 Flash가 훈련된 기반 모델로서 동일한 $0.15 / $0.50 요금표로 제공됩니다.

Ultramarine 1 Flash는 우리 카탈로그에 없습니다. 그것에 이르는 경로는 공급업체 자체 API와 이를 재판매하는 서드파티 플랫폼입니다. 그 비대칭성이 이 비교의 실질적 형태입니다. 이 두 모델 중 하나는 오늘 프로덕션 경로에 넣을 수 있으며, 뒤에는 라우팅된 폴백을, 앞에는 측정된 p50을 둘 수 있습니다. 다른 하나는 공급업체 엔드포인트에서 파일럿하고 자체 출력으로 판단합니다.

실행할 가치가 있는 테스트는 이것이며, 비용도 저렴하다: 동일한 문서 배치를 Luna의 기본 effort와 최대 effort로 양쪽 모두에게 보내고, 산출물과 청구서를 비교하라. 전문 모델의 주장 전체는 재작업이 덜 필요하다는 것이다. 그것은 오후 한나절이면 측정할 수 있고, 아무도 공유 스코어보드를 공개하지 않은 페어링에서 승부를 가릴 유일한 증거다.

알려진 것과 알려지지 않은 것으로 제시된 입장

출처가 있는 알려진 정보: GPT-5.6 Luna는 검증 가능한 10개 평가로 구성된 지수에서 37점을 기록하며, 완료된 작업당 $0.18, 1,050,000토큰 창을 갖추고, 37점을 얻는 노력 수준에서는 첫 토큰이 2분 조금 넘게 걸릴 수 있다. 토큰당 저렴하고, 해당 등급치고 유능하며 — Artificial Analysis 자체 측정에 따르면 — 동종 모델보다 58% 더 많이 쓰는 경향이 있다.

제작사가 보고했으나 재현되지 않음: Ultramarine 1 Flash는 금융, 법률, 컨설팅 및 운영 결과물로 구성된 루브릭 채점 스위트에서 59.3점을 기록했으며 작업당 $0.13로, 57.8점의 Claude Fable 5에 $8.19, 55.1점의 GPT-5.6 Sol에 $2.09와 대비된다. 또한 6개 스위트 모두에서 자체 베이스 모델을 앞서면서 토큰은 6.5% 더 적게 생성한다.

알 수 없는 것: 그중 무엇이든 Paper Instruments의 아무도 작성하지 않은 문서에서 살아남는지, 부하가 걸렸을 때 모델의 지연 시간은 어떤 모습인지, 그리고 공급업체 페이지의 "Model weights coming soon"이라는 문구가 실제 출시로 이어지는지 여부.

그중에서 승자를 고르는 기사는 모두 승자를 지어낸 것이다. 분명하게 말할 수 있는 것은, 확정하기 전에 검증된 점수가 필요하다면 GPT-5.6 Luna가 이 조합에서 그러한 점수를 가진 유일한 모델이라는 점이다. 그리고 당신의 작업이 답변이 아니라 결과물이라면, 흥미로운 주장은 전적으로 반대편에 있으며, 그것을 테스트하는 대가로 돈을 받지 않은 사람이 테스트한 적은 없다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.