Ultramarine 1 Flash 대 Gemini 3.5 Flash-Lite: 아티팩트 전달과 질문 응답은 서로 다른 두 제품이다

논쟁을 시작하는 문장이 아니라 끝내는 문장부터 시작하세요. Gemini 3.5 Flash-Lite는 텍스트, 이미지, 음성, 영상까지 입력받고 텍스트를 반환합니다. Ultramarine 1 Flash는 텍스트를 받아 Excel 통합 문서, PowerPoint 슬라이드 또는 Word 문서를 반환하며, 작업이 실제로 이루어지는 비즈니스 시스템을 읽고 쓰면서 그 자리에서 편집합니다. 둘 다 저렴합니다. Google의 모델은 Artificial Intelligence Index에서 22점을 기록하며 완료된 작업당 $0.19입니다. Paper Instruments는 자체 내부 스위트에서 작업당 $0.13을 보고합니다. 수치가 워낙 비슷해서 비용 이야기는 무승부이고, 남는 것은 답을 사는 것인지 결과물을 사는 것인지의 문제입니다. 그 문제에 관해서라면 이 두 모델은 전혀 같은 시장에 있지 않기 때문입니다.

또한 이들은 같은 시기에 만들어진 것도, 같은 이유로 만들어진 것도 아니었다. Gemini 3.5 Flash-Lite는 2026년 7월에 Google의 가장 비용 효율적인 등급으로 정식 출시되었으며, 3.6 Flash 가격의 약 5분의 1 수준이었다. Ultramarine 1 Flash는 2026년 10월 14일에 GLM-5.3 Flash의 강화학습 후속 학습(post-training)으로 공개되었으며, 답변보다는 클라이언트에 바로 전달할 수 있는 결과물을 목표로 했다.

스펙 라인, 양쪽

Ultramarine 수치는 Paper Instruments가 공개한 API 요금과 자체 공개 평가 결과이며, 컨텍스트 수치는 기술 보고서에 명시된 학습 구성입니다. Gemini 수치는 Google의 요금표에 Artificial Analysis 측정값을 더한 것이며, 측정값인 경우에는 그렇게 표시되어 있습니다.

• 입력 가격 — Ultramarine 1 Flash는 백만 토큰당 $0.15, Gemini 3.5 Flash-Lite는 $0.30. G​oogle이 입력 기준으로 2배 더 비쌉니다.

• 출력 가격 — 백만 개당 $0.50 vs $2.50. 5배, 그리고 이 부분이 문서 작업 비용이 실제로 누적되는 항목입니다.

• 캐시된 입력 — 백만 개당 $0.03(80% 할인) vs $0.03(90% 할인). 서로 다른 할인으로 도달한 동일한 절대 숫자.

• 컨텍스트 윈도우 — 학습 구성에서 131,072개 토큰 대 1,048,576개. Google은 8배 더 많이 보유하고 있습니다.

• 최대 출력 — 미공개 vs 65,536 토큰.

• 입력 — 텍스트 및 문서 작업 대 텍스트, 이미지, 음성, 동영상.

• 완료된 작업당 비용 — PI Knowledge Work에서는 $0.13, Intelligence Index에서는 $0.19. 도입부에 나온 두 숫자 중 두 번째 숫자이자, 가장 조심해야 하는 숫자입니다.

• 출력 속도 — Ultramarine 1 Flash의 경우 미공개, Gemini 3.5 Flash-Lite의 경우 초당 425.0 출력 토큰으로, 동급 148개 모델 중 네 번째로 빠름.

속도 숫자 안에 있는 지연 시간 숫자

Gemini 3.5 Flash-Lite는 지금까지 측정된 모델 중 가장 빠른 모델 중 하나입니다. 하지만 시작은 느립니다. Artificial Analysis는 G​oogle의 자체 API에서 첫 토큰까지 걸리는 시간을 8.13초로 기록했는데, 이는 비슷한 가격대 모델의 중앙값 1.85초와 대비됩니다. 이 모델은 일단 시작하면 초당 425토큰으로 스트리밍하지만, 시작하는 데 8초가 걸립니다.

그것은 결함이 아니라 서빙 경로의 특성이며, 해당 티어가 어떤 워크로드를 위해 설계되었는지 알려줍니다. 배치 분류 작업, 추출 파이프라인, 백그라운드 에이전트 — 그중 어느 것도 8초의 시작을 알아차리지 못하며, 모두 500토큰 응답을 약 1초 만에 끝내는 데서 엄청난 이점을 얻습니다. 채팅 답변을 기다리는 사람은 다른 것은 알아차리지 못합니다. "Flash"라는 단어는 응답성이 아니라 처리량을 설명하며, 이 둘은 같은 측정치가 아닙니다.

Ultramarine 1 Flash는 공개된 속도나 지연 시간 수치가 전혀 없습니다. Paper Instruments에서 나온 것도, 어떤 제3자에서 나온 것도 아닙니다. Google의 모델보다 더 빠르거나 느리다고 주장할 근거는 없으며, 그렇지 않다고 말하는 사람은 숫자를 읽는 것이 아니라 아키텍처에서 추론하는 것입니다. 기술 보고서가 실제로 공개하는 것은 이 모델이 훈련된 운용 범위입니다: 131,072토큰 컨텍스트, 에이전트 루프의 최대 250턴, 그리고 컨텍스트 윈도의 85%에서 또는 30,000토큰이 남았을 때 중 더 먼저 오는 시점에 트리거되는 컨텍스트 압축입니다. 설계상 컨텍스트를 압축하는 하네스는 그렇지 않으면 넘쳐버릴 긴 작업을 위해 만들어진 하네스입니다 — 이는 해당 작업의 형태에 대한 힌트일 뿐, 작업을 얼마나 빠르게 생성하는지에 대한 측정값은 아닙니다.

"과제"의 가치는 누가 벤치마크를 작성했는지에 달려 있다.

0.13달러와 0.19달러는 비슷해 보이지만 서로 다른 것을 측정하며, 바로 이 부분을 나란히 놓고 보는 비교 표는 여러분에게 숨긴다.

Intelligence Index는 수학, 코딩, 추론, 에이전트 작업이라는 열 가지 평가를 종합한 것입니다. 그 과제들에는 채점자가 확인할 수 있는 답이 있습니다. Gemini 3.5 Flash-Lite의 22는 해당 모델에 아무런 이해관계가 없는 평가자가 매긴 실제 점수이며, $0.19는 그 스위트 전반에서 완료된 과제당 측정된 비용입니다. Google은 또한 두 가지 장황함 기록 중 더 후한 쪽을 가지고 있습니다: Index를 완료하는 데 5,900만 개의 출력 토큰을 사용했고, 60개 중 23위에 올랐으며, 중앙값 9,500만 개에 비해 상당히 간결하다고 평가됩니다. 그것은 장황하게 늘어놓지 않도록 설계된 모델입니다.

PI Knowledge Work는 그런 것이 아니다. 그것은 각 과제마다 작성된 루브릭에 따라 채점되는, 고객에게 바로 전달할 수 있는 산출물 모음이다. 실사 메모에는 대조할 정답이 없기 때문이다. Ultramarine 1 Flash는 그곳에서 과제당 $0.13로 59.3점을 기록하는데, 이는 Claude Fable 5가 $8.19로 57.8점, GPT-5.6 Sol이 $2.09로 55.1점인 것과 비교된다. 공급업체는 자사 제품군이 Artificial Analysis Intelligence Index와 r = 0.81의 상관관계를 보인다고 보고한다 — 진지한 수치이긴 하지만, 간접적으로 전해 들은 수치다. 한 제품군에서의 과제는 다른 제품군에서의 과제와 같지 않다: 추론 질문은 수백 토큰에 불과할 수 있고, 이사회 발표 자료는 파일을 만들어 내는 긴 에이전트 실행이다. 두 과제당 수치는 같은 것의 단위가 아니며, 이를 빼는 것은 범주 오류에 산술을 적용하는 셈이다.

그 비판에서 살아남는 부분은 더 좁지만, 진정으로 유용하다. Paper Instruments는 토큰 효율성을 자기 자신이 아닌 다른 대상과 비교해 측정했다. 자사의 여섯 벤치마크 전체에서 Ultramarine 1 Flash는 자신이 파생된 GLM-5.3 Flash 모델보다 출력 토큰을 6.5% 더 적게 생성했다. 추론을 포함해 3,050만 대 3,270만이었으며, 여섯 개 모두에서 그 모델을 앞섰다. 동일한 스위트, 동일한 하네스, 양쪽 모두 측정했다. 토큰당 요율표에서는, 더 나은 결과를 위해 더 적게 쓰는 모델은 두 번 적용되는 할인이다.

하나의 키로 두 개의 작동 모델

Gemini 3.5 Flash-Lite는 OrcaRouter에서 백만 토큰당 입력 $0.30, 출력 $2.50에 제공됩니다. 제공업체의 정가가 그대로 전달되며 토큰당 추가되는 것은 없습니다 — 따라서 Google 요금 변경이 있으면 저희 쪽 배포 없이 같은 날 바로 여기에 반영됩니다. 그와 함께 이 비교에서 계속 언급하는 모델들, 즉 GPT-5.6 Sol, Claude Fable 5, 그리고 Ultramarine 1 Flash가 훈련된 기반인 GLM-5.3 Flash가 있습니다. 이들은 모두 동일한 엔드포인트와 동일한 키로 접근할 수 있습니다.

이는 일반적인 일대일 비교보다 이 페어링에 더 중요합니다. 워크로드가 혼합되어 있기 때문입니다. 백만 토큰 창과 네 가지 입력 모달리티를 중심으로 구축된 문서 파이프라인은 결과물을 생성하는 에이전트를 중심으로 구축된 파이프라인과 다르며, 이 둘은 대개 같은 팀 안에 공존합니다. 라우팅 규칙은 스캔된 입력이나 시청각 입력을 G​oogle의 모델에 남겨 두고 텍스트-결과물 경로를 다른 곳으로 보낼 수 있으며, 첫 번째 선택이 실패할 경우를 위한 명시적 폴백을 둡니다. 즉, 두 개가 아니라 하나의 계약이고, 어떤 모델이 긴 작업을 맡을지 생각이 바뀌어도 코드 변경은 없습니다.

Ultramarine 1 Flash 자체는 저희 카탈로그에 없습니다. 현재 접근 경로는 벤더 자체의 API와 이를 재판매하는 제3자 플랫폼입니다.

내가 실제로 어떻게 결정할지

두 가지 상황이 있는데, 둘 다 깔끔하게 해결됩니다.

입력에 텍스트가 아닌 것 — 촬영된 계약서, 통화 녹음, 화면 캡처, 비디오 워크스루 — 이 포함되어 있다면, Google의 모델은 둘 중 요청을 받아들일 수 있는 유일한 모델입니다. 그것은 선호가 아니라 역량의 경계이며, 해당 워크로드에 대한 비교를 끝냅니다.

지불 대상이 결과물 — 모델, 덱, 메모, 사람이 열어 편집할 문서 — 이라면, 질문은 사후 학습된 전문가가 효율적인 범용 모델을 이기는가가 되며, Ultramarine 1 Flash가 바로 그 전문가다. 이를 뒷받침하는 증거는 벤더 측의 것이고, 벤더의 벤치마크에서 나온 것이며, 출시 하루 만에 나온 것이므로, 발견이 아니라 가설로 읽어야 한다. 그러나 이는 구체적이고 검증 가능한 가설이다: Paper Instruments가 앞서는 6개 스위트 중 4개에서 가장 큰 격차는 실제 산출물 작업에 가장 가까운 두 가지인 JobBench와 FrontierFinance에서 나타난다; 에이전트 루프와 리서치 작업인 APEX-Agents 1.1과 DiligenceBench에서는 Gemini 3.8 Flash와 Claude Fable 5가 앞서고 Ultramarine 1 Flash는 3위를 차지한다.

미해결된 질문은 어느 모델이 더 나은가가 아니다. 그것은 산출물을 만들어내는 행동이 Paper Instruments의 누구도 작성하지 않은 문서와 접촉했을 때도 살아남는지 여부다. 이 회사는 그 방법을 충분히 자세히 공개해 바로 그런 시험을 유도했지만, 자체 API를 거치지 않고 누군가 그것을 실행할 수 있게 해 줄 가중치는 공개하지 않았다. 이 두 사실은 모두 결정적이며, 그중 하나만 가까운 시일 내에 바뀔 가능성이 크다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.