Solar Open 2 250B: 실행할 곳이 없는 프론티어 에이전트 점수

Hugging Face 카드는 Solar Open 2 250B 250B에 대한 서빙 명령을 건네주는데, 그 명령은 작동하지 않는다. 이 명령은 vLLM에 solar_open2라는 이름의 추론 파서, solar_open2라는 도구 호출 파서, 그리고 SolarOpen2TemplateLogitsProcessor라는 로짓 프로세서를 요청하는데, 이 세 가지는 vLLM의 어떤 릴리스 버전에도 존재하지 않는다. 이 아키텍처에 대한 지원은 7월 22일 Upstage가 가중치를 공개한 지 2주 후인 8월 5일에 메인라인에 병합되지 않은 풀 리퀘스트로 나타났다. 그 공백은 지금도 Solar Open 2에 관한 가장 흥미로운 사실이며, 모든 출시 기사가 벤치마크 표를 선호하며 건너뛴 부분이기도 하다. 그래서 여기 다른 버전이 있다: Upstage가 실제로 무엇을 출시했는지, 자체 수치가 무엇을 입증하고 입증하지 못하는지, 현재 기록에 있는 유일한 외부 점수가 무엇을 바꾸는지, 그리고 그 모델에서 단 하나의 토큰을 얻으려면 무엇이 필요한지 — 측정 대상은 DeepSeek V4 Flash, 즉 Upstage가 주요 기준점으로 선택한 모델이다.

Upstage가 실제로 출시한 것

아래 내용은 전부 저장소 자체의 config.json과 Solar Open 2 기술 보고서(arXiv 2607.20062)에서 비롯된 것입니다. 1차 출처이긴 하지만, 공급업체의 1차 출처입니다. 이 모델에 대한 독립 연구소의 자체 측정 결과는 발표된 바 없습니다. 이제 외부 수치 하나가 드러났는데, 정부 2차 평가에서 언론이 보도한 Artificial Analysis Intelligence Index 점수 37입니다. 이 수치는 재현된 결과가 아니라 보도된 결과이므로, 아래 벤치마크 섹션에서 별도 문단으로 다룹니다.

• 크기 — 총 파라미터 250,287,794,944개, 토큰당 약 15B 활성

• 희소성(Sparsity) — 320개의 라우팅 전문가(routed experts)와 1개의 공유 전문가(shared expert), 토큰당 상위 8개 라우팅, 그리고 `first_k_dense_replace`는 0으로 설정되어, 유사한 MoE 설계에서 일반적으로 유지하는 밀집 워밍업 레이어 없이 혼합이 0번 레이어부터 시작됨을 의미합니다.

• 형태 — 48개 레이어, 은닉 크기 4096, 헤드 차원 128, 64개의 쿼리 헤드 대비 8개의 키/값 헤드

• Attention — 인덱스 0, 4, 8 등 44까지 총 12개의 softmax(GQA) 레이어가 있고, 나머지 36개 레이어는 선형 어텐션입니다. 스택의 4분의 3에는 softmax가 포함되어 있지 않습니다.

• 위치 — use_rope가 false입니다. 위치 인코딩이 전혀 없습니다.

• 컨텍스트 — 최대 위치 임베딩(max_position_embeddings) 1,048,576

• 어휘 — 영어, 한국어, 일본어에 걸친 196,608개 토큰

• 가중치 — bfloat16, 이는 500.6GB에 해당합니다. 이는 2502.9억 개의 파라미터에 2바이트를 곱한 것에 불과하며, Nota AI가 양자화되지 않은 모델에 대해 보고한 메모리 사용량과 일치합니다.

• 훈련 — 보고서에 따르면 약 11.9T 토큰: 10T 일반 사전 훈련, 1T는 선별된 고품질 하위 집합, 0.9T는 길이 확장, 명시된 4:6 실제 대 합성 비율, 영어 80% 이상, 수학 및 코드 각각 최소 15%

• 라이선스 — 조건이 붙어 있는 Upstage Solar 라이선스 (아래)

전작인 Solar Open 1은 1월에 출시된 100B 모델이었습니다. Solar Open 2는 단순히 그것의 개선판이라기보다는 완전히 다른 존재입니다.

아키텍처가 실제 이야기다

레이어 패턴은 하나의 소프트맥스 레이어 뒤에 세 개의 선형 어텐션 레이어가 이어지는 구조로, 총 12회 반복됩니다. 그 정도는 이미 보고된 바 있습니다. 그러나 어느 선형 어텐션이 사용되었는지, 그리고 그것이 왜 중요한지는 알려지지 않았습니다.

선형 레이어는 KDA(Kimi Delta Attention)입니다. Moonshot AI가 Kimi Linear를 위해 도입한 메커니즘이죠. Upstage는 새로운 선형 어텐션을 발명한 것이 아니라 다른 회사의 것을 채택해 한 가지만 변경했습니다. 그 변경 사항은 config에서 `kda_allow_neg_eigval`이 true로 설정된 것으로 확인할 수 있으며, 보고서는 이것이 가져다주는 이점을 설명합니다. 표준 KDA는 상태 전이 고유값을 [0,1] 범위로 제한하므로 각 단계는 재귀 상태에 값을 더하거나 감쇠시킬 수만 있습니다. 해당 플래그를 설정하면 쓰기 강도가 beta = 2·sigmoid(·), 즉 (0,2) 범위로 확장되어 고유값이 [-1,1]까지 밀려납니다. 이제 한 단계에서 이미 저장된 값의 부호를 뒤집을 수 있습니다. 쉽게 말하면, 상태가 단순히 축적만 하는 대신 스스로를 교정할 수 있다는 뜻이며, 이것이 Upstage가 수많은 도구 호출에 걸쳐 긴 에이전트 궤적을 유지하기 위해 명시한 메커니즘입니다.

그 12개의 소프트맥스 레이어는 요소별 시그모이드 출력 게이트를 갖춘 GQA이며(use_gqa_gate는 config에서 true로 설정되어 있음), 보고서는 이것이 비선형성을 추가하고 어텐션 싱크를 억제한다고 평가한다.

RoPE가 없는 이유는 선형 레이어에서 비롯됩니다. 순환 상태가 토큰 순서를 본질적으로 인코딩하기 때문에, 보고서는 위치 인코딩을 완전히 제거하고 학습한 길이 분포에 얽매이지 않을 수 있다고 주장합니다. 이런 관점에서 RoPE는 외삽을 제한하는 요소입니다. 이를 제거하면 상한선은 더 이상 학습 데이터의 함수가 아닙니다.

1M 수치는 설계상의 주장이지 측정값이 아닙니다.

{{1}}그 주장은 우아하며, 1M 토큰 헤드라인의 전적인 근거이기도 하다.{{/1}} {{2}}기술 보고서는 RULER도, needle-in-a-haystack 테스트도, 어떤 종류의 long-context 스위트도 포함하지 않는다.{{/2}} {{3}}그 컨텍스트 윈도우는 아키텍처에 근거해 주장되었을 뿐, 벤치마크에서 입증된 것은 아니다.{{/3}} {{4}}한편, 우리가 찾을 수 있었던 유일한 공개 배포 문서 — 두 대의 DGX Spark 시스템에서 양자화된 모델을 서빙하는 Backend.AI — 는 max-model-len을 1,048,576이 아닌 200,000으로 설정했다.{{/4}} {{5}}아키텍처적 상한선은 실재할 가능성이 크다.{{/5}} {{6}}500K 또는 1M 토큰에서 살아남는 품질이 무엇인지는 논문에 그저 나와 있지 않다.{{/6}}

효율성 주장에도 동일한 별표가 붙습니다. 보고서에 따르면 하이브리드 스택은 1M 컨텍스트에서 올소프트맥스(all-softmax) 스택에 비해 약 4분의 1의 메모리와 연산량만 필요로 하며, 별도로 하이브리드 설계가 MMLU에서 올소프트맥스보다 약 3.2배 적은 학습 토큰으로 목표 손실에 도달했다고 명시되어 있습니다. 두 수치 모두 업스테이지(Upstage) 자체의 주장입니다. 처리량이나 지연 시간 수치는 전혀 공개되지 않았습니다.

벤치마크 카드, 정직하게 읽기

영어 스위트에서 DeepSeek V4 Flash를 상대로 Solar Open 2 250B는 MMLU-Pro에서 86.2를, 상대는 85.9를 기록했고, LiveCodeBench v6에서는 92.4 대 92.3을 기록했습니다. 그 차이는 채점 노이즈라고 부를 수 있을 만큼 작습니다. 이어서 APEX-Agents에서는 16.6 대 13.2를 기록하는데, 이것이 유일한 실제 격차이며, 당연히도 Upstage가 앞서는 수치입니다.

해당 열세 항목들은 같은 보고서에 포함되어 있지만 덜 주목받습니다. SWE-Bench Verified: 70.4 대 73.8. GDPval-AA v2는 ELO: 1128 대 1187. Terminal Bench Hard: 28.3, MiMo-V2.5의 41.7과 대비됩니다. ArtifactsBench: 55.9로, 두 프론티어 베이스라인 모두에 뒤처집니다. Upstage의 공로를 인정하자면, 보고서는 이러한 격차와 그 지향점 — 리포지토리 및 터미널 수준의 소프트웨어 엔지니어링, 그리고 사무용 산출물의 수치 정밀도 — 을 묻어두지 않고 명시합니다.

실제로 인상적인 비교는 내부 비교입니다. Solar Open 1과 비교하면: LiveCodeBench v6는 56.5에서 92.4로, SWE-Bench Verified는 15.4에서 70.4로, APEX-Agents는 2.4에서 16.6으로 올랐습니다. 헤드투헤드 결과를 어떻게 해석하든, 이는 6개월 만의 진정한 세대적 도약입니다.

한국어 벤치마크에서 스위트 전반의 평균은 85.4로, DeepSeek V4 Flash의 84.9에 맞선다. 하지만 그 평균이 승부를 좌우한다. Solar Open 2 250B는 KMMLU-Pro(78.4 대 78.9)와 Ko-AIME'25(97.7 대 98.0)에서 지고, Ko-GDPval(86.8 대 85.0)에서는 이긴다. 그 우위는 지식이나 수학이 아니라 산출물 벤치마크에서 나온다.

그리고 가장 멀리 나아간 주장으로 이어집니다: Solar Open 2 250B가 자체 크기의 6배가 넘는 모델과 맞먹는다는 것입니다. 그 근거는 Ko-GDPval로, 여기서 Solar Open 2 250B는 86.8을 기록해 DeepSeek-V4-Pro의 86.9에 근접합니다. 이는 하나의 한국어 벤치마크일 뿐이며, 맞대결 승리가 아니라 사실상 동률입니다. 한편 영어 스위트에서는 V4-Pro의 더 작은 형제 모델이 이미 SWE-Bench Verified에서 Solar Open 2 250B를 앞서고 있습니다. 단일 벤치마크가 크기 효율성의 법칙으로 일반화되지는 않습니다. 관련 주의사항: APEX-Agents에 대한 기준 수치가 논문과 2차 보도 사이에 약간 차이가 있습니다(같은 모델에 대해 13.2 대 13.4). 따라서 순위는 정확한 수치가 아니라 방향성으로 보아야 합니다.

선호도 기준으로는, {{1}}835건의 한국어 대화를 대상으로 한 블라인드 쌍체 테스트에서 Solar Open 2 250B가 44.1% 대 26.6%로 앞섰으며{{/1}}, {{2}}보고서는 정렬과 정직성에서의 승리가 추가 안전 훈련이 아닌 문화적 기반에 기인한다고 밝혔다{{/2}}. {{3}}눈여겨볼 점은 무엇이 빠져 있는지다: 보고서에는 어떠한 종류의 정량적 유해성·거부·탈옥(jailbreak) 평가도 포함되어 있지 않다.{{/3}}

Hugging Face 카드는 이후 평가 결과 섹션에 몇 가지 숫자를 더 추가했습니다 — GPQA Diamond 86.3, HLE 28.8, MathArena AIME 2026 95.7 — 하지만 이 숫자들은 독립적인 실행이 아닌 모델 카드 자체에서 추출된 것이므로, 위의 모든 항목과 동일한 라벨을 갖습니다: Upstage의 수치, 재현되지 않음.

이제 Upstage 연구소에서 비롯되지 않은 외부 수치 하나가 수면 위로 떠올랐다. 8월 13일, 한국의 금융 미디어 — Edaily, Seoul Economic Daily, ITDaily, iNews24 — 가 모두 동일한 수치로 정부의 소버린 AI 프로그램 2차 평가 점수를 보도했다. 이 점수는 Artificial Analysis의 Intelligence Index(AAII v4.1.1)로 측정됐다: Motif 3가 47점, Solar Open 2 250B가 37점, SK Telecom의 A.X-K2가 35점, LG AI Research의 K-EXAONE 2.0 0803이 31점이다. 37점으로 Solar Open 2 250B는 한국 결선 진출 4개 모델 중 2위를 기록했으며, Motif 3에 10점 뒤진다. 정확히 말하자면: 이는 언론 보도 수치다 — 이 점수는 Artificial Analysis 자체 리더보드에는 나타나지 않았으며, 그 리더보드는 이 모델에 대해 여전히 아무것도 반환하지 않는다 — 그리고 같은 보도는 AAII에 한국어 벤치마크가 없다는 점을 지적한다. 국내 성과를 핵심으로 내세우는 모델에게는 실질적인 사각지대다. 그러나 이는 Solar Open 2 250B에 대한 첫 번째 평가로, Upstage에서 비롯된 것이 아니며, 이 기사의 나머지 내용과도 일치한다: 강력한 에이전트 및 산출물 점수, 그리고 그 외 상당 부분은 여전히 공급업체 외부에서 검증되지 않은 상태다.

왜 아무도 기본 소프트웨어에서 그것을 서빙할 수 없을까

모델 카드는 어떤 해설보다도 이야기를 잘 전달합니다. 지난달 다운로드 수는 26,000건을 넘어섰고, 743개의 좋아요, 16개의 커뮤니티 양자화 버전, 그리고 3개의 파인튜닝이 함께합니다. Inference Providers 상자에는 "This model isn't deployed by any Inference Provider"라는 문구가 여전히 유지되고 있으며, 공급업체 지원을 요청하는 사람으로 수십 명이 카드에 등재되어 있습니다. 실제 관심은 있지만, 호스팅된 엔드포인트는 전혀 없는 상황입니다.

실제로 동작하는 배포(deployment) 사례를 살펴보면 모두 하나의 포크(fork)로 귀결된다. Nota AI의 NVFP4 빌드는 설치 대상을 git+https://github.com/UpstageAI/vllm.git의 태그 v0.22.0-solar-open2에 고정하는데, 이는 Upstage 자체의 vLLM이다. Backend.AI의 DGX Spark 글에서는 해당 포크와 패치된 FlashInfer가 필요했다. 업스트림 FlashInfer에는 expert-parallel 지원이 없었고 compressed-tensors 형식도 받아들이지 않았기 때문이다.

메인라인 지원은 vllm-project/vllm에 대한 풀 리퀘스트 51129로, 8월 5일에 oesni라는 기여자가 열었습니다. 아직 열려 있습니다: 8월 10일에 mergify가 병합 충돌을 표시하여, 이제 PR에는 needs-rebase 라벨이 붙었고 여전히 리뷰를 기다리고 있습니다. 그 PR이 구축해야 했던 것은 이 모델의 어려움에 대한 공개된 가장 솔직한 설명입니다:

• Solar 전용 KimiGatedDeltaAttention 레이어를 새 solar_open2.py에 도입하여, 음의 고유값 변경에서 얻은 2·sigmoid(b) 베타를 전달합니다.

• vllm::solar_open2_kda_attention 연산이 CUDA 그래프 분할 연산으로 등록되었습니다.

• 최대 2048토큰으로 제한된 프로필 시간 KDA 프리필 워밍업 — 실제 프리필이 이것 없이는 약 23% 더 느렸기 때문에 특별히 추가됨

• 스트리밍 및 비스트리밍 모드 모두를 위한 추론 출력 및 도구 호출 파서

• 8×B200에서 서빙 검증: rank당 107.02 GiB의 KV 캐시를 보고하며, 463개의 단위 테스트 통과

그것들은 PR 작성자의 수치일 뿐, 다른 누구도 재현하지 못했으며, 코드는 머지되기 전에 여전히 변경될 수 있다. 하지만 아키텍처 섹션 옆에 있는 그 목록을 읽어 보면 문제의 윤곽이 명확해진다. Solar Open 2 250B를 긴 컨텍스트에서 저비용으로 실행할 수 있게 해주는 두 가지 선택, 즉 레이어의 4분의 3에 적용된 KDA와 RoPE 미사용은, 범용 추론 스택에 기존 코드 경로가 없는 바로 그 선택들이다. 가중치의 개방성과 이를 실행하는 경로의 개방성은 서로 다른 것이며, 그중 하나만 7월 22일에 출시되었다.

일어서는 데 드는 비용

메모리 하한선부터 시작합니다. bfloat16 가중치 500.6GB를 H200의 141GB 메모리와 대비하면 GPU 4개로 564GB를 확보한다는 뜻이며, 단일 요청이 도착하기 전에 KV 캐시와 활성화를 위해 노드 전체에 약 63GB가 남습니다. 이 때문에 사양서에는 H200 4개가 최소 구성으로 명시되고 8개가 권장되며, FlexAI는 이를 공유형 토큰당 API가 아닌 전용 8×H100 엔드포인트로 제공하고 가격은 별도 문의 방식으로 책정합니다.

양자화는 그 하한선을 크게 낮춘다. Nota AI의 NVFP4 빌드(4비트 가중치와 활성화, 그룹 크기 16, compressed-tensors 형식)는 모델 크기를 500.6GB에서 153.3GB로 줄이며, 자체 평가에 따르면 정확도 비용은 네 가지 벤치마크 평균 0.22포인트다 — 81.57에서 81.35로, Tau2-Bench는 75.20에서 75.08로, GPQA-Diamond는 86.26에서 85.45로, MMLU-Pro는 86.19에서 86.15로, LiveCodeBench는 반대 방향으로 움직여 87.03에서 88.55로, 이는 개선이 아니라 양자화 노이즈다. 문제는 하드웨어다: NVFP4는 Blackwell에서 도입된 FP4 텐서 코어가 필요하므로 B200 또는 GB200에서만 작동하며 Hopper에서는 전혀 동작하지 않는다. H100을 사용한다면 원하는 변형은 INT4 전역 프루닝 빌드다 — 프루닝 후 117.8GB로, H100 두 개에 맞는 크기다.

이제 이를 결정하는 계산을 살펴보자. DeepSeek V4 Flash — 다시 말해, Upstage가 비교 기준으로 선택한 모델 — OrcaRouter에서는 입력 토큰 백만 개당 $0.15, 출력 토큰 백만 개당 $0.29에 실행된다. 이는 DeepSeek의 정가를 0% 마크업으로 그대로 통과시킨 것이다. 입력 대 출력 3:1 혼합 시 대략 백만 개당 $0.185로 블렌딩된다. 8-GPU 노드에 시간당 $2의 GPU 비용을 예시로 적용하면, 아무도 요청을 보내기 전에 월 약 $11,700이 발생한다. 이는 손익분기점에 도달하기 위해 약 630억 블렌디드 토큰의 API 트래픽, 즉 매일 21억 토큰에 해당한다. 2-GPU 노드로 축소하면 손익분기점은 월 약 160억 토큰으로 낮아진다. 자신의 GPU 요율로 대체해도 그 형태는 바뀌지 않는다. 250B 모델의 자체 호스팅은 할인 문제가 아니라 활용도와 통제에 관한 결정이다.

정확히 무엇이 있고 없는지 말하자면: {{1}}Solar Open 2 250B는 OrcaRouter에 없으며, 자체 모델 카드에 따르면 어떤 추론 제공업체에도 없습니다.{{/1}} OrcaRouter에 있는 것은 바로 이 모델이 비교 대상으로 삼는 모델군입니다 — DeepSeek V4 Flash, Qwen3.8-Max, 그리고 공급업체 목록 가격으로 하나의 키로 제공되는 이백여 개의 다른 모델들로, 한 공급업체가 다운되면 다른 공급업체로 장애 조치됩니다. 이것이 좁고 실용적인 이유로 여기서 중요합니다: 실제로 답을 얻고 싶은 질문이 {{2}}"에이전트 튜닝 모델이 우리가 이미 프로덕션에서 호출하는 모델을 이기는가"{{/2}}라면, 오늘 오후에 모델 문자열을 변경하여 그 비교의 절반을 실행할 수 있는 반면, 나머지 절반에 대한 GPU 견적은 아직 조달 중입니다.

라이선스에 있는 두 문자열

Upstage Solar 라이선스는 상업적 사용, 파인튜닝 및 증류를 허용하며, Upstage는 이를 Apache-2.0 기반에 브랜드 조항을 추가한 것으로 설명합니다. 주의 깊게 읽어야 할 추가 의무는 두 가지입니다: 파생 모델의 이름에는 "Solar" 접두사가 포함되어야 하며, "Built with Solar" 고지가 표시되어야 합니다.

내부 배포라면 별일이 아닙니다. 자체 제품 브랜드로 배포하기 위해 이걸 정제할 계획이라면, 명명 조항은 라이선스 조건처럼 보이는 브랜딩 결정이며, 훈련 실행을 시작하기 전에 변호사에게 20분을 할애할 가치가 있습니다. 저장소에서 조항을 직접 읽고 언론 보도를 믿지 마십시오. 이 라이선스에 대한 보도는 정확하지 않았습니다 — 최소한 하나의 기사에서는 이를 그저 Apache 2.0이라고 설명했습니다.

지금 옮겨야 할 사람은 누구이고, 기다려야 할 사람은 누구인가?

한국어 또는 일본어 산출물 품질이 곧 여러분의 제품이고, 이미 보유한 하드웨어에 가중치를 올릴 수 있다면 이동하세요. {{1}}오픈 가중치, 엔드포인트 없음{{/1}}이 정확히 적합한 경우가 그러한 조합이며, 업스테이지도 {{2}}주권이란 모델을 직접 배포하고 검증할 수 있다는 뜻이지, 단지 국내에서 학습되었다는 뜻이 아니다{{/2}}라고 명확히 밝히고 있습니다. 유휴 GPU가 있고, 그 GPU를 가득 채울 만큼 충분한 양의 에이전트 워크로드가 있다면 이동하세요. 실제 활용률에서는 토큰당 비용 계산이 역전되기 때문입니다. 감사 또는 데이터 레지던시 요구사항 때문에 API가 애초에 선택지에 없었다면 이동하세요.

잠깐만요, 토큰별 엔드포인트를 원한다면요. Upstage는 Solar Open 2 250B를 서드파티 플랫폼에 등재할 계획이라고 밝혔습니다. 하지만 이 글을 쓰는 시점에는 아직 그렇게 되지 않았습니다. Playground 체험판은 7월 31일까지만 운영되었고, 모델 카드에는 여전히 제공업체가 표시되지 않습니다. 잠깐만요, Hopper를 사용 중이고 4비트 빌드를 기대하고 있었다면 말이죠. NVFP4 버전에는 Blackwell이 필요하니까요. 그리고 1M 컨텍스트 수치를 기준으로 무언가를 설계하기 전에 잠깐만요. 그 수치는 현재 측정된 결과라기보다는 아키텍처의 속성이니까요.

주목해야 할 것은 pull request 51129입니다. 8월 10일, mergify가 병합 충돌을 감지한 후 여기에 needs-rebase 라벨이 붙었습니다. Solar Open 2 250B가 태그된 vLLM 릴리스에 등장하는 날, 그것은 더 이상 인프라스트럭처 프로젝트가 아니라 누구나 간단히 시도해볼 수 있는 모델이 되는 날입니다. 언론에서 보도된 AAII 37은 시작에 불과합니다. 잠정적이긴 하지만 첫 번째 외부 평가이며, 여전히 Artificial Analysis 자체 리더보드에는 나타나지 않습니다. 진짜 테스트는 표준 소프트웨어에서 실행되는 테스트이며, 아직 날짜가 정해지지 않았습니다.