Solar Open 2 250B: Pontuações de Agente de Fronteira Sem Onde Executá-las

O card do Hugging Face para Solar Open 2 250B 250B entrega um comando de serving, e o comando não funciona. Ele pede ao vLLM um parser de raciocínio chamado solar_open2, um parser de chamada de ferramentas chamado solar_open2 e um processador de logits chamado SolarOpen2TemplateLogitsProcessor — três coisas que não existem em nenhuma versão lançada do vLLM. O suporte para a arquitetura apareceu na mainline como um pull request não mesclado em 5 de agosto, duas semanas depois que a Upstage publicou os pesos em 22 de julho. Essa lacuna ainda é o fato mais interessante sobre o Solar Open 2 neste momento, e é a parte que toda publicação de lançamento ignorou em favor da tabela de benchmarks. Então aqui está a outra versão: o que a Upstage realmente lançou, o que os seus próprios números estabelecem e o que não estabelecem, o que a única pontuação externa agora registrada muda, e o que é preciso para extrair um único token da coisa — medido contra DeepSeek V4 Flash, o modelo que a Upstage escolheu como principal referência.

O que a Upstage realmente lançou

Tudo abaixo vem do próprio config.json do repositório e do relatório técnico Solar Open 2 (arXiv 2607.20062) — fontes primárias, mas as fontes primárias do fornecedor. Nenhum laboratório independente publicou suas próprias medições deste modelo. Agora surgiu um número externo, um Índice de Inteligência da Artificial Analysis de 37, noticiado pela imprensa, vindo da avaliação da segunda rodada do governo, e ele ganha seu próprio parágrafo na seção de benchmarks abaixo porque é noticiado, não reproduzido.

• Tamanho — 250.287.794.944 parâmetros no total, aproximadamente 15B ativos por token

• Esparsidade — 320 especialistas roteados mais 1 especialista compartilhado, top-8 roteados por token e first_k_dense_replace definido como 0, ou seja, a mistura começa na camada zero, sem nenhuma das camadas densas de aquecimento que arquiteturas MoE comparáveis normalmente mantêm.

• Forma — 48 camadas, tamanho oculto 4096, dimensão do cabeçalho 128, 64 cabeças de consulta contra 8 cabeças de chave/valor

• Atenção — 12 camadas softmax (GQA), nos índices 0, 4, 8 e assim por diante até 44; as outras 36 camadas são de atenção linear. Três quartos da pilha não contêm softmax.

• Posições — use_rope é falso. Não há codificação posicional alguma.

• Contexto — max_position_embeddings de 1.048.576

• Vocabulário — 196.608 tokens, em inglês, coreano e japonês

• Pesos — bfloat16, o que resulta em 500,6 GB. Isso é apenas 250,29 bilhões de parâmetros vezes dois bytes, e corresponde ao espaço ocupado que a Nota AI reporta para o modelo não quantizado.

• Treinamento — cerca de 11,9T tokens segundo o relatório: 10T de pré-treinamento geral, 1T em um subconjunto selecionado de alta qualidade, 0,9T para a extensão de comprimento, com uma proporção declarada de 4:6 real para sintético, inglês acima de 80% e matemática e código com pelo menos 15% cada um.

• Licença — a Upstage Solar License, que tem condições associadas (abaixo)

O predecessor, Solar Open 1, era um modelo de 100B lançado em janeiro. Solar Open 2 não é tanto uma atualização dele, mas sim um animal diferente.

A arquitetura é a verdadeira história.

O padrão de camadas é uma camada softmax seguida por três camadas de atenção linear, repetido doze vezes. Isso já foi relatado. O que não foi é qual atenção linear, e por que isso importa.

As camadas lineares são {{1}}KDA — Kimi Delta Attention{{/1}}, o mecanismo que a Moonshot AI introduziu para o Kimi Linear. A Upstage não inventou uma nova atenção linear; ela adotou a de outra pessoa e mudou uma coisa. A mudança é visível na configuração como kda_allow_neg_eigval definido como true, e o relatório explica o que isso proporciona: o KDA padrão restringe os autovalores de transição de estado ao intervalo [0,1], então cada passo só pode adicionar ao estado recorrente ou fazê-lo decair. Definir esse sinalizador amplia a força de escrita para beta = 2·sigmoid(·), um intervalo de (0,2), o que empurra os autovalores para [-1,1]. Um passo agora pode inverter o sinal do que já está armazenado. Em termos simples: o estado pode se corrigir em vez de apenas acumular, o que é {{2}}o mecanismo declarado pela Upstage para manter uma longa trajetória de agente coesa ao longo de muitas chamadas de ferramenta{{/2}}.

As doze camadas softmax são GQA com uma porta de saída sigmoide elementwise — use_gqa_gate é verdadeiro na configuração — o que o relatório credita por adicionar não-linearidade e suprimir sumidouros de atenção.

E a razão pela qual não há RoPE decorre das camadas lineares. Como um estado recorrente codifica intrinsecamente a ordem dos tokens, o relatório argumenta que você pode eliminar completamente a codificação posicional e deixar de estar vinculado à distribuição de comprimento em que treinou. RoPE, nesse enquadramento, é o que limita a extrapolação; remova-o e o teto não é mais uma função dos seus dados de treinamento.

O número 1M é uma alegação de design, não uma medição.

Esse argumento é elegante e também é toda a base para o título de 1M de tokens. O relatório técnico não publica RULER, nem agulha no palheiro, nem suíte de contexto longo de qualquer tipo. A janela é argumentada pela arquitetura, não demonstrada em um benchmark. Enquanto isso, o único relato de implantação pública que conseguimos encontrar — Backend.AI, servindo o modelo quantizado em dois sistemas DGX Spark — definiu max-model-len para 200.000, não 1.048.576. O teto arquitetural pode muito bem ser real. A qualidade que sobrevive a 500K ou 1M de tokens simplesmente não está no artigo.

A alegação de eficiência carrega o mesmo asterisco: o relatório afirma que a pilha híbrida precisa de aproximadamente um quarto da memória e do poder computacional de uma pilha totalmente softmax em contexto de 1M, e separadamente que o design híbrido atingiu a perda alvo com cerca de 3,2× menos tokens de treinamento do que a pilha totalmente softmax no MMLU. Ambos são números da própria Upstage. Nenhum número de throughput ou latência é publicado.

O cartão de benchmark, lido honestamente.

No conjunto em inglês, contra o DeepSeek V4 Flash, o Solar Open 2 250B marca 86,2 em MMLU-Pro contra 85,9 e 92,4 em LiveCodeBench v6 contra 92,3 — diferenças pequenas o suficiente para serem ruído de pontuação. Em seguida, marca 16,6 em APEX-Agents contra 13,2, que é a única lacuna real e, não surpreendentemente, o número com o qual a Upstage lidera.

As perdas estão no mesmo relatório e recebem menos atenção. SWE-Bench Verified: 70,4 contra 73,8. GDPval-AA v2, no ELO: 1128 contra 1187. Terminal Bench Hard: 28,3, contra 41,7 do MiMo-V2.5. ArtifactsBench: 55,9, atrás de ambos os baselines de ponta. Em favor da Upstage, o relatório aponta explicitamente essas lacunas e a direção que indicam — engenharia de software em nível de repositório e de terminal, e precisão numérica em entregáveis de escritório — em vez de escondê-las.

A comparação que realmente impressiona é interna. Contra o Solar Open 1: LiveCodeBench v6 vai de 56,5 para 92,4, SWE-Bench Verified de 15,4 para 70,4, APEX-Agents de 2,4 para 16,6. Independentemente do que você ache dos confrontos diretos, isso é um salto geracional genuíno em seis meses.

{{1}}Em coreano, a média da suíte é de 85,4 contra 84,9 do DeepSeek V4 Flash{{/1}} — {{2}}mas a média está fazendo o trabalho pesado{{/2}}. {{3}}O Solar Open 2 250B perde no KMMLU-Pro (78,4 contra 78,9) e no Ko-AIME'25 (97,7 contra 98,0){{/3}}, {{4}}e vence no Ko-GDPval (86,8 contra 85,0){{/4}}. {{5}}A vantagem vem do benchmark de entregáveis, não do conhecimento nem da matemática{{/5}}.

O que nos leva à afirmação que foi mais longe: a de que o Solar Open 2 250B equivale a um modelo mais de seis vezes maior. A base é o Ko-GDPval, onde ele marca 86,8 contra 86,9 do DeepSeek-V4-Pro. Esse é um benchmark coreano, e é um empate, não uma vitória em confronto direto — enquanto na suíte em inglês, o irmão menor do V4-Pro já supera o Solar Open 2 250B no SWE-Bench Verified. Um único benchmark não se generaliza em uma lei de eficiência de tamanho. Uma ressalva relacionada: os valores de referência do APEX-Agents diferem ligeiramente entre o artigo e a cobertura secundária (13,2 contra 13,4 para os mesmos modelos), portanto trate a ordenação como direcional, e não precisa.

{{1}}No quesito preferência, um teste cego pareado com 835 conversas coreanas colocou o Solar Open 2 250B à frente por 44,1% a 26,6%, com o relatório atribuindo sua vitória em alinhamento e honestidade ao enraizamento cultural em vez de treinamento adicional de segurança.{{/1}} {{2}}Vale notar o que está ausente: o relatório não contém nenhuma avaliação quantitativa de danos, recusas ou jailbreak de qualquer tipo.{{/2}}

O card da Hugging Face desde então passou a ter mais alguns números em sua seção de resultados de avaliação — GPQA Diamond 86,3, HLE 28,8 e MathArena AIME 2026 95,7 — mas eles foram extraídos do próprio card do modelo, em vez de uma execução independente, então trazem o mesmo rótulo de tudo acima: números da Upstage, não reproduzidos.

Acaba de surgir um número externo que não vem do laboratório da Upstage. Em 13 de agosto, a imprensa financeira coreana — Edaily, Seoul Economic Daily, ITDaily e iNews24, todas publicando os mesmos números — divulgou as pontuações da segunda rodada de avaliação do programa de IA soberana do governo, medidas no Intelligence Index da Artificial Analysis (AAII v4.1.1): Motif 3 com 47, Solar Open 2 250B com 37, A.X-K2 da SK Telecom com 35 e K-EXAONE 2.0 0803 da LG AI Research com 31. Os 37 pontos colocam o Solar Open 2 250B em segundo lugar entre os quatro finalistas coreanos, dez pontos atrás do Motif 3. Rotulemos com precisão: isto foi noticiado pela imprensa — a pontuação não apareceu no leaderboard da própria Artificial Analysis, que ainda não retorna nada para este modelo — e a mesma cobertura observa que o AAII não inclui benchmarks em coreano, um verdadeiro ponto cego para um modelo cujos resultados domésticos são centrais para a sua proposta. Mas é a primeira leitura sobre o Solar Open 2 250B que não se origina da Upstage, e é consistente com o resto deste artigo: pontuações fortes em agente e entregáveis, com grande parte do restante ainda não comprovada por ninguém fora do fornecedor.

Por que ninguém consegue servir isso em software de prateleira?

O card do modelo conta a história melhor do que qualquer comentário. Os downloads no último mês agora passam de 26.000, junto com 743 curtidas, dezesseis quantizações da comunidade e três fine-tunes — e, na caixa Inference Providers, a linha "Este modelo não é implantado por nenhum Inference Provider" ainda se mantém, com uma dúzia de pessoas agora listadas pedindo suporte de provedor no card. Interesse real, zero endpoints hospedados.

Siga as implantações em funcionamento e todas levam a um fork. A compilação NVFP4 da Nota AI fixa sua instalação em git+https://github.com/UpstageAI/vllm.git na tag v0.22.0-solar-open2 — o vLLM próprio da Upstage. O artigo do Backend.AI sobre o DGX Spark precisava desse fork além de um FlashInfer corrigido, porque o FlashInfer upstream não tinha suporte a expert-parallel e não aceitava o formato compressed-tensors.

O suporte à linha principal é o pull request 51129 contra vllm-project/vllm, aberto em 5 de agosto por um contribuidor que se identifica como oesni. Ele ainda está aberto: em 10 de agosto, o mergify sinalizou conflitos de merge, então o PR agora carrega um rótulo needs-rebase e ainda aguarda revisão. O que esse PR teve que construir é a descrição mais honesta da dificuldade deste modelo que existe em público:

• Uma camada KimiGatedDeltaAttention específica do Solar em um novo solar_open2.py, carregando o beta 2·sigmoid(b) da mudança de autovalor negativo.

• A operação vllm::solar_open2_kda_attention registrada como uma operação de divisão de grafo CUDA.

Um aquecimento de prefill KDA em tempo de perfil, limitado a 2048 tokens, adicionado especificamente porque os prefills reais estavam rodando cerca de 23% mais lentos sem ele.

• Parsers de saída de raciocínio e de chamadas de ferramentas para os modos de streaming e não-streaming

• Validação de serving em 8×B200 reportando 107,02 GiB por rank de cache KV, juntamente com 463 testes unitários aprovados

Esses são os números do autor do PR, não reproduzidos por mais ninguém, e o código ainda pode mudar antes de ser mesclado. Mas leia essa lista junto à seção de arquitetura e a natureza do problema fica óbvia: as duas escolhas que tornam o Solar Open 2 250B barato de executar em contexto longo — KDA em três quartos das camadas, e sem RoPE — são precisamente as escolhas para as quais as pilhas de inferência de propósito geral não têm nenhum caminho de código existente. Abertura dos pesos e abertura do caminho para executá-los são coisas diferentes, e apenas uma delas foi lançada em 22 de julho.

O que custa se levantar

Comece pelo piso de memória. 500,6 GB de pesos bfloat16 contra os 141 GB de um H200 significam que quatro GPUs dão 564 GB — cerca de 63 GB restantes em todo o nó para cache KV e ativações antes de uma única solicitação chegar. É por isso que a ficha técnica lista quatro H200s como mínimo e recomenda oito, e por que a FlexAI oferece isso como um endpoint dedicado 8×H100 com preço sob consulta, em vez de uma API compartilhada por token.

A quantização reduz bastante esse piso. A versão NVFP4 da Nota AI (pesos e ativações de 4 bits, tamanho de grupo 16, no formato compressed-tensors) reduz o modelo de 500,6 GB para 153,3 GB, e a própria avaliação deles estima o custo de precisão em 0,22 pontos, em média, em quatro benchmarks — de 81,57 para 81,35, com Tau2-Bench de 75,20 para 75,08, GPQA-Diamond de 86,26 para 85,45, MMLU-Pro de 86,19 para 86,15, e LiveCodeBench indo na direção contrária, de 87,03 para 88,55, o que é ruído de quantização, e não uma melhoria. A ressalva é o hardware: NVFP4 exige os núcleos tensores FP4 introduzidos com a Blackwell, então apenas B200 ou GB200, nada em Hopper. Se você está em H100s, a variante que você quer é a versão INT4 com poda global deles — 117,8 GB após a poda, dimensionada para caber em duas delas.

Agora a aritmética que decide isso. DeepSeek V4 Flash — novamente, o modelo que a Upstage escolheu como referência — custa US$ 0,15 por milhão de tokens de entrada e US$ 0,29 por milhão de tokens de saída no OrcaRouter, que é o preço de tabela da DeepSeek repassado diretamente, com margem de 0%. Numa proporção de 3:1 entre entrada e saída, isso resulta em cerca de US$ 0,185 por milhão. Coloque um valor ilustrativo de US$ 2 por hora de GPU em um nó de oito GPUs e você chega a cerca de US$ 11.700 por mês antes que alguém envie uma requisição — o equivalente a cerca de 63 bilhões de tokens combinados de tráfego de API, ou 2,1 bilhões de tokens por dia, todos os dias, apenas para atingir o ponto de equilíbrio. Reduza para um nó de duas GPUs e o ponto de equilíbrio cai para algo como 16 bilhões de tokens por mês. Substitua pela sua própria taxa de GPU; a forma não muda. Autohospedar um modelo de 250B é uma decisão sobre utilização e controle, não um desconto.

{{1}}Para ser exato sobre o que está e o que não está disponível:{{/1}} {{2}}Solar Open 2 250B não está no OrcaRouter e, segundo o próprio model card, não está em nenhum provedor de inferência.{{/2}} {{3}}O que está no OrcaRouter é o campo contra o qual ele está sendo medido{{/3}} — {{4}}DeepSeek V4 Flash, Qwen3.8-Max e algumas centenas de outros atrás de uma única chave pelo preço de tabela do provedor, com failover entre provedores se um deles cair.{{/4}} {{5}}O que importa aqui por um motivo específico e prático:{{/5}} {{6}}se a pergunta que você realmente quer ver respondida é{{/6}} "{{7}}um modelo ajustado para agentes supera o que já chamamos em produção{{/7}}", {{8}}você pode executar essa metade da comparação alterando uma string de modelo hoje à tarde, enquanto a cotação de GPU para a outra metade ainda está em processo de aquisição.{{/8}}

Duas strings na licença

A Licença Upstage Solar permite uso comercial, ajuste fino e destilação, e a Upstage a descreve como baseada em Apache-2.0 com termos de marca adicionados. As duas obrigações adicionadas são as que devem ser lidas com atenção: um modelo derivado deve ter o prefixo "Solar" em seu nome, e você deve exibir a atribuição "Built with Solar".

Para implantação interna, isso é um não-evento. Se você planeja destilar isso em algo que distribua sob sua própria marca de produto, a cláusula de nomenclatura é uma decisão de branding disfarçada de termo de licença, e vale os vinte minutos de um advogado antes de você iniciar uma rodada de treinamento. Leia a cláusula no repositório em vez de confiar na cobertura sobre ela — a cobertura desta licença tem sido imprecisa, incluindo pelo menos um artigo que a descreve simplesmente como Apache 2.0.

Quem deve se mover agora, e quem deve esperar

Siga em frente se a qualidade de entregáveis em coreano ou japonês é o seu produto e você pode colocar os pesos no hardware que já possui — essa combinação é exatamente o que "pesos abertos, sem endpoint" atende, e o enquadramento da própria Upstage é explícito: soberania significa ser capaz de implantar e verificar um modelo por conta própria, não apenas que ele foi treinado domesticamente. Siga em frente se tiver GPUs ociosas e uma carga de trabalho de agente com volume suficiente para preenchê-las, porque com utilização real a matemática por token se inverte. Siga em frente se requisitos de auditoria ou residência de dados significarem que uma API nunca esteve em questão.

Espere, se você quiser um endpoint por token. A Upstage disse que pretende listar o Solar Open 2 250B em uma plataforma de terceiros; até o momento em que escrevo, isso não aconteceu — o teste no Playground foi somente até 31 de julho, e a ficha do modelo ainda não mostra nenhum provedor. Espere, se você está em Hopper e estava contando com a versão de 4 bits, já que a versão NVFP4 exige Blackwell. E espere antes de projetar qualquer coisa em torno do número de contexto de 1M, que atualmente é uma propriedade da arquitetura, e não um resultado medido.

A coisa a observar é o pull request 51129, que em 10 de agosto recebeu o rótulo needs-rebase depois que o Mergify sinalizou conflitos de merge. O dia em que o Solar Open 2 250B aparecer em um lançamento com tag do vLLM é o dia em que ele deixa de ser um projeto de infraestrutura e se torna um modelo que qualquer pessoa pode simplesmente experimentar. O AAII de 37 noticiado pela imprensa é um começo — uma primeira leitura externa, ainda que provisória, e que ainda não aparece no leaderboard da própria Artificial Analysis. O teste real é o que roda em software padrão, e ainda não tem data.