Ling-3.0-flash-base: o lançamento discreto de checkpoint do Ant Group, agora oficial

O laboratório inclusionAI da Ant Group publicou Ling-3.0-flash-base e cinco checkpoints irmãos no Hugging Face em 11 de agosto de 2026, sem nenhum anúncio, e por uma semana inteira todos os seis repositórios permaneceram com zero downloads — ninguém fora do laboratório parece ter notado. Então, em 19 de agosto, a conta oficial do laboratório apresentou publicamente a coleção, e todos os model cards dela foram atualizados em minutos. Este é um artigo sobre o que sabemos até agora a respeito desse lançamento. A versão curta logo de início: Ling-3.0-flash-base não é um modelo de chat, e não foi feito para ser um. É o checkpoint base bruto, de pré-alinhamento, do Ling-3.0-flash, o modelo Mixture-of-Experts de 124B parâmetros com 5.1B parâmetros ativos, lançado sob MIT para pessoas que querem continuar treinando-o em vez de apenas usá-lo.

O cronograma: uma semana de silêncio, depois um anúncio

A sequência é importante, porque ela diz como ler todo o resto deste artigo. Os seis repositórios foram todos criados em 11 de agosto, e os pesos para Ling-3.0-flash-base — o checkpoint mesclado, aquele que dá nome a este artigo — chegaram com um commit de "lançamento inicial do modelo" em 12 de agosto. Nenhuma postagem de blog, nenhuma thread em rede social, nenhum anúncio acompanhou nada disso. No momento da pesquisa, uma semana depois, cada um dos seis repositórios ainda mostrava zero downloads.

Esse silêncio terminou em 19 de agosto. A conta oficial do Ant Ling anunciou publicamente a coleção de checkpoints, e os cards do Hugging Face de todos os seis repositórios foram atualizados com poucos minutos de diferença entre si — os timestamps coincidem quase exatamente. Portanto, a leitura honesta é: os pesos foram disponibilizados silenciosamente, o anúncio veio com uma semana de atraso, e tudo o que atualmente é possível saber sobre o lançamento vem dos próprios cards dos modelos, além de um pequeno repositório com o cookbook de treinamento. Nada mais foi verificado de forma independente até agora.

O que realmente foi lançado: seis checkpoints, três estágios de treinamento

A InclusionAI descreve o lançamento como "uma coleção de checkpoints durante o processo de treinamento" para a série Ling-3.0, sua família de modelos de fundação de linguagem mais eficiente até o momento. Para cada um dos dois menores tamanhos — Ling-3.0-tiny e Ling-3.0-flash — o laboratório publicou três checkpoints, um por estágio de treinamento:

• Pré-treinados — Ling-3.0-flash-base-30T e Ling-3.0-tiny-base-30T: concluíram o pré-treinamento em larga escala; sem treinamento intermediário, sem mesclagem, sem pós-treinamento.

• Treinamento intermediário — Ling-3.0-flash-base-midtrain e Ling-3.0-tiny-base-midtrain: concluíram a fase de treinamento intermediário; sem mesclagem de checkpoints e sem pós-treinamento.

• Mesclados — Ling-3.0-flash-base e Ling-3.0-tiny-base: os checkpoints base mesclados por WSM, produzidos a partir dos pesos do treinamento intermediário e representando o estado base final antes do pós-treinamento.

Todos os seis são checkpoints base. Nenhum passou pela etapa de alinhamento — fine-tuning supervisionado, otimização de preferências, RL — que transforma um modelo base em algo que você pode colocar diante dos usuários. O model card diz isso em termos claros: não recomendado para implantação direta de chat para usuários finais, aplicações críticas de segurança sem alinhamento e avaliação adicionais, ou uso em produção sem pós-treinamento e validação específica da tarefa.

O que é um checkpoint base — e por que a reviravolta da WSM importa

Se você só consumiu modelos por meio de uma API, um "base checkpoint" pode soar como uma versão menor ou mais antiga de um modelo que você já conhece. Não é nem uma coisa nem outra. Um base checkpoint é o arquivo de pesos de rede neural não alinhado que resulta do pré-treinamento; o comportamento de seguir instruções e chamar ferramentas que você realmente usa é sobreposto a ele posteriormente. Liberar base checkpoints é a forma como um laboratório entrega à comunidade de pesquisa a matéria-prima para fazer seu próprio pré-treinamento continuado, fine-tuning, destilação e RL.

O que torna este lançamento mais interessante do que um típico dump de pesos-base é a receita de treinamento por trás dele. A InclusionAI está usando uma técnica que ela chama de Warmup-Stable and Merge (WSM), que substitui a redução convencional da taxa de aprendizado no final do treinamento pela fusão ponderada de checkpoints. Em termos simples: em vez de deixar a taxa de aprendizado diminuir gradualmente para concluir o treinamento, o laboratório treina a uma taxa estável, salva checkpoints ao longo do trecho final e os funde com pesos aprendidos. As motivações declaradas pelo fornecedor, conforme a ficha do modelo:

• Como não há fase de decaimento para "incorporar" a mistura final de dados, o modelo base resultante é mais adequado para pré-treinamento contínuo e expansão dinâmica de dados.

• Como a receita de merge pode ser explorada offline, uma equipe pode comparar diferentes perfis de decaimento sem reexecutar o treinamento dispendioso para cada um.

Esse segundo ponto é o que torna o lançamento um artefato de pesquisa em vez de uma curiosidade: todo o propósito desses checkpoints é que eles sejam treinados ainda mais, e a receita é projetada para tolerar isso.

O que há dentro do Ling-3.0-flash-base

A arquitetura é idêntica à do Ling-3.0-flash pós-treinado, que já deve ser familiar pela cobertura mais ampla desse modelo. Do model card e config.json:

• Tamanho — 124B de parâmetros totais segundo o fornecedor (o checkpoint completo em disco, incluindo embeddings, totaliza cerca de 127B no Hugging Face), com 5,1B ativados por token.

• Esparsidade — um MoE esparso de 1/64: 512 especialistas roteados, com 8 especialistas roteados e 1 especialista compartilhado ativados para cada token.

• Atenção — um design híbrido-linear nativo: 35 camadas de Kimi Delta Attention (KDA) e 7 camadas de Gated MLA em um padrão de repetição 5:1 ao longo de 42 camadas de transformer.

• Contextoa configuração carrega um embedding posicional de 256K tokens (262.144), o mesmo contexto nativo do irmão pós-treinado.

• Pesos — BF16, distribuídos em 28 shards safetensors (~255 GB em disco), com o código de modelagem personalizado bailing_hybrid incluído no repositório.

• Licença — MIT, sem cláusula de uso aceitável.

Uma ressalva honesta sobre o número de tamanho: o cartão do modelo do fornecedor diz "Total 124B", e é esse número que circula por toda parte — mas a contagem total de parâmetros safetensors no repositório é de cerca de 127,5B uma vez que a camada de embedding é incluída. O valor 124B é o total sem embedding, e os dois números não estão em conflito; vale a pena saber qual deles você está vendo quando encontrar "127B" em uma barra lateral ou em um downloader.

Para que serve, e para que não serve

Os casos de uso recomendados na ficha do modelo são inequívocos:

• Pré-treinamento contínuo

• Meio do treinamento

• Ajuste fino supervisionado para adaptação de domínio

• Otimização de preferências e pós-treinamento de RL

• Pesquisa em destilação

• Pesquisa em sistemas de contexto longo e MoE

E sua lista de "não recomendado como está" é igualmente explícita: implantação de chat diretamente para o usuário final, aplicações críticas de segurança sem alinhamento, uso em produção sem pós-treinamento. Em outras palavras, este é um material bruto para pessoas que treinam modelos, não um modelo que as pessoas implantam. Se você não tem planos de ajustar ou pré-treinar nada, não há nada para você baixar aqui — e não há nada de errado nisso.

A outra metade da história é o design que escala sem emendas. A InclusionAI afirma que Ling-3.0-tiny-base e Ling-3.0-flash-base compartilham a mesma receita de treinamento, então a comunidade pode validar primeiro uma estratégia de pré-treinamento contínuo ou ajuste fino no checkpoint tiny — que cabe em muito menos memória de GPU — e depois escalar a mesma receita validada para o checkpoint flash maior. Essa é uma escolha deliberada de fluxo de trabalho, não um acidente de logística de lançamento, e é a propriedade mais útil da coleção para quem realmente quer experimentar.

Realidade do hardware, e o caminho que a maioria das pessoas realmente quer

Não há como evitar o tamanho dos pesos base do flash. BF16 a ~255 GB significa um nó multi-GPU sério (ou uma configuração de treinamento otimizada para memória) antes mesmo de começar; não há quantização oficial FP8 ou FP4 do checkpoint base — as variantes quantizadas que existem no catálogo da organização são para o modelo pós-treinado. Os exemplos de fine-tuning estão no inclusionAI/ling-cookbook repositório do GitHub, que é explicitamente um trabalho em andamento. Se o pré-treinamento contínuo não é o foco da sua equipe, os checkpoints base não são o seu ponto de entrada.

A maioria das pessoas que leem sobre a família Ling-3.0 não quer um checkpoint base de forma alguma — elas querem o modelo que conversa. Esse é o modelo pós-treinado Ling-3.0-flash, disponível por meio da API do próprio fornecedor e de várias plataformas de terceiros. Quando um modelo de pesos abertos rápido e recém-lançado como esse aparece, a maneira mais barata de avaliá-lo em relação à sua pilha atual é executá-lo lado a lado com o que você já usa — e é exatamente para isso que serve um roteador: uma API, uma chave e failover automático para que uma falha do provedor não encerre o teste. O OrcaRouter se conecta a mais de 200 modelos dessa forma e repassa os preços de tabela dos provedores diretamente com margem de 0%, então o preço que você vê é o próprio preço do provedor, e uma comissão do fornecedor chega até nós no mesmo dia.

O que ainda não foi confirmado

Como este lançamento é de apenas um dia em termos de anúncio, a lista não confirmada é longa e deve ser lida como uma lista de tarefas, não como uma crítica:

• Não há benchmarks independentes do checkpoint base. O model card incorpora um gráfico de benchmark do fornecedor comparando Ling-3.0-flash-base com pares pré-treinados em suítes de matemática, codificação, raciocínio, multilíngue e contexto longo — mas é uma avaliação do próprio fornecedor, hospedada em um servidor interno de imagens, sem seção de metodologia e sem reprodução por terceiros.

• Nenhuma reprodução da comunidade ainda. No momento da pesquisa, todos os seis repositórios mostraram zero downloads e essencialmente nenhum engajamento. O lançamento é recente demais para que alguém tenha publicado um fine-tune independente ou uma execução de pré-treinamento contínuo sobre esses pesos.

• O ferramental ainda é incipiente.A bailing_hybrid arquitetura é fornecida com código de modelagem personalizado, então você depende de trust_remote_code ou de um framework que adicionou suporte. O cookbook de fine-tuning está explicitamente em andamento.

• O anúncio em si é escasso. A apresentação pública veio por meio de uma thread no X e das fichas dos modelos; não há um documento de lançamento autônomo descrevendo os dados de treinamento, o poder computacional ou a receita exata de mesclagem além do que as fichas declaram.

Em contraste, o irmão pós-treinado tem um histórico independente: Ling-3.0-flash é rastreado pela Artificial Analysis com um Índice de Inteligência de 38 — um número que vem do leaderboard, não do fornecedor. Nada disso existe ainda para Ling-3.0-flash-base; um checkpoint base não é servido em nenhum lugar, então não está em nenhum leaderboard. Os dois artefatos estão em estágios completamente diferentes de verificação, e ajuda a não confundi-los.

Quem deve agir agora

Três grupos devem ler isto de forma diferente:

• Pesquisadores que fazem pré-treinamento contínuo, SFT de domínio ou destilação — esta é a versão para você. O checkpoint base WSM-merged foi especificamente construído para treinamento adicional, e a receita tiny-then-flash oferece uma maneira barata de validar uma abordagem antes de escalá-la. Comece com Ling-3.0-tiny-base, comprove a receita e então passe para Ling-3.0-flash-base.

• Engenheiros que querem um modelo que funcione — vocês querem o Ling-3.0-flash pós-treinado, não esta versão. Os checkpoints base não seguem instruções e não são servidos em nenhum lugar; não apontem um cliente de API para eles.

• Todos os outros — o movimento útil é observar. Os sinais interessantes nas próximas semanas são um primeiro fine-tune independente construído sobre esses pesos, uma reprodução comunitária do gráfico de benchmark do fornecedor, e se uma stack de treinamento de terceiros adiciona suporte de primeira classe para a bailing_hybrid arquitetura.

FAQ

Qual é a diferença entre Ling-3.0-flash-base e Ling-3.0-flash?

Ling-3.0-flash é o modelo pós-treinado — alinhado com fine-tuning supervisionado e RL, segue instruções, faz chamada de ferramentas e é servido por meio de APIs. Ling-3.0-flash-base é a mesma arquitetura em um estágio anterior: é o checkpoint base mesclado final antes de qualquer pós-treinamento, e não se comportará como um modelo de chat. A base existe para que pesquisadores possam fazer seu próprio pré-treinamento contínuo, fine-tuning ou destilação, em vez de começar do zero.

Por que um laboratório liberaria checkpoints que não foram pós-treinados?

Porque o pós-treinamento é exatamente o que a maioria dos pesquisadores quer fazer por conta própria, e um checkpoint base é o ponto de partida correto para isso. Liberar os checkpoints pré-treinados, parcialmente treinados e mesclados separadamente significa que uma equipe pode escolher a etapa que corresponde ao seu trabalho: continuação do pré-treinamento a partir do peso pré-treinado, ou fine-tuning e RL a partir da base mesclada — e, graças ao WSM, sem as restrições de decaimento da taxa de aprendizado que tornam um modelo base frágil quando você o treina ainda mais.

Posso executar o Ling-3.0-flash-base em hardware de consumo?

Na prática, não. Os pesos BF16 têm cerca de 255 GB distribuídos por 28 shards, sem variante quantizada oficial do checkpoint base. O irmão menor, Ling-3.0-tiny-base, é o indicado para experimentação em hardware mais modesto — e ele compartilha a receita de treinamento do flash checkpoint, então experimentos validados escalam.

O Ling-3.0-flash-base é gratuito para uso comercial?

Sim — é lançado sob a licença MIT, sem cláusula de uso aceitável. Isso cobre tanto o uso em pesquisa quanto, em princípio, o uso comercial dos pesos e de quaisquer ajustes finos construídos a partir deles. É um checkpoint base, então "uso" aqui significa treinar nele; a licença não diz nada sobre uma API hospedada, porque nenhuma existe para o modelo base.

Conclusão

Para a maioria dos leitores, Ling-3.0-flash-base é um indicador, não um produto: mostra para onde a família Ling-3.0 está indo e como o laboratório pretende que a comunidade construa sobre ela, mas não há nada aqui para ser chamado por meio de uma API. Para o grupo menor que realmente faz pré-treinamento continuado, ajuste fino ou destilação, é um lançamento genuinamente útil — seis checkpoints, com licença MIT, deliberadamente projetados para serem treinados ainda mais, com um caminho "tiny-first" que torna a experimentação acessível. O que o elevaria de "lançamento útil" a "receita comprovada" é exatamente o que falta hoje: uma reprodução independente, por alguém de fora do laboratório, do que os checkpoints WSM podem fazer quando alguém continua treinando-os.