Moondream 3.1 9B A2B vs North Micro Vision Instruct: Qual fornecedor realmente permite que você verifique o número

Dois modelos de visão abertos, separados por quatro meses, com quase nada em comum sobre como pedem para ser avaliados. M​oondream 3.1 9B A2B foi lançado em 7 de julho de 2026 com uma tabela de benchmarks, um rodapé de metodologia indicando uma única H100 SXM5 e um tamanho de lote de 16, e um argumento que percorre o mesmo post, de que benchmarks não medem o que seus clientes realmente precisam. North Micro Vision Instruct chegou em 12 de agosto de 2026 da C​ohere Labs com 2,4 bilhões de parâmetros sob a licença Apache 2.0, e seu post de lançamento dedica toda a sua extensão ao currículo de treinamento e à sua configuração de avaliação — o harness usado, e os parâmetros exatos de amostragem com os quais os números foram produzidos.

Isso é uma diferença real de natureza, e é mais útil para um comprador do que a contagem de parâmetros de qualquer um dos modelos. Um fornecedor está lhe dizendo como reproduzir sua tabela. O outro está lhe dizendo para não confiar em tabelas e depois imprime uma. Nenhum dos dois foi avaliado independentemente, até onde conseguimos apurar, então a pergunta que realmente decide em qual conjunto de números se apoiar é quanto cada fornecedor lhe deu para verificar.

O que cada um é

O ​Moondream 3.1 9B A2B é um modelo esparso de mistura de especialistas de visão-linguagem: 9B parâmetros totais, 2B ativos por token, 64 especialistas com 8 ativos, um codificador visual SigLIP com concatenação de canais em multi-crop, um contexto de 32K tokens e um tokenizador SuperBPE. As suas quatro competências — consulta, detecção, apontamento e legenda — são treinadas no modelo, em vez de induzidas por prompt, e os caminhos de detecção e apontamento devolvem geometria estruturada em vez de descrição. É executado no Photon, o motor de inferência do fornecedor, com suporte para GPUs N​VIDIA a partir de Ampere e Apple Silicon.

North Micro Vision Instruct é um modelo denso de 2,4B construído a partir de três partes: um codificador de visão de resolução nativa de 400M, pré-treinado adicionalmente a partir do checkpoint SigLIP 2 SO400M do Google; um projetor que segue o padrão DeepStack de injetar embeddings de patches de várias camadas do codificador nas camadas iniciais do modelo de linguagem; e um modelo de linguagem de 2B chamado North Micro LLM, que segue a arquitetura Command A+ da Cohere. Ele recebe texto e imagens intercalados — uma ou várias — e produz texto. O vocabulário do tokenizador é 262.144, e os idiomas listados chegam a onze, além de "e mais".

A diferença de tipo de saída merece ser dita claramente, porque molda o que vem a seguir: M​oondream é um modelo de percepção que responde com caixas e coordenadas; North Micro Vision é um modelo de compreensão que responde com linguagem. Tudo o que qualquer um dos dois fornecedores publica é uma medição de uma dessas duas tarefas, e elas não são a mesma tarefa.

O número 8K que não é a janela de contexto do modelo

Comece pela armadilha, porque ela está bem no meio do cartão de modelo do North Micro Vision e é o tipo de coisa que acaba entrando numa decisão de arquitetura por acidente.

• North Micro Vision Instruct — janela de contexto do backbone de linguagem de 128.000 tokens; faixa operacional multimodal validada de até 8.000 tokens. A ficha afirma categoricamente que contextos multimodais mais longos podem depender de extrapolação e não passaram por benchmark.

• M​oondream 3.1 9B A2B — 32.000 tokens, um número, nenhuma exceção de modalidade publicada.

Portanto, o número de destaque favorece a North Micro Vision por um fator de quatro, e o número que realmente se aplicará à sua carga de trabalho de imagens favorece a M​oondream por um fator de quatro. Se você está estimando quantas páginas de um documento digitalizado cabem em uma única chamada, 128K é o número errado e 8K é o correto, e 8K de tokens intercalados de imagem e texto não é muitas páginas quando um codificador de resolução nativa começa a emitir tokens em proporção à área de pixels. O fornecedor merece crédito por publicar a ressalva — a maioria dos cartões não o faria —, mas a ressalva está enterrada abaixo de uma tabela de especificações, e é a tabela que acaba sendo copiada.

Como os dois fornecedores reportam, lado a lado

Esta é a parte da comparação que não tem nada a ver com os modelos e tudo a ver com qual deles se pode auditar.

O post 3.1 do M​oondream declara suas linhas de base (Qwen3.5 9B, SAM 3, LocateAnything, Gemma 4 12B), sua métrica (F1@0.5 para detecção), seu hardware (um H100 SXM5), seu tamanho de lote (16), e o fato de que cada modelo foi servido por seu próprio motor — vLLM para LocateAnything, Qwen3.5 e Gemma 4; Photon para M​oondream; Hugging Face Transformers para SAM 3. Também afirma que as configurações mais altas de acurácia e raciocínio foram escolhidas por modelo, e que o LocateAnything foi executado em um modo lento para maximizar a acurácia. Os resultados que publica são 81,46 F1@0.5 no COCO val, 93,94 no ODinW-13, 67,4 no LVIS, 74,61 no Dense200, 52,77 no SKU-110K, 74,5 no CrowdHuman, 87,1 no RefCOCO-M, 70,39 no HumanRef, 59,63 no DOTA-v2, 90,35 no CountBench, 74,86 no TallyQA, 88,68 no PixMo-Count, 86,01 no ChartQA e 88,6 no DocVQA, com alegações de estado da arte em cinco das famílias de benchmarks.

O que não está nesse rodapé é justamente o que torna um resultado reproduzível: os prompts. A detecção é uma tarefa de vocabulário aberto, e a frase com que você pede por algo altera o que retorna. Quem tenta reproduzir tem a métrica, o hardware e o tamanho do lote, e mesmo assim não consegue reproduzir o número sem saber qual texto produziu cada caixa.

A publicação da Cohere Labs adota a outra abordagem. Ela nomeia o harness (VLMEvalKit), afirma que o modelo foi avaliado com uma implementação interna do vLLM, lista a composição do benchmark para cada grupo de capacidades — General VQA é uma média sobre MMBench, MMStar, RealWorldQA e GQA; o grupo de gráficos, documentos e OCR abrange ChartQA, DocVQA, InfoVQA, OCRBench, OCRBench v2 e AI2D; grounding e contagem correspondem à média do RefCOCO e ao CountBench — e publica os parâmetros de amostragem sob os quais os números foram produzidos: temperature 0.7, top_p 0.8, top_k 20, min_p 0.0, presence_penalty 1.5, repetition_penalty 1.0. Ela também sinaliza que o suporte público ao vLLM está "em breve", que é a divulgação honesta que mais importa para qualquer pessoa planejando reproduzir: o modelo foi testado em um fork.

O que esse post não publica é uma tabela por benchmark. Seus resultados são médias por grupo de capacidade e uma afirmação relativa — no modo Instruct, o 35B-A3B obtém pontuação mais alta em menos tempo de inferência do que o Qwen3.6 35B-A3B, e a variante 1B supera o Qwen3.5 0.8B tanto em pontuação quanto em eficiência — o que é menos imediatamente citável e mais robusto a cherry-picking. Nenhum dos documentos permite recalcular o número do outro fornecedor. Ambos permitem ver o quanto estão escondendo.

Onde a diferença de arquitetura se manifesta na prática

A resolução nativa é a decisão de design do North Micro Vision que muda o trabalho diário, e vale a pena entendê-la antes das tabelas de benchmark. A maioria dos codificadores de visão redimensiona tudo o que você fornece para um quadrado fixo, e é por isso que uma captura de tela de planilha larga chega ao modelo de linguagem com suas colunas espremidas. O codificador do North Micro Vision é treinado para receber a imagem em sua própria resolução e proporção, preservando os detalhes finos de documentos, tabelas, gráficos e formulários. O currículo publicado passou de um estágio fixo de 384×384 com 10 milhões de exemplos para um estágio de 1024×1024 com 13 milhões e além.

O encoder do Moondream baseia-se, em vez disso, em multi-crop: a imagem é tratada como um conjunto de recortes cujas características são concatenadas, o que também é uma forma de preservar detalhes em entradas grandes e está acoplado à forma como a sua cabeça de detecção produz caixas. Ambas são respostas legítimas para o mesmo problema, e nenhum fornecedor publica uma comparação direta em resolução equivalente, pelo que a conclusão útil a tirar da discussão sobre a arquitetura é mais restrita do que um veredito: se o seu trabalho envolve documentos densos e capturas de tela largas de UI, a resolução nativa é a propriedade a testar, e o teste é uma captura de tela sua, não uma linha de benchmark.

A outra diferença estrutural é multi-imagem e vídeo. O North Micro Vision Instruct lida com entrada intercalada de múltiplas imagens e lista benchmarks de múltiplas imagens entre os grupos que avaliou. O M​oondream 3.1 9B A2B está limitado a uma imagem por chamada — sem caminho para vídeo, sem caminho para múltiplas imagens. Isso é consistente com seu design: os próprios textos de engenharia da M​oondream sobre vídeo ao vivo argumentam que o problema é a infraestrutura de inferência, e não a capacidade do modelo, e a resposta da empresa para cargas de trabalho temporais é um motor que acompanha um fluxo em vez de um checkpoint que ingere um fluxo. Se isso é uma resposta melhor do que a de um modelo que processa 128 quadros de uma vez é uma questão genuinamente em aberto, e os dois fornecedores não estão medindo a mesma coisa.

Implantação e licença, rapidamente

• Tamanho — 9B no total / 2B ativos contra 2,4B densos. Em termos de armazenamento, a diferença é maior do que a proporção de parâmetros ativos sugere, porque a pegada de um modelo esparso acompanha seu total.

• Escala do ajuste fino — um modelo denso de 2,4B é pequeno o suficiente para ser ajustado em um único dispositivo; um modelo esparso de 9B exige uma infraestrutura de treinamento de verdade para qualquer coisa além de um LoRA, e é por isso que o próprio caminho de ajuste da Moondream passou por um produto hospedado.

• Runtimes — North Micro Vision Instruct requer Transformers 5.16.0 com accelerate e Pillow; existem quantizações da comunidade em MLX, LiteRT e formatos adjacentes ao ONNX. M​oondream 3.1 9B A2B roda no Photon, com o primeiro empacotamento GGUF de terceiros do checkpoint surgindo em 15 de outubro de 2026.

• Licença — Apache 2.0 para North Micro Vision Instruct, sem limite e sem restrição de hospedá-lo para outros. A M​oondream Model License 1.0 para M​oondream 3.1 9B A2B: uso comercial, auto-hospedagem, ajuste fino, quantização e redistribuição, tudo permitido, com uma proibição — você não pode oferecer inferência ou ajuste fino do M​oondream de uso geral como serviço hospedado.

• Rotatividade — O North Micro Vision Instruct mantém-se estático desde o lançamento; as adições recentes dignas de nota são quantizações de terceiros. Os termos do Moondream mudaram nas últimas duas semanas: a Prime Intellect adquiriu a empresa a 13 de outubro de 2026, e o Moondream Cloud, incluindo o produto de fine-tuning Lens, encerra a 13 de novembro de 2026. Os pesos e o Photon não são afetados; o caminho hospedado, não.

O segundo modelo no pipeline, e quem o roteia

Nenhum desses checkpoints é servido no OrcaRouter, então leia isto como uma nota de integração. Ambos são componentes de estágio único: um retorna caixas, o outro retorna texto, e um sistema de produção precisa de um modelo por trás deles para decidir o que a observação significa e para registrá-la. Esse estágio é um estágio de texto, geralmente custa mais por chamada do que o estágio de visão, e é o estágio que você vai querer trocar primeiro quando surgir um modelo de raciocínio mais barato ou melhor. Fazer essa troca através de um endpoint compatível com OpenAI em mais de 200 modelos — com os preços de tabela dos provedores repassados com 0% de margem e failover automático entre provedores quando um upstream tem uma hora ruim — significa mudar um identificador de modelo em vez de refazer a fiação da câmera. Quando uma opinião não é suficiente, a fusão de modelos executa um painel de modelos sobre a mesma entrada, e a DSL de roteamento compõe vários deles em uma única chamada.

Há um ponto em que podemos ser mais específicos, e vale a pena ser honesto sobre para que lado isso pende. O North Micro Vision Instruct é Apache 2.0 e pequeno o suficiente para rodar em hardware que você possui, o que significa que o argumento habitual para encaminhar um modelo de visão através de um endpoint hospedado — de que você não pode auto-hospedá-lo — não se aplica. O argumento que resta é o comum: um segundo modelo no loop, na mesma chave, com uma única fatura e um único conjunto de credenciais.

Qual escolher, e o que mudaria a resposta

Escolha o North Micro Vision Instruct se estiver lendo documentos, tabelas, gráficos ou telas, se precisar de várias imagens em uma única chamada, se o Apache 2.0 for importante porque você pretende hospedar o modelo para outras pessoas, ou se quiser um checkpoint de 2,4B que você possa ajustar finamente com seus próprios dados. O cartão de modelo da C​ohere aponta o ajuste fino como o uso pretendido e a licença não coloca nenhum obstáculo no caminho.

Escolha o M​oondream 3.1 9B A2B se a sua saída for geometria — caixas, coordenadas, contagens com instâncias associadas — e a sua implantação for uma máquina CUDA com o Photon nela. O modelo é especializado e a sua promessa de velocidade é voltada exatamente para essa carga de trabalho.

O que mudaria a resposta para ambos é uma avaliação independente, e é isso que se deve continuar acompanhando. Os números de nenhum dos fornecedores foram reproduzidos fora do fornecedor, e cada um publicou sob condições que tornam a reprodução mais difícil do que precisaria ser: um não divulga seus prompts, o outro rodou em uma implementação interna de serviço de um framework cujo suporte público ainda está pendente. Quando um terceiro executar qualquer um dos checkpoints no mesmo conjunto de documentos, o modelo cuja tabela sobreviver a esse contato intacta é o que vale a pena acreditar — e até então, o fornecedor que lhe disse como mediu é o mais fácil de contestar.

Um resultado como este também é um lembrete de que erros de modelo já estão documentados: os incidentes de IA e as falhas de agentes por trás de modelos dessa classe são reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, severidade, grau de confiança e indicador de disputa.