Um cartão de placar de duas colunas gerado, intitulado 'ScaleDown Classify vs Microsoft-Decision-1 — o placar', com as linhas de ScaleDown Classify indicando um método não descrito, resultados alegados pelo fornecedor, nenhuma lista de idiomas, um contexto de 1M tokens, uma explicação de uma frase e pesos privados, contra o método documentado em detalhes do Microsoft-Decision-1, nenhum resultado impresso, 25 idiomas com ressalvas, um contexto de 32.768 tokens, nenhuma explicação e nenhum caminho de ajuste fino.
Engineering & Research

ScaleDown Classify vs Microsoft-Decision-1: Um publica números, o outro publica método

Autor

Rowan Sterling

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

A ScaleDown Classify e a Microsoft-Decision-1 são as duas opções fechadas e hospedadas nesta comparação. Nenhuma das duas distribui pesos, nenhuma das duas é algo que você baixa, e ambas se baseiam na mesma premissa: a de que uma decisão — qual categoria, qual opção, qual destas — deve ser lida a partir das probabilidades de um modelo, e não escrita como texto por um loop de geração. A Microsoft-Decision-1 está disponível em geral no Microsoft Foundry desde 8 de outubro de 2026 como um decoder denso de 9 bilhões de parâmetros pós-treinado pela Microsoft, com 25 idiomas compatíveis e um contexto de 32.768 tokens. A ScaleDown Classify é um motor de rubrica hospedado a US$ 0,05 por milhão de tokens de entrada e US$ 0 por milhão de tokens de saída, com um limite de entrada de 1 milhão de tokens e um teto de vinte rótulos. O que as separa não é a capacidade. É o que cada empresa está disposta a publicar sobre o próprio modelo, e elas escolheram metades opostas.

A inversão da divulgação

A documentação do Foundry do Microsoft-Decision-1 descreve sua avaliação com um nível de detalhe incomum. Benchmarks de decisão públicos e da comunidade, além de conjuntos internos reservados. Métricas que incluem acurácia e erro de calibração. Ordem das opções variada. Testes estatísticos pareados. Uma estrutura de avaliação idêntica para cada modelo com o qual ele é comparado. E então informa que o modelo "tem desempenho equivalente ao dos principais modelos de decisão e à frente de outros modelos de decisão abertos avaliados com a mesma metodologia" — e não apresenta nenhum número. Nenhum valor de acurácia, nenhum erro de calibração, nenhuma tabela por benchmark.

O que a Microsoft publica é uma lista de limitações, e é uma boa lista. As pontuações variam conforme a formulação e a ordem das opções. Uma pergunta mal formulada ainda retorna uma pontuação. A calibração é mais forte em tipos de tarefa familiares. Nenhuma explicação é produzida. Os pontos fortes nomeados do modelo são raciocínio, aplicação de regras e robustez à formatação do prompt; os pontos fracos nomeados são conhecimento especializado de domínio e desempenho em idiomas que não o inglês.

O ScaleDown Classify executa a imagem espelhada dessa política. Sua documentação entra em detalhes operacionais sobre como escrever uma solicitação — a rubrica é descrita como a parte mais importante de uma solicitação de classificação, formulada como uma pergunta direta de sim/não, evitando negações, mantida sem sobreposição para que a massa de probabilidade não seja dividida de forma imprevisível — e o marketing do fornecedor traz alegações de precisão e custo, incluindo um modelo de aproximadamente meio bilhão de parâmetros alcançando 91,7% em uma tarefa simples de classificação, contra 88,6% de um modelo de 72 bilhões de parâmetros. Nenhuma delas está atrelada a uma metodologia descrita, e o ScaleDown Classify não traz nenhum erro de calibração esperado publicado em qualquer harness público.

Então a escolha é entre um fornecedor que lhe diz como mediu e não o que encontrou, e um fornecedor que lhe diz o que encontrou e não como mediu. Nenhum dos dois é uma divulgação completa, e nenhum deles deve ser tratado como tal.

A screenshot of ScaleDown's /classify API reference page, captured 14 October 2026, showing the POST /classify endpoint description, the text, chunks and optional document input fields, and the required labels array of name-and-rubric objects that the documentation describes as the most important part of the request.

Linguagens: uma publica uma contagem, a outra não publica nada

Microsoft-Decision-1 lista 25 idiomas suportados e declara claramente que cobertura, qualidade e calibração “podem variar conforme o idioma”, citando idiomas que não são inglês e, especialmente, idiomas com menos recursos como áreas de desempenho inferior. Essa é uma divulgação útil: ela informa que o modelo é multilíngue, informa aproximadamente o quão multilíngue, e informa onde não se deve confiar nele.

A documentação do Classify da ScaleDown não publica uma lista de idiomas. Nada na referência da API declara quais idiomas a pontuação da rubrica contempla, nem se o fraseado da rubrica em um idioma que não seja o inglês se comporta da mesma forma, e a orientação sobre a rubrica — formule-a como uma pergunta direta de sim/não, evite negações — está escrita de um modo que pressupõe implicitamente um solicitante que fala inglês e escreve rubricas em inglês. Para um classificador que, na prática, será direcionado a tickets de suporte internacionais, essa é a lacuna a ser fechada antes de você se comprometer, e é uma lacuna que só a sua própria avaliação pode fechar.

Se você precisar de uma pegada linguística documentada, esta comparação termina aqui e a Microsoft vence por padrão. Se você for apenas de inglês, a contagem não é um fator e o restante da decisão gira em torno do comprimento da entrada e dos limites.

Contexto: 32.768 tokens contra um milhão

A Microsoft documenta uma única invocação com até 32.768 tokens. A ScaleDown documenta um limite de entrada de 1M tokens e afirma que a calibração por bloco é idêntica quer um bloco seja enviado sozinho quer como parte de um lote de cinquenta blocos, com o perfil compartilhado cobrado uma vez por requisição. Em termos do número bruto, isso é uma diferença de trinta vezes e é a maior lacuna individual entre os dois produtos.

O que isso proporciona não é taxa de transferência — é se você precisa de uma camada de chunking. Um thread de suporte, um ticket com seu histórico, uma passagem curta recuperada: tudo isso cabe dentro de 32k com espaço para um esquema de pergunta, e os dois modelos são aproximadamente equivalentes nesse tamanho. Um contrato completo, um documento de política de várias páginas, um contexto recuperado longo ou um formulário digitalizado: nada disso cabe em 32k, e o caminho de documento do Classify — JPEG, PNG, TIFF ou PDF em base64, de página única ou múltiplas páginas, com o texto extraído retornado em um campo ocr_text — significa que o documento pode entrar como bytes em vez de texto pré-processado.

Ambos os números são dos próprios fornecedores. A alegação da ScaleDown de um milhão de tokens não foi corroborada de forma independente, e as listagens de catálogos de terceiros para o modelo indicam o comprimento de contexto como não aplicável, em vez de repetirem o número, o que é uma limitação do catálogo, e não uma contradição.

Explicações: um recusa, o outro cobra o dobro

O Microsoft-Decision-1 não produz explicações, e a página do modelo lista isso como uma limitação, e não como uma escolha de design. O ScaleDown Classify retorna uma explicação de uma frase para o seu rótulo principal, e a documentação é criteriosa quanto ao que essa frase é: ela é gerada depois que o rótulo principal é fixado, portanto explica a decisão em vez de questioná-la, tem formato livre e reenvia os rótulos e as rubricas a 2x tokens de entrada faturados. Ela está disponível apenas em solicitações de rótulo único com uma única entrada de texto ou documento — solicitações com múltiplos rótulos e em lote nunca a retornam.

Para uma fila de revisão humana, essa frase costuma ser a diferença entre um revisor aceitar uma classificação e um revisor refazê-la, o que torna a sobretaxa de 2x fácil de justificar na fração do tráfego que chega a um humano. Para um pipeline automatizado, ela é peso morto na conta, e deveria estar desativada.

Ambos estão fechados, e isso muda o que você pode testar.

• Pesos — nenhum dos dois os fornece; a ScaleDown oferece auto-hospedagem corporativa e licenciamento sob solicitação, e a página da Microsoft não documenta nenhum caminho de fine-tuning

• Teto de opções — ScaleDown: 20 rótulos por solicitação, 16 no modo multi-rótulo, pontuados independentemente; o teto do conjunto de opções do Microsoft-Decision-1 não é informado na página do modelo

• Inferência em lote — O ScaleDown documenta até 50 chunks por requisição em um perfil de rótulo compartilhado; a página da Microsoft lista a inferência em lote como desativada

• Divulgação de cobrança — A tarifa do Classify está impressa, a US$ 0,05 por milhão de tokens de entrada e US$ 0 por milhão de tokens de saída; a tarifa por token do Foundry não está impressa na página do modelo

• Forma do preço — Classify multiplica pelo número de rótulos no modo multi-rótulo e duplica quando o raciocínio está ativado; a tarifa do Foundry é por token, sem multiplicador de rótulos publicado

• Resposta vazia — Classify retorna um vencedor mesmo quando nada se encaixa, então você define o limite; o comportamento declarado pela Microsoft é que uma pergunta mal formulada ainda retorna uma pontuação

A consequência de ambos estarem fechados é a mesma nos dois casos: não pode inspecionar o artefacto, por isso a sua única verificação é comportamental. Isso torna obrigatório um conjunto reservado dos seus próprios dados rotulados e faz com que o custo de mudar de fornecedor seja refazer essa avaliação, em vez de uma alteração de código.

A screenshot of the OrcaRouter models catalogue, captured 14 October 2026, showing the header '210 models, 16 providers, one API key, one bill' and the filter row for input modalities, context length, input price, status, access tier, series and supported parameters.

Onde o OrcaRouter se situa em um pipeline construído sobre qualquer um

Nenhum desses modelos está no nosso catálogo, e nada aqui é uma afirmação de disponibilidade — ambos são endpoints estruturados de pontuação, e não alvos de chat-completions, e uma camada de roteamento não é o que qualquer um dos dois precisa. O que oferecemos é a camada acima deles: os mais de 200 modelos generativos por trás de uma única chave compatível com OpenAI que produzem o rascunho que o classificador está avaliando, ao preço de lista do provedor repassado com 0% de markup, com uma DSL de roteamento para compor vários modelos em uma única chamada e failover automático quando um caminho de serving se degrada. Se um modelo de decisão controla o que sua camada de geração tem permissão para entregar, então a camada de geração é onde reside o risco de uptime, e é essa a metade que uma única chave pode consolidar.

Qual escolher

Escolha o Microsoft-Decision-1 se você precisar de uma pegada linguística documentada, se já estiver dentro do Azure, ou se a postura de conformidade de um grande fornecedor importar mais para o seu processo de compras do que um índice de precisão publicado. Aceite que você o avaliará inteiramente com os seus próprios dados, porque a Microsoft optou por não lhe dar mais nada.

Escolha o ScaleDown Classify se suas entradas ultrapassarem 32k tokens, se você quiser que a etapa de extração seja incorporada à chamada de classificação, ou se você quiser uma rubrica por rótulo que possa reescrever sem treinar nada de novo. Aceite que o argumento de acurácia é do próprio fornecedor e não foi reproduzido, que nenhum número de calibração é publicado, e que você escreverá seu próprio limiar de confiança e um rótulo genérico.

A medição que decidiria isto — ambos os modelos com entradas idênticas, a mesma ordenação de opções, a mesma varredura de limiares, executada por alguém sem interesses no assunto — não foi publicada por nenhum dos fornecedores. Até que um deles a execute, a leitura honesta é que a Microsoft é a predefinição mais segura e a ScaleDown é o instrumento mais capaz.

A generated two-column scoreboard comparing ScaleDown Classify and Microsoft-Decision-1 across published methodology, published results, supported languages, context length, explanation output and weight access, with a footer reading that both vendors self-report and neither publishes independently audited results.

É também em comparações como esta que os modos de falha aparecem: os incidentes de IA documentados e as falhas de agentes por trás dos modelos desta classe são reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz as suas próprias fontes, severidade, grau de confiança e sinalizador de disputa.