ScaleDown Classify vs Microsoft-Decision-1: 한쪽은 숫자를 공개하고, 다른 한쪽은 방법을 공개한다

ScaleDown Classify와 Microsoft-Decision-1은 이 비교에서 두 가지 클로즈드, 호스팅형 옵션이다. 둘 다 가중치를 제공하지 않고, 둘 다 다운로드하는 것도 아니며, 둘 다 같은 전제 위에 세워져 있다. 즉 결정, 가령 어느 범주인지, 어느 옵션인지, 이들 중 어느 것인지는 생성 루프가 텍스트로 써내는 것이 아니라 모델의 확률에서 읽어내야 한다는 전제다. Microsoft-Decision-1은 2026년 10월 8일부터 Microsoft Foundry에서 일반 제공되어 왔으며, Microsoft가 사후 학습시킨 90억 매개변수 dense decoder로, 25개 지원 언어와 32,768토큰 컨텍스트를 갖춘다. ScaleDown Classify는 호스팅형 루브릭 엔진으로, 입력 토큰 100만 개당 $0.05, 출력 토큰 100만 개당 $0이며, 입력 한도는 100만 토큰, 레이블 상한은 20개다. 이 둘을 가르는 것은 성능이 아니다. 그것은 각 회사가 자기 모델에 관해 기꺼이 공개하려는 정보이며, 두 회사는 서로 반대되는 절반을 선택했다.

공시 전환

Microsoft-Decision-1의 Foundry 문서는 그 평가를 이례적으로 자세히 설명한다. 공개 및 커뮤니티 의사결정 벤치마크에다 보류해 둔 내부 세트까지. 정확도와 캘리브레이션 오차를 포함한 지표. 선택지 순서를 바꿔가며. 대응 통계 검정. 비교 대상이 되는 모든 모델에 동일한 하네스를 적용한다. 그리고 나서는 모델이 "선도적인 의사결정 모델들과 대등하고, 동일한 방법론으로 평가된 다른 오픈 의사결정 모델들보다 앞선다"고 보고한다 — 그러면서 숫자는 전혀 제시하지 않는다. 정확도 수치도, 캘리브레이션 오차도, 벤치마크별 표도 없다.

Microsoft가 실제로 공개하는 것은 한계 목록이며, 그것도 잘 만든 목록이다. 점수는 질문 표현과 선택지 순서에 따라 달라진다. 부실하게 구성된 질문도 여전히 점수를 반환한다. 캘리브레이션은 익숙한 작업 유형에서 가장 강하다. 설명은 생성되지 않는다. 이 모델의 명시된 강점은 추론, 규칙 적용, 프롬프트 형식에 대한 견고성이며, 명시된 약점은 전문 분야 지식과 비영어 성능이다.

ScaleDown Classify는 해당 정책의 거울상과 같은 역할을 합니다. 문서에서는 요청 작성 방법에 관한 운영상 세부 사항까지 다루는데 — 루브릭은 분류 요청에서 가장 중요한 부분으로 설명되며, 직접적인 예/아니요 질문으로 표현되고, 부정 표현을 피하며, 확률 질량이 예측 불가능하게 분할되지 않도록 서로 겹치지 않게 유지됩니다 — 또한 공급업체의 마케팅은 정확도와 비용 관련 주장을 내세우며, 여기에는 약 5억 개 파라미터 모델이 단순 분류 작업에서 91.7%를 달성한 반면 720억 개 파라미터 모델은 88.6%를 기록했다는 내용도 포함됩니다. 그중 어느 것도 설명된 방법론에 연결되어 있지 않으며, ScaleDown Classify는 어떤 공개 하네스에서도 공개된 기대 캘리브레이션 오차를 제시하지 않습니다.

그러므로 선택은 어떻게 측정했는지는 알려주되 무엇을 발견했는지는 알려주지 않는 업체와, 무엇을 발견했는지는 알려주되 어떻게 측정했는지는 알려주지 않는 업체 사이에 있습니다. 둘 다 완전한 공개가 아니며, 어느 쪽도 완전한 공개로 취급되어서는 안 됩니다.

언어: 하나는 개수를 공개하고, 다른 하나는 아무것도 공개하지 않는다

Microsoft-Decision-1은 지원 언어 25개를 나열하며, 적용 범위, 품질, 보정이 “언어에 따라 달라질 수 있다”고 분명히 밝히고, 비영어권, 특히 저자원 언어를 성능이 떨어지는 영역으로 지목한다. 이는 유용한 공개다. 모델이 다국어라는 점, 대략 어느 정도로 다국어인지, 그리고 어디를 신뢰하지 말아야 하는지를 알려주기 때문이다.

ScaleDown의 Classify 문서는 언어 목록을 공개하지 않습니다. API 레퍼런스 어디에도 루브릭 채점이 어떤 언어를 처리하는지, 또는 비영어권 언어로 작성된 루브릭 문구가 같은 방식으로 작동하는지 명시되어 있지 않으며, 루브릭 지침 — 직접적인 예/아니오 질문으로 표현하고, 부정은 피하라 — 은 영어를 사용하는 호출자가 영어 루브릭을 작성한다고 암묵적으로 가정하는 방식으로 작성되어 있습니다. 실제로 국제 지원 티켓을 대상으로 삼게 될 분류기에게 이는 도입을 결정하기 전에 메워야 할 격차이며, 오직 여러분 자신의 평가만이 메울 수 있는 격차입니다.

문서화된 언어 지원 범위가 필요하다면, 이 비교는 여기서 끝나며 Microsoft가 기본적으로 승리합니다. 영어만 사용한다면 개수는 요인이 아니며, 나머지 결정은 입력 길이와 임계값에 관한 것입니다.

컨텍스트: 100만 개에 대비한 32,768개 토큰

Microsoft는 최대 32,768개 토큰에 걸친 단일 호출을 문서에 명시합니다. ScaleDown은 100만 토큰 입력 제한을 문서에 명시하며, 청크별 보정은 청크를 단독으로 보내든 50개 청크 배치의 일부로 보내든 동일하고 공유 프로필은 요청당 한 번만 청구된다고 밝힙니다. 단순 수치로 보면 이는 30배 차이이며, 두 제품 사이의 가장 큰 단일 격차입니다.

이것이 주는 것은 처리량이 아니라, 청킹 계층이 필요한지 여부다. 지원 스레드, 이력이 포함된 티켓, 짧게 검색된 구절은 모두 질문 스키마를 넣을 여유를 두고도 32k 안에 들어가며, 그 크기에서 두 모델은 대략 동등하다. 전체 계약서, 여러 페이지 분량의 정책 문서, 긴 검색 컨텍스트 또는 스캔한 양식은 32k 안에 들어가지 않는다. 그리고 Classify의 문서 경로 — base64 JPEG, PNG, TIFF 또는 PDF, 단일 또는 다중 페이지, 추출된 텍스트가 ocr_text 필드로 반환됨 — 를 사용하면 문서를 전처리된 텍스트가 아니라 바이트로 입력할 수 있다.

두 수치 모두 공급업체가 자체적으로 제시한 것이다. ScaleDown의 백만 토큰 주장은 독립적으로 검증되지 않았으며, 해당 모델에 대한 제3자 카탈로그 목록은 그 숫자를 그대로 반영하기보다 컨텍스트 길이를 해당 없음으로 표시하는데, 이는 모순이라기보다 카탈로그의 한계다.

설명: 하나는 거부하고, 하나는 두 배를 청구한다

Microsoft-Decision-1은 설명을 생성하지 않으며, 모델 페이지에서는 이를 설계상의 선택이 아니라 한계로 명시합니다. ScaleDown Classify는 최상위 레이블에 대한 한 문장 설명을 반환하며, 문서에서는 그 문장이 무엇인지에 대해 세심하게 밝힙니다. 즉, 이 문장은 최상위 레이블이 확정된 후에 생성되므로 결정을 다시 의심하기보다는 그 결정을 설명하는 것이고, 자유 형식이며, 레이블과 루브릭을 2배로 청구되는 입력 토큰으로 다시 전송합니다. 이 기능은 단일 텍스트 또는 문서 입력이 있는 단일 레이블 요청에서만 사용할 수 있습니다 — 다중 레이블 및 배치 요청에서는 결코 반환되지 않습니다.

인간 검토 대기열의 경우, 그 문장은 검토자가 분류를 승인하는 것과 검토자가 이를 다시 처리하는 것 사이의 차이인 경우가 많아, 사람에게 도달하는 트래픽 중 일부에 대해 2배 할증을 쉽게 정당화할 수 있게 해줍니다. 자동화된 파이프라인에서는 청구서에 부담만 될 뿐이며, 꺼져 있어야 합니다.

둘 다 닫혀 있어서 테스트할 수 있는 내용이 달라집니다.

• 가중치 — 어느 쪽도 가중치를 제공하지 않습니다. ScaleDown은 요청 시 엔터프라이즈 자체 호스팅 및 라이선싱을 제공하며, Microsoft의 페이지에는 파인튜닝 경로가 전혀 문서화되어 있지 않습니다

• 옵션 상한 — ScaleDown은 요청당 라벨 20개, 다중 라벨 모드에서 16개를 독립적으로 채점하며, Microsoft-Decision-1의 옵션 세트 상한은 모델 페이지에 명시되어 있지 않음

• 배치 추론 — ScaleDown은 공유 레이블 프로필을 기준으로 요청당 최대 50개 청크를 문서화합니다; Microsoft 페이지에서는 배치 추론이 비활성화된 것으로 기재되어 있습니다

• 청구 정보 공개 — Classify의 요금은 백만 입력 토큰당 $0.05, 백만 출력 토큰당 $0으로 명시되어 있습니다. Foundry의 토큰당 요금은 모델 페이지에 명시되어 있지 않습니다

• 가격 구조 — Classify는 다중 레이블 모드에서 레이블 수에 따라 배수가 적용되고, 추론을 사용하도록 설정하면 두 배가 됩니다. Foundry 요금은 토큰당이며 공개된 레이블 배수는 없습니다

• 빈 답변 — 아무것도 해당되지 않아도 Classify는 승자를 반환하므로, 임계값은 직접 정해야 합니다. Microsoft가 명시한 동작에 따르면 질문이 제대로 구성되지 않았더라도 점수는 반환됩니다

둘 다 닫혀 있는 것의 결과는 두 경우 모두 동일합니다. 산출물을 검사할 수 없으므로 유일한 검증은 행동 기반입니다. 따라서 자체적으로 레이블링한 데이터의 홀드아웃 세트는 선택 사항이 아니며, 공급자를 전환하는 비용은 코드 변경이 아니라 해당 평가를 다시 실행하는 것이 됩니다.

OrcaRouter가 둘 중 하나를 기반으로 구축된 파이프라인에서 어디에 위치하는지

이 두 모델은 모두 저희 카탈로그에 없으며, 여기 담긴 어떤 내용도 가용성에 대한 주장이 아닙니다 — 둘 다 채팅 완성 대상이 아니라 구조화된 스코어링 엔드포인트이고, 라우팅 계층은 이들 중 어느 쪽에도 필요한 것이 아닙니다. 저희가 제공하는 것은 그 위의 계층, 즉 분류기가 판정하는 초안을 생성하는, 하나의 OpenAI 호환 키 뒤에 있는 200개 이상의 생성 모델이0% 마진으로 그대로 전달된 공급자 정가로 제공되며, 여러 모델을 하나의 호출로 구성하는 라우팅 DSL과 서빙 경로가 저하될 때의 자동 페일오버를 갖추고 있습니다. 결정 모델이 생성 계층이 출시할 수 있는 것을 제한한다면, 가동시간 위험은 바로 생성 계층에 있고, 그것이 하나의 키로 통합할 수 있는 나머지 절반입니다.

어느 걸 고를까?

문서화된 언어 지원 범위가 필요하거나, 이미 Azure를 사용 중이거나, 공개된 정확도 수치보다 대형 공급업체의 규정 준수 태세가 조달에 더 중요하다면 Microsoft-Decision-1을 선택하세요. 전적으로 자체 데이터로만 평가해야 한다는 점을 받아들이세요. Microsoft가 그 외에는 아무것도 제공하지 않기로 선택했기 때문입니다.

입력이 32k 토큰을 넘거나, 추출 단계를 분류 호출에 포함시키고 싶거나, 재학습 없이 다시 작성할 수 있는 레이블별 루브릭을 원한다면 ScaleDown Classify를 선택하세요. 정확도 주장은 벤더 자체의 것이며 재현되지 않았다는 점, 보정 수치가 공개되지 않았다는 점, 그리고 신뢰도 임계값과 포괄 레이블을 직접 작성해야 한다는 점을 받아들이세요.

이를 결정할 측정, 즉 동일한 입력에 두 모델을 올리고, 동일한 옵션 순서와 동일한 임계값 스윕을 사용하며, 이해관계가 없는 사람이 실행하는 측정은 어느 벤더도 공개하지 않았다. 그중 한 벤더가 이를 실행하기 전까지는, 솔직한 해석은 Microsoft가 더 안전한 기본값이고 ScaleDown이 더 뛰어난 도구라는 것이다.

이런 종류의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급의 모델들 뒤에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI Incident Archive에 모여 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 플래그가 함께 딸려 있습니다.