Ming-3.0-audio-tiny, 이제 GPU 하나에서 실행 — 설정 파일도 마침내 128K로 표기

체크포인트는 Ming-3.0-audio-tiny 뒤에 있으며, 2026년 9월 3일부터 다운로드할 수 있었습니다 — 두 개의 safetensors 샤드, 17.7GB로, 저장소 자체가 생성된 지 9분 후에 푸시되었습니다. 이번 주까지 존재하지 않았던 것은 그것을 실행하는 방법을 알려주는 거의 모든 것이었습니다. 2026년 10월 16일부터 19일 사이에 inclusionAI는 9월에 배포된 설정을 교체하여, 8,192토큰 창을 가진 비디오-언어-오디오 변형을 131,072를 표방하는 오디오 전용 변형으로 바꾸었고, 음성을 생성하는 Talker를 추가했으며, 전사본과 함께 두 개의 참조 음성 클립을 추가했고, 저장소에 모델 카드가 전혀 없던 사흘 뒤에 모델 카드를 작성했습니다. 그 문서들이 가리키는 코드는 10월 15일 GitHub에, 더 큰 형제 모델의 이름을 딴 Ming-3.0-audio-flash 저장소로 도착했으며, 그 코드에는 tiny 모델을 위한 세 가지 배포 프로필이 들어 있는데, 이는 tiny 모델이 한 번도 가져본 적이 없는 것입니다. 이 중 어떤 것도 공식 발표되지 않았습니다. 그래서 답할 가치가 있는 질문은 무엇이 새로운가가 아닙니다. 가중치는 7주 전 것이고 처음 올라온 날과 바이트 단위로 동일하기 때문입니다. 질문은 독자가 지난 월요일에는 실행할 수 없었지만 이제는 실행할 수 있는 것이 무엇인지, 그리고 실행할 때 정확도에서 무엇을 치르는지입니다. 이와 같은 릴리스의 배경에 있는 문서화된 AI 실패 및 에이전트 사건은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 포함되어 있습니다.

커밋 시점 기준으로 무엇이 변경되었나요?

Hugging Face 커밋 로그는 전체를 읽을 수 있을 만큼 짧고, 그 양상이 이례적입니다. 9월에 커밋 세 개, 그다음 3주 동안은 아무것도 없다가 나흘 만에 여섯 개가 올라왔습니다.

• 9월 3일 11:45 및 11:49 UTC — 저장소가 생성된 뒤, 두 개의 샤드가 "Add files using upload-large-folder tool"을 통해 업로드됩니다. 함께 제공되는 README의 제목은 "Ming Audio V3"이고, Apache 2.0을 선언하며, 저장소에 automatic-speech-recognition 태그를 지정하고, 저장소가 "현재 ASR 경로를 문서화한다"고 밝힙니다.

• 9월 17일 — examples/ 폴더가 삭제됩니다. 이후 저장소에는 가중치, 커스텀 모델링 코드, 짧은 카드만 남고 그 외에는 아무것도 없습니다.

• 10월 16일 08:14~08:20 UTC — 중대한 변화가 일어난 시점입니다. config.json이 다시 작성됩니다: max_position_embeddings는 텍스트 백본 기준으로 8,192에서 131,072로 변경되고, transformers_version은 4.56.2에서 5.14.1로 바뀌고, audio_config.model_type은 bailing_moe_v3_vl_audio에서 bailing_moe_v3_audio로 — 더 이상 모델을 설명하지 않는 비디오-언어-오디오 유형입니다. 같은 푸시에서 auto_map에는 이전에 없던 AutoModel 및 AutoProcessor 항목이 추가되고, processor_config.json이 나타나며, talker/ 트리가 도착합니다: 1.4GB 음성 모델, 1.6GB VAE, CAM++ 화자 인코더, 영어와 중국어용 텍스트 정규화 유한 상태 변환기. 기존 README도 같은 푸시에서 제거됩니다 — 이후 3일 동안 저장소에는 모델 카드가 전혀 없습니다.

• 10월 17일 11:44 UTC — "음성 프리셋 추가." 참조 WAV 파일 두 개, US_James.wav 및 灵楷.wav, 그리고 이들의 정확한 전사 내용을 담은 JSON 파일이 있습니다.

• 10월 19일 10:36, 11:44, 11:49 UTC — 정리 및 업로드 커밋 3건.

• 10월 19일 13:19 UTC — "Ming-3.0-audio-tiny 모델 카드 추가." 8,514바이트이며, 저장소 역사상 ASR 경로가 아니라 음성 및 오디오 모델을 설명하는 첫 번째 문서입니다.

GitHub 쪽은 자체 타임라인을 가지며, 시작 시점이 더 늦습니다. inclusionAI/Ming-3.0-audio-flash은 10월 15일 03:50 UTC에 생성되었고 — 가중치가 존재한 지 6주 후였으며 — 10월 19일 14:53 UTC에도 여전히 푸시되고 있었습니다. 별 8개, MIT 라이선스 파일, 그리고 deploy/ 디렉터리가 있으며, 여기에는 YAML 프로필 6개가 들어 있고 그중 3개는 이름상 tiny 체크포인트용입니다. 존재하지 않습니다: inclusionAI/Ming-3.0-audio-tiny 저장소; 해당 URL은 404를 반환하며, tiny 모델의 코드는 flash 저장소에 형제 모델의 코드와 함께 들어 있습니다.

설정 재작성이 진짜 핵심이다

컨텍스트 길이 필드가 16배로 늘어나는 것은 겉모습만의 변화일 수도, 구조적인 변화일 수도 있는데, 이 경우 diff의 나머지 부분은 구조적이라고 말해 줍니다. 9월에 저장소는 modeling_bailing_moe_v3_audio.py와 processing_bailing_moe_v3_audio.py를 트리에 포함했지만, 그 config는 오디오 타워 유형을 bailing_moe_v3_vl_audio로 설명했습니다 — 비디오-언어 빌드에서 남은 잔재였고 — 그리고 그 카드는 trust_remote_code=False로 모델을 인스턴스화하라고 안내했는데, 이는 커스텀 모델링 파일이 원하는 방식이 아닙니다. 10월 config는 선언된 유형, 선언된 런타임, 코드 경로가 서로 일치하는 첫 번째 것입니다.

• 백본 — 24개 레이어, 히든 크기 1,536, 어텐션 헤드 16개, 라우팅된 전문가 128개(토큰당 8개 활성 및 공유 전문가 1개), 전문가 중간 크기 512, 인덱스 1의 첫 번째 dense 레이어, 라우팅 스케일링 계수 2.5, 어휘 크기 157,184.

• 어텐션 — MLA, 512 차원 KV 잠재와 256 차원 쿼리 잠재를 사용하며, rope_theta 6,000,000, partial_rotary_factor 0.5입니다. 저랭크 KV 형태이기에 단일 카드에서 131,072 토큰 윈도가 논의될 수 있는 것입니다. 캐시는 헤드별 키와 값이 아니라 잠재를 저장합니다.

• 오디오 타워 — 32개 레이어, 너비 1,280, 20개 헤드, 3,000프레임 컨텍스트 및 128개 멜 빈, 커널 [3,3,3]과 스트라이드 [2,2,2]의 다운샘플러 포함. 오디오 토큰 id 157,168.

• 크기 — 총 파라미터 9.3B, 토큰당 2.7B 활성화, 전체 bfloat16, Transformers 5.14.1 기준으로 선언됨.

• 입력 및 출력 — 오디오와 텍스트 지시가 입력되면 텍스트가 출력되거나, 선택 사양인 Talker를 통해 텍스트와 합성 음성이 출력됩니다. 카드에 명시된 대로 중국어와 영어, 악센트 및 방언을 지원합니다.

config 재작성은 가중치를 전혀 추가하지 않는다. 저장소에 있는 네 개의 safetensors 파일 — 두 개의 Thinker 샤드, Talker, VAE — 은 내가 확인한 모든 리비전에서, 최초 업로드까지 거슬러 올라가도 같은 크기였다. 이는 변경되지 않은 체크포인트에 대한 문서화 및 패키징 변경이었고, 바로 이것이 8,192에서 131,072로의 점프가 신뢰할 수 있는 이유다: 아무도 아무것도 재훈련하지 않았으므로, 그 주장은 믿음으로 받아들이기보다 모델을 로드해 긴 컨텍스트를 요청함으로써 검증할 수 있다.

아직 일관되지 않은 문서가 하나 있습니다. 저장소의 최상위 Hugging Face 파이프라인 태그는 text-to-speech로 표시되어 있지만, 카드 자체의 요약에서는 이를 지시를 받아 텍스트나 음성을 반환하는 오디오-언어 모델이라고 설명합니다. 이 태그는 Talker가 가장 최근에 손댄 기능이었기 때문에 남은 잔재이며, Hub에서 작업별로 필터링하는 사람 외에는 누구에게도 중요하지 않은 종류의 것입니다.

텍스트에는 GPU 1개, 음성에는 2개

바로 이 지점에서 tiny 모델이 이름값을 하며, 이는 배포 프로필이 이제 공개되어서만 보입니다. flash 모델의 텍스트 프로필은 다음에서 실행됩니다: devices: "0,1,2,3,4,5,6,7"과 함께 tensor_parallel_size: 8 — 80GB 카드 8장이며, 이는 캐시가 할당되기 전에 256GB의 bf16 가중치가 요구하는 바입니다. tiny 모델은 자체 프로필이 세 개 있고, 그중 두 개는 카드 한 장을 요구합니다.

• 텍스트 및 ASR, vLLM-Omni — 단일 스테이지, 디바이스: "0"에서 텐서 병렬 크기 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, 온도 0.6에서 샘플링하며 최대 65,536개의 출력 토큰.

• 음성 출력이 포함된 전체 오디오 — 두 단계. Thinker는 장치: "0"에서 카드의 0.78 지점, 그리고 Talker는 장치: "1"에서 0.18 지점이며, Talker 단계는 출력 토큰이 하나로 제한되고 텍스트를 생성하지 않으므로 temperature는 0.0입니다.

• ASR 재현 — thinker 전용 파이프라인에 10-gram no-repeat logit processor를 추가하고 오디오는 프롬프트당 클립 하나로 제한했으며, max_model_len 131,072, temperature 0.0, 출력 토큰 32,768개. 이는 벤더의 인식 수치가 측정된 구성이며, 비교할 생각이라면 정확히 그대로 복사할 가치가 있습니다.

• SGLang — GPU 하나, 표시되는 장치 하나, 텍스트 출력 전용입니다. 이 카드에는 이 경로에서 음성 출력을 사용할 수 없다고 분명히 명시되어 있습니다.

그 프로필들은 산문이 아니라 파일이며, flash 저장소의 deploy/ 디렉터리에서 볼 수 있습니다 — YAML 프로필 여섯 개, 그중 세 개는 작은 체크포인트의 이름을 따서 지어졌습니다.

메모리 수치를 솔직하게 읽어 보세요. 0.92는 요구 사항이 아니라, 해당 스테이지에 지정한 카드가 무엇이든 그 카드에서 차지하는 비율입니다. Thinker의 샤드는 총 17.74 GB이므로 가중치는 24 GB 카드 안에 들어가고 캐시와 활성화용으로 약 6 GB가 남습니다. 0.92 예약은 131,072토큰 창에 32,768토큰 배치를 동시에 더한 크기를 기준으로 산정되었으며, 다음 값을 낮추면 줄어듭니다: max_model_len. 한 장의 카드에서 할 수 없는 것은 음성 생성입니다. Talker와 그 VAE는 별도의 가중치 세트를 가진 두 번째 프로세스이고 — CAM++ 인코더와 트랜스듀서를 더하기 전에 3 GB — 참조 프로필이 이들에게 별도 장치를 할당하기 때문입니다. 한 GPU에서는 텍스트, 두 GPU에서는 소리 내어 하는 대화: 그것이 솔직한 계산이며, 형제의 8과는 다른 예산 항목입니다.

다운로드에 실제로 무엇이 들어 있나요?

저장소 전체는 20.78GB입니다. Thinker는 9.55GB와 8.19GB의 두 샤드로 총 17.74GB이고, Talker는 1.40GB, 해당 VAE는 1.56GB, 스피커 인코더는 28MB를 추가하며, 토크나이저와 노멀라이저 파일이 나머지를 구성합니다. 양자화된 변형, 더 작은 체크포인트, 벤더가 공개한 GGUF 변환은 없으므로, 직접 양자화하지 않는 한 bf16 수치가 하한입니다.

• 로딩 중 — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) 및 AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). 그런 다음 카드 자체의 스니펫은 audio_feats를 모델 dtype으로 수동 캐스팅하는데, 이는 프로세서 경로가 우선순위가 아니었음을 보여주는 작은 단서입니다.

• ASR 계약 — 검증된 프롬프트는 모델에게 말해진 언어를 명시하고 언어 라벨과 전사문 사이에 탭을 넣도록 요청합니다. 평가 하네스를 구축하고 있다면, 그 탭이 곧 파서입니다. 일반적인 "이것을 전사하라"는 지시는 inclusionAI가 측정한 구성이 아닙니다.

• 음성 — vLLM-Omni의 기본값은 灵小柔라는 내장 음성이며, 모델 디렉터리에는 전사본이 포함된 두 가지 참조 프리셋인 灵楷와 US_James가 함께 제공됩니다. 음성 복제에는 참조 WAV와 정확한 전사본이 필요합니다. 카드에서는 한 요청에서 내장 음성 선택과 참조 클립을 함께 사용할 수 없다고 경고합니다.

• 라이선스 — 카드의 메타데이터와 GitHub 저장소의 LICENSE에 MIT로 명시되어 있으며, 날짜는 2025년입니다. 빠진 점에 주목하세요: Hugging Face 저장소에는 자체 LICENSE 파일이 없습니다. 그 안에 물리적으로 존재하는 유일한 라이선스 텍스트는 talker/data/ 아래에 번들로 포함된 언어 식별 모델의 것입니다. MIT 주장은 사실이지만, 그것은 한 번의 클릭 거리에, 다른 모델의 이름을 딴 저장소에 있습니다.

• 반응 — 이번 주 기준 다운로드 3회, 좋아요 5개. 플래시 모델은 다운로드 22회, 좋아요 8개다. 어느 수치도 품질을 증명하지 않는다. 둘 다 카드도 공지도 없이 9월에 올린 업로드가 확산되지 않았다는 증거일 뿐이다.

벤치마크 그림과 누락된 열

PNG 세 장assets/이 평가를 담고 있으며, 세 장 모두 inclusionAI가 직접 실행한 것입니다. 벤더는 자체 평가 항목에 별표를 붙이고, 비교 모델은 자사의 프롬프트와 디코딩 설정으로 재현했기 때문에 그 수치가 공식 보고서와 다를 수 있다고 밝힙니다. 제가 찾아본 한, 이 체크포인트에 대해 공개된 독립적 평가는 없습니다 — 아레나 등재도, 제3자 점수도 없습니다 — 즉 아래의 모든 수치는 벤더가 자기 모델을 스스로 설명한 것입니다. 그렇다고 해서 이를 무시할 이유가 되는 것은 아닙니다. 오히려 판결이 아니라 설계 브리프로 읽어야 할 이유입니다.

유용한 비교는 같은 계열 모델에 비해 미미합니다. 둘 다 동일한 하네스를 실행했기 때문입니다. 인식에서는 더 작은 모델이 조금 뒤지고, 긴 오디오 추론에서는 크게 뒤집니다.

• 중국어 ASR 평균 — Ming-3.0-audio-tiny의 문자 오류율은 3.79이고 Ming-3.0-audio-flash는 3.45입니다. 낮을수록 좋으므로 tiny는 0.34포인트 뒤처집니다.

영어 ASR 평균 — 4.36 대 3.69. 방언 평균 — 10.29 대 9.40.

• BigBenchAudio — 99.20 대 99.40. 사실상 동점이며, 크기 차이가 나타나지 않는 유일한 항목입니다.

• MMAU — 82.00 대비 75.90. MMAR — 74.40 대비 67.70. MMSU — 78.82 대비 73.06. MMAU-Pro — 66.41 대비 56.42.

• 긴 오디오 정확도 — 56.39 대 66.30. LongAudioSpan — 35.45 대 41.12. 긴 오디오 체인 점수 — 10.56 대 12.31.

• 음성 상호작용 — URO-Bench-Pro 54.15 대 81.92, 27.8점 급락. VoiceBench 74.29 대 86.74. SpeechFCEval 69.80 대 82.60.

• 도구 호출 — BFCL-v3 Audio 79.80 대 81.40. 음악 — MuchoMusic 58.07 대 65.65.

방언 행들은 흥미로운 예외인데, tiny가 일률적으로 뒤지는 것은 아니기 때문이다. tiny는 Anhui(5.42 대 5.76), Northeastern Mandarin(4.21 대 4.28), Jiangsu(11.44 대 12.15), Shaanxi(5.81 대 6.00), Shandong(10.17 대 10.69), Yunnan(11.28 대 11.53)에서 더 큰 형제 모델을 이기고, Hakka(24.08 대 16.51), Hokkien(14.15 대 12.84), Shanghainese(12.49 대 11.15)에서는 크게 진다. 2.7B 활성 모델이 6.5B 활성 모델을 상대로 15개 방언 행 중 6개를 지키는 것은 전체 평가에서 가장 유리한 점인데도, 평균이 그것을 가리는 표의 한가운데에 묻혀 있다.

확인 가능하고 카드가 지적하지 않기 때문에 언급할 가치가 있는 두 가지 격차가 있습니다. 첫째, 인식 이미지의 다섯 행에는 tiny 값이 전혀 없습니다 — AISHELL-4, AliMeeting 및 AMI에 대한 화자 분리와 연결된 최소 순열 행은 대시로 표시되어 있습니다. tiny 모델이 "누가 언제 말했는지"에서 무엇을 하는지는 공개되지 않았습니다. 둘째, 텍스트 인텔리전스 이미지에는 네 개의 열이 있으며 그중 어느 것도 tiny 모델이 아닙니다. 해당 열은 Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus 및 Qwen3.5-Omni Flash입니다. 카드의 평가 섹션에는 아래 수치가 두 Ming 변형의 결과를 모두 포함한다고 나와 있는데, 이는 두 오디오 이미지에는 해당하지만 텍스트 이미지에는 해당하지 않습니다. tiny 백본이 추론 대화를 이어갈 수 있는지 알아야 한다면, inclusionAI는 알려주지 않았습니다.

그 주가 실제로 당신에게 가져다준 것

10월 16일 이전에 이 체크포인트를 테스트하려던 독자에게는 17.7GB 다운로드, 8K 윈도우를 가진 비디오-언어 모델을 설명하는 구성 파일, 그리고 사용자 지정 코드를 활성화하지 않은 채 사용자 지정 코드를 로드하라고 지시하는 카드가 있었습니다. 10월 19일 이후에는 자체 모델링 파일과 일치하는 구성, 변경되지 않은 가중치를 대상으로 테스트할 수 있는 128K 주장, 단일 GPU용을 포함한 이름 붙은 세 가지 배포 프로파일, 전사본이 포함된 음성 팩, 그리고 모델의 용도를 명시한 카드가 있습니다. 그중 어느 것도 새 모델은 아닙니다. 그 모든 것은 디스크에 놓인 체크포인트와 누군가가 오후 한나절에 평가할 수 있는 체크포인트 사이의 차이입니다.

비용은 사이징이 숨기는 부분이다. 공급업체 자체 표에서 6.5B 활성 모델에서 2.7B 활성 모델로 옮기면 GPU 수의 8분의 1을 얻는 대신 URO-Bench-Pro 27.8점, VoiceBench 10점, 긴 오디오 Chain 점수의 약 5분의 1을 치른다. 이는 전사 서비스에는 합리적인 거래이고, 한 시간 분량의 오디오 전반에 걸쳐 추론해야 하는 어떤 것에는 나쁜 거래이며, 공급업체는 두 열을 나란히 인쇄해 두어 당신이 무엇을 만들고 있는지 결정할 수 있게 했다.

라우터가 진가를 발휘하는 곳과 그렇지 않은 곳

OrcaRouter는 Ming-3.0-audio-tiny를 제공하지 않습니다. 이 모델은 저희 카탈로그에 없고, 이에 대한 엔드포인트를 드릴 수 없으며, 이 문서의 어떤 내용도 그런 제안으로 읽혀서는 안 됩니다. 이런 체크포인트를 중심으로 구성된 파이프라인에서 라우터가 잘하는 것은 체크포인트가 아닌 나머지 절반입니다. 음성 시스템은 대부분 텍스트 작업입니다. 오디오에 무엇을 물어볼지 정하는 프롬프트, 탭으로 구분된 언어 레이블을 구조화된 출력으로 바꾸는 파서, 전사본으로 작성하는 요약, 오디오 파일을 2.7B 모델로 보낼지 126B 모델로 보낼지 결정하는 분류가 그렇습니다. 이들은 모두 평범한 텍스트 호출이며, 0% 마크업으로 200개 이상의 모델을 위한 단일 API는 — 공급자 정가가 그대로 전달되므로 벤더의 가격 인하가 당일로 저희 쪽에도 반영됩니다 — 여러 벤더와의 계약을 쌓아 두는 것보다 연결하기 훨씬 간단합니다. 자동 페일오버가 있으면 새로 문서화된 모델을 파이프라인의 일부 구간에 배치하면서 전체 경로를 그 모델에 걸지 않아도 됩니다.

경계는 분명히 말할 가치가 있습니다. 자신의 GPU에서 실행하는 17.7 GB 체크포인트는 API 호출이 아니라 인프라입니다. 라우터는 호출을 라우팅합니다. 라우터는 오픈 웨이트 오디오 모델을 호스팅되는 모델로 바꾸지 않으며, 세 번의 다운로드를 프로덕션 증거로 바꾸지도 않습니다.

볼 만한 것

이 그림을 바꿀 세 가지가 있으며, 세 가지 모두 확인 가능합니다. 첫째, 독립적인 점수입니다. 아레나나 제3자 평가자가 이 체크포인트를 등재하는 순간, 27.8점의 음성 상호작용 격차는 더 이상 벤더의 자체 보고가 아니라 데이터 포인트가 됩니다. 그때까지는 같은 벤더가 더 작은 모델이 우세한 방언 행 여섯 개도 함께 공개했다는 점을 기억해 두십시오. 둘째, LICENSE 파일이 Hugging Face 저장소 안에 존재하는 것입니다. 이는 MIT를 카드 속 링크에서 조달 절차가 실제로 읽어 들이는 아티팩트 속 사실로 바꿔 놓을 것입니다. 셋째, 아주 구체적인 GitHub 저장소입니다. 오늘날 단일 GPU 주장을 실현하는 배포 프로필은 더 큰 모델의 이름을 딴 저장소에 들어 있는데, 이는 누군가 이름을 바꾸기 전까지는 괜찮습니다.

그중 하나가 실제로 나오기 전까지는, 정확한 설명은 화려하지 않다. 9월 3일과 동일한 가중치, 약 18GB의 Thinker, 체크포인트가 아니라 config에서 등장한 131,072토큰 윈도, 텍스트는 카드 한 장, 음성은 두 장에 들어가는 세 가지 서빙 프로필, 서류상 MIT, 공개하지 않기로 한 참조 행 다섯 개, 그리고 자기가 설명하는 config보다 사흘 늦게 작성된 모델 카드. 그 주는 모델을 더 좋게 만들지 않았다. 모델을 읽을 수 있게 만들었을 뿐이다. 그리고 아무도 발표하지 않은 오픈 웨이트 체크포인트에서는 읽을 수 있다는 것 자체가 제품의 전부다.