Ming-3.0-audio-tiny giờ chạy trên một GPU — và cấu hình của nó cuối cùng đã ghi 128K

Checkpoint đằng sau Ming-3.0-audio-tiny đã có thể tải xuống kể từ ngày 3 tháng 9 năm 2026 — hai shard safetensors, 17,7 GB, được đẩy lên chín phút sau khi chính kho lưu trữ được tạo. Điều chưa hề tồn tại cho đến tuần này là gần như mọi thứ cho bạn biết cách chạy nó. Trong khoảng ngày 16 đến 19 tháng 10 năm 2026, inclusionAI đã thay thế cấu hình đi kèm hồi tháng 9, biến một biến thể video-ngôn ngữ-âm thanh với cửa sổ 8.192 token thành một biến thể chỉ âm thanh tuyên bố 131.072, thêm Talker tạo ra lời nói, thêm hai clip giọng nói tham chiếu kèm bản chép lời của chúng, và — sau ba ngày kho lưu trữ hoàn toàn không có model card — đã viết một model card. Đoạn mã mà các tài liệu đó trỏ đến đã xuất hiện trên GitHub vào ngày 15 tháng 10, trong một kho lưu trữ được đặt tên theo mô hình anh em lớn hơn, Ming-3.0-audio-flash, và nó mang ba cấu hình triển khai cho mô hình tiny mà mô hình tiny chưa từng có. Không ai công bố bất kỳ điều nào trong số này. Vậy nên câu hỏi đáng trả lời không phải là cái gì mới, bởi các trọng số đã bảy tuần tuổi và giống hệt từng byte so với ngày chúng được đưa lên. Mà là độc giả giờ có thể chạy được gì mà thứ Hai tuần trước họ chưa chạy được, và cái giá về độ chính xác khi họ làm vậy là bao nhiêu. Các lỗi AI và sự cố agent đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong OrcaRouter AI Incident Archive trong đó mỗi mục có nguồn, mức độ nghiêm trọng, mức độ tin cậy và cờ tranh chấp riêng.

Những gì đã thay đổi, được gắn ngày theo commit

Nhật ký commit của Hugging Face đủ ngắn để đọc toàn bộ, và hình dạng của nó khá bất thường: ba commit vào tháng 9, không có gì trong ba tuần, rồi sáu commit trong bốn ngày.

• Ngày 3 tháng 9, 11:45 và 11:49 UTC — kho lưu trữ được tạo, sau đó hai shard được đưa lên dưới mục “Add files using upload-large-folder tool”. Tệp README đi kèm có tiêu đề “Ming Audio V3”, công bố giấy phép Apache 2.0, gắn thẻ cho kho là automatic-speech-recognition, và cho biết kho lưu trữ “hiện đang ghi tài liệu về đường ASR.”

• Ngày 17 tháng 9 — thư mục examples/ bị xóa. Sau đó, kho lưu trữ chỉ còn trọng số, mã mô hình hóa tùy chỉnh và một thẻ ngắn, không còn gì khác.

• 16 tháng 10, 08:14 đến 08:20 UTC — lần quan trọng. config.json được viết lại: max_position_embeddings trên backbone văn bản tăng từ 8.192 lên 131.072, transformers_version từ 4.56.2 lên 5.14.1, và audio_config.model_type từ bailing_moe_v3_vl_audio thành bailing_moe_v3_audio — kiểu video-ngôn ngữ-âm thanh không còn mô tả đúng mô hình. Trong cùng lần push auto_map có thêm các mục AutoModel và AutoProcessor mà trước đó chưa có, một tệp processor_config.json xuất hiện, và cây talker/ xuất hiện: một mô hình giọng nói 1,4 GB, một VAE 1,6 GB, một bộ mã hóa người nói CAM++, các bộ chuyển đổi trạng thái hữu hạn chuẩn hóa văn bản cho tiếng Anh và tiếng Trung. README cũ bị gỡ trong cùng lần push — trong ba ngày tiếp theo, kho lưu trữ không có model card nào cả.

• 17 tháng 10, 11:44 UTC — "Thêm các cài đặt sẵn giọng nói." Hai tệp WAV tham chiếu, US_James.wav và 灵楷.wav, cùng một tệp JSON chứa bản ghi chép chính xác của chúng.

• 19 tháng 10, 10:36, 11:44 và 11:49 UTC — ba commit dọn dẹp và tải lên.

• 19 tháng 10, 13:19 UTC — “Thêm thẻ mô hình Ming-3.0-audio-tiny.” 8.514 byte, và là tài liệu đầu tiên trong lịch sử của kho lưu trữ mô tả một mô hình giọng nói và âm thanh thay vì một nhánh ASR.

Phía GitHub có dòng thời gian riêng, và nó bắt đầu muộn hơn. inclusionAI/Ming-3.0-audio-flash được tạo vào ngày 15 tháng 10 lúc 03:50 UTC — sáu tuần sau khi các trọng số đã tồn tại — và vẫn được đẩy lên vào ngày 19 tháng 10 lúc 14:53 UTC. Nó có tám sao, một tệp giấy phép MIT, và một thư mục deploy/ chứa sáu hồ sơ YAML, ba trong số đó là dành cho checkpoint tiny theo tên. Không có inclusionAI/Ming-3.0-audio-tiny kho lưu trữ; URL đó trả về 404, và mã của mô hình tiny nằm trong kho lưu trữ flash cùng với mã của mô hình anh em với nó.

Việc viết lại cấu hình mới là câu chuyện thực sự

Một trường độ dài ngữ cảnh tăng gấp 16 lần là kiểu thay đổi mà hoặc chỉ mang tính hình thức, hoặc mang tính cấu trúc, và trong trường hợp này phần còn lại của diff cho thấy đó là thay đổi cấu trúc. Vào tháng 9, kho lưu trữ đã đưa vào modeling_bailing_moe_v3_audio.py và processing_bailing_moe_v3_audio.py trong cây mã nguồn, nhưng tệp cấu hình của nó lại mô tả một tháp âm thanh thuộc loại bailing_moe_v3_vl_audio — một thứ còn sót lại từ bản dựng ngôn ngữ-video — và tệp card của nó bảo bạn khởi tạo mô hình với trust_remote_code=False, điều mà các tệp mô hình tùy chỉnh không hề mong muốn. Cấu hình tháng 10 là bản đầu tiên mà kiểu được khai báo, môi trường chạy được khai báo và đường đi của mã đều khớp nhau.

• Backbone — 24 lớp, kích thước ẩn 1.536, 16 đầu attention, 128 chuyên gia định tuyến với 8 chuyên gia hoạt động trên mỗi token và một chuyên gia dùng chung, kích thước trung gian của chuyên gia là 512, lớp dense đầu tiên ở chỉ số 1, hệ số tỷ lệ định tuyến 2,5, từ vựng 157.184.

• Attention — MLA, với latent KV rộng 512 và latent query rộng 256, rope_theta 6,000,000, partial_rotary_factor 0.5. Dạng KV low-rank là lý do khiến cửa sổ 131,072 token thậm chí có thể được xem là khả thi trên một card: cache lưu latent, chứ không lưu key và value theo từng head.

• Tháp âm thanh — 32 lớp, độ rộng 1,280, 20 đầu, ngữ cảnh 3,000 khung và 128 bin mel, với bộ giảm mẫu có kernel [3,3,3] và stride [2,2,2]. ID token âm thanh 157,168.

• Kích thước — tổng cộng 9,3B tham số, 2,7B được kích hoạt cho mỗi token, dùng bfloat16 xuyên suốt, được khai báo dựa trên Transformers 5.14.1.

• Đầu vào và đầu ra — âm thanh kèm một chỉ dẫn văn bản ở đầu vào; đầu ra là văn bản, hoặc văn bản kèm giọng nói tổng hợp thông qua Talker tùy chọn. Tiếng Trung và tiếng Anh, bao gồm cả giọng điệu và phương ngữ, theo thẻ.

Điều mà việc viết lại cấu hình không làm là thêm bất kỳ trọng số nào. Bốn tệp safetensors trong kho lưu trữ — hai shard Thinker, Talker, VAE — có cùng kích thước ở mọi bản sửa đổi tôi đã kiểm tra, kể từ lần tải lên ban đầu. Đây là một thay đổi về tài liệu và đóng gói đối với một checkpoint không thay đổi, và chính vì thế bước nhảy từ 8,192 lên 131,072 là đáng tin: không ai huấn luyện lại bất cứ thứ gì, nên có thể kiểm chứng tuyên bố này bằng cách tải mô hình và yêu cầu một ngữ cảnh dài thay vì tin vào nó.

Một mẩu giấy tờ vẫn còn chưa nhất quán. Thẻ pipeline cấp cao nhất của Hugging Face trong kho lưu trữ ghi là text-to-speech, trong khi phần tóm tắt của chính tấm thẻ lại gọi nó là một mô hình ngôn ngữ âm thanh, nhận chỉ dẫn và trả về văn bản hoặc giọng nói. Thẻ này là thứ còn sót lại từ việc Talker là khả năng được đụng tới gần đây nhất, và đó là kiểu chi tiết chẳng quan trọng với ai ngoại trừ người đang lọc Hub theo tác vụ.

Một GPU cho văn bản, hai GPU cho giọng nói

Đây là nơi mô hình tí hon đúng với tên gọi của nó, và điều đó chỉ có thể thấy được vì các cấu hình triển khai giờ đã được công khai. Cấu hình văn bản của mô hình flash chạy trên thiết bị: "0,1,2,3,4,5,6,7" với tensor_parallel_size: 8 — tám thẻ 80 GB, đây là mức mà 256 GB trọng số bf16 buộc phải có trước khi bất kỳ bộ nhớ đệm nào được cấp phát. Mô hình tí hon có ba cấu hình riêng, và hai trong số đó chỉ yêu cầu một thẻ.

• Văn bản và ASR, vLLM-Omni — một giai đoạn duy nhất trên thiết bị: "0", kích thước song song tensor 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, lấy mẫu ở nhiệt độ 0.6 và tối đa 65,536 token đầu ra.

• Toàn bộ âm thanh với đầu ra giọng nói — hai giai đoạn. Thinker trên thiết bị: "0" tại 0.78 của thẻ, và Talker trên thiết bị: "1" tại 0.18, với giai đoạn Talker được giới hạn ở một token đầu ra và nhiệt độ 0.0 vì nó không tạo văn bản.

• Tái tạo ASR — một pipeline chỉ có thinker với bộ xử lý logit không lặp 10-gram được gắn thêm, âm thanh giới hạn ở một clip cho mỗi prompt, max_model_len 131,072, temperature 0.0, 32,768 token đầu ra. Đó là cấu hình mà các con số nhận dạng của nhà cung cấp được lấy theo, và đáng để sao chép chính xác nếu bạn định so sánh.

• SGLang — một GPU, một thiết bị hiển thị, chỉ xuất văn bản. Thẻ ghi rõ rằng không có đầu ra giọng nói trên đường dẫn này.

thư mục deploy/ của kho lưu trữ flash — sáu profile YAML, ba trong số đó được đặt tên theo checkpoint nhỏ.

Hãy đọc các con số bộ nhớ một cách trung thực. 0,92 là phần chia sẻ trên bất kỳ card nào mà bạn gán stage vào, chứ không phải một yêu cầu: tổng các shard của Thinker là 17,74 GB, nên bộ trọng số vừa trong một card 24 GB, còn dư khoảng 6 GB cho cache và activations. Mức dự trữ 0,92 được tính cho cửa sổ 131.072 token cộng thêm một batch 32.768 token cùng lúc, và nó giảm nếu bạn hạ max_model_len. Điều bạn không thể làm trên một card là tạo ra giọng nói, vì Talker và VAE của nó là một tiến trình thứ hai với một bộ trọng số thứ hai — 3 GB trước khi tính đến bộ mã hóa CAM++ và các transducer — và profile tham chiếu cấp cho chúng một thiết bị riêng. Văn bản trên một GPU, hội thoại thành tiếng trên hai GPU: đó là phép tính trung thực, và nó là một dòng ngân sách khác với con số tám của bản anh em.

Thực ra có gì trong bản tải xuống?

Kho lưu trữ có tổng cộng 20,78 GB. Thinker có dung lượng 17,74 GB, chia thành hai shard 9,55 GB và 8,19 GB; Talker thêm 1,40 GB, VAE của nó 1,56 GB, bộ mã hóa giọng nói 28 MB, và các tệp tokenizer và normaliser chiếm phần còn lại. Không có biến thể lượng tử hóa, không có checkpoint nhỏ hơn, và nhà cung cấp không công bố bản chuyển đổi GGUF, vì vậy con số bf16 là mức sàn trừ khi bạn tự lượng tử hóa nó.

• Đang tải — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) và AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Đoạn mã mẫu của chính card sau đó ép audio_feats sang dtype của mô hình bằng tay, một dấu hiệu nhỏ cho thấy đường xử lý của processor không phải là ưu tiên.

• Hợp đồng ASR — lời nhắc đã được xác thực yêu cầu mô hình nêu tên ngôn ngữ được nói và đặt một ký tự tab giữa nhãn ngôn ngữ và phần phiên âm. Nếu bạn đang xây dựng một harness đánh giá, ký tự tab đó chính là bộ phân tích của bạn. Một chỉ dẫn chung chung kiểu "hãy phiên âm đoạn này" không phải là cấu hình mà inclusionAI đã đo lường.

• Giọng nói — mặc định của vLLM-Omni là một giọng tích hợp có tên 灵小柔, và thư mục mô hình đi kèm hai preset tham chiếu, 灵楷 và US_James, cùng bản ghi lời thoại. Nhân bản giọng nói cần một tệp WAV tham chiếu cùng bản ghi lời thoại chính xác của tệp đó; thẻ cảnh báo rằng bạn không thể kết hợp việc chọn giọng tích hợp với một đoạn clip tham chiếu trong cùng một yêu cầu.

• Giấy phép — MIT trong metadata của card và trong kho GitHub, ở tệp LICENSE, có ngày là 2025. Lưu ý điều còn thiếu: kho Hugging Face không chứa LICENSE nào của riêng nó. Văn bản giấy phép duy nhất thực sự nằm bên trong nó thuộc về một mô hình nhận diện ngôn ngữ được đóng gói kèm trong talker/data/. Tuyên bố MIT là thật nhưng nó nằm cách một cú nhấp chuột, trong một kho được đặt tên theo mô hình kia.

• Độ lan tỏa — ba lượt tải xuống và năm lượt thích, tính đến tuần này. Mô hình flash có 22 lượt tải xuống và tám lượt thích. Cả hai con số đều không phải bằng chứng về chất lượng; cả hai đều là bằng chứng rằng một bản tải lên hồi tháng Chín không có thẻ và không có thông báo đã không lan rộng.

Bức ảnh chuẩn và cột còn thiếu

Ba tệp PNG trong assets/ chứa đánh giá, và cả ba đều là lượt chạy của chính inclusionAI. Nhà cung cấp đánh dấu các mục tự đánh giá bằng dấu hoa thị và lưu ý rằng các mô hình so sánh được tái tạo theo lời nhắc và cài đặt giải mã của chính mình, nên các con số của chúng có thể khác với báo cáo chính thức. Không có đánh giá độc lập nào về checkpoint này được công bố mà tôi có thể tìm thấy — không có mục arena, không có điểm số của bên thứ ba — nghĩa là mọi con số dưới đây đều là nhà cung cấp mô tả mô hình của chính họ. Đó không phải lý do để bỏ qua chúng; mà là lý do để đọc chúng như một bản tóm tắt thiết kế thay vì một phán quyết.

So sánh hữu ích là rất nhỏ so với mô hình anh em của nó, vì cả hai đều chạy cùng một harness. Về nhận dạng, mô hình nhỏ hơn kém một chút, còn về suy luận âm thanh dài, nó kém đi rất nhiều.

• Trung bình ASR tiếng Trung — tỷ lệ lỗi ký tự là 3,79 đối với Ming-3.0-audio-tiny so với 3,45 đối với Ming-3.0-audio-flash. Càng thấp càng tốt, vì vậy bản tiny kém 0,34 điểm.

• Trung bình ASR tiếng Anh — 4,36 so với 3,69. Trung bình phương ngữ — 10,29 so với 9,40.

• BigBenchAudio — 99,20 so với 99,40. Về cơ bản là hòa, và là hàng duy nhất mà sự khác biệt về kích thước không thể hiện.

• MMAU — 75,90 so với 82,00. MMAR — 67,70 so với 74,40. MMSU — 73,06 so với 78,82. MMAU-Pro — 56,42 so với 66,41.

• Độ chính xác âm thanh dài — 56,39 so với 66,30. LongAudioSpan — 35,45 so với 41,12. Điểm Chain âm thanh dài — 10,56 so với 12,31.

• Tương tác bằng giọng nói — URO-Bench-Pro 54.15 so với 81.92, sụt giảm 27.8 điểm. VoiceBench 74.29 so với 86.74. SpeechFCEval 69.80 so với 82.60.

• Gọi công cụ — BFCL-v3 Audio 79,80 so với 81,40. Âm nhạc — MuchoMusic 58,07 so với 65,65.

Các hàng phương ngữ là ngoại lệ thú vị, vì tiny không thua một cách đồng đều. Nó đánh bại người anh em lớn hơn ở An Huy (5,42 so với 5,76), tiếng Quan Thoại Đông Bắc (4,21 so với 4,28), Giang Tô (11,44 so với 12,15), Thiểm Tây (5,81 so với 6,00), Sơn Đông (10,17 so với 10,69) và Vân Nam (11,28 so với 11,53), và thua kém rõ rệt ở tiếng Khách Gia (24,08 so với 16,51), tiếng Phúc Kiến (14,15 so với 12,84) và tiếng Thượng Hải (12,49 so với 11,15). Một mô hình 2,7B tham số hoạt động giữ được sáu trong mười lăm hàng phương ngữ trước một mô hình 6,5B tham số hoạt động là điều thuận lợi nhất trong toàn bộ đánh giá, và nó bị chôn vùi ở giữa một bảng nơi giá trị trung bình che khuất nó.

Có hai khoảng trống đáng nêu ra vì chúng có thể kiểm chứng được và thẻ không chỉ ra chúng. Thứ nhất, năm hàng trong hình nhận dạng không mang giá trị tiny nào cả — các hàng speaker-diarization và hoán vị tối thiểu ghép nối cho AISHELL-4, AliMeeting và AMI được in dưới dạng dấu gạch ngang. Dù mô hình tiny làm gì trên "ai nói khi nào" thì vẫn chưa được công bố. Thứ hai, hình text-intelligence có bốn cột và không cột nào là mô hình tiny: các cột là Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus và Qwen3.5-Omni Flash. Phần đánh giá của thẻ nói rằng các số liệu bên dưới bao gồm kết quả cho cả hai biến thể Ming, điều này đúng với hai hình âm thanh và không đúng với hình văn bản. Nếu bạn cần biết liệu phần backbone tiny có thể duy trì một cuộc hội thoại suy luận hay không, inclusionAI vẫn chưa cho bạn biết.

Tuần này thực sự đã mang lại cho bạn những gì

Trước ngày 16 tháng 10, một độc giả muốn kiểm thử checkpoint này phải tải xuống 17.7 GB, một config mô tả mô hình ngôn ngữ-video với cửa sổ 8K, và một thẻ hướng dẫn họ nạp mã tùy chỉnh mà không bật mã tùy chỉnh. Sau ngày 19 tháng 10, họ có một config khớp với các tệp mô hình của chính nó, một tuyên bố 128K có thể kiểm thử trên trọng số không thay đổi, ba cấu hình triển khai được đặt tên bao gồm một cấu hình single-GPU, một gói giọng nói kèm bản ghi lời, và một thẻ nói rõ mô hình dùng để làm gì. Không có gì trong đó là một mô hình mới. Tất cả những điều đó là khác biệt giữa một checkpoint trên đĩa và một checkpoint mà ai đó có thể đánh giá trong một buổi chiều.

Chi phí là phần bị việc chọn kích cỡ che khuất. Trên chính các bảng của nhà cung cấp, chuyển từ mô hình 6,5B tham số hoạt động sang mô hình 2,7B tham số hoạt động đổi lấy một phần tám số lượng GPU nhưng phải trả giá bằng 27,8 điểm URO-Bench-Pro, mười điểm VoiceBench và khoảng một phần năm điểm Chain cho âm thanh dài. Đó là một đánh đổi hợp lý cho dịch vụ phiên âm, là một đánh đổi tồi cho bất kỳ thứ gì phải suy luận xuyên suốt một giờ âm thanh, và nhà cung cấp đã in hai cột cạnh nhau để bạn có thể quyết định mình đang xây dựng cái nào.

Nơi một bộ định tuyến khẳng định được giá trị, và nơi nó không.

OrcaRouter không phục vụ Ming-3.0-audio-tiny. Mô hình này không có trong danh mục của chúng tôi, chúng tôi không thể cung cấp endpoint cho nó, và không có nội dung nào ở đây nên được hiểu là lời đề nghị làm vậy. Điều mà một router làm tốt trong một pipeline được xây dựng quanh một checkpoint như thế này chính là phần không phải checkpoint. Các hệ thống giọng nói chủ yếu là công việc văn bản: prompt quyết định hỏi âm thanh điều gì, bộ phân tích cú pháp biến nhãn ngôn ngữ phân tách bằng tab thành đầu ra có cấu trúc, bản tóm tắt được viết từ bản ghi lời, việc phân loại quyết định xem một tệp âm thanh đi đến mô hình 2.7B hay mô hình 126B. Đó là những lệnh gọi văn bản thông thường, và một API cho hơn 200 mô hình với mức phụ giá 0% — giá niêm yết của nhà cung cấp được chuyển thẳng, nên việc nhà cung cấp giảm giá có hiệu lực ngay phía chúng tôi trong cùng ngày — là thứ dễ kết nối hơn một chồng hợp đồng nhà cung cấp. Chuyển đổi dự phòng tự động là thứ cho phép bạn đặt một mô hình mới được đưa vào tài liệu phía sau một phần của pipeline mà không đặt cược toàn bộ đường đi vào nó.

Cần nói rõ ranh giới này. Một checkpoint 17.7 GB bạn chạy trên GPU của riêng mình là hạ tầng, không phải một lệnh gọi API. Một router định tuyến các lệnh gọi. Nó không biến một mô hình âm thanh trọng số mở thành mô hình được host, và nó không biến ba lượt tải xuống thành bằng chứng production.

Xem gì

Ba điều sẽ thay đổi bức tranh này, và cả ba đều có thể kiểm chứng. Thứ nhất, một điểm số độc lập: ngay khi một đấu trường hoặc một bên đánh giá bên thứ ba liệt kê checkpoint này, khoảng cách tương tác bằng lời nói 27,8 điểm không còn là báo cáo tự thân của nhà cung cấp nữa mà trở thành một điểm dữ liệu; cho đến lúc đó, hãy lưu ý rằng cùng nhà cung cấp đó cũng đã công bố sáu hàng phương ngữ mà ở đó mô hình nhỏ hơn thắng. Thứ hai, một tệp LICENSE nằm trong kho lưu trữ Hugging Face, điều này sẽ đưa MIT từ một liên kết trong thẻ mô hình thành một sự thật trong artifact mà quy trình mua sắm thực sự đọc. Thứ ba, một kho GitHub nhỏ và cụ thể: hiện nay, các cấu hình triển khai khiến tuyên bố single-GPU trở thành sự thật nằm trong một kho lưu trữ được đặt tên theo mô hình lớn hơn, điều đó ổn cho đến khi ai đó đổi tên nó.

Cho đến khi một trong những điều đó thành hiện thực, mô tả chính xác vẫn chẳng hào nhoáng gì. Vẫn cùng trọng số như ngày 3 tháng 9, khoảng 18 GB Thinker, một cửa sổ 131.072 token xuất hiện trong config chứ không phải trong checkpoint, ba cấu hình phục vụ: một vừa một card cho văn bản và hai cho giọng nói, MIT trên giấy tờ, năm hàng tham chiếu mà nó từ chối công bố, và một model card trẻ hơn config mà nó mô tả ba ngày. Tuần này không làm mô hình tốt hơn. Nó làm mô hình dễ hiểu hơn, và với một checkpoint open-weights mà không ai công bố, dễ hiểu chính là toàn bộ sản phẩm.