Motif-Audio: Model fundamentowy audio, który Motif Technologies wypuściło, nie mówiąc o tym nikomu

W pobliżu góry karty modelu Motif-Audio znajduje się komentarz HTML, którego żaden czytelnik nie miał zobaczyć: "TODO przed publicznym wydaniem: dodaj linki do pracy i demo/Space w źródłach modelu." On wciąż tam jest. 22 lipca 2026 roku Motif Technologies wgrało wagi, kod modelu, konfigurację i kartę o rozmiarze 13 KB do Hugging Face w jednym commicie — a potem przestało. Brak pracy naukowej. Brak demo Space. Brak wpisu na blogu, brak wątku premierowego, brak notki prasowej. Dwa tygodnie później repozytorium pokazuje 14 pobrań i 14 polubień, co mniej więcej jest tym, co dostaje model, gdy jedynymi ludźmi, którzy go znajdują, są ci już obserwujący stronę organizacji.

Cisza jest myląca, ponieważ karta poniżej nie jest tylko wypełniaczem. Dokumentuje dwustrumieniowy autoenkoder audio o 726M parametrach, porównuje go na 21 zbiorach danych z DAC, EnCodec, Mimi, X-Codec2, SemantiCodec, WavLM, HuBERT i Whisper Large v3, dostarcza działający kod wnioskowania i udostępnia całość na licencji MIT. Wszystko w tym artykule pochodzi z tego repozytorium — karta, config.json i model.py — oraz z obliczeń, które wykonaliśmy sami tam, gdzie karta pomija jakąś liczbę. Każda z poniższych wartości wydajnościowych pochodzi od Motif, została wygenerowana przez Motif i nie została dotąd niezależnie odtworzona: o ile nam wiadomo, nikt spoza firmy nie opublikował jeszcze ani jednego niezależnego pomiaru tego modelu.

Czym jest Motif-Audio i cztery rzeczy, którymi nie jest

To jest autoencoder dźwięku. Podajesz mu surowy przebieg mono 16 kHz; koduje go do ciągłej przestrzeni utajonej i dekoduje tę przestrzeń z powrotem do przebiegu. Karta sankcjonuje dokładnie dwa bezpośrednie zastosowania: rekonstrukcję i neuronowe kodowanie głosu dla ogólnego audio i mowy oraz wykorzystanie przestrzeni utajonej jako reprezentacji wejściowej dla jakiegoś innego modelu w dalszych etapach. To węższy produkt, niż sugeruje sformułowanie "ogólnego przeznaczenia model fundamentowy audio", a ta rozbieżność jest źródłem błędów u większości czytelników.

• To nie jest zamiana tekstu na mowę. Nie ma żadnego warunkowania tekstem, a karta określa syntezę warunkowaną tekstem jako wyraźnie poza zakresem. Może jedynie ponownie renderować audio, które już istnieje.

• Nie jest źródłem tokenów dla modeli językowych audio. Reprezentacja latentna jest ciągła, a nie sekwencją skwantowanych indeksów słownika kodowego, więc wzorzec w stylu Moshi/Mimi polegający na podawaniu dyskretnych tokenów audio do modelu językowego nie ma zastosowania. Karta modelu mówi o tym wprost, co jest mile widzianą dyscypliną — wiele wydań kodeków pozwala czytelnikom zakładać co innego.

• Nie jest pełnopasmowy. Próbkowanie 16 kHz nakłada twardy limit Nyquista 8 kHz na wszystko, czego dotknie. Wystarczające do mowy i wykrywania zdarzeń; ściana dla produkcji muzycznej lub czegokolwiek, co wymaga powietrza i nienaruszonych sybilantów.

• I mimo słowa „kodek” to nie jest kompresor przepływności. Ten wymaga własnej sekcji, ponieważ własna tabela rekonstrukcji karty skłania wprost do porównania, którego architektura nie może poprzeć.

Konstrukcja dwustrumieniowa i dlaczego jej trenowanie było tanie

Model przepuszcza jeden przebieg przez dwa równoległe kodery i łączy je.

• Strumień semantyczny jest zamrożony i wykonuje całą ciężką pracę. Odczytuje 80-pasmowy spektrogram log-mel jako obraz 2D i przetwarza go za pomocą transformera wizyjnego o 48 warstwach, szerokości 1024 i 16 głowicach, używając fragmentów 16x16, 2D rotary embeddings i czterech tokenów rejestrowych — około 605M parametrów modelu. Został wstępnie wytrenowany samodzielnie przez maskowane modelowanie spektrogramu: przewidywanie zamaskowanych regionów czasowo-częstotliwościowych na podstawie ich otoczenia, uczenie się struktury treści z nieoznakowanego audio, a następnie zamrożenie.

• Strumień akustyczny jest mały i trenowany.Czyta on mel o wyższej rozdzielczości (160 binów) i osadza go za pomocą pojedynczej warstwy Conv2d, której jądro obejmuje pełną wysokość 160 binów i dwie ramki czasowe — to celowo płytka ścieżka, której jedynym zadaniem są drobne szczegóły spektralne odrzucane przez enkoder semantyczny.

• Fusion to jedna warstwa cross-attention, w której tokeny akustyczne są zapytaniem (query), a tokeny semantyczne są kluczami i wartościami, po czym następuje dodanie resztkowe i normalizacja RMS. To, który strumień jest zapytaniem, ma znaczenie, co pokazuje następna sekcja.

• Dekoder to 12-blokowy backbone ConvNeXt z warstwą pośrednią o szerokości 4096, aktywacjami Snake i głowicą odwrotnego STFT, która przewiduje amplitudę i fazę oraz bezpośrednio rekonstruuje przebieg, bez autoregresji.

Tylko 121M parametrów — enkoder akustyczny, warstwa fuzji i dekoder — zostało kiedykolwiek wytrenowanych. To jest ekonomicznie interesujący fakt ukryty w liczbie parametrów: Motif uzyskał konkurencyjny model audio z zamrożonego samonadzorowanego rdzenia plus małej wytrenowanej powłoki, co jest bardzo innym budżetem niż trenowanie 726M parametrów od zera do końca. Jest to też projekt, który po cichu stawia wszystko na jakość zamrożonego enkodera.

Niewielka niespójność warta odnotowania dla każdego, kto to przelicza: karta podaje łącznie 726M, podczas gdy czytnik safetensors od Hugging Face zlicza w punkcie kontrolnym 752,4M parametrów BF16. Luka 26M bez wyjaśnienia. To nie czerwona flaga — różnice w zliczaniu buforów i głów to normalna sprawa — ale liczba na karcie nie jest liczbą pliku.

Numer, którego karta nigdy nie drukuje.

W karcie modelu nigdzie nie podano liczby klatek na sekundę latentu, jego wymiarowości na sekundę ani równoważnej szybkości transmisji bitów. Każdą z tych wartości można wyprowadzić z config.json i model.py, a odpowiedź przeformułowuje całą tabelę rekonstrukcji. Ta arytmetyka, którą każdy może sprawdzić:

• Audio o częstotliwości 16 000 Hz z długością skoku 160 daje 100 ramek mel na sekundę.

• Osadzenie łatki akustycznej używa jądra o rozmiarze 160 binów na 2 ramki z odpowiednim krokiem, więc emituje 50 tokenów na sekundę przy 1024 wymiarach.

• Warstwa fuzji kieruje uwagę ze strumienia akustycznego na semantyczny, więc sfuzowana reprezentacja ukryta dziedziczy długość sekwencji akustycznej: 50 wektorów na sekundę, o szerokości 1024.

• Transponowana konwolucja dekodera próbkuje te tokeny w górę dokładnie 2-krotnie, z powrotem do 100 ramek, a głowica iSTFT z hopem 160 zamienia 100 ramek na 16 000 próbek. Łańcuch się zamyka — co jest potwierdzeniem, że odczyt 50 Hz jest poprawny.

Teraz to wyceń. Przy bfloat16, 50 wektorów na sekundę razy 1024 wymiary razy 2 bajty to 102,4 kB/s, czyli mniej więcej 819 kbit/s. Nieskompresowany 16-bitowy PCM przy 16 kHz to 256 kbit/s. „Kompaktowa reprezentacja ciągła” to około 3,2 razy większa niż surowe audio, które koduje, i około 6 razy większa od spektrogramu mel o 160 binach, z którego jest obliczana.

To nie jest skandal — tak właśnie powinna wyglądać generatywna przestrzeń latentna, tak samo jak latent VAE w dyfuzji obrazu nie jest plikiem JPEG. Ale to oznacza, że tabela rekonstrukcji ocenia Motif-Audio w zestawieniu z systemami wykonującymi zasadniczo trudniejsze zadanie. Mimi, EnCodec, DAC i X-Codec2 w standardowych konfiguracjach pracują w zakresie od około 1 do 6 kbit/s. Motif-Audio rekonstruuje z mniej więcej sto razy większej ilości informacji na sekundę. Czytaj tę tabelę jako dowód, że dekoder jest wierny, a nie jako dowód, że kompresuje lepiej niż DAC. Na korzyść Motif przemawia to, że sekcja out-of-scope już ostrzega przed traktowaniem go jako kodek tokenowy; sekcja ewaluacyjna i tak umieszcza go w tabeli z czterema takimi kodekami.

Jedno zastrzeżenie co do naszej własnej arytmetyki: jest to wartość wyliczona, nie podana przez producenta. Jeśli źle odczytaliśmy kierunek fuzji, poprawka kosztuje jedną linię — wczytaj model i wypisz kształt z_fused.

Czytając uczciwie własną tablicę wyników Motif

Ocena semantyczna zamraża cechy modelu i trenuje na nich małą sondę MLP na 21 zbiorach danych w trzech rodzinach, na tle sześciu modeli bazowych. To standardowy protokół, i to naprawdę szeroki. Jest również w całości przeprowadzany przez dostawcę.

• W przypadku dźwięków środowiskowych wygrywa w każdej kolumnie. Dokładność ESC-50 0,911, UrbanSound8K 0,871, DESED F1 0,616, FSD50k mAP 0,478, Clotho R@1 0,066 oraz FSD18-Kaggle mAP 0,759 w porównaniu z 0,496 Whisper Large v3 — największa przewaga w całej karcie. Jeśli tworzysz systemy tagowania dźwięku lub wykrywania zdarzeń akustycznych, to właśnie ten wynik powinien skłonić cię do pobrania tego modelu.

• Jeśli chodzi o mowę, wypada najlepiej w trzech z jedenastu kolumn — CREMA-D 0,744, RAVDESS 0,726, VoxCeleb1 0,754. To rozpoznawanie emocji i identyfikacja mówcy, czyli dokładnie to, w czym strumień przenoszący barwę i teksturę powinien się sprawdzać. Whisper Large v3 wciąż prowadzi w większości pozostałych kolumn.

• Jest jedna wyraźna luka. W inverse-WER na LibriSpeech-100h Motif-Audio uzyskuje 0.000, wobec 0.900 dla Whisper Large v3 i 0.825 dla HuBERT. Fluent Speech Commands osiąga 0.800 wobec 0.987 dla HuBERT. Część z tego wynika prawdopodobnie z instrumentu, a nie z modelu — DAC, SemantiCodec i MSM-MAE również osiągają dokładnie 0.000 w tej kolumnie, a sonda MLP na poziomie ramek to słaby sposób rozpoznawania. Ale praktyczny wniosek tak czy inaczej pozostaje aktualny: jeśli potrzebujesz zamrożonych cech do ASR, to nie jest odpowiedni model.

• Tabela służy również jako badanie ablacyjne, a Motif najwyraźniej o tym nie wspomniał. MSM-MAE, jeden z sześciu modeli bazowych, należy do tej samej rodziny modelowania zamaskowanych spektrogramów, z której wywodzi się zamrożony enkoder semantyczny. Porównanie tych dwóch wierszy pokazuje więc, co tak naprawdę daje trenowany strumień akustyczny. Motif-Audio wygrywa w 15 z 21 kolumn, w jednej remisuje, a w pięciu przegrywa. Wszystkie sześć kolumn środowiskowych ulega poprawie, kilka z nich znacząco. Dwie z pięciu porażek dotyczą muzyki: FMA 0,582 wobec 0,627, NSynth 0,699 wobec 0,730. Dodanie szczegółów akustycznych ogromnie pomaga w przypadku zdarzeń dźwiękowych i paralingwistyki, a lekko szkodzi w klasyfikacji barwy muzycznej.

• Jedna kolumna jest najlepsza w tabeli i wciąż zła. Motif-Audio osiąga najlepszy wynik w transkrypcji nut MAESTRO z F1 równym 0,200, podczas gdy każdy inny system osiąga wynik od 0,000 do 0,128. Wygranie kolumny, w której pułap wynosi 0,2, nie jest zdolnością transkrypcji; to sygnał, że zamrożone cechy nie są jeszcze w stanie wykonać tego zadania.

Rekonstrukcja: mocna i wciąż nie najlepsza w swojej tabeli.

W przypadku LibriSpeech test-clean, Motif-Audio osiąga PESQ 3.768, STOI 0.980 i 1.97% WER na zrekonstruowanym audio, przy FAD 0.4506. DAC pokonuje je w dwóch z tych czterech — PESQ 4.010 i FAD 0.2099 — i nieznacznie wygrywa w WER z wynikiem 1.94%. Motif-Audio bezapelacyjnie wygrywa w STOI. W porównaniu z Mimi (PESQ 3.439), EnCodec (2.768) i X-Codec2 (2.433) wypada wyraźnie lepiej, choć znów przy znacznie wyższej szybkości przesyłania informacji.

Najbardziej dyskretnie wiele mówiący wiersz to ostatni: koreańskie FLEURS, PESQ 3.731, CER 5.13%, FAD 0.1448 — najlepszy FAD w całej tabeli. Jest to jedyna nieanglojęzyczna ewaluacja w karcie i nie porównano jej z żadną linią bazową. Dla koreańskiej firmy zajmującej się suwerenną AI, ocenianie koreańskiej rekonstrukcji i raportowanie jej bez porównań z konkurencją czyta się mniej jako benchmark, a bardziej jako wewnętrzny test akceptacyjny, który trafił do publicznej karty.

Cztery repozytoria w trzy dni

Motif-Audio nie pojawiło się samo, a ten kontekst zmienia to, czym prawdopodobnie jest.

• 20 lipcaMotif-3-Beta, flagowy model typu mixture-of-experts o parametrach 315B, którego wynik w Artificial Analysis Intelligence Index, wynoszący 44, uplasował go na trzecim miejscu wśród modeli open-source na świecie. Tę premierę opisaliśmy osobno; to model, który sprawił, że firma stała się widoczna poza Koreą.

• 21 lipca — Motif-Vision-Encoder, transformator wizyjny 7B z opublikowanymi wynikami w porównaniu z DINOv3, V-JEPA 2.1 i SigLIP2.

• 22 lipca — Motif-Audio.

• Wcześniej — Motif-VAE, tokenizator wideo, w czerwcu; Motif-Video-2B w kwietniu.

Z tej listy wyłaniają się dwa wzorce. Pierwszy to licencjonowanie: komponenty są w całości na licencji MIT — autoenkoder audio, enkoder wizyjny, VAE wideo — podczas gdy Motif-3 (Beta), flagowy LLM, jest ograniczony do użytku osobistego, edukacyjnego i niekomercyjnych badań. Motif rozdaje części, a blokuje dostęp do mózgu. To spójna strategia dla firmy, której teza przychodowa opiera się na biznesie obliczeniowym Moreh i południowokoreańskim rządowym programie suwerennej AI, a nie na sprzedaży wag modelu.

Po drugie, lista części zaczyna przypominać całość. Tekstowy backbone, enkoder wizyjny, tokenizer wideo i teraz autoenkoder audio, którego karta reklamuje, jako trzecią możliwość, danie „modelom generowania tekstu na audio i generowania muzyki fundamentu, na którym mogą budować”. Biblioteka zadeklarowana w repozytorium to diffusers. Ciągła przestrzeń latentna o szerokości 1024 plus diffusers to standardowy substrat generowania audio metodą latent diffusion. Motif niczego takiego nie ogłosił — to wniosek wyciągnięty z czterech repozytoriów i znacznika metadanych, a nie plan działania. Ale to interpretacja, którą potwierdzają artefakty.

Przepaść w adopcji między siostrzanymi modelami jest uderzająca i warto o tym pamiętać, patrząc na licznik pobrań: Motif-3-Beta ma 4 674 pobrania i 210 polubień, Motif-Vision-Encoder 2 143, a Motif-Audio 14. Ta sama organizacja, ten sam tydzień, trzy rzędy wielkości różnicy. Nic w jakości modelu audio tego nie wyjaśnia. Brak ogłoszenia to wyjaśnia.

Uruchamianie go oraz gdzie taki model znajduje zastosowanie

Sekcja wprowadzająca jest niezwykle szczera co do własnych ostrych krawędzi, a każda z nich będzie kosztować cię godzinę, jeśli je pominiesz.

• Zainstaluj torchcodec. Najnowsze wydania torchaudio dekodują przez niego, więc torchaudio.load podnosi ImportError bez niego. Pełny zestaw: torch, torchaudio, torchcodec, diffusers, timm.

• Wczytaj z trust_remote_code=True. Kod modelu jest dostarczany wraz z wagami i jest kierowany przez auto_map, więc nie ma natywnej klasy Transformers.

• Rzutuj za pomocą .to(device, torch.bfloat16), a nie torch_dtype w from_pretrained. Karta wyraźnie stwierdza, że te dwie rzeczy nie są równoważne: druga pozostawia bufory banku filtrów mel w float32 i nie odtwarza raportowanych wyników. Bardzo niewiele kart zadaje sobie trud udokumentowania tak konkretnej pułapki, a fakt, że ta to robi, sugeruje, że ktoś się na niej wewnętrznie przejechał.

• Podaj modelowi tensor mono 16 kHz, o kształcie (batch, 1, samples), dopełniony tak, aby liczba ramek mel była podzielna przez 16, a następnie przytnij wynik z powrotem. Karta zawiera funkcję pomocniczą pad_for_model, która wykonuje te obliczenia.

• Forward zwraca cztery tensory: zrekonstruowany przebieg oraz z_fused, z_sem i z_acou, więc możesz użyć każdego strumienia osobno jako cech.

To, czego nie znajdziesz, to hostowany endpoint. Pasek boczny samego Hugging Face mówi to wprost: „Ten model nie jest wdrażany przez żadnego dostawcę wnioskowania.” Motif-Audio to wagi, a nie API — nikt go nie serwuje, w tym my — i dla czegoś, co żyje wewnątrz Twojej pętli treningowej lub Twojego ekstraktora cech, to jest właściwy kształt. Warto jasno powiedzieć, którą połowę stosu audio to opisuje. Elementy, które wynajmujesz, to warstwa syntezy i model językowy wykonujący rozumowanie między uszami; na OrcaRouter stoją one za jednym kluczem po cenie katalogowej dostawcy, z 0% narzutu i automatycznym przełączaniem awaryjnym, więc zamiana OpenAI TTS-1 HD na innego dostawcę mowy jest zmianą stringu, a nie procesem zakupowym. Elementy, które hostujesz, to te, które dostrajasz, kwantyzujesz i wbudowujesz w potok — zamrożony enkoder, taki jak ten. Kodek nie jest problemem routingu. Dostawca syntezy, którego być może wymienisz w przyszłym kwartale, jest.

Co wciąż jest niepoznawalne

• Brak publikacji. Na liście TODO samej karty widnieje obietnica publikacji; sekcja Papers organizacji na Hugging Face nadal zawiera tylko raporty techniczne Motif-Video 2B i Motif 2 12.7B. Dopóki nie pojawi się artykuł o audio, opis architektury to jedyne, co jest dostępne, bez analiz ablacyjnych wyjaśniających, dlaczego strumień semantyczny pozostaje zamrożony lub wobec czego wybrano rozmiar łatki akustycznej.

• Brak ujawnienia danych treningowych."Unlabeled audio" to całe oświadczenie. Licencja MIT na wagi rozstrzyga kwestię licencji kodu, ale nie rozstrzyga niczego w kwestii pochodzenia — i w przeciwieństwie do karty enkodera wizyjnego, która wprost przerzuca zgodność z licencją zbioru danych na użytkowników końcowych, karta audio w ogóle nie porusza tego tematu.

• Brak liczb dotyczących opóźnień, przepustowości lub strumieniowania.Transformer o 48 warstwach, działający na oknach spektrogramu o długości 5.12 sekundy, nie jest oczywiście projektem czasu rzeczywistego, a karta nigdy nie twierdzi, że tak jest. Jeśli rozważasz ją do audio na żywo, przyjmij, że to Ty będziesz mierzyć.

• Brak wariantu 24 kHz lub 48 kHz, brak skwantowanych wersji, brak demo Space, brak próbek audio do odsłuchania. Dla modelu, którego całym atutem jest jakość rekonstrukcji, wypuszczenie go bez ani jednego klipu przed/po jest dziwnym pominięciem.

• Brak jakiejkolwiek niezależnej oceny. Każda liczba tutaj pochodzi od Motif.

Trzy pytania, które dostanie to repo.

Czy mogę zbudować na tym produkt głosowy?

Nie z tym, co wypuszczono. Nie ma warunkowania tekstem, więc nie może mówić — może jedynie ponownie renderować dźwięk, który mu podasz. To, co może sensownie zrobić, to stanowić bazę dla produktu głosowego, który ktoś inny trenuje: model zamiany tekstu na mowę lub tekstu na dźwięk, który uczy się przewidywać z_fused na podstawie tekstu, a dekoder Motif-Audio zamienia tę ukrytą reprezentację na dźwięk. To jest dokładnie propozycja „Generate” na początku karty. To fundament produktu, a nie produkt.

Czy licencja MIT jest naprawdę bezpieczna do użytku komercyjnego, skoro licencja flagowa nie jest?

Licencje na Hugging Face dotyczą poszczególnych repozytoriów, a ta jest jednoznaczna: MIT — można używać, modyfikować i redystrybuować komercyjnie, zachować notę licencyjną, bez gwarancji. Komplikacja nie wynika z tekstu licencji, lecz z braku oświadczenia o danych. Karta enkodera wizyjnego wprost zapisuje, że przestrzeganie licencji zbiorów danych spoczywa na użytkownikach końcowych; karta audio nie wymienia żadnego korpusu. Jeśli ten model ma trafić do gotowego produktu, to pytanie do własnego radcy prawnego, a nie do karty modelu. Karta trafnie wskazuje również, że wierna rekonstrukcja sprawia, że model jest użytecznym elementem w pipeline'ach do klonowania głosu i spoofingu.

Czy powinienem zastąpić DAC, EnCodec lub Mimi tym?

To zależy wyłącznie od tego, do czego służy twój kodek. W przypadku transportu lub przechowywania przy ograniczonej przepustowości — nie; powyższa arytmetyka bitrate'u to wyklucza i nie do tego zadania został stworzony. Jako zamrożony ekstraktor cech do tagowania audio, wykrywania zdarzeń lub paralingwistyki jest z dużą przewagą najmocniejszym rozwiązaniem w swojej tabeli, na licencji MIT i tanim w ewaluacji: uruchom swój test, porównaj z obecnym backbone'em, zachowaj zwycięzcę. Jako przestrzeń latentna dla generatywnego modelu audio jest to prawdopodobne i wyraźnie zamierzone zastosowanie — ale byłbyś pierwszym, który opublikowałby taki wynik, co jest albo okazją, albo ostrzeżeniem, w zależności od twojego terminu.

Co obejrzeć

{{1}}Najbardziej pouczającą rzeczą dotyczącą tego repozytorium w ciągu najbliższego miesiąca jest to, czy to TODO kiedykolwiek zostanie rozwiązane.{{/1}} {{2}}Jeśli pojawią się artykuł, demo Space i tekstowo-audio odpowiednik, to Motif-Audio było pierwszym publicznym komponentem omni-modalnego stosu, wydanym wcześnie, ponieważ części są na licencji MIT, a flagowy produkt nie jest, a 14 pobrań będzie wyglądać jak przypis.{{/2}} Jeśli repozytorium pozostanie na jednym commicie przez całą jesień, było to wewnętrzne narzędzie, które ktoś upublicznił, ponieważ MIT było łatwiejsze niż prywatny bucket, a interesującym artefaktem zawsze była receptura zamrożonego backbonu plus małej głowicy, a nie checkpoint.

Tak czy inaczej, wagi są dostępne, licencja jest permisywna, a uczciwe stanowisko dla wszystkich spoza Motif w tej chwili jest takie, że przeczytaliśmy bardzo dobrą kartę modelu i nikt jej nie sprawdził. Najszybszy sposób na rozpoczęcie sprawdzania to załadować go i wypisać kształt z_fused.