VoxCPM2: 900.000 download al mese, e Transformers non riesce ancora a caricarlo

I metadati di Hugging Face per VoxCPM2 elencano la sua libreria come voxcpm — non transformers. Questo singolo campo spiega una strana lacuna nel mondo del parlato open-source in questo momento: il modello text-to-speech da 2 miliardi di parametri di OpenBMB ha registrato 900.282 download negli ultimi trenta giorni, ha generato 25 fine-tuning pubblici, 10 quantizzazioni, 7 adapter e oltre 100 Spaces, eppure non può ancora essere caricato tramite la stessa libreria che quasi tutti gli altri modelli del sito utilizzano. La pull request per risolvere il problema è stata aperta il 4 agosto 2026 ed è ancora aperta a oggi.

Questo divario merita di essere compreso prima che la correzione arrivi, perché determina quanto ti costerà integrare questo modello questa settimana rispetto al prossimo trimestre. E poggia su una domanda ancora più interessante, cioè se VoxCPM2 sia davvero così avanti come lascia intendere la copertura. Tutto ciò che segue è tratto da tre fonti primarie: la scheda del modello openbmb/VoxCPM2 e i metadati del repository, il README GitHub di OpenBMB/VoxCPM e il Rapporto Tecnico di VoxCPM2 (arXiv:2606.06928, presentato il 5 giugno 2026). Ogni dato di benchmark in questo articolo è di OpenBMB, calcolato da OpenBMB e — come afferma lo stesso documento per la sua tabella di confronto principale — i numeri dei modelli concorrenti in essa sono stati copiati da altri articoli, non rieseguiti in condizioni corrispondenti. Per quanto possiamo constatare, nessun laboratorio indipendente ha pubblicato una riproduzione di alcuno di questi risultati.

La scheda tecnica, in un'unica schermata.

VoxCPM2 è stato rilasciato nell'aprile 2026 (il repository Hugging Face è stato creato il 3 aprile, ultima modifica il 16 aprile) come terza generazione della linea VoxCPM. Rispetto al suo immediato predecessore:

• Dimensioni — parametri da 2B rispetto al backbone da 0.8B di VoxCPM1.5 e a quello da 0.6B di VoxCPM-0.5B.

• Lingue — 30 più 9 dialetti cinesi, rispetto al solo cinese e inglese in entrambe le versioni precedenti.

• Audio — accetta un riferimento a 16 kHz, emette a 48 kHz, rispetto ai simmetrici 44.1 kHz in ingresso e in uscita di VoxCPM1.5.

• Backbone — MiniCPM-4-1B (28 livelli, larghezza 2048) come modello linguistico semantico del testo, rispetto a MiniCPM-4-0.5B (24 livelli, larghezza 1024).

• Budget di sequenza — 8192 token a una frequenza di 6,25 Hz sul lato del modello linguistico, che corrisponde a circa 20 minuti di audio in un unico contesto.

• Costo di un secondo di parlato — fattore di tempo reale 0.30 in PyTorch puro e 0.13 tramite Nano-vLLM su una RTX 4090, con circa 8 GB di VRAM. VoxCPM1.5 ha raggiunto 0.15 con 0.8B e 6 GB.

• Licenza — Apache-2.0 sui pesi, sul codice di fine-tuning e sugli strumenti di inferenza. Nessun gate, nessuna clausola di uso accettabile, uso commerciale consentito.

• Dati di addestramento — "oltre 2 milioni di ore" di parlato multilingue, senza alcun corpus nominato e senza dichiarazione sulla provenienza.

Leggi la riga RTF due volte, perché va nella direzione sbagliata. VoxCPM2 è circa due volte più lento per secondo di audio generato rispetto al modello 0.8B che sostituisce, e richiede un terzo in più di VRAM. Il 2B non ha comprato throughput; ha comprato lingue e controllo, e le ha addebitate in latenza. Se stai eseguendo un agente in tempo reale, quello scambio è la prima cosa da valutare.

Cosa cambia effettivamente la PR #47756

Oggi, eseguire VoxCPM2 significa installare il pacchetto di OpenBMB stesso — pip install voxcpm, Python 3.10-3.12, PyTorch 2.5 o successivo, CUDA 12 o successivo — e caricare il modello tramite una chiamata a VoxCPM.from_pretrained che non ha nulla a che fare con l'API Transformers. Tutto ciò che segue quella decisione è su misura: il tuo batching, il tuo collante per il serving, la tua gestione delle cinque modalità di generazione.

Il lavoro in corso cambierebbe le cose. La issue #47695, "Aggiungere il supporto nativo per OpenBMB VoxCPM2", è stata aperta il 31 luglio. La PR #47756, "supporto per VoxCPM2", è arrivata il 4 agosto ed è stata aggiornata l'ultima volta il 5 agosto. Riporta l'etichetta "Nuovo modello" e aggiunge una configurazione modulare e un'implementazione di modellazione, un tokenizer e un processore personalizzati, codifica e decodifica AudioVAE con streaming, condizionamento della voce di riferimento, continuazione dell'audio del prompt, registrazioni automatiche delle classi e un punto di ingresso per la pipeline text-to-waveform — con 64 test del modello riportati come superati. È impilata sulla PR #47736, che aggiunge MiniCPM4 stesso; il backbone testuale deve essere integrato prima che il modello vocale che lo avvolge possa esserlo.

Due dettagli meritano attenzione, ed entrambi giocano contro l'ottimismo. In primo luogo, tutti e tre gli elementi — l'issue ed entrambe le pull request — sono stati aperti dallo stesso singolo contributore della community, non da OpenBMB e non da un maintainer di Hugging Face. Non c'è alcun impegno da parte del fornitore dietro a questo, e quindi nessuna tempistica su cui puoi pianificare. In secondo luogo, uno stack di due PR con 203 commit che toccano una nuova modalità non è una revisione rapida. Le PR per nuovi modelli in Transformers richiedono tipicamente settimane di round-trip con i maintainer, e questa finora ha quattro commenti.

La lettura pratica: se una classe Transformers nativa è fondamentale per la tua architettura — perché standardizzi su AutoModel, o perché il tuo livello di servizio parla solo Transformers — VoxCPM2 non è pronto per te, e non esiste una data. Se puoi vivere all'interno di voxcpm, il pacchetto, il modello è completamente utilizzabile oggi, e l'ecosistema ha chiaramente votato che questo è tollerabile: 900.282 download sono avvenuti senza che esistesse alcun supporto nativo. C'è anche una via di mezzo che la maggior parte delle trattazioni ignora. OpenBMB offre un'integrazione vLLM-Omni che espone un endpoint compatibile OpenAI /v1/audio/speech, più una build llama.cpp-omni con pesi GGUF che gira su CPU, Metal, CUDA o Vulkan senza alcuna dipendenza da Python. Se ciò che volevi davvero da Transformers era una superficie di servizio standard piuttosto che la classe stessa, quella esiste già.

"Tokenizer-free" non significa non quantizzato.

La frase che compare in ogni titolo dedicato a questo modello è quella che più spesso viene letta male. VoxCPM2 non ha alcun codec audio discreto esterno — non esiste un vocabolario appreso di token vocali tra il modello linguistico e la forma d'onda, come invece accade nelle linee CosyVoice o Moshi. Questa è l'affermazione, ed è vera.

C'è ancora quantizzazione all'interno del modello. Il backbone esegue un collo di bottiglia semi-discreto differenziabile basato sulla quantizzazione scalare finita (FSQ), e l'articolo è esplicito sul suo ruolo: il modello linguistico testo-semantico produce stati nascosti, FSQ li quantizza scalarmente per dimensione in uno "scheletro semantico", un modello linguistico acustico residuo recupera i dettagli fini che FSQ ha scartato, e un trasformatore a diffusione locale trasforma entrambi i flussi di condizionamento nel successivo patch latente continuo tramite flow matching. Le quattro fasi che vedi abbreviate come LocEnc, TSLM, RALM e LocDiT sono esattamente quella catena.

La distinzione che conta in pratica non è «quantizzato o no». È che il bottleneck viene addestrato end-to-end con tutto ciò che lo circonda, piuttosto che congelato in anticipo come codec separato con una propria loss. È questo che elimina la consueta modalità di errore in cui un modello linguistico impara a predire token che un codec non può decodificare fedelmente. VoxCPM2 ha ampliato quel bottleneck FSQ da 256 a 512 dimensioni e ha sostituito la vecchia somma elemento per elemento che alimentava il modello residuale con una concatenazione-proiezione apprendibile — piccole modifiche, e tra le poche nel report supportate da un meccanismo dichiarato piuttosto che da un delta nei benchmark.

L'uscita a 48 kHz è in parte inventata, e questo è il design

"48 kHz di qualità da studio" è la specifica più citabile del modello e anche la più fraintesa. AudioVAE V2 è asimmetrico: l'encoder opera a 16 kHz, il decoder ricostruisce a 48 kHz. L'articolo lo definisce "super-risoluzione implicita", che è un nome onesto per quello che fa.

Ecco la conseguenza. Un encoder a 16 kHz ha un tetto di Nyquist di 8 kHz, quindi nulla al di sopra degli 8 kHz nell'audio di riferimento raggiunge mai il modello. Ogni frammento di energia nelle due ottave superiori dell'uscita — l'aria nella voce, le sibilanti, la brillantezza del bordo dei piatti — è generato dal decoder a partire da un prior plausibile, non ereditato dalla voce che hai clonato. Per la maggior parte del lavoro di narrazione e di agenti vocali, questo è invisibile o è un miglioramento, perché un buon prior appreso batte un taglio netto a 8 kHz. Per chiunque abbia come obiettivo la fedeltà a una specifica voce registrata, è un dato di fatto da considerare nella progettazione, e non è qualcosa che un test d'ascolto con gli altoparlanti del portatile metterà in evidenza.

Il ragionamento del paper è l'argomento ingegneristico più credibile del report, e vale la pena ribadirlo perché non è marketing: mantenere l'encoder a 16 kHz consente a OpenBMB di riutilizzare per intero il corpus di addestramento originale di VoxCPM a 16 kHz, elimina il disallineamento latente tra sorgenti registrate a frequenze di campionamento diverse ed evita l'esplosione della lunghezza della sequenza che una frequenza di ingresso più alta imporrebbe a un ciclo autoregressivo. Alzare solo il decoder ottiene fedeltà in uscita senza pagarla nella parte costosa del modello. È un buon compromesso, fatto deliberatamente. Significa anche che gli utenti di VoxCPM1.5 passano da un encoder a 44,1 kHz a uno a 16 kHz — un declassamento sul lato ingresso venduto dentro un aggiornamento sul lato uscita. La stessa tabella di ricostruzione di OpenBMB mostra la forma di tutto questo: il codec di VoxCPM1.5 fa ancora segnare la migliore mel-distance a banda piena delle tre generazioni, 1,139 contro 1,335 di AudioVAE V2, perché opera nativamente a una frequenza di campionamento alta invece di ricostruire fino a una.

Leggere la classifica di OpenBMB come l'ha scritta OpenBMB

Competitivo, non primo

Su Seed-TTS-Eval, il benchmark standard per la clonazione vocale zero-shot, VoxCPM2 riporta un tasso di errore di parola dell'1,84% con il 75,3% di similarità del parlante sul set inglese, un tasso di errore di carattere dello 0,97% con il 79,5% di similarità sul cinese e un CER dell'8,13% con il 75,3% di similarità sul sottoinsieme cinese difficile. La parola usata dall'articolo stesso è "competitivo", e la tabella supporta questa parola piuttosto che quelle più forti che circolano.

Tra i sistemi open-source nella stessa tabella, Fish Audio S2 registra un tasso di errore migliore su tutti e tre i sottoinsiemi (0.99 / 0.54 / 5.99). Qwen3-TTS lo supera sul WER inglese con 1.23. E LongCat-Audio-DiT lo batte nettamente in cinque celle su sei — 1.50 WER e 78.6 di similarità sull'inglese, 81.8 di similarità sul cinese, 6.04 CER e 79.7 di similarità sul cinese difficile. Il punto in cui VoxCPM2 si distingue davvero è l'equilibrio: è uno dei pochissimi sistemi che è contemporaneamente vicino ai vertici per similarità e rispettabile per intelligibilità, ed è l'unico in quella lista che offre anche la progettazione vocale in linguaggio naturale. Ma "stato dell'arte" non è ciò che mostra la sua tabella principale, e la lettura onesta è che questo è un forte generalista, non un leader di benchmark.

3.3x i parametri hanno portato a un miglioramento quasi nullo dell'intelligibilità.

La riga più utile di quella tabella è quella che nessuno cita. VoxCPM-0.5B, la prima generazione da 0.6B del settembre 2025, ottiene un WER inglese dell'1.85% e un CER cinese dello 0.93%. VoxCPM2, a 2B, ottiene l'1.84% e lo 0.97%. Entro il margine di rumore per l'inglese, e leggermente peggiore per il cinese.

Ciò che i parametri extra hanno effettivamente fornito è visibile nelle colonne di similarità e da nessun'altra parte: la SIM inglese è salita da 72,9 a 75,3, quella cinese da 77,2 a 79,5. Tutto il resto che il 2B ha comprato è del tutto fuori da questo benchmark — 28 lingue in più, progettazione vocale da una descrizione testuale, clonazione con controllo dello stile, output a 48 kHz. È molto, ed è l'onesta ragione per l'upgrade. Ma se il tuo carico di lavoro è la clonazione in inglese o cinese e stai scegliendo in base al tasso di errore, VoxCPM2 non ti dà nulla che il modello 0.6B non ti desse già, con il triplo dei pesi e il doppio della latenza. Curiosamente, VoxCPM1.5 è il peggiore dei tre su questo benchmark (2,12 / 1,18), il che fa sì che la progressione della famiglia somigli meno a una scala e più a tre prodotti diversi.

Un modello, due valutazioni, un ordine di grandezza di differenza

È qui che serve cautela, perché i due risultati multilingue in questo rapporto sono in forte disaccordo ed entrambi vengono citati come se risolvessero la questione.

Il dato principale è un tasso di errore medio dell'1,68% su 30 lingue. Questo dato proviene da un set di test che OpenBMB ha costruito autonomamente — 500 enunciati per lingua — e valutato con Gemini 3.1 Flash Lite come riconoscitore. Su questo set, VoxCPM2 registra inglese 0,42, cinese 0,92, hindi 0,79, arabo 1,23.

Il report esegue anche MiniMax-MLS-Test, un set di 24 lingue di terze parti valutato con Whisper-large-v3. Stesso modello. Lì, VoxCPM2 ottiene un punteggio di 19.70 in hindi e 13.05 in arabo — rispettivamente venticinque volte e dieci volte peggiore rispetto a quanto indicato dal suo stesso benchmark, in lingue che supporta ufficialmente. Anche in quella colonna: cantonese 38.58, ceco 24.13, rumeno 21.58, ucraino 6.32.

Tre cose riconciliano la maggior parte di questo, e vale la pena separarle perché la versione ampiamente condivisa di questa storia le racconta male:

• Ceco, rumeno e ucraino non sono lingue supportate. Controlla i tag linguistici del repository stesso: 30 codici, e nessuno di essi è cs, ro o uk. Criticare VoxCPM2 per un WER del 24% in ceco significa criticarlo per una lingua che non ha mai rivendicato. Il cantonese rientra plausibilmente tra i "9 dialetti cinesi", ma ogni sistema in quella colonna supera il 30% su di esso, il che punta al riconoscitore piuttosto che a uno qualsiasi dei modelli.

• L'arabo e l'hindi sono supportati, e sono la vera scoperta.Queste sono le due lingue per le quali OpenBMB dichiara copertura e le cui due valutazioni differiscono di un ordine di grandezza. La spiegazione fornita dall'articolo è che queste lingue hanno un "volume di dati relativamente limitato" nel corpus di addestramento e che "parte del WER più elevato potrebbe derivare dalla limitata accuratezza del riconoscitore." È un'ipotesi ragionevole e non verificata. Se stai distribuendo il riconoscimento vocale in arabo o hindi, l'intervallo pubblicato per questo modello va dallo 0,79% al 19,70% e nessuno dei due estremi è verificato in modo indipendente. Riserva un giorno per le tue misurazioni; non contare su nessuno dei due numeri.

• Le metriche non sono nemmeno della stessa unità.L'hindi viene valutato con il tasso di errore sui caratteri sul set interno e con il tasso di errore sulle parole su MiniMax-MLS. Non sono quantità confrontabili, il che è un ulteriore motivo per cui il divario di 25 volte non è una condanna netta — e un ulteriore motivo per cui la media dell'1,68% non dovrebbe essere letta come un punteggio alla pari.

La stessa cautela vale per l'affermazione che porta il maggior peso numerico nella trattazione di questo modello: che VoxCPM2 batte ElevenLabs sulla similarità del parlante, 85,4% contro 61,3% in inglese, vincendo in 22 delle 24 lingue. È davvero ciò che dice la tabella. Ma è anche una tabella che il paper assembla in parte da risultati riportati in precedenza, e in cui la colonna sull'intelligibilità di ElevenLabs contiene un WER del 73,94% sul thai, del 73,42% sul vietnamita e del 16,03% sul cinese. Non sono i numeri di un prodotto commerciale funzionante; sono la firma di una mancata corrispondenza nella valutazione o nella configurazione. Una tabella rotta in una colonna non diventa affidabile in un'altra solo perché il risultato lusinga il modello di cui stai leggendo.

Cinque modalità da un unico backbone — e la ricetta che muove i tuoi numeri

L'idea più pulita nell'architettura è che VoxCPM2 non ha modelli o head separati per le sue funzionalità. Tutte e cinque le modalità condividono gli stessi parametri, con la sequenza di input disposta diversamente, ed è per questo che un singolo checkpoint da 2B copre ciò che di solito richiede una piccola flotta:

• TTS di base — testo in ingresso, audio in uscita.

• Design vocale — una descrizione tra parentesi viene semplicemente anteposta al testo, quindi "(un uomo di mezza età stanco, con voce roca, che parla lentamente)" e la battuta stessa passano attraverso lo stesso modello linguistico senza alcun modulo aggiuntivo. Nessun audio di riferimento.

• Clonazione di riferimento — un clip di riferimento isolato condiziona l'identità del parlante, senza necessità di trascrizione.

• Clonazione controllabile — clip di riferimento più una descrizione dello stile, così puoi clonare una voce e poi chiederle di sembrare frettolosa o divertita.

• Clonazione di continuazione — clip di riferimento abbinata alla sua trascrizione, trattata come un prefisso audio che il modello continua, che è la modalità a più alta fedeltà.

Nel report è nascosta una manopola che la maggior parte degli articoli salta, ed è quella che più probabilmente cambierà i tuoi risultati. I due percorsi di condizionamento — riferimento isolato e prefisso di continuazione — possono essere usati separatamente o insieme, e si compensano a vicenda. Nello studio di ablazione di OpenBMB, usarli entrambi insieme dà la migliore somiglianza del parlante su ogni sottoinsieme. Eliminare il prefisso di continuazione e passare solo il riferimento isolato dà la migliore intelligibilità su testi cinesi difficili, 6,85% di CER contro 7,44%, rinunciando a circa cinque punti di somiglianza. La spiegazione dell'articolo è sensata: senza un prefisso audio temporale che fissi la prosodia, il modello ha più libertà di scegliere una resa che regga su testi difficili.

Quindi il default è una scelta, non un tetto. Il lavoro di voice-matching richiede entrambi i percorsi; il testo difficile o insolito richiede solo riferimento. Un'ammissione onesta: le cifre assolute in quella tabella di ablazione non sono coerenti con la tabella principale per la ricetta che il paper dichiara di aver usato in tutto il lavoro, il che in un preprint è più probabilmente una svista contabile che qualcosa di sinistro — ma è una terza ragione per trattare ogni numero qui come una direzione da testare, piuttosto che come un valore da citare.

Design vocale: più obbediente che naturale

Il voice design è la funzionalità che rende interessante questa release anziché incrementale, ed è quella in cui i numeri del fornitore risultano più rivelatori riguardo a un vero compromesso.

Su InstructTTSEval, VoxCPM2 ottiene 84,2 sulla specifica dei parametri acustici, 83,2 sulle direttive di stile descrittivo e 71,4 sul role-play per l'inglese — quest'ultimo valore è il migliore della tabella, davanti a Qwen3-TTS-1.7B-VD con 68,4 e a Gemini-TTS-Pro con 67,2. In cinese è più debole e l'ordine si inverte: 85,2 / 71,5 / 60,8, contro l'89,0 / 90,1 / 75,5 di Gemini-TTS-Pro. Quindi l'affermazione più forte possibile è che VoxCPM2 è in testa nel role-play in inglese e resta indietro rispetto a un sistema proprietario all'avanguardia quasi ovunque nel seguire le istruzioni.

Il pannello di ascolto umano — 50 ascoltatori, randomizzato e in doppio cieco, secondo il rapporto — lo affina. Nella generazione controllabile, VoxCPM2 ottiene 4.50 nell'aderenza alle istruzioni contro il 4.41 di Qwen3-TTS-VD, e perde in naturalezza con 4.48 contro 4.61. Nella clonazione zero-shot semplice vince in similarità del parlante (4.74 contro 4.69) e pareggia o è leggermente sotto in naturalezza (4.78 contro il 4.80 di Qwen3-TTS, con intervalli di confidenza sovrapposti).

Il pattern è abbastanza coerente da poterci pianificare attorno: VoxCPM2 fa quello che gli dici e nel farlo suona leggermente meno umano, mentre Qwen3-TTS suona leggermente meglio e segue le istruzioni in modo leggermente meno preciso. Quale dei due sia giusto dipende interamente dal fatto che il valore del tuo prodotto risieda nel controllo preciso o nella resa fluida. OpenBMB segnala il corollario stesso nelle sue limitazioni, ed è il tipo di cosa che i venditori di solito tralasciano: il voice design e il clonaggio controllabile "possono produrre risultati variabili da un'esecuzione all'altra", e ottenere la voce che desideri può richiedere diversi tentativi. Integra un meccanismo di retry nella tua pipeline e, se la voce è importante, un filtro di ascolto umano.

Quanto costa gestirlo, e quando noleggiare è la scelta giusta

Non c'è VoxCPM2 ospitato da nessuna parte. La stessa barra laterale di Hugging Face lo dichiara chiaramente — "Questo modello non è implementato da alcun Inference Provider" — e questo include noi: OrcaRouter non serve VoxCPM2, e nessun desiderio cambia il fatto che un modello TTS da 2B senza partner di inferenza è pesi che ospiti tu o nulla.

Il che rende la questione dei costi una questione di GPU, e i conti sono chiari. Con il fattore real-time di Nano-vLLM pari a 0,13 su una singola RTX 4090, un'ora-GPU produce circa 7,7 ore di audio, quindi il costo per ora di audio è la tariffa oraria di una scheda da 24 GB divisa per circa 7,7. Con PyTorch puro a RTF 0,30, si scende a circa 3,3 ore di audio per ora-GPU. Entrambi i valori sono di OpenBMB, misurati sul loro hardware e con i loro testi, ed entrambi cambieranno sui vostri: dimensione del batch, difficoltà del testo e numero di tentativi imposti dal vostro quality gate sono tutti moltiplicatori che il numero RTF non contiene. Il tasso di nuovi tentativi è quello che la gente dimentica: un modello che, come dice il fornitore, potrebbe richiedere diversi tentativi per ottenere una voce target non costa ciò che il suo RTF implica.

Il confronto che la gente vuole a questo punto è con un'API a noleggio, e la risposta onesta è che i due non sono direttamente convertibili. openai/tts-1-hd viene fatturato a $30.00 per milione di token in entrata e in uscita — è il prezzo di listino del fornitore applicato direttamente su OrcaRouter, dato che non applichiamo alcun ricarico, quindi il numero sulla pagina del nostro modello è quello che addebita OpenAI. Ma i token non sono secondi, e nessuna tariffa pubblicata converte l'uno nell'altro in modo sufficientemente affidabile da poterci costruire un foglio di calcolo. Chiunque ti mostri un confronto pulito all'ora tra un modello TTS a pesi aperti self-hosted e un'API a fatturazione a token ha fatto un'assunzione che non ti ha mostrato.

Ciò che vale la pena dire è dove passa il confine a livello architettonico. L'auto-hosting di VoxCPM2 ha senso quando serve una voce clonata specifica, quando il volume audio è abbastanza costante da tenere occupata una GPU, quando i dati non possono lasciare la tua infrastruttura, o quando intendi farci fine-tuning LoRA — e lo supporta con 5-10 minuti di audio target, il che è davvero economico. L'affitto ha senso quando il volume è irregolare, quando non puoi gestire una GPU, o quando la voce è intercambiabile. La maggior parte dei veri prodotti vocali sono due sistemi, non uno: un livello di sintesi e un modello linguistico che fa il ragionamento tra le orecchie. La metà del ragionamento è la parte che vale la pena mettere dietro un'unica chiave con failover automatico tra i provider, così che un cambio di modello sia un cambio di stringa piuttosto che un ciclo di procurement; è per questa forma che OrcaRouter è pensato, su oltre 200 modelli. La metà della sintesi, quando si tratta di una voce specifica che possiedi e su cui fai fine-tuning, appartiene al tuo hardware. VoxCPM2 è pienamente in quella seconda categoria, e il fatto che nessuno lo serva è una conseguenza di ciò che è, piuttosto che una svista.

Quello che OpenBMB ti dice di non aspettarti

La sezione sulle limitazioni è insolitamente sincera per una release con così tanto slancio, ed è abbastanza breve da essere presa sul serio:

• La qualità della clonazione è una superficie di abuso. La scheda lo afferma direttamente: il modello produce un parlato abbastanza realistico da permettere impersonificazioni e frodi, e l'audio generato dall'IA dovrebbe essere etichettato. Apache-2.0 non pone alcuna restrizione al riguardo — a differenza delle licenze di diversi modelli vocali open-weight concorrenti, non c'è una clausola di uso accettabile dietro cui nascondersi. La tua politica su consenso e divulgazione spetta a te scriverla.

• La varianza tra le esecuzioni è prevista sulle due funzionalità di controllo, non è un bug da segnalare.

• Le 30 lingue sono un vero limite. Qualsiasi cosa al di fuori di esse potrebbe funzionare e non è testata; aspettati di dover fare ottimizzazioni.

• La coerenza del controllo stilistico è descritta come ancora in fase di sviluppo dalle persone che l'hanno creata.

E le lacune che la scheda non menziona: nessuna divulgazione del corpus di addestramento, quindi una licenza Apache-2.0 sui pesi risolve la questione del codice e nulla sulla provenienza dei dati. Nessuna valutazione indipendente di alcuna cifra in questo articolo. Nessuna latenza pubblicata in millisecondi — l'RTF è un rapporto di throughput, e un agente vocale vive o muore in base al tempo al primo audio, che non compare da nessuna parte nel report.

Tre domande a cui la scheda del modello non risponde

Dovrei passare da VoxCPM1.5 o VoxCPM-0.5B?

Solo per le nuove funzionalità, e solo dopo aver misurato. Se hai bisogno di lingue oltre a cinese e inglese, di voice design o di clonazione con controllo dello stile, l'upgrade è il punto centrale e non c'è alternativa all'interno della famiglia. Se oggi esegui la clonazione in inglese o cinese e sei soddisfatto, il caso è debole già a prima vista: lo stesso benchmark mostra VoxCPM-0.5B in linea con VoxCPM2 sul tasso di errore, e pagheresti il doppio della latenza e un terzo in più di VRAM per circa 2,4 punti di similarità del parlante. C'è anche un dettaglio di migrazione facile da trascurare: se stavi fornendo a VoxCPM1.5 audio di riferimento a 44,1 kHz, l'encoder di VoxCPM2 accetta 16 kHz, quindi la tua pipeline di riferimento cambia e la parte alta del tuo materiale sorgente smette di contare.

Posso davvero lanciare un prodotto vocale commerciale su questo?

Sul piano legale, la licenza è tra le più permissive in assoluto: Apache-2.0, nessun blocco, nessuna restrizione d'uso, uso commerciale esplicitamente consentito, pesi e codice di fine-tuning entrambi coperti. La questione aperta non è il testo della licenza, ma ciò che manca dietro di essa. OpenBMB non indica il corpus di addestramento, il che significa che nessuno può dirti di chi siano le voci nelle 2 milioni di ore. Per un modello la cui caratteristica principale è riprodurre la voce di una persona specifica, questa è una domanda per il tuo consulente legale, non per una scheda del modello — ed è la stessa domanda a cui ogni modello vocale open-weight attualmente si sottrae. In pratica, gli ostacoli più duri sono operativi: nessuna classe Transformers nativa per ora, nessun endpoint ospitato da nessuna parte, varianza da esecuzione a esecuzione sulle caratteristiche di controllo, e nessuna cifra di tempo alla prima emissione audio se stai costruendo qualcosa di conversazionale.

È abbastanza buono da sostituire un fornitore TTS a pagamento?

Per la narrazione in inglese e cinese, i contenuti preregistrati e qualsiasi carico di lavoro in cui controlli una voce specifica e puoi processare il lavoro in batch: sì, sulla base delle prove disponibili, e la licenza rende provarci quasi gratuito. Per gli agenti conversazionali in tempo reale: misura tu stesso il time-to-first-audio prima di impegnarti, perché nessuno lo ha pubblicato e l'RTF non te lo dirà. Per arabo, hindi o qualsiasi lingua nella coda lunga: le due valutazioni del fornitore divergono di un ordine di grandezza, quindi tratta il modello come non comprovato in quelle lingue, indipendentemente da quale cifra hai visto citata. E per qualsiasi caso in cui una pronuncia errata sia un incidente aziendale piuttosto che un fastidio, nota che VoxCPM2 non è il leader di intelligibilità nemmeno nella sua stessa tabella — Fish Audio S2 e LongCat-Audio-DiT sono davanti a lui in quel campo, e anche loro hanno pesi aperti.

Cosa guardare

Due cose, su tempistiche diverse. Quella più vicina è la PR #47756 e la PR MiniCPM4 subito sotto. Se vengono unite, VoxCPM2 diventa una chiamata AutoModel e il costo di integrazione per chiunque si sia standardizzato su Transformers crolla a quasi zero da un giorno all'altro — e dato che 900.282 download al mese avvengono già nel modo più complicato, questo è uno sblocco significativo. Se invece restano bloccate, per quei team la risposta resta "usa il pacchetto di OpenBMB o l'endpoint vLLM-Omni," e il contributore della community che porta avanti entrambe le PR non ha alcuna leva per cambiare le cose.

La più lenta è se qualcuno al di fuori di OpenBMB pubblicherà mai un numero. Quattro mesi dopo il rilascio, con 900.000 download mensili, 25 finetune e più di 100 Spaces basati su di esso, ogni dato sulle prestazioni in circolazione risale ancora a un unico report tecnico scritto dalle persone che hanno addestrato il modello. Non è una critica a OpenBMB, che ha documentato il proprio lavoro in modo più approfondito e onesto della maggior parte — il report rivela apertamente le scelte relative al riconoscitore, i punti deboli legati al volume dei dati e la propria instabilità. È una critica al resto di noi. La cosa più preziosa in assoluto che chiunque nella comunità open-source del parlato potrebbe pubblicare questo mese è una run di VoxCPM2, Qwen3-TTS, Fish Audio S2 e LongCat-Audio-DiT su Seed-TTS-Eval e MiniMax-MLS, valutata da Whisper, in condizioni identiche. Finché non esisterà una cosa del genere, il riassunto onesto di VoxCPM2 è che è il modello vocale open-weights più capace per checkpoint che chiunque abbia rilasciato, che non è il più accurato, e che entrambe le metà di questa frase si basano sulla parola del fornitore.