Cos'è la musica Deepfake? E come viene creato?

Per molto tempo la musica è stata in grado di evitare il mondo dei deepfake perché era semplicemente troppo complicato sintetizzare la voce di qualcuno. Tutto è cambiato con i progressi nella tecnologia AI. Ha portato a cloni vocali di artisti famosi che possono essere utilizzati per produrre nuove tracce vocali.

Con gli strumenti di intelligenza artificiale che diventano più accessibili alle persone comuni, la musica deepfake è un problema crescente. Ecco cos'è e come si crea.

L'evoluzione della musica deepfake

Quando senti il ​​tuo artista preferito cantare su Spotify o YouTube, difficilmente pensi che possa essere falso, ma i progressi dell'intelligenza artificiale lo hanno reso realtà. Oltre a immagini e video falsi, esiste anche la musica deepfake.

Gli strumenti di intelligenza artificiale possono riprodurre fedelmente la voce cantata di una persona addestrando un modello di intelligenza artificiale su campioni audio della sua voce. Creato da fan dell'artista o fan della tecnologia AI, sempre più persone stanno tentando di creare doppelgänger vocali.

Le persone hanno cercato di sintetizzare la voce usando un computer per anni, fin dal 1961, quando l'IBM 7094 fu il primo computer a cantare. Puoi sentire il voce generata dal computer che canta Daisy Bell in una clip di YouTube e prova a immaginare quanto sia stato fantastico questo momento.

Avanti veloce al 21 ° secolo e la tecnologia AI ha entrambi migliorato la qualità della voce sintetizzata e ci ha permesso di fare cose che la maggior parte di noi non avrebbe mai ritenuto possibili fino ad ora, come clonare le voci delle persone.

Dai un'occhiata a questa clip di Roberto Nickson che trasforma la sua voce nell'artista e rapper Kanye West. Guardare il video sembra inquietante, suona proprio come Kanye, ma è anche scomodo da guardare. Senza pensare troppo a come l'artista potrebbe pensare o sentire, e senza permesso, potrebbe essere visto come appropriazione della voce di qualcuno.

A differenza della resa al computer di Daisy Bell, la clonazione vocale AI è in grado di riprodurre l'esatta somiglianza di la voce di qualcuno, che include tutte le sottili differenze di timbro che ci aiutano a identificare la voce unica di qualcuno profilo. Senza licenza e senza autorizzazione, tuttavia, la musica deepfake presenta alcuni seri problemi, di cui parleremo più avanti.

Come vengono create le canzoni di Deepfake

Vengono utilizzati diversi metodi per creare canzoni deepfake, ma molti di loro utilizzano la tecnologia AI. Progetti open source come Progetto SoftVC VITS Singing Voice Conversion su GitHub, ad esempio, hanno sviluppato un modello di intelligenza artificiale che fa quello che dice nel suo nome: converte un campione audio in una voce che canta.

Questo modello prende un file audio esistente di qualcuno che canta e lo converte nella voce di qualcun altro. Cose come il testo e il ritmo della voce originale vengono mantenuti, ma il tono, il timbro e le qualità vocali personali vengono convertiti nella voce specificata dal set di dati di addestramento.

Tieni presente che altre parti della canzone potrebbero ancora essere prodotte manualmente, come la creazione di ritmi e melodie nello stesso stile e genere dell'artista originale.

Per creare un deepfake della voce di Kanye West, è stato necessario inserire un set di dati di terze parti nel modello VITS di SoftVC, che avrebbe incluso campioni della vera voce di Kanye. Da allora il file contenente il set di dati è stato rimosso dall'autore, il che non sorprende considerando l'oscuro territorio legale che potrebbe derivare da set di dati non autorizzati.

Sebbene non sia stata trasformata in un'app commerciale, puoi trovare una versione di Modello SoftVC VITS su Google Collab che è più user-friendly.

Fino a quando non verranno stabiliti i confini etici e legali, è possibile che lo facciano app di clonazione vocale più facili da usare pop-up, non troppo diverso dall'app Drayk.it che ha trasformato una descrizione del testo in canzoni con lo stile dell'artista Drake. Successivamente è stato chiuso.

Alcuni altri strumenti utilizzati per creare musica deepfake includono modelli di linguaggio di grandi dimensioni come ChatGPT, che può essere utilizzato per scrivere testi nello stile di un artista famoso; E Jukebox di OpenAI E MusicLM di Google, che sono modelli di intelligenza artificiale generativa in grado di creare musica in formato audio grezzo completamente da zero.

Riesci a sentire la differenza?

Una traccia creata da un utente anonimo chiamato Ghostwriter è diventata virale su TikTok nell'aprile 2023, in gran parte perché conteneva testi cantati dagli artisti Drake e The Weeknd. Naturalmente, queste non erano le vere voci degli artisti, ma false.

Se la voce non fosse stata una copia così buona dell'originale, forse non sarebbe stato un successo. Con un po' di scavo, potresti scoprire abbastanza velocemente se fosse un vero affare o no, ma usando solo le tue orecchie, potresti solo indovinare se fosse autentico.

Se lo desidera identificare un'immagine generata dall'intelligenza artificiale ci sono almeno alcune aberrazioni visive che potresti cercare. Per quanto riguarda l'audio, segni come l'audio a bassa fedeltà o glitch nella traccia non significano molto poiché si tratta di scelte creative utilizzate continuamente nella produzione musicale.

La cosa ancora più interessante è che a molte persone piace davvero la canzone, anche dopo aver scoperto che non erano le vere voci di Drake o The Weeknd. Gli ammiratori hanno sottolineato che non tutto è stato semplicemente generato con l'intelligenza artificiale, e che la vera abilità e il lavoro sono stati necessari per scrivere i testi, comporre i ritmi e mettere insieme il tutto.

La traccia è arrivata su Spotify e YouTube prima di essere rimossa nei giorni seguenti, ma non prima che i fan avessero scaricato la canzone come mp3. Puoi ancora trovare copie della canzone online se cerchi "Heart On My Sleeve, Drake ft. Il fine settimana".

Abbastanza presto, individuare la differenza tra i cloni vocali generati dall'intelligenza artificiale e la vera voce umana diventerà quasi impossibile. Con questo in mente, le persone si chiedono se questo sia un buon uso della tecnologia AI in primo luogo, o addirittura un uso legale di essa.

Problemi con la musica Deepfake

Da un lato, le persone si divertono ad ascoltare i mashup creati dai fan dei loro artisti preferiti e rispettano la creatività che serve a renderli realtà. Ma la capacità di avere cloni vocali in primo luogo si basa su set di dati che possono o meno essere autorizzati.

Senza autorizzazione, i campioni della voce di una persona vengono raccolti in un set di dati che viene quindi utilizzato per addestrare un modello di conversione vocale AI. È simile al problema affrontato da artisti che desiderano rimuovere le proprie immagini dai set di dati di formazione che vengono utilizzati per addestrare generatori di immagini AI come Dall-E o Midjourney.

Anche la legge sul copyright non è del tutto preparata per affrontare la musica deepfake. Nel 2020, l'artista Jay-Z ha fallito nel tentativo di costringere YouTube a rimuovere l'audio generato dall'intelligenza artificiale delle sue battute rap dal soliloquio "To Be or Not to Be" di William Shakespeare.

Quando una canzone deepfake viene caricata su Spotify o YouTube, c'è anche la questione di chi sta facendo soldi. Dovresti essere in grado di guadagnare soldi con una canzone che copia quasi esattamente la voce di qualcun altro?

Holly Herndon è un'artista che ha cercato di creare un sistema per consentire alle persone di compensarla in cambio dell'utilizzo del suo modello vocale per creare opere originali. Mentre altri artisti come Nick Cave hanno parlato contro l'IA, scrivere:

Le canzoni nascono dalla sofferenza, con ciò intendo dire che sono basate sulla complessa lotta umana interna della creazione e, beh, per quanto ne so, gli algoritmi non si sentono.

A volte, Il testo generato dall'intelligenza artificiale può mancare di creatività del tutto eppure sono ancora pubblicati online. L'intelligenza artificiale potrebbe portare a un sacco di cattiva musica che ha avuto uno sforzo minimo.

Trovare un equilibrio tra musica e intelligenza artificiale

La musica deepfake viene creata utilizzando strumenti e modelli di intelligenza artificiale che sono stati addestrati su set di dati non autorizzati. Alcuni modelli sono open source e liberamente accessibili, mentre altri tentativi sono stati fatti per impacchettarli in un'app user-friendly.

Man mano che sempre più persone mettono le mani su modelli o app musicali deepfake, vale la pena pensare all'impatto sull'artista. Ottenere il consenso per i set di dati di formazione e il compenso per l'artista sono solo alcuni dei problemi che incombono sulla tecnologia musicale AI.