Chi rileva meglio i deepfake: l’uomo o la macchina?

Punti chiave

• I deepfake rappresentano minacce significative per la società, tra cui la diffusione di disinformazione, il danneggiamento della reputazione attraverso l’impersonificazione e l’istigazione a conflitti per la sicurezza nazionale.
• Sebbene la tecnologia AI offra strumenti per il rilevamento dei deepfake, questi non sono perfetti e la discrezione umana rimane cruciale nell’identificazione dei deepfake.
• Gli esseri umani e gli strumenti di rilevamento dell'intelligenza artificiale hanno diversi punti di forza e di debolezza nell'identificazione dei deepfake Combinando le loro capacità si possono aumentare le percentuali di successo nel rilevare e mitigare i pericoli del deepfake tecnologia.

I deepfake minacciano ogni aspetto della società. La nostra capacità di identificare i contenuti falsi è fondamentale per annullare la disinformazione, ma con il miglioramento della tecnologia dell’intelligenza artificiale, di chi possiamo fidarci per rilevare i deepfake: uomo o macchina?

I pericoli dei deepfake

Con l’avanzare della tecnologia AI, i pericoli dei deepfake rappresentano una minaccia crescente per tutti noi. Ecco un breve riepilogo di alcuni dei problemi più urgenti posti dai deepfake:

• Disinformazione: I video e le registrazioni vocali deepfak possono diffondere disinformazione, come notizie false.
• Furto d'identità: Impersonando individui, i deepfake possono danneggiare la reputazione delle persone o ingannare le persone che le conoscono.
• Sicurezza nazionale: L’ovvio scenario apocalittico con i deepfake è un filmato o un audio inventato di un leader globale che istiga il conflitto.
• Disordini civili: Filmati e audio ingannevoli possono anche essere utilizzati dai partiti per alimentare rabbia e disordini civili tra gruppi specifici.
• Sicurezza informatica: I criminali informatici stanno già utilizzando strumenti di clonazione vocale basati sull’intelligenza artificiale per prendere di mira le persone con messaggi convincenti provenienti da persone che conoscono.
• Privacy e consenso: L'uso dannoso dei deepfake assume le sembianze di individui senza il loro consenso.
• Fiducia e fiducia: Se non riesci a distinguere tra verità e inganno, le informazioni accurate diventano altrettanto inaffidabili.

I deepfake diventeranno sempre più convincenti, quindi abbiamo bisogno di strumenti e processi robusti per rilevarli. L’intelligenza artificiale fornisce uno di questi strumenti sotto forma di modelli di rilevamento dei deepfake. Tuttavia, piace algoritmi progettati per identificare la scrittura generata dall’intelligenza artificiale, gli strumenti di rilevamento dei deepfake non sono perfetti.

In questo momento, la discrezione umana è l’unico altro strumento su cui possiamo fare affidamento. Quindi, siamo forse migliori degli algoritmi nell’identificare i deepfake?

Gli algoritmi possono rilevare i deepfake meglio degli umani?

I deepfake rappresentano una minaccia abbastanza grave da spingere i giganti della tecnologia e i gruppi di ricerca a dedicare ingenti risorse alla ricerca e allo sviluppo. Nel 2019, aziende del calibro di Meta, Microsoft e Amazon hanno offerto premi da 1.000.000 di dollari durante una Sfida di rilevamento dei deepfake per il modello di rilevamento più accurato.

Il modello con le migliori prestazioni aveva una precisione dell'82,56% rispetto a un set di dati di video disponibili pubblicamente. Tuttavia, quando gli stessi modelli sono stati testati rispetto a un "set di dati a scatola nera" di 10.000 video mai visti, il modello con le migliori prestazioni era accurato solo al 65,18%.

Disponiamo inoltre di numerosi studi che analizzano le prestazioni degli strumenti di rilevamento dei deepfake dell’intelligenza artificiale contro gli esseri umani. Naturalmente, i risultati variano da uno studio all’altro, ma in generale gli esseri umani eguagliano o superano il tasso di successo degli strumenti di rilevamento dei deepfake.

Uno studio del 2021 pubblicato su PNAS ha scoperto che gli "osservatori umani comuni" hanno raggiunto un tasso di precisione leggermente superiore rispetto ai principali strumenti di rilevamento dei deepfake. Tuttavia, lo studio ha anche scoperto che i partecipanti umani e i modelli di intelligenza artificiale erano suscettibili a diversi tipi di errori.

È interessante notare che la ricerca condotta da L'Università di Sydney ha scoperto che il cervello umano è, inconsciamente, più efficace nell’individuare i deepfake rispetto ai nostri sforzi coscienti.

Rilevamento di indizi visivi nei deepfake

La scienza del rilevamento dei deepfake è complessa e l'analisi richiesta varia a seconda della natura del filmato. Ad esempio, il famigerato video deepfake del leader nordcoreano Kim Jong-un del 2020 è fondamentalmente un video con una testa parlante. In questo caso, il metodo di rilevamento dei deepfake più efficace potrebbe essere l’analisi dei visemi (movimenti della bocca) e dei fonemi (suoni fonetici) per individuare eventuali incongruenze.

Esperti umani, spettatori occasionali e algoritmi possono tutti eseguire questo tipo di analisi, anche se i risultati variano. IL MIT definisce otto domande per aiutare identificare i video deepfake:

• Presta attenzione al viso. Le manipolazioni DeepFake di fascia alta sono quasi sempre trasformazioni facciali.
• Presta attenzione alle guance e alla fronte. La pelle appare troppo liscia o troppo rugosa? L'età della pelle è simile all'età dei capelli e degli occhi? I DeepFakes potrebbero essere incongruenti su alcune dimensioni.
• Presta attenzione agli occhi e alle sopracciglia. Le ombre appaiono nei posti che ti aspetteresti? I DeepFakes potrebbero non riuscire a rappresentare completamente la fisica naturale di una scena.
• Attenzione agli occhiali. C'è qualche riflesso? C'è troppo abbagliamento? L'angolo di abbagliamento cambia quando la persona si muove? Ancora una volta, i DeepFakes potrebbero non riuscire a rappresentare appieno la fisica naturale dell’illuminazione.
• Prestare attenzione ai peli del viso o alla loro mancanza. Questi peli sul viso sembrano veri? DeepFakes potrebbe aggiungere o rimuovere baffi, basette o barba. Tuttavia, i DeepFakes potrebbero non riuscire a rendere le trasformazioni dei peli del viso completamente naturali.
• Presta attenzione ai nei sul viso. Il neo sembra vero?
• Presta attenzione al battito delle palpebre. La persona sbatte le palpebre abbastanza o troppo?
• Presta attenzione ai movimenti delle labbra. Alcuni deepfake si basano sulla sincronizzazione labiale. I movimenti delle labbra sembrano naturali?

Gli ultimi strumenti di rilevamento dei deepfake basati sull’intelligenza artificiale possono analizzare gli stessi fattori, ancora una volta, con diversi gradi di successo. Anche i data scientist sviluppano costantemente nuovi metodi, come il rilevamento del flusso sanguigno naturale nei volti degli oratori sullo schermo. Nuovi approcci e miglioramenti a quelli esistenti potrebbero far sì che gli strumenti di rilevamento dei deepfake basati sull’intelligenza artificiale superino costantemente le prestazioni degli esseri umani in futuro.

Rilevamento di indizi audio nei deepfake

Rilevare l’audio deepfake è una sfida completamente diversa. Senza i segnali visivi del video e la possibilità di identificare incongruenze audiovisive, il deepfake il rilevamento si basa in gran parte sull'analisi audio (in alcuni casi anche altri metodi come la verifica dei metadati possono essere d'aiuto casi).

Uno studio pubblicato da University College London nel 2023 è stato scoperto che gli esseri umani sono in grado di rilevare discorsi deepfake il 73% delle volte (inglese e mandarino). Come nel caso dei video deepfake, gli ascoltatori umani spesso rilevano intuitivamente modelli di discorso innaturali nel parlato generato dall’intelligenza artificiale, anche se non possono specificare cosa sembra strano.

I segni comuni includono:

• Farfugliare
• Mancanza di espressione
• Rumore di sottofondo o interferenza
• Incoerenze vocali o del parlato
• Mancanza di "pienezza" nelle voci
• Consegna eccessivamente sceneggiata
• Mancanza di imperfezioni (false partenze, correzioni, schiarimenti della gola, ecc.)

Ancora una volta, gli algoritmi possono anche analizzare il parlato alla ricerca degli stessi segnali deepfake, ma nuovi metodi stanno rendendo gli strumenti più efficaci. Ricerca di USENIX hanno identificato modelli nella ricostruzione del tratto vocale dell'intelligenza artificiale che non riescono a emulare il linguaggio naturale. Riassume che i generatori vocali basati sull’intelligenza artificiale producono audio che corrisponde a tratti vocali stretti (all’incirca delle dimensioni di una cannuccia) senza i movimenti naturali del linguaggio umano.

Ricerche precedenti del Istituto Horst Görtz ha analizzato l'audio autentico e quello deepfake in inglese e giapponese, rivelando sottili differenze nelle frequenze più alte del parlato autentico e dei deepfake.

Sia il tratto vocale che le incongruenze ad alta frequenza sono percepibili dagli ascoltatori umani e dai modelli di rilevamento dell’intelligenza artificiale. Nel caso di differenze ad alta frequenza, i modelli di intelligenza artificiale potrebbero, in teoria, diventare sempre più accurati, anche se lo stesso si potrebbe dire anche per i deepfake di intelligenza artificiale.

Gli esseri umani e gli algoritmi vengono entrambi ingannati dai deepfake, ma in modi diversi

Gli studi suggeriscono che gli esseri umani e gli ultimi strumenti di rilevamento dell’intelligenza artificiale sono analogamente in grado di identificare i deepfake. Le percentuali di successo possono variare tra il 50% e il 90+%, a seconda dei parametri del test.

Per estensione, anche gli esseri umani e le macchine vengono ingannati dai deepfake in misura simile. Fondamentalmente, però, siamo suscettibili in diversi modi, e questa potrebbe essere la nostra più grande risorsa nell’affrontare i pericoli della tecnologia deepfake. La combinazione dei punti di forza degli esseri umani e degli strumenti di rilevamento dei deepfake attenuerà i punti deboli di ciascuno e migliorerà i tassi di successo.

Per esempio, MIT la ricerca ha scoperto che gli esseri umani erano più bravi nell’identificare i deepfake di leader mondiali e personaggi famosi rispetto ai modelli di intelligenza artificiale. Ha anche rivelato che i modelli di intelligenza artificiale hanno avuto problemi con filmati con più persone, anche se ha suggerito che ciò potrebbe derivare da algoritmi addestrati su filmati con singoli parlanti.

Al contrario, lo stesso studio ha scoperto che i modelli di intelligenza artificiale hanno sovraperformato gli esseri umani con filmati di bassa qualità (sfocati, granulosi, scuri, ecc.) che potrebbero essere utilizzati intenzionalmente per ingannare gli spettatori umani. Allo stesso modo, i recenti metodi di rilevamento dell’intelligenza artificiale, come il monitoraggio del flusso sanguigno in particolari regioni facciali, incorporano analisi di cui gli esseri umani non sono in grado.

Man mano che vengono sviluppati sempre più metodi, la capacità dell’intelligenza artificiale di rilevare segnali che non possiamo solo migliorare, ma anche la sua capacità di ingannare. La grande domanda è se la tecnologia di rilevamento dei deepfake continuerà a superare i deepfake stessi.

Vedere le cose in modo diverso nell’era dei deepfake

Gli strumenti di rilevamento dei deepfake basati sull’intelligenza artificiale continueranno a migliorare, così come la qualità dei contenuti deepfake stessi. Se la capacità dell’intelligenza artificiale di ingannare supera la sua capacità di rilevamento (come nel caso del testo generato dall’intelligenza artificiale), la discrezione umana potrebbe essere l’unico strumento che ci resta per combattere i deepfake.

Tutti hanno la responsabilità di apprendere i segni dei deepfake e come individuarli. Oltre a proteggerci da truffe e minacce alla sicurezza, tutto ciò di cui discutiamo e condividiamo online è vulnerabile alla disinformazione se perdiamo la comprensione della realtà.