Deepfake Detection Challenge: i risultati condivisi da Facebook

0
325
facebook

Deepfake Detection Challenge: i risultati condivisi da Facebook nel post di Pop Up Mag

Bentrovati su Pop Up Mag e dal vostro Francesco Corvino. Per il post di oggi vi parliamo nuovamente di Facebook e dei risultati condivisi del suo Deepfake Detection Challenge, l’iniziativa utile a favorire l’Intelligenza Artificiale all’interno della piattaforma per individuare i video modificati digitalmente, e che potenzialmente possono essere utilizzati a fini elettorali o incitamento all’odio.

A questa sperimentazione, utile a trovare un modello statistico e matematico utile a smascherare i video “fasulli”, hanno partecipato alcune università provenienti da tutto il mondo, tra cui la nostra Università Federico II di Napoli.

Vediamo insieme i risultati di questa challenge mondiale nel post a cura di Pop Up Mag!

Le varie fasi della sperimentazione e i risultati finali

La Deepfake Detection Challenge è stata istituita come detto da Facebook per sviluppare modelli di AI utili a individuare, prima della loro pubblicazione, i video modificati digitalmente, molto spesso utilizzati per fini politici oppure per incitare all’odio e alla violenza. In generale si tratta di clip utili a manipolare il pubblico in piattaforma.

Essendo ciò una grave minaccia alla democrazia e alla verità, Facebook ha lanciato questa sperimentazione, iniziata a settembre dell’anno scorso e i cui risultati sono stati pubblicati negli ultimi giorni direttamente sul blog ufficiale del social medium di proprietà di Mark Zuckerberg.

Questa sperimentazione segue la scia di quanto fatto da altri social media quali ad esempio Twitter con il suo “Manipulated Media” di febbraio.

Come detto, il Social Network di Zuckerberg ha lanciato una sfida ai team accademici per elaborare modelli di rilevamento di deepfake che potrebbero essere utilizzati dallo stesso brand in futuro per eliminare questi video prima della loro pubblicazione.

Hanno partecipato alla sfida lanciata dal social medium i seguenti istituti accademici:

  • Università Tecnica di Monaco;
  • Università degli Studi di Napoli Federico II;
  • Cornell Tech;
  • MIT;
  • Università di Oxford;
  • UC Berkeley;
  • Università del Maryland;
  • College Park;
  • Università di Albany – SUNY;

A questi si aggiunge la stessa Facebook e Microsoft.

Le fasi di sperimentazione e sviluppo della sfida sono state divise come segue.

21 ottobre 2019

Viene rilasciato l’anteprima del set di dati deepfake con 4.000 video da analizzare.

11 dicembre 2019

La sfida viene lanciata con un nuovo corpus di formazione di 115.000 video. Una classifica pubblica ospitata da Kaggle consente ai partecipanti di valutare le proprie prestazioni. Premi per un totale di $ 1 milione saranno distribuiti ai vincitori.

31 marzo 2020

La sfida termina, con 2.114 partecipanti che hanno presentato 35.109 modelli.

Aprile – Maggio 2020

I modelli dei partecipanti vengono valutati rispetto a un set di dati separato in una scatola nera per determinare i vincitori. Usando un set di dati distinto, Facebook è stata in grado di replicare le sfide del mondo reale, in cui i modelli devono essere accurati anche se incaricati di tecniche nuove o sconosciute per la creazione di deepfake.

12 giugno 2020

I vincitori sono stati annunciati insieme ai dettagli sui risultati.

H2 2020

I video originali e inalterati utilizzati per costruire il set di dati DFDC saranno di provenienza aperta in modo che altri ricercatori di intelligenza artificiale possano utilizzarli nelle loro ricerche.

I video utilizzati per la challenge

I video utilizzati per la sfida presentano oltre 3.500 diversi attori pagati, ognuno dei quali ha accettato di partecipare al progetto.

Per garantire la piena uguaglianza e il rispetto delle diverse eterogeneità legate alle particolarità psicosomatiche, i videoclip hanno garantito diversità di genere, colore della pelle, etnia, età e altre caratteristiche psico-fisiche.

Il social medium ha poi modificato i video, utilizzando una varietà di diversi modelli di generazione di deepfake, tecniche di perfezionamento come il miglioramento dell’immagine e ulteriori miglioramenti e distrattori, come sfocatura, modifica della frequenza dei fotogrammi e sovrapposizioni.

L’obiettivo era rendere il set di dati rappresentativo della varietà di qualità e metodi contraddittori che potrebbero verificarsi nei video del mondo reale condivisi online.

Una delle sfide irrisolte riguardava l’identificazione di un modello automatico per l’individuazione dei deepfake. Infatti al set di dati iniziale sono stati aggiunti altri video che non erano in precedenza disponibili ai partecipanti al concorso. Questi contengono sia contenuti organici trovati su Internet che nuovi video creati per questo progetto. Il brand ha verificato che la distribuzione dei video falsi e reali fosse identica a quella del set di test pubblico.

I video erano tutorial sul trucco, dipinti e altri video di esempi che potrebbero essere difficili da classificare correttamente per i modelli di rivelazione.

Inoltre Facebook ha anche applicato in modo casuale una serie di aumenti per emulare il modo in cui i potenziali truffatori potrebbero modificare i video per cercare di ingannare i rilevatori.

Gli esempi includono l’applicazione di filtri facciali AR, l’aggiunta di immagini casuali a ciascun fotogramma e la modifica della frequenza dei fotogrammi e della risoluzione.

Analisi dei risultati e considerazioni da parte di Facebook

Circa le analisi dei risultati, lo stesso Facebook ha così spiegato:

Il DFDC è stato lanciato lo scorso dicembre e 2.114 partecipanti hanno presentato alla competizione oltre 35.000 modelli. Ora che la sfida si è conclusa, stiamo condividendo i dettagli sui risultati e collaborando con i vincitori per aiutarli a rilasciare il codice per i modelli di rilevamento più performanti”.

Questo è un punto chiave: Facebook, lavorando con i team vincitori, sta cercando di condividere la base di codici per ciascuno dei modelli vincenti, mentre sta anche pianificando di aprire i set di dati utilizzati, al fine di aiutare a far avanzare la ricerca sui deepfake in modo più ampio.

Quindi, quanto erano buoni i modelli vincenti?

I modelli di rilevamento con le migliori prestazioni, tra le migliaia presentate, hanno registrato tassi di rilevamento superiori all’82%. Purtroppo però questo risultato si basava sul set di formazione fornito, che i ricercatori potevano studiare e perfezionare in modo specifico, focalizzato su quegli esempi.

Al fine di determinare la vera accuratezza di questi sistemi, Facebook ha anche testato i modelli su un set di dati, chiamati a “scatola nera”, di 10.000 videoclip che i partecipanti non avevano visto in precedenza e a cui non avevano avuto accesso prima di inviare il loro codice. Ciò ha modificato significativamente i risultati finali.

“Il concorrente più performante è stato un modello inserito da Selim Seferbekov. Ha raggiunto una precisione media del 65,18% rispetto al set di dati della scatola nera.  Usando il set di dati pubblici, questo modello è stato classificato al quarto posto”.

Ecco a voi la classifica finale dei primi dieci:

1

Selim Seferbekov

0.42798

2

\WM/

0.42842

3

NtechLab

0.43452

4

Eighteen years old

0.43476

5

The Medics

0.43711

6

Konstantin Simonchik

0.44289

7

All Faces Are Real

0.445315

8

ID R&D

0.44837

9

名侦探柯西

0.44911

10

deeeepface

0.45149

 

Conclusioni

Nonostante il buon risultato raggiunto dalla Deepfake Detection Challenge, Facebook può migliorare questo punteggio ottenuto e sviluppare un sistema migliore per determinare i video modificati digitalmente prima che vengano condivisi. Perché, come abbiamo visto, una volta che un video è stato caricato online, il fatto che sia determinato come falso o modificato in un secondo momento è spesso troppo tardi per impedire i danni prodotti dallo stesso.

Per maggiori informazioni, potete visitare il blog ufficiale di Facebook e accedere all’articolo originale. Alla prossima dal mondo dei Social Media, sempre a cura di Pop Up Mag!

Sommario
Deepfake Detection Challenge: i risultati condivisi da Facebook
Nome Articolo
Deepfake Detection Challenge: i risultati condivisi da Facebook
Descrizione
Per il post di oggi vi parliamo nuovamente di Facebook e dei risultati condivisi del suo Deepfake Detection Challenge. Scopri qui i risultati!
Autore
Nome Publisher
Pop Up Mag
Logo Publisher

LASCIA UN COMMENTO

Per favore inserisci il tuo commento!
Per favore inserisci il tuo nome qui