Nuovo framework deep learning per cambiare le espressioni facciali su foto o quadri

One-Shot Identity-Preserving Portrait Reenactment

Un team di ricerca della University of Southern California, fra cui anche il prof. Hao Li che da anni si occupa di computer vision, grafica computerizzata ed effetti speciali, ha pubblicato uno studio (pdf) dove presenta un nuovo framework di deep learning che consente di variare le espressioni di una persona in foto, senza però confonderne le caratteristiche facciali come invece farebbe un comune deepfake.

Con il nuovo sistema è possibile prendere una singola foto di un individuo e copiarne l’espressione sulla foto di un’altra persona, o anche di un quadro, mantenendo tutte le caratteristiche dell’immagine di destinazione (“identity preservation”). Per fare questo si usano due reti: la prima si chiama Landmark Disentanglement Network (LD-Net) e copia l’espressione e le posizioni dei volti, mentre l’altra è la Feature Dictionary-based Generative Adversarial Network (FD-GAN) e ha il compito di generare la nuova immagine sulla base di tali caratteristiche.

L'elaborazione delle immagini attraverso le reti LD-NET e FD-GAN (fonte: autori) Immagine: L’elaborazione attraverso le reti LD-NET e FD-GAN (fonte: autori)

Accedendo alla ricerca si possono vedere diversi risultati, alcuni convincenti, altri un po’ meno: One-Shot Identity-Preserving Portrait Reenactment

Mi sono appassionato all'intelligenza artificiale da quando ho potuto vedere all'opera i primi sistemi esperti negli anni '80. Già dal 1989 mi occupavo di cybersecurity (analizzando i primi virus informatici) ma non ho mai smesso di seguire gli sviluppi dell'AI. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.