Nuovo framework deep learning per cambiare le espressioni facciali su foto o quadri

One-Shot Identity-Preserving Portrait Reenactment

Un team di ricerca della University of Southern California, fra cui anche il prof. Hao Li che da anni si occupa di computer vision, grafica computerizzata ed effetti speciali, ha pubblicato uno studio (pdf) dove presenta un nuovo framework di deep learning che consente di variare le espressioni di una persona in foto, senza però confonderne le caratteristiche facciali come invece farebbe un comune deepfake.

Con il nuovo sistema è possibile prendere una singola foto di un individuo e copiarne l’espressione sulla foto di un’altra persona, o anche di un quadro, mantenendo tutte le caratteristiche dell’immagine di destinazione (“identity preservation”). Per fare questo si usano due reti: la prima si chiama Landmark Disentanglement Network (LD-Net) e copia l’espressione e le posizioni dei volti, mentre l’altra è la Feature Dictionary-based Generative Adversarial Network (FD-GAN) e ha il compito di generare la nuova immagine sulla base di tali caratteristiche.

L'elaborazione delle immagini attraverso le reti LD-NET e FD-GAN (fonte: autori) Immagine: L’elaborazione attraverso le reti LD-NET e FD-GAN (fonte: autori)

Accedendo alla ricerca si possono vedere diversi risultati, alcuni convincenti, altri un po’ meno: One-Shot Identity-Preserving Portrait Reenactment

Sono Head of Artificial Intelligence di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti all'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, con consulenze sull'AI presso aziende private e per la Commissione Europea, dove collaboro con la European Defence Agency e il Joint Research Centre. Questo blog è personale.