Un modello AI genera un pianista virtuale a partire dalla musica

Una delle cose artisticamente più belle che ho visto fare all’AI in questi giorni: la canadese Massive Technologies ha realizzato un modello che, partendo dalla musica di pianoforte, ricostruisce un pianista virtuale che suona con i movimenti delle mani perfettamente sincronizzati alla musica.

Le dita “virtuali” si posizionano sui tasti giusti e li premono con l’intensità corretta rispetto al suono ascoltato, creando un effetto (secondo me, ma non sono un esperto di pianoforte) estremamente realistico.

Anche guardando le immagini non è facile capire che non è il video che genera la musica, ma viceversa.

L’effetto è realizzabile grazie al sistema di motion synthesis, che crea il movimento sintetico partendo dall’input audio della melodia.

L’azienda inoltre ha realizzato un modello che genera pianisti virtuali in realtà aumentata (AR): basta puntare il dispositivo verso un pianoforte e il software aggiungerà un pianista che lo suona in base alla musica che si sta ascoltando.

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.