In una realtà dove i modelli linguistici di grandi dimensioni (LLM) come GPT di OpenAI e Bard di Google diventano protagonisti di un’innovazione che permea ogni settore, la questione della sicurezza e della privacy dei dati emerge con prepotenza, delineando un orizzonte di sfide e opportunità che il mondo tecnologico non può trascurare. La recente ricerca condotta da Vaidehi Patil, Peter Hase e Mohit Bansal, della University of North Carolina, Chapel Hill, intitolata “Can Sensitive Information Be Deleted From LLMs? Objectives For Defending Against Extraction Attacks”, svela con acume e precisione le complessità insite nella rimozione e nella verifica dell’eliminazione di dati sensibili dai LLM.
La problematica affonda le sue radici nella struttura stessa degli LLM: modelli pre-addestrati su vasti database che, attraverso un processo di rifinitura, producono output coerenti e pertinenti. I dati, una volta assorbiti, rimangono intrappolati nei meandri dei pesi e parametri del modello, rendendo l’intervento post-addestramento per l’eliminazione di specifici file un’operazione di estrema complessità. Ma la ricerca va oltre, esplorando un framework di attacco e difesa, focalizzandosi su modifiche dirette ai pesi del modello, con l’obiettivo di garantire che le informazioni eliminate non possano essere estratte in futuro e di proteggere contro attacchi whitebox, che sfruttano l’accesso ai pesi del modello, disponibili pubblicamente, per estrarre informazioni sensibili.
L’analisi svela che, nonostante l’impiego di metodi di modifica avanzati come ROME (Rank-One Model Editing, un metodo per aggiornare una rete neurale senza nuovi addestramenti), le informazioni “eliminate” possono essere recuperate da attacchi whitebox e blackbox nel 38% dei casi, utilizzando tecniche che sfruttano le tracce di informazioni eliminate negli stati nascosti intermedi del modello e una tecnica di riformulazione automatica dell’input. Un dato che non può essere sottovalutato, considerando che anche tassi di successo dell’attacco relativamente bassi possono avere implicazioni gravi per l’implementazione dei modelli di linguaggio in un contesto in cui la proprietà dei dati personali e il diritto alla privacy sono sempre più importanti.
In un mondo in cui i sistemi AI diventano sempre più interconnessi con i servizi usati da aziende, cittadini e governi, la questione della sicurezza e della privacy delle informazioni negli LLM assume un’importanza cardine. La sfida tecnica ed etica di bilanciare l’eliminazione di informazioni specifiche con la preservazione della capacità del modello di generare risposte accurate e utili diventa un dilemma centrale, che merita ulteriori indagini e sviluppi. La ricerca in questo campo non è solo vitale per migliorare la sicurezza e la privacy dei modelli di linguaggio, ma anche per navigare attraverso le sfide etiche e legali che emergono dall’uso diffuso dell’AI nella società.
