Deep learning, la differenza fra teoria e pratica

Perché molti modelli di deep learning – con ottimi risultati di laboratorio – quando vengono messi alla prova dei fatti falliscono? Cosa c’è di sbagliato nei training e nei test che rende i modelli così poco robusti e versatili?

Un piccolo esercito di ricercatori di Google ha pubblicato un vasto studio dove si cerca di dare risposta a queste domande. E la risposta si trova già nel titolo: Underspecification Presents Challenges for Credibility in Modern Machine Learning.

Per i ricercatori di Google sono i modelli sottospecificati – non ottimizzati a dovere – a presentare maggiori problemi quando messi in produzione nel mondo reale.

Nello studio si elencano diversi esempi dove modelli, dalla computer vision al NLP, sul campo non hanno dato i risultati sperati. La raccomandazione principale dei ricercatori è testare i modelli all’interno del contesto di utilizzo anziché fidarsi di loro a occhi chiusi.

La ricerca si trova su arXiv: Underspecification Presents Challenges for Credibility in Modern Machine Learning

Mi sono appassionato all'intelligenza artificiale da quando ho potuto vedere all'opera i primi sistemi esperti negli anni '80. Già dal 1989 mi occupavo di cybersecurity (analizzando i primi virus informatici) ma non ho mai smesso di seguire gli sviluppi dell'AI. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.