Deep learning, la differenza fra teoria e pratica

Perché molti modelli di deep learning – con ottimi risultati di laboratorio – quando vengono messi alla prova dei fatti falliscono? Cosa c’è di sbagliato nei training e nei test che rende i modelli così poco robusti e versatili?

Un piccolo esercito di ricercatori di Google ha pubblicato un vasto studio dove si cerca di dare risposta a queste domande. E la risposta si trova già nel titolo: Underspecification Presents Challenges for Credibility in Modern Machine Learning.

Per i ricercatori di Google sono i modelli sottospecificati – non ottimizzati a dovere – a presentare maggiori problemi quando messi in produzione nel mondo reale.

Nello studio si elencano diversi esempi dove modelli, dalla computer vision al NLP, sul campo non hanno dato i risultati sperati. La raccomandazione principale dei ricercatori è testare i modelli all’interno del contesto di utilizzo anziché fidarsi di loro a occhi chiusi.

La ricerca si trova su arXiv: Underspecification Presents Challenges for Credibility in Modern Machine Learning

Sono Head of Artificial Intelligence di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti all'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, con consulenze sull'AI presso aziende private e per la Commissione Europea, dove collaboro con la European Defence Agency e il Joint Research Centre. Questo blog è personale.