In Sud Africa l’AI “senza etica” favorisce la discriminazione razziale

Per avere un esempio concreto di cosa significhi non badare all’etica nell’implementazione dell’AI, Vice propone una panoramica della sorveglianza cittadina in Sud Africa.

A Johannesburg già da diversi anni hanno fatto la loro comparsa telecamere a circuito chiuso per monitorare la sicurezza delle strade. Da qualche tempo questi servizi si sono evoluti in “smart surveillance“, dove algoritmi di machine learning aiutano a riconoscere e segnalare situazioni “sospette”.

Per fare un esempio, in un ricco quartiere abitato soprattutto da bianchi qualche anno fa il software ha segnalato automaticamente 14 situazioni sospette (qui il rapporto in pdf) che coinvolgevano in tutto 28 persone. Fra cui: un elettricista che si allontana dal luogo di lavoro, cinque persone che camminano insieme, una persona che cammina sul marciapiede indossando una maglietta a righe, una persona che siede per strada, una persona che cammina con un borsone, due postini che consegnano pacchi.

Atteggiamenti tutto sommato innocui. L’unica caratteristica in comune è che tutte le persone avevano la pelle nera. Quel giorno nessun bianco è stato segnalato come sospetto dall’algoritmo.

Per approfondire: Smart CCTV Networks Are Driving an AI-Powered Apartheid in South Africa

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.