La Corte costituzionale federale tedesca ha dichiarato incostituzionale l’uso di un software di sorveglianza basato sull’AI da parte della polizia di Assia e Amburgo. La sentenza segna un’importante causa intentata l’anno scorso dalla Società tedesca per i diritti civili (GFF), che sosteneva che il software poteva essere utilizzato per la polizia predittiva, causando errori e discriminazioni da parte delle forze dell’ordine.
Il programma utilizza i dati per creare profili di persone sospette prima che sia stato commesso un reato. La base giuridica degli atti che autorizzano questi sistemi è stata messa in discussione dal GFF, secondo cui l’Assia e Amburgo non hanno chiarito le fonti che la polizia può utilizzare per ottenere i dati, né la quantità e i motivi per cui il data mining può essere condotto dalle forze dell’ordine.
Secondo il tribunale, i poteri concessi alla polizia dell’Assia sono stati utilizzati migliaia di volte all’anno attraverso la piattaforma. Tuttavia, i rappresentanti dello Stato hanno sostenuto che il software è fondamentale per prevenire i crimini e si limita a raccogliere ed elaborare i dati raccolti altrove.
La sentenza annulla la legge di Amburgo, il che significa che il sistema non sarà installato. Lo Stato dell’Assia, dove la tecnologia è già in uso, ha ora tempo fino al 30 settembre per riformare la propria legislazione. Nel frattempo, la legge rimarrà in vigore con delle restrizioni.
L’uso di strumenti basati sull’AI da parte delle forze dell’ordine è un punto controverso nelle discussioni sull’AI Act. Il Consiglio dei ministri dell’UE ha spinto per dare alle forze di polizia un maggiore margine di manovra, mentre i deputati progressisti sostengono un approccio più restrittivo.
A dicembre, un rapporto dell’Agenzia per i diritti fondamentali dell’UE ha chiesto ai politici di garantire che gli algoritmi di AI utilizzati dalle forze dell’ordine per le attività di polizia predittiva siano testati per individuare eventuali pregiudizi che potrebbero risultare in discriminazioni.
Per approfondire: German Constitutional Court strikes down predictive algorithms for policing
