EU-wetsvoorstel te zwak om ons te beschermen tegen gevaarlijke AI-systemen

De Europese Unie stelt een nieuwe wet voor om het gebruik van artificiële intelligentie (AI)-technologieën te reguleren. ‘Dit wetsvoorstel schiet tekort om effectief weerstand te kunnen bieden tegen de vele mensrechtendreigingen die gepaard gaan met het gebruik van AI, zoals gezichtsherkenningssytemen’, zegt Rasha Abdul Rahim van Amnesty International’s Tech-afdeling.

‘Onder het wetsvoorstel kan politie nog steeds gebruik maken van gezichtsherkenning op beveiligingscamera’s om al onze bewegingen achteraf te traceren, en om beelden van social media-accounts te analyseren zonder de toestemming van mensen.’

Het voorstel verbiedt het gebruik van ‘real-time’ gezichtsherkenning door wetshandhavers in openbare ruimtes, behalve onder strikte omstandigheden. Het voorstel laat echter grote steken vallen bij de bescherming tegen privé-gebruik van gezichtsherkenning en ander gebruik van andere biometrische surveillance.

Daarnaast blijft het volgens het voorstel mogelijk om real-time gezichtsherkenning toe te passen op mensen die mogelijk buiten de regulieren paden om een lidstaat zijn binnengekomen of in een lidstaat verblijven. De technologie zal ongetwijfeld gebruikt worden tegen migranten en vluchtelingen. Het wetsvoorstel maakt het ook mogelijk om voor grensbewaking ‘predictive policing’ en AI systemen in te zetten.

Wetsvoorstel niet ver genoeg op gebied van racisme en discriminatie

‘Het wetsvoorstel gaat niet ver genoeg in het aankaarten van de risico’s van artificiële intelligentie (AI) op het gebied van racisme en discriminatie’, zegt Rasha Abdul Rahim. ‘Keer op keer heeft onderzoek aangetoond dat gezichtsherkenningssoftware beduidend minder effectief is bij zwarte en bruine gezichten, ook zorgt het systematische racisme in wetshandhaving ervoor dat deze technologie disproportioneel vaak kan worden gebruikt tegen deze groepen, wat kan leiden tot vele onrechtmatige arrestaties. Daarnaast zullen de voorgestelde verplichtingen op het gebied van transparantie en veiligheid zoals genoemd in het voorstel het publiek niet genoeg beschermen.’

Een positieve stap is het verbod op social scoring-software: een technologie die individuen ‘rangschikt’ op basis van versimpelde en vaak kleinerende statistieken, zoals bijvoorbeeld geslacht, ras, leeftijd en beperking. Deze AI-systemen zijn een belediging voor de menselijke waardigheid en kunnen worden gebruikt om gemarginaliseerde groepen tot doelwit te maken en uit te sluiten.

Amnesty’s oproep

Amnesty International roept de EU op om de vele mazen in dit wetsvoorstel te dichten; die mazen maken ongeremd misbruik en discriminerende praktijken mogelijk. Een belangrijk punt is het verbod op het gebruik van alle gezichtsherkenningssystemen voor massa surveillance.

De ‘Ban the Scan’-campagne van Amnesty International roept op tot een verbod op de ontwikkeling, verkoop, inzet en export van gezichtsherkenningstechnologieën voor het identificeren door staten en privé-gebruikers.