Watching Big Brother: Amnesty’s antwoord op digitale discriminatie door overheden

Big Brother is watching you! Op steeds meer terreinen wordt ons leven beïnvloed door algoritmes, kunstmatige intelligentie en ‘big data’. Met het nieuwe project ‘Watching Big Brother’ wil Amnesty International zorgen voor meer controle, transparantie en bescherming bij de inzet van dergelijke technologieën. Want vaak leiden ze tot discriminatie en vergroten ze ongelijkheid. Dankzij de deelnemers van de Postcode Loterij kan dit nu gerealiseerd worden.

Amnesty komt bij dit project op voor degenen die door de inzet van deze technologieën het zwaarst worden getroffen: de meest kwetsbare groepen in de samenleving. Dankzij een bijdrage van de Nationale Postcode Loterij van maar liefst € 2.583.000,- kunnen we starten met dit project.

Is er wel sprake van een probleem?

Algoritmes maken het leven toch juist aangenamer? Computers denken met je mee en dat kan prettig zijn: ‘U kocht bij ons Harry Potter deel 2. Wellicht heeft u ook interesse in Harry Potter deel 3?’ De computer kan deze boekentip geven dankzij algoritmes: opeenvolgingen van instructies die een computer vertellen wat hij moet doen. ‘Klant koopt product x. Zoek producten die lijken op x. Doe klant een suggestie.’

Algoritmes zorgen ervoor dat een computer taken kan uitoefenen die vroeger door mensen werden gedaan. Zoals het voorspellen van je boekensmaak. En als hij het mis heeft, is er geen man overboord. Voor buitenstaanders is vaak niet te achterhalen met welke factoren een algoritme werkt. Algoritmes volgen de instructies van hun programmeurs, maar ze kunnen ook ‘zelflerend’ zijn en aan de haal gaan met hun eigen bevindingen. In de praktijk kan hierdoor een vertekend beeld steeds sterker worden vertekend.

Wanneer het fout gaat: de toeslagenaffaire

Maar wat als algoritmes ernaast zitten? Algoritmes worden niet alleen ingezet om consumentenervaringen aangenamer te maken. Overheden gebruiken ze steeds vaker om gedrag van mensen te voorspellen en fraude en misdaad te bestrijden. Ze domineren onder meer de arbeids- en woningmarkt, en de processen bij zorgverzekeringen en de Belastingdienst.

‘Kunnen computersystemen ons helpen belastingfraude op te sporen?’ vroeg men zich af bij de Belastingdienst. Het resultaat was één van de grootste Nederlandse schandalen van de afgelopen decennia: de ‘toeslagenaffaire’. Mensen zonder Nederlands paspoort werden aan veel strengere inspecties onderworpen door de Belastingdienst. Van velen werden – onterecht – de toeslagen voor kinderopvang stopgezet en teruggevorderd. Veel gezinnen raakten in financiële problemen. De Belastingdienst bezwoer in eerste instantie dat nationaliteit nooit deel uitgemaakte van algoritmes bij de fiscus. Maar na zeven jaar onrecht bleek dat dat wel degelijk het geval was. Mensen met een migratieachtergrond werden hierdoor slachtoffer van geautomatiseerde ongelijkheid bij de Belastingdienst. Dit voorbeeld illustreert een van de grootste problemen van het gebruik van algoritmes: hun volkomen gebrek aan transparantie. En de toeslagenaffaire is slechts het topje van de ijsberg.

Amnesty’s Algorithm Accountability Lab

Daarom startte Amnesty haar zogenaamde Algorithm Accountability Lab: Het eerste interdisciplinaire team dat zich richt op de gevolgen van algoritmes, kunstmatige intelligentie (AI) en big data voor de sociale en economische mensenrechten.

Overheden gebruiken steeds vaker kunstmatige intelligentie en big data om belangrijke beslissingen te nemen over de toegang tot bijvoorbeeld sociale zekerheid, gezondheidszorg en onderwijs. Dit leidt tot een nieuw en ondoorzichtig regime van surveillance, (etnisch) profileren, discriminatie en uitsluiting. Het toezicht hierop is nog nauwelijks geregeld. Amnesty wil dat met het Watching Big Brother-project veranderen.

Hoe gaat Amnesty dit doen?

Het projectteam van Amnesty International gaat deze systemen onderzoeken, blootleggen en opkomen voor het recht van mensen – vooral de armste en meest achtergestelde groepen in de maatschappij – om zich hiertegen te beschermen. Met onderzoek, lobby en actie zetten we ‘algoritmische rechtvaardigheid’ op de agenda van beleidsmakers, te beginnen in de Europese Unie. Zo stellen we de mensenrechten veilig in een digitale wereld die nu nog ondoorzichtig, ongecontroleerd en vaak onrechtvaardig is.

Transparantie, controle en wettelijke bescherming

Amnesty wil zorgen voor meer transparantie, controle en wettelijke bescherming wanneer overheden kunstmatige intelligentie en big datasystemen inzetten om essentiële diensten te leveren. De belangrijkste subdoelen daarbij zijn:

• Een verplichte mensenrechtentoets voorafgaand aan de inzet van big data- en AI -systemen;
• Transparantie van big data- en AI-systemen in de publieke sector;
• Effectief toezicht op naleving van de mensenrechten door overheden en bedrijven die big data- en AI-systemen inzetten, te beginnen in de Europese Unie.