Hoe algoritmes kunnen discrimineren

Een algoritme is een recept om een wiskundig of informaticaprobleem op te lossen. Een soort rekenregels dus. Algoritmes en big data zijn niet meer weg te denken uit onze maatschappij. Ze zitten in de navigatie-app in de auto, in medische apparaten, videospelletjes, je slimme energiemeter en ga zo maar door.

Algoritmes kunnen snel veel gegevens analyseren en patronen daarin herkennen. Maar er kleven ook gevaren aan die technologie: de systemen zijn niet transparant en slecht controleerbaar. Maar de belangrijkste gevaren zijn dat er veel gegevens nodig zijn, waardoor er veel surveillance wordt ingezet, en dat er een groot risico is op fouten en discriminatie.

Discriminatie

De Nederlandse politie wil graag misdrijven voorkomen door met algoritmes te proberen toekomstige misdrijven te voorspellen. Daarvoor zet ze algoritmische modellen in om het risico op een misdrijf in te schatten. Dat wordt predictive policing genoemd.

Vaak wordt gezegd dat de gegevensverwerking van de politie met algoritmes ‘objectief’ en ‘neutraal’ is. Maar dat klopt niet: de gegevens worden door mensen verzameld en software wordt door mensen gemaakt. Die mensen kunnen van vooroordelen uitgaan en dus kunnen de conclusies ook bevooroordeeld zijn en tot discriminatie leiden.

Massasurveillance in Roermond

Uit onderzoek van Amnesty International uit 2020 blijkt dat de politie in Roermond massasurveillance gebruikte. In het populaire outlet-centrum in Roermond werden net als in alle winkelcentra geregeld zakken gerold en winkeldiefstallen gepleegd. De politie wilde dieven afschrikken voordat zij het outletcentrum bereikten. Hierbij richtte de politie zich alleen op Oost-Europeanen en dan met name op Roma. Daarvoor werden enorm veel gegevens verzameld. Er werden sensoren en camera’s ingezet die de nummerplaten, het merk, het model, de kleur en de routes van een groot deel van de auto’s in Roermond vastlegden. Ook wilde de politie proberen om met hartslag-sensoren en weegplaten geautomatiseerd het aantal inzittenden in een auto vast te stellen.

Al die verzamelde gegevens werden in een algoritmisch model geautomatiseerd verwerkt en er werden punten toegekend. Kwam de auto uit Duitsland: 10 punten. Reed hij naar de outlet: 10 punten. Had hij een Roemeens kenteken: nog eens 10 punten. Zaten er meerdere mensen in: weer 10 punten. Bij een bepaalde score kon de politie besluiten de auto te controleren.

De resultaten waren discriminerend, vooral voor mensen uit Oost-Europese landen. Het project probeerde namelijk mensen uit Oost-Europa uit de grote hoeveelheid data te filteren, en deze mensen werden vervolgens vaker gecontroleerd.

Meer lezen

In deze video leggen we uit hoe algoritmes kunnen discrimineren.
Lees meer over kunstmatige intelligentie en mensenrechten in ons dossier.