De Nederlandse politie loopt wereldwijd voorop met predictive policing: experimenten die proberen misdaad te ‘voorspellen’ met algoritmes voordat die gaat plaatsvinden. De Amsterdamse politie begon in 2014 met het Criminaliteits Anticipatie Systeem (CAS). Hiermee probeert de politie, op basis van historische informatie, te voorspellen in welke wijken er inbraken of opstootjes gaan plaatsvinden. Inmiddels wordt dit systeem uitgerold over heel Nederland, terwijl de pilot niet bewezen effectief was, zo bleek in 2017 al uit een artikel in het Tijdschrift voor de Politie.  

Bij het outletcentrum bij Roermond begon de Limburgse politie een paar jaar geleden het ambitieuze Sensing-project om ‘mobiel banditisme’ in kaart te brengen. Een uitgebreid netwerk van camera’s en sensoren registreert de kentekens, land van herkomst, automerk en -model, kleur en de gevolgde route van alle passerende voertuigen. Algoritmes berekenen dan vervolgens welke auto’s ‘risicovol’ zijn en aan de kant gezet moeten worden.  

Amnesty International onderzocht het experiment en uitte er in het rapport We sense trouble: automated discrimination and mass surveillance fundamentele kritiek op. De algoritmes kennen aan bepaalde Oost-Europese kentekens een hoger risico toe en dat werkt etnisch profileren in de hand. De politie registreert van miljoenen onschuldige automobilisten de gegevens. ‘Zo’n vorm van massasurveillance is in strijd met de mensenrechten’, zei senior-onderzoeker Gerbrig Klos van Amnesty vorig jaar november in Wordt Vervolgd.  

Discriminerende algoritmes

Sindsdien is er veel gebeurd. Toenmalig minister van Justitie Ferdinand Grapperhaus reageerde in december op de kritiek van Amnesty in een brief aan de Kamer. Zonder in te gaan op Amnesty’s mensenrechtelijke analyse, stelde hij – kort gezegd – dat er niets mis is met het Sensing-project en dat mensenrechten, zoals privacy, in de huidige Nederlandse regelgeving al goed beschermd zijn. Amnesty liet daarop in een notitie van januari dit jaar weten dat de kabinetsreactie op meerdere punten ‘onvolledig’ is en ‘tegenstrijdig’ met eerder verstrekte informatie. De minister zou bovendien maatschappelijke bespreking bemoeilijken door ‘ongebruikelijke definities’ te hanteren van predictive policing en massasurveillance.  

Kort daarvoor kwam de Commissie-Van Dam met haar rapport Ongekend onrecht over de toeslagen-affaire. Daarbij bleek de tweede nationaliteit van ouders een belangrijke factor te zijn bij het vervolgen van mensen. Dus toch systematische discriminatie. In een hoorzitting van de Kamer over die affaire zei Aleid Wolfsen, de voorzitter van de Autoriteit Persoonsgegevens, dat het een illusie is om te denken dat de overheid burgers rechtsbescherming biedt tegen discriminatie. Hij constateerde ‘een groot gat’ in de rechtsbescherming door het grootschalig gebruik van algoritmes. 

‘Onvolledig’ en ‘tegenstrijdig’ oordeelde Amnesty over de reactie van Grapperhaus op het rapport We sense trouble

Verkeerde aannames

Wordt Vervolgd vroeg aan de grootste partijen wat zij vinden van predictive policing-projecten zoals Sensing of CAS. CDA, D66, PvdA en SP reageerden, GroenLinks, VVD en PVV niet. Van GroenLinks is bekend dat ze zeer kritisch zijn, van VVD en PVV is bekend dat ze harde aanpak van misdaad vaak meer prioriteit geven dan privacy. 

Chris van Dam (van 2017-2021 Kamerlid voor CDA) is niet principieel tegen predictive policing: ‘Politiecapaciteit is schaars. Daarom moet er efficiënt en effectief mee worden omgegaan. Tools die daaraan bij kunnen dragen dienen serieus onderzocht te worden. Ook als het gaat om predictive policing. Data zullen ook in de opsporing en bestrijding van criminaliteit een steeds belangrijkere rol gaan spelen. De vraag is niet óf we dat toe moeten staan, maar hoe. Want we ontdekken ook steeds meer de schaduwkanten. (…) Het kan makkelijk leiden tot verkeerde aannames. Het is daarom van groot belang dat er zorgvuldig en voorzichtig met dit soort systemen wordt omgegaan. Externe begeleiding van projecten door bijvoorbeeld een externe ethische commissie is van groot belang’, zegt Van Dam.  

‘Een agent leert bij de opleiding op dag één artikel 1 van de Grondwet, maar een algoritme moet het slechts hebben van de data die het ontvangt. Het is in het verleden al voorgekomen dat discriminerende algoritmes zijn ontwikkeld en de kinderopvangtoeslagen-affaire leert ons dat de risico’s groot zijn.’ Het CDA ziet wel de mogelijke meerwaarde van predictive policing om criminaliteit te bestrijden, maar alleen onder strenge voorwaarden.   

Boeven vangen 

Kees Verhoeven (van 2010-2021 Kamerlid voor D66) is kritischer. ‘De politie wil heel graag nieuwe technologie toepassen en dat moeten ze ook doen, maar wij als politiek moeten dat waar nodig begrenzen. Ten eerste als ze bestaande wetten overtreden. Maar ook als ze nieuwe zaken proberen die nog niet goed geregeld zijn. Dan zeggen mensen: we hebben toch de AVG? Maar daarin zijn bijvoorbeeld zaken als gezichtsherkenning nog niet goed geregeld.’   

De politiek moet volgens Verhoeven de politie begrenzen daar ‘waar je onschuldige burgers ten onrechte als verdachte aanmerkt, bijvoorbeeld op basis van groepskenmerken. Dan ga je te ver. Kijk naar de toeslagenaffaire, waar de Belastingdienst data inzette tegen onschuldige burgers. Of kijk naar SyRi.’ Verhoeven verwijst hier naar de omstreden antifraudewet Systeem Risico Indicatie, die de rechtbank Den Haag vorig jaar strijdig achtte met het Europees Verdrag voor de Rechten van de Mens.    

‘Er zijn in het verleden al discriminerende algoritmes ontwikkeld en de toeslagen-affaire leert ons dat de risico’s groot zijn’

Den Haag moet beter gaan nadenken over zaken als predictive policing. ‘Nu is de enige die erover nagedacht heeft de politie, maar met alle respect: die hebben een vrij nauw doel, boeven vangen. Ze hebben, net als de Belastingdienst, ook tegenmacht nodig.’ Bij het terugfluiten zie je nu dat de toezichthouder, de Autoriteit Persoonsgegevens, te weinig budget en capaciteit heeft. ‘Dat moet de politiek oplossen’, vindt Verhoeven. Daar sluit Attje Kuiken van de PvdA zich bij aan: ‘De Autoriteit Persoonsgegevens (AP) is zwaar onderbemand en zou versterkt moeten worden.’ Er moet daarnaast strengere regelgeving komen, aldus de nummer 4 van de kieslijst voor 2021. Overigens gaat de AP van 184 werknemers nu naar 470 mensen vanaf volgend jaar, na een motie van onder meer Kuiken en Verhoeven.  

Mensenwerk  

Ook Michiel van Nispen van de SP (Kamerlid sinds 2014) is zeer kritisch over predictive policing: ‘Veiligheid is en blijft mensenwerk. En dat is nu net een van de grootste problemen: er is jarenlang te veel bezuinigd op de politie, agenten hebben niet genoeg collega’s om hun werk goed te kunnen doen. Wat de SP betreft is de oplossing niet meer algoritmen, maar meer collega’s voor de politie. Als de wijkagent gewoon weer in de wijk rond kan lopen, dan weet die wat er in de wijk speelt, en heeft hij of zij dus geen algoritme nodig om dat te vertellen.’  

Los daarvan heeft de SP principiële bezwaren: ‘Het centrale punt van predictive policing is dat privacygevoelige informatie gebruikt wordt om te kijken of ergens mogelijk strafbare feiten gepleegd zouden kunnen gaan worden. Het is wat de SP betreft buiten proportie om de privacy van burgers te schenden als er nog geen strafbare feiten gepleegd zijn, maar er slechts een vermoeden is dat er mogelijk strafbare feiten gepleegd zouden kunnen worden.’  

Hij signaleert hetzelfde probleem als Van Dam van het CDA: een algoritme discrimineert niet zelf: ‘Het is tenslotte een computerprogramma dat slechts doet wat het wordt opgedragen. Daar zit echter wel het probleem. Wie bepaalt de input voor een algoritme? Hoe weet je of gegevens die afzonderlijk misschien niet discrimineren, dat ook niet doen als ze in samenhang beoordeeld worden door een algoritme?’

Een algoritme kan dus ook gaan discrimineren zonder dat de makers dat willen. Maar waar Van Dam denkt dat dat met streng toezicht is op te lossen, ziet Van Nispen principiële bezwaren: ‘Dat zijn fundamentele vragen, die nu vaak niet eens beantwoord kunnen worden, omdat er geen enkel zicht is op de werking van algoritmen, en in die ondoorzichtigheid schuilt bijna per definitie een risico op discriminatie.’  

Geen goed overzicht op algoritmes

De Rekenkamer concludeerde onlangs dat de ministeries geen goed overzicht hebben op de algoritmes die zij gebruiken en dat de verantwoordelijke ministers daarom de risico’s niet tijdig beperken. Ook de Rekenkamer stelt dat er een duidelijk toetsingskader moet komen. 

‘Predictive policing blijft al jarenlang als “veelbelovend” gelden. Terwijl de effectiviteit nooit is aangetoond’ 

Attje Kuiken van de PvdA deelt de zorgen: ‘Heiligt het doel het middel? Nee. Het middel gaat uit van vermeend objectieve criteria, maar die zijn ook maar door mensen in het algoritme gebouwd. Daarmee dreigt er geautomatiseerd te worden uitgegaan van intenties van mensen, terwijl er nog geen begin van een misdaad is. Dat raakt ook nog eens aan de onschuldpresumptie. Daarbij komt dat het risico op discriminatie op de loer ligt.’ Ze vreest bijvoorbeeld het ‘brandmerken van Bulgaren’.

Kuiken heeft ‘grote twijfels’ over de effectiviteit van predictive policing: ‘Een top-600-benadering [waarbij de overheid geen sleepnet uitgooit maar zich richt op de jongeren die de meeste problemen veroorzaken, red.] zoals in Amsterdam, werkt beter. En met een te breed algoritme wordt het schieten met hagel. Een sleepnet waarmee je te weinig (vermeend) onderscheid kunt maken tussen goedwillende en kwaadwillende mensen. Dat moeten we al helemaal niet willen.’ Kuiken gelooft meer in maatwerk door bijvoorbeeld wijkagenten of rechercheurs: ‘Dat is veel effectiever.’  

Geen bewijs dat het werkt  

Wat de discussie een beetje onwezenlijk maakt, is dat het project in Roermond is stilgelegd vanwege corona, zo liet Ferd Grapperhaus in december aan de Kamer weten in zijn reactie op het rapport van Amnesty. Om effectief te zijn moet de politie auto’s die het  systeem als risicovol aanmerkt uiteraard aan de kant zetten en controleren. De eerste helft van 2019 heeft de politie gebruikt om het systeem op orde te krijgen en aan de profielen te sleutelen. In de tweede helft van 2019 kregen politiemensen de eerste ‘hits’, dus auto’s waarvan het systeem zei dat de inzittenden mogelijk ‘mobiele bandieten’ zouden zijn.

Probleem was dat er te veel tijd zat tussen ‘hit en opvolging, zodat het voertuig niet werd aangetroffen’, zoals Grapperhaus schrijft. Net toen dat proces was aangepast, kwam in het voorjaar van 2020 corona en stelde de politie haar prioriteiten bij: er was dus geen capaciteit meer beschikbaar om risicovolle auto’s aan de kant te zetten. Daar kwam later tijdens de lockdown de sluiting van het outletcentrum nog bij, waardoor het hele project op dat moment sowieso zinloos werd.   

De politie laat dan ook desgevraagd weten niets te kunnen zeggen over de effectiviteit. Dat is – los van corona – een fundamenteel probleem bij predictive policing: hard bewijs dat het werkt is er niet. Op de vraag of er recente cijfers zijn over de effectiviteit van CAS antwoordt de Amsterdamse politie: ‘Nee, we hebben geen recente cijfers omdat we het niet kunnen meten.’

Onschuldige burgers

Het Belgisch-Nederlandse vaktijdschrift Cahiers Politiestudies wijdde vorig jaar een heel themanummer aan het onderwerp, maar ook hierin was geen hard bewijs te vinden dat het mogelijk is om misdaad te voorspellen. Dat betekent niet dat predictive policing niet werkt, het betekent wel dat het al jarenlang als ‘veelbelovend’ blijft gelden, terwijl de effectiviteit nog steeds nergens ter wereld is aangetoond en de risico’s inmiddels wel bekend zijn. Het is in ieder geval geen wondermiddel dat agenten of rechercheurs overbodig maakt: boeven vangen blijft mensenwerk.  

Michiel van Nispen (SP) betwijfelt of predictive policing de effectiviteit van de politie verhoogt. Van Dam (CDA) benadrukt dat de Nederlandse politie al veel ervaring heeft met informatiegestuurd werken. Zaken als predictive policing, algoritmes en deep learning zijn nieuw. ‘Wat op dit moment precies de effectiviteit van dit soort technieken is, weten we nog niet. Maar het onderzoeken van die effectiviteit is wat we van een modern politiekorps mogen verwachten.’

Kees Verhoeven (D66) is beducht voor het argument van efficiëntie, omdat dat voorbijgaat aan de principiële bezwaren: ‘Baat het niet, dan schaadt het niet.’ Maar zelfs als het wel werkt, klopt die redenering niet, vindt Verhoeven. Stel dat je er bij een actie twintig boeven mee vangt, maar ook tachtig onschuldige burgers ten onrechte als verdachte aanmerkt: ‘Zelfs als het baat, schaadt het.’