Amnesty International roept kabinet op om alle risicoprofilering stop te zetten

De Dienst Uitvoering Onderwijs (DUO) gebruikte meer dan tien jaar lang een discriminerend risicoprofileringssysteem om studenten te selecteren voor controle op misbruik van de uitwonendenbeurs. Het is het zoveelste schandaal dat aantoont dat mensen in Nederland niet beschermd zijn tegen discriminerende controles. Het kabinet moet daarom alle risicoprofileringssystemen opschorten en eerst onderzoeken of die in lijn zijn met de mensenrechten. Dat verklaart Amnesty International vandaag in een nieuw rapport. 

Het rapport Roekeloze risicoprofilering: studenten in Nederland geschaad door discriminerende fraudeaanpak laat zien hoe de DUO-werkwijze studenten discrimineerde op grond van afkomst en sociaaleconomische status. Het risicoprofileringssysteem, dat bestond uit een algoritme en een aanvullende lijst van kenmerken, werd tussen 2012 en juni 2023 gebruikt door DUO, onder verantwoordelijkheid van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW).  

Schade herstellen

Vorige week besloot de minister van OCW om alle besluiten van DUO tussen 2012 en juni 2023 die zijn gebaseerd op de discriminerende risicoprofilering terug te draaien. Het kabinet gaat de teruggevorderde studiefinanciering en boetes aan (oud-)studenten terugbetalen. In maart bood de minister al excuses aan voor ‘indirecte discriminatie’ van studenten van geracialiseerde groepen.  

Dat het kabinet dit keer voortvarend te werk gaat om de schade die is veroorzaakt door de discriminerende risicoprofilering te herstellen, is een positieve ontwikkeling. Discriminerend overheidshandelen heeft grote impact op mensen en schaadt het vertrouwen in de overheid. Amnesty International sprak met vijf oud-studenten die vertelden door DUO onterecht als fraudeur te zijn aangemerkt. Maureen, een voormalig mbo-student horecamanagement met een Nederlands-Surinaamse achtergrond, vertelde:  

‘Ik vind het teleurstellend, want het lijkt alsof de overheid probeert strenger op te treden tegen discriminatie. Ik denk dat het hier steeds beter gaat, terwijl het dus bij zo’n grote organisatie [zoals DUO] zo slecht gaat. Dat daar eigenlijk helemaal niet serieus naar gekeken wordt… Het lijkt alsof het niet echt iets uitmaakt.’ 

Erken ook sociaaleconomische discriminatie 

Hoewel het kabinet de impact van discriminerende risicoprofilering door DUO dus erkent, blijft de kans op herhaling groot, zegt Amnesty International. Dat komt onder meer doordat de overheid zulke systemen niet goed toetst aan het discriminatieverbod. Het algoritme was door DUO zo ontworpen, dat mbo-studenten, vooral mbo-niveau 1 en 2, een hogere risicoscore kregen dan hbo- en wo-studenten. Dit is in strijd met het discriminatieverbod. Daarnaast gebruikten DUO-medewerkers selectiecriteria die te maken hadden met de woonsituatie van studenten, iets wat vaak samenhangt met iemands sociaaleconomische achtergrond. Maar het kabinet heeft niet expliciet erkend dat ook sprake was van discriminatie op grond van sociaaleconomische status, waardoor dit in de toekomst weer kan gebeuren.  

Het profileren van studenten op basis van hun opleidingstype is stigmatiserend, vooral gezien de achtergestelde positie van mbo’ers in de samenleving onder meer op het gebied van inkomen, gezondheid, levensverwachting en politieke vertegenwoordiging.  

Tahira, een voormalige mbo-student met een Nederlands-Marokkaanse achtergrond die de opleiding tot tandartsassistentie deed, vertelde aan Amnesty International wat voor impact dit op haar had: 

‘Alsof ik dom ben. Ja, nu ik dit hoor, voel ik me beledigd. Alsof we lager op de sociale ladder staan dan iemand die een hbo- of universitaire opleiding volgt. Alsof je niet serieus in het leven staat.’ 

Verbod algoritmische risicoprofilering, tenzij voldoende waarborgen 

Niet alleen DUO gebruikte discriminerend risicoprofilering om potentiële wetsovertreding op te sporen. In de afgelopen jaren is het bij veel overheidsorganisaties mis gegaan, waaronder de politie, de Koninklijke Marechaussee, de Belastingdienst, het Ministerie van Buitenlandse Zaken en veel gemeenten. Amnesty International roept het kabinet dan ook op om de inzet van algoritmische risicoprofilering voor de bestrijding van fraude met sociale voorzieningen te verbieden. Gezien de inherente risico’s van risicoprofilering voor de mensenrechten, zouden overheidsorganisaties het alleen mogen inzetten als zij kunnen garanderen dat het systeem in lijn is met de mensenrechten.  

In de tussentijd moet het kabinet alle risicoprofileringssystemen die in gebruik zijn voor de aanpak van fraude met sociale voorzieningen of criminaliteit stopzetten en eerst onderzoeken of ze in lijn zijn met de mensenrechten.  

‘Het kabinet moet niet afwachten tot het volgende schandaal zich aandient, maar zich maximaal inspannen om mensen te beschermen tegen discriminerende controles. Dát is goed bestuur. Iedereen in Nederland ongeacht afkomst, opleiding of andere persoonlijke kenmerken moet kunnen rekenen op een rechtvaardige overheid die mensen benadert vanuit vertrouwen, in plaats van hen behandelt als potentiële fraudeur’, aldus Dagmar Oudshoorn, directeur van Amnesty International Nederland.  

Betrek studenten bij nieuw plan voor controles 

De minister van OCW heeft aangekondigd dat hij een nieuwe vorm van “risicogericht toezicht” wil inzetten om studenten te selecteren voor controle. Amnesty International vindt het belangrijk dat de minister hierover met studenten en andere belanghebbenden in gesprek gaat en dat er voldoende oog is voor de potentieel stigmatiserende impact van risicoprofilering. Als DUO opnieuw een algoritmisch systeem ontwikkelt, dan moet de overheid bovendien onderzoeken of de waarborgen waartoe de nieuwe EU AI-verordening verplicht in werking treden. Wanneer algoritmische profilering buiten de scope van bestaande regulering valt, dan moet het kabinet aanvullende wetgeving introduceren zodat het voldoet aan de plicht om mensenrechtenschendingen te voorkomen.

Meer over het werk van Amnesty International op dit thema 

Amnesty International zet zich al ruim tien jaar in voor betere bescherming van mensen tegen discriminerende risicoprofilering door de overheid. Amnesty International Nederland publiceerde verschillende rapporten over etnisch profileren en het gebruik van discriminerende algoritmen door de politie, de Belastingdienst en andere overheidsorganisaties. In 2023 won Amnesty een rechtszaak tegen de Koninklijke Marechaussee over etnisch profileren. Het afgelopen jaar voerde Amnesty samen met Controle Alt Delete een campagne tegen etnisch profileren: bijna 40.000 mensen ondertekenden een petitie die het kabinet oproept etnisch profileren tegen te gaan.