Opnieuw relevant (18 november 2020): Er is te weinig toezicht op algoritmes die de overheid inzet, stelt de Algemene Rekenkamer in een nieuw rapport. Als voorbeeld noemt de organisatie het Syteem Risico Indicatie (SyRI), waarover de rechter in februari vorig jaar oordeelde dat de wet in strijd is met het Europees Verdrag voor de Rechten van de Mens (EVRM).
Iedereen kent de Orwelliaanse verhalen uit China, waar de overheid burgers beoordeelt op basis van gedrag. Sinds 2014 krijgt iedere Chinese burger een cijfer. Als je onder een bepaald niveau komt, betekent dit dat je niet meer mag reizen met een hogesnelheidstrein of een vliegtuig. Uit het jaarlijkse rapport van het Chinese Nationale Publieke Kredietinformatiecentrum blijkt dat 23 miljoen van de ruim 1,3 miljard Chinezen in 2018 ‘in het rood’ stonden.
Nederlanders gruwen ervan.
‘Maar ook hier is een sociaal kredietsysteem’, zegt Maxim Februari, ‘het grote verschil is dat Chinezen het niet zo’n probleem vinden om ervoor uit te komen. Wij in Nederland vinden inmenging in de persoonlijke levenssfeer niet zo’n leuke gedachte. Maar ook wij krijgen getallen achter onze naam.’
Maxim Februari zit in het voorjaarszonnetje op het terras van een café pal naast het station in Culemborg, op een kwartiertje rijden van zijn woonplaats Buren. De schrijver en filosoof bestelt een zwarte thee, praat zachtjes en lijkt alles met een ironische blik te bekijken. Minutenlang dendert er een goederentrein langs. ‘Het gaat goed met de economie, kun je vaststellen’, zegt hij als de honderden meters lange trein voorbij is.
Vlaggetje
SyRI. Zo heet de Nederlandse versie van het sociaal kredietsysteem – Systeem Risico Indicatie. Net als in China combineren data-analisten persoonsgegevens, over bezittingen, onderwijs, pensioen, schulden, betaalgedrag, energieverbruik, watergebruik, de aanvraag van een rollator of de vergunning van een hond. Deze gegevens verdwijnen ‘gepseudonimiseerd’ in een digitale destilleermachine. De echte namen worden gekoppeld aan een codenaam. Is het residu niet goed, dan krijg je een vlaggetje achter je pseudoniem en beschouwt de overheid je als verhoogd risico.
Waar in China mensen hun sociale krediet zelf kunnen inzien op hun mobiele telefoon en trots kunnen melden op een dating-app, krijg je in Nederland niets te horen over je profilering
Deze ‘risicogevallen’ verdwijnen in een nieuwe database, die naar de afdeling Onderzoek & Analyse van de Inspectie SZW (Sociale Zaken en Werkgelegenheid) gaat. Zij analyseren de database en maken een register met risicomeldingen die door verschillende overheidsinstanties ingezien kan worden. De pseudoniemen zijn dan weer door de echte namen vervangen.
Analisten van de gemeente of de Belastingdienst kunnen deze database onder de loep nemen, gebruikmakend van software die ook door inlichtingendiensten gebruikt wordt. Zo kunnen ze netwerken van mensen zichtbaar maken en die koppelen aan weer nieuwe bestanden, bijvoorbeeld afkomstig van sociale media.
Black Box
Onder de naam Black Box bestond de werkwijze al langer, zonder wettelijke grondslag. Om dit legaal te maken, werd in 2014 geruisloos een extra hoofdstuk aan de wet SUWI (Structuur Uitvoerorganisaties Werk en Inkomen) toegevoegd. Iedere Nederlander kan sindsdien op deze manier geprofileerd worden. En waar in China mensen hun sociale krediet zelf kunnen inzien op hun mobiele telefoon en trots kunnen melden op een dating-app, krijg je in Nederland niets te horen over je profilering. Ook als je sociale kredietwijzer diep in het rood staat en je naam op de speciale lijst terechtkomt, krijg je geen melding. Het enige wat je merkt is dat er een belastinginspecteur of een medewerker van een interventieteam voor de deur staat om een praatje te maken. ‘De overheid wordt steeds moeilijker te benaderen en te doorgronden, je weet niet wat er gaande is’, zegt Februari, ‘op een gegeven moment is er een melding over je gedaan, maar daar krijg je zelf geen bericht van.’
Om aandacht te vragen voor SyRi zijn verschillende maatschappelijke organisaties vorig jaar in actie gekomen, aangevoerd door het Platform Bescherming Burgerrechten. Ze startten een bodemprocedure tegen de Nederlandse staat over SyRI. De toepassing van SyRI is volgens de coalitie van organisaties – waar Amnesty geen deel van uitmaakte – een schending van fundamentele rechten, waaronder het recht op een eerlijk proces. De overheid gebruikt gevoelige gegevens voor andere doeleinden dan waarvoor ze zijn verzameld. ‘Tommy Wieringa en ik zijn gevraagd om als individuele burgers mee te doen.’ Dat laatste idee kwam van Channa Samkalden, mensenrechtenadvocaat en vrouw van Tommy Wieringa.
Individuele klachten
De landsadvocaat verklaarde deze individuele klachten niet-ontvankelijk, aangezien de overheid niet naar individuen maar naar groepen kijkt. Vorige week was Februari bij een workshop van juristen over hoe je zulke rechtsbescherming dan wel zou moeten aanpakken. Februari: ‘Je kunt je op dit moment als individu er niet tegen verzetten dat er bijvoorbeeld naar jouw wijk gekeken wordt.’
Sommige ambtenaren geloven dat de software objectief is. Maar de data die er gaan zijn niet objectief. Ze zijn gemaakt. Iemand heeft ze gekozen
Uit gegevens van het ministerie van Sociale Zaken en Werkgelegenheid blijkt dat SyRI sinds eind 2014 in ieder geval in een paar stadswijken is toegepast. In 2015 zijn de wijk Bennekel-Oost en bedrijventerrein de Greefstraat in Eindhoven onder de dataloep gelegd. In 2016 is er een onderzoek gedaan in een paar buurten in Capelle aan den IJssel – buurten met veel werkloosheid, veel onveiligheid en een zwarte economie. Het ministerie van Sociale Zaken en Werkgelegenheid liet aan de Duitse website Algorithm Watch (algorithmwatch.org) weten dat in Capelle bij 62 van de 113 door SyRI verdachte personen geen fraude gevonden werd. In meer dan de helft van de gevallen zat het algoritme er dus naast.
Maar gericht zoeken naar fraude, daar is toch niks mis mee? ‘Dan ga je ervan uit dat de software objectief is’, zegt Februari, ‘een droge feitenmachine.’ Hij grinnikt geamuseerd. ‘Sommige ambtenaren geloven dat ook. Maar de data die in de software gaan zijn niet objectief. Ze zijn gemaakt. Iemand heeft ze gekozen.’ Mensen bepalen welke waardes gemeten en meegeteld worden en dat gaat vaak gepaard met een intrinsiek waardeoordeel.
Alleen mannen
Hij haalt een recent voorbeeld aan van software die Amazon intern gebruikte. Een zelflerend algoritme trainde zich om uit de bergen van sollicitaties toptalent te vissen. De sollicitatiebrieven kregen een waardering van één tot vijf sterren. Het werkte geweldig, tot iemand doorkreeg dat het algoritme nauwelijks vrouwelijke talenten ontdekte. De bias was verklaarbaar doordat de software was getraind met de sollicitatiebrieven die de afgelopen tien jaar aan Amazon gestuurd waren. Die waren vrijwel uitsluitend van mannen.
Algoritmes kunnen zo onbedoeld profileren op basis van etniciteit, sekse of andere eigenschappen. In het Amazon-voorbeeld werd het opgemerkt en kon de fout beredeneerd worden, maar vaak zal een dergelijke bias minder duidelijk zijn en, door de aard van de zelflerende software, groter worden. Als de software op zoek naar software alleen mannen aanneemt, dan zullen nieuwe supertalenten altijd mannen zijn, wat de software weer leert dat supertalenten mannen zijn.
Er is geen rechtsbescherming tegen onjuiste oordelen van de algoritmes
‘Het interessante is dat Amazon het niet meer goed kreeg. Ze hebben geprobeerd de bias te corrigeren. Maar dat lukte niet. Nu hebben ze besloten de automatisering af te schaffen.’
Opnieuw komt er een trein langs, die het praten onmogelijk maakt. Nu een intercity. Februari kijkt geamuseerd.
Hoe de software van SyRI mensen profileert, is geheim. Staatssecretaris Van Ark van Sociale Zaken verklaarde op 21 december 2018 in een antwoord op Kamervragen van GroenLinks dat er bij SyRi nog geen sprake is van zelflerende algoritmes. Risicogevallen worden uitgefilterd met een zogenaamde beslisboom. Stel dat mensen met een goede baan links af moeten slaan en mensen met een werkloosheidsuitkering rechts, en dat vervolgens iedereen links af moet slaan die een dure Audi of Porsche heeft. Dan zijn de mensen verdacht die in het gangetje terechtkomen waarbij je eerst rechts af moet slaan en vervolgens links.
Magische formule
Toch ligt het in de lijn van de verwachtingen dat de overheid zal gaan experimenteren met zelflerende algoritmes. De laatste vijf jaar zijn die steeds beter geworden. ‘Kunstmatig intelligente’ applicaties die creditcardfraude, spam of verdachte moedervlekken herkennen, zijn door mensen bijna niet meer te verslaan. Het probleem is dat de magische formule te ingewikkeld wordt om door mensen begrepen te worden. Het is als een machine die zichzelf gebouwd heeft en waarvan niemand meer begrijpt hoe die precies werkt. Een foute uitkomst kan dan niet meer gecheckt of zelfs herkend worden.
‘En daardoor is er geen rechtsbescherming tegen onjuiste oordelen van de algoritmes’, zegt Februari, die al lang nadenkt over algoritmes die een eigen leven gaan leiden. In 2017 publiceerde hij de roman Klont, waarin de jonge intellectueel Alexei Krups waarschuwt dat de wereld bedreigd wordt door ‘een klont’ van data en algoritmes die een eigen leven was gaan leiden.
Wereldproblemen oplossen
In zekere zin bestaat de klont al. Facebook is een kunstmatig intelligente applicatie die nauwelijks te sturen valt. Hetzelfde geldt voor de zoekmachine van Google. Niettemin denken de grote technologiebedrijven de wereldproblemen op te kunnen lossen met kunstmatige intelligentie. Om bijvoorbeeld de gemiddelde levensverwachting op aarde te kunnen laten stijgen of om de klimaatverandering op te lossen, moet voedsel slim gedistribueerd worden, aangestuurd door onbeheersbare algoritmes gevoed met enorme hoeveelheden data.
Februari: ‘De claim is dat we alles optimaliseren. Dat het bijvoorbeeld beter voor de gezondheid van kinderen is om psychofarmaca te nemen, zodat ze beter presteren. Maar wie bepaalt wat gezond is en wat een goed leven is, wie bepaalt hoe mensen beschermd willen worden? Als je komt met de apolitieke claim dat je iets “optimaliseert”, heb je er nauwelijks nog een tegenargument.’
Als wetten nooit overtreden waren, had er geen emancipatie plaatsgevonden
Soms is het geen probleem als onbegrijpelijke formules ingezet worden om het leven ‘beter’ te maken. Een magische formule die kwaadaardige moedervlekken herkent, kan levens redden. Maar zet je ongrijpbare en onbegrijpelijke formules in om ‘goede mensen’ van ‘slechte mensen’ te scheiden, dan kom je voor ethische problemen te staan. Want als regels verborgen liggen in onleesbare algoritmes van kunstmatige intelligentie, dan kun je ze niet meer overtreden of ter discussie stellen.
Dat is volgens Februari een schrikbeeld. ‘Wetsovertreding is van groot belang voor de rechtsstaat. Denk aan de zedenwetgeving, denk aan homoseksualiteit. Als wetten nooit overtreden waren, dan waren het homohuwelijk en de hele emancipatie van homoseksualiteit er nooit gekomen. Emancipatie van vrouwen heeft alleen kunnen plaatsvinden doordat vrouwen de wet gingen overtreden, je moet daar soms flink tegenaan duwen.’
Onbegrijpelijk algoritme
Als het verboden is om als zwarte vrouw voor in de bus te zitten, is het een daad van verzet om dat toch te doen en dit voor de rechter te laten komen. Dan gaan mensen zich realiseren dat de wet ter discussie gesteld moet worden. Als een onbegrijpelijk algoritme ervoor zorgt dat een Marokkaanse jongen met zijn ov-kaart niet meer door een poortje mag, kan hij weliswaar over het poortje heen springen, maar als hij dan gearresteerd wordt kan hij niet duidelijk maken dat de data onrechtvaardig zijn, te maken hebben met een bias die mensen met zijn afkomst, geslacht of geaardheid benadeelt. Als de regels niet meer duidelijk zijn, zijn ze ook niet meer aanvechtbaar.
Februari: ‘Een fundamenteel probleem is dat mensen hun individualiteit kwijtraken. Door te oordelen op basis van data, oordeel je op basis van profielen en niet op basis van ieders afzonderlijkheid. Ik denk dat het uitgerekend de mensenrechtenorganisaties zijn die de positie van het individu proberen overeind te houden. Het zou daarom goed zijn als organisaties als Amnesty International hun gewicht in de strijd zouden gooien. Want als we ons de wet laten voorschrijven door algoritmes, zijn we bezig de rechtsstaat en de democratie af te schaffen.’
Naam Maxim Februari, pseudoniem van Maximiliaan Drenth
Geboren 23 Februari 1963, Coevorden
Werk Filosoof, schrijver
Studeerde Rechten, filosofie en kunst-geschiedenis in Utrecht. Promoveerde op ethiek en economie aan de Katholieke Universiteit Brabant.
Schrijven Zijn dissertatie Een pruik van paardenhaar werd genomineerd voor de Gouden Uil. In 2013 verscheen De Maakbare Man, over zijn lichamelijke transformatie van vrouw naar man. De roman Klont (2017) gaat over hoe te leven in een wereld die door kunstmatige intelligentie wordt bestuurd. Februari heeft een wekelijkse column in NRC.
Rechtszaak Werkt met het Platform Bescherming Burgerrechten mee aan een bodemprocedure tegen de Nederlandse Staat. Bij het platform zijn onder meer het Nederlands Juristen Comité voor de Mensenrechten betrokken. Zie www.bijvoorbaatverdacht.nl.
