of 63372 LinkedIn

Beter toezicht op algoritmes noodzakelijk

Vera Prins Reageer

Uit onderzoek van Amnesty International blijkt dat de Nederlandse politie meer dan anderhalf jaar gebruikmaakte van algoritmes die tot discriminatie leidden. Het ging om een experimenteel project met massasurveillance in Roermond. Het experiment is na publicatie van het Amnesty-rapport We Sense Trouble: Automated Discrimination and Mass Surveillance in Predictive Policing in the Netherlands gestaakt. 

Toch heeft het project zich tot die tijd weten te onttrekken aan toezicht van de gebruikelijke controlerende instanties, zoals de gemeenteraad en de Autoriteit Persoonsgegevens. Amnesty vindt het hoog tijd voor wettelijke waarborgen en beter toezicht op wetshandhaving bij het gebruik van algoritmes.

In het Roermondse project werden de bewegingspatronen en locatiedata van alle auto’s op de wegen rondom de stad en een populair winkelcentrum met behulp van sensoren verzameld, bewaard in politiedatabanken en geanalyseerd met algoritmes. De politie gebruikte een risicoprofiel dat moest leiden tot het herkennen van potentiële buitenlandse winkeldieven en zakkenrollers. De politie wilde zo kennis opdoen van big data en algoritmes, maar het project had ook een operationeel doel: wanneer het algoritme een auto een hoge score toekende, kon de politie de auto stoppen en de inzittenden onderwerpen aan een uitgebreide controle.

Algoritmes lijken objectief, maar risicomodellen worden door mensen gemaakt en zijn afhankelijk van de gegevens die zij erin stoppen. Die mensen en dus ook de gegevens kunnen bevooroordeeld zijn en zo kan het algoritme tot discriminatie leiden. Zo richtte het Sensing-project zich op zogenaamde ‘mobiele bandieten’. In een politierapport worden verdachten met de Nederlandse, Belgische en Duitse nationaliteit uitgesloten, omdat de politie ervan uitgaat dat zij niet tot een netwerk behoren. De politie associeert mobiel banditisme ook met etniciteit: Roemeense en Bulgaarse netwerken bestaan volgens het politierapport uit “veel zigeuners (vooral Roma)”.

Deze vooroordelen werkten door in het risicoprofiel: de politie gebruikte onder meer een Roemeens kenteken als mogelijke profielregel. Nationaliteit of etniciteit zouden nooit mee mogen wegen in geautomatiseerde risicoprofielen van de politie, omdat dat leidt tot ongelijke behandeling van bepaalde groepen. In een kabinetsreactie ontkende de minister dat het project tot discriminatie leidt. De nationaliteit van het kenteken zou “onvoldoende onderscheidend vermogen” hebben om zelfstandig tot een hit te leiden. Nationaliteit is volgens de politie nooit het enige criterium. Dit doet niet af aan de discriminatoire effecten. Door nationaliteit mee te wegen krijgen mensen uit Oost-Europa een hogere risicoscore en hebben zij een grotere kans om onderworpen te worden aan politiecontroles. De definitie van mobiel banditisme leidt zo tot discriminatie.

Zorgwekkend is dat niemand ingreep. De toezichthouder, de Autoriteit Persoonsgegevens in dit geval, wist van niets en was niet geïnformeerd. De burgemeester benadrukte dat de verantwoordelijkheid primair ligt bij de stuurgroep van het project, waarin de nationale politie, het OM en de burgemeester participeren. Uit verslagen blijkt dat deze stuurgroep besloot om ‘low-profile’ te communiceren, waardoor toezicht door de gemeenteraad werd bemoeilijkt.

Uit onderzoek blijkt dat de inzet van technologie door de overheid zich vaker onttrekt aan de gebruikelijke controlemechanismen. Amnesty pleit daarom voor meer transparantie en toezicht. Om massasurveillance en discriminatie met algoritmes te voorkomen, moet een bindende mensenrechtentoets verplicht worden uitgevoerd voorafgaand aan projecten. Dit is in het belang van de rechten van iedereen, én komt de legitimiteit van en het vertrouwen in de politie ten goede.

Dr. mr. M.E. Koning en mr. V. E. Prins, Amnesty International.

Verstuur dit artikel naar Google+

Reageer op dit artikel
















Even geduld a.u.b.