Amnesty waarschuwt voor ‘computers conclusies laten trekken’

Amnesty International is bezorgd over het gebruik van algoritmes door de overheid en de conclusies die hieruit getrokken. De internationale mensenrechtenorganisatie vreest dat rechtvaardigheid in het geding komt wanneer apparaten steeds vaker beslissingen gaan maken. Dat schrijft directeur Eduard Nazarski op de website van het Rathenau Instituut.

Risico’s voor mensenrechten
Volgens Amnesty zijn algoritmes inmiddels diep doorgedrongen in de samenleving. Het voorspellen van de kans op jeugdcriminaliteit door de gemeente Apeldoorn in bepaalde wijken aan de hand van een grote set gegevens noemt Amnesty als een voorbeeld van de trend. Ook noemt hij software voor het voorspellen van inbraken en straatroven door politie Amsterdam en patrouilles van de Nederlandse marechaussee op basis van profielen die zijn opgesteld door een algoritme. ‘Deze instanties laten computers zoeken naar patronen in gegevens en trekken daaruit soms verregaande conclusies. Dat brengt risico’s met zich mee voor de mensenrechten’, aldus Nazarski.

Vooroordelen in software
Technologie kan, net als het gedachtegoed van mensen, vooroordelen bevatten. Gegevens zijn volgens Amnesty ‘zo gekleurd als wat’. Software is afhankelijk van de gegevens die erin worden gestopt, schrijft Nazarski, die daarbij verwijst naar onderzoek van de Amerikaanse onderzoekers Kristian Lum en William Isaac. ‘Zij pasten software die de Amerikaanse politie gebruikt om drugsmisdrijven te voorspellen toe op databases van de politie van Oakland. Wat bleek? De zogenoemde ‘predictive policing’-software voorspelde vooral drugsmisdrijven op plekken waar agenten in het verleden veel misdrijven hadden geregistreerd.’ De voorspellingen klopten niet met het beeld van de voorspellingen op basis van gezondheidszorg over drugsgebruik. Die wees namelijk uit dat drugsmisdrijven ook in andere delen van de stad voorkomen.

Paradox tussen privacy en rechtvaardigheid
Amnesty waarschuwt voor de ‘blinde vlek’ van bijvoorbeeld politiedatabases. Zelflerende software maakt de kans groot dat misdrijven in buurten gemist worden.  De effectiviteit van het politiewerk komt in gevaar, maar ook de rechtvaardigheid. Het mondt volgens Amnesty uit in een paradox: of de databases van de overheid bevatten blinde vlekken, of ze worden aan elkaar gekoppeld waardoor privacyrechten aangetast worden. Amnesty hoopt op discussie over het onderwerp en gaat mensenrechtenbeginselen formuleren voor kunstmatige intelligentie. In het najaar volgt een rondetafelgesprek over het gebruik van voorspellende analyses door politie en justitie.