Advertentie

Amnesty waarschuwt voor ‘computers conclusies laten trekken’

Amnesty International is bezorgd over het gebruik van algoritmes door de overheid en de conclusies die hieruit getrokken. De internationale mensenrechtenorganisatie vreest dat rechtvaardigheid in het geding komt wanneer apparaten steeds vaker beslissingen gaan maken. Dat schrijft directeur Eduard Nazarski op de website van het Rathenau Instituut.

10 oktober 2017

Amnesty International is bezorgd over het gebruik van algoritmes door de overheid en de conclusies die hieruit getrokken. De internationale mensenrechtenorganisatie vreest dat rechtvaardigheid in het geding komt wanneer apparaten steeds vaker beslissingen gaan maken. Dat schrijft directeur Eduard Nazarski op de website van het Rathenau Instituut.

Risico’s voor mensenrechten
Volgens Amnesty zijn algoritmes inmiddels diep doorgedrongen in de samenleving. Het voorspellen van de kans op jeugdcriminaliteit door de gemeente Apeldoorn in bepaalde wijken aan de hand van een grote set gegevens noemt Amnesty als een voorbeeld van de trend. Ook noemt hij software voor het voorspellen van inbraken en straatroven door politie Amsterdam en patrouilles van de Nederlandse marechaussee op basis van profielen die zijn opgesteld door een algoritme. ‘Deze instanties laten computers zoeken naar patronen in gegevens en trekken daaruit soms verregaande conclusies. Dat brengt risico’s met zich mee voor de mensenrechten’, aldus Nazarski.

Vooroordelen in software
Technologie kan, net als het gedachtegoed van mensen, vooroordelen bevatten. Gegevens zijn volgens Amnesty ‘zo gekleurd als wat’. Software is afhankelijk van de gegevens die erin worden gestopt, schrijft Nazarski, die daarbij verwijst naar onderzoek van de Amerikaanse onderzoekers Kristian Lum en William Isaac. ‘Zij pasten software die de Amerikaanse politie gebruikt om drugsmisdrijven te voorspellen toe op databases van de politie van Oakland. Wat bleek? De zogenoemde ‘predictive policing’-software voorspelde vooral drugsmisdrijven op plekken waar agenten in het verleden veel misdrijven hadden geregistreerd.’ De voorspellingen klopten niet met het beeld van de voorspellingen op basis van gezondheidszorg over drugsgebruik. Die wees namelijk uit dat drugsmisdrijven ook in andere delen van de stad voorkomen.

Paradox tussen privacy en rechtvaardigheid
Amnesty waarschuwt voor de ‘blinde vlek’ van bijvoorbeeld politiedatabases. Zelflerende software maakt de kans groot dat misdrijven in buurten gemist worden.  De effectiviteit van het politiewerk komt in gevaar, maar ook de rechtvaardigheid. Het mondt volgens Amnesty uit in een paradox: of de databases van de overheid bevatten blinde vlekken, of ze worden aan elkaar gekoppeld waardoor privacyrechten aangetast worden. Amnesty hoopt op discussie over het onderwerp en gaat mensenrechtenbeginselen formuleren voor kunstmatige intelligentie. In het najaar volgt een rondetafelgesprek over het gebruik van voorspellende analyses door politie en justitie. 

Reacties: 4

U moet ingelogd zijn om een reactie te kunnen plaatsen.

veestapel
Policor software, je moet wel marxistisch gedeformeerd zijn om zoiets te verzinnen.

@Paul

De VN slaan nog geen deuk in een zak pepernoten, zo serieus neem ik ze.
Uw emailadres wordt enkel gebruikt om mogelijk contact met u op te nemen naar aanleiding van uw bericht en is enkel zichtbaar voor de redactie.
veestapel
Gelukkig bevat dit oersaaie linkse geneuzel van Amnesty een interessant aandachtspuntje; mensenrechten voor software..
Uw emailadres wordt enkel gebruikt om mogelijk contact met u op te nemen naar aanleiding van uw bericht en is enkel zichtbaar voor de redactie.
Paul / Beleidsmedewerker EZ
@ @: jammer dat je Amnesty wegzet als links geneuzel. Ook op een site als tweakers zijn artikelen gepubliceerd waaruit duidelijk blijkt dat data niet neutraal is, maar afhankelijk van het doel van de verzamelaar van de gegevens. Het is op alle gebieden van belang om dat te onderkennen. Zeker als het gaat om mensenrechten. Dat is niet links of rechts wat mij betreft maar is een universeel recht!. Vandaar de verklaring van de rechten van de mens door de VN. Of is die organisatie ook links geneuzel.
Uw emailadres wordt enkel gebruikt om mogelijk contact met u op te nemen naar aanleiding van uw bericht en is enkel zichtbaar voor de redactie.
Peter / Projectmanager
Beetje 'gekleurd' statement van AI.



De genoemde ontwikkelingen lopen al vele jaren, de genoemde risico's worden al lang onderkend en geadresseerd, juridisch-ethische aspecten zijn Europees en wereldwijd reeds lang in ontwikkeling, art. 22 GDPR reguleert expliciet 'Geautomatiseerde individuele besluitvorming, waaronder profilering'.



Wat niet wegneemt dat de aandacht van AI nooit kwaad kan.
Uw emailadres wordt enkel gebruikt om mogelijk contact met u op te nemen naar aanleiding van uw bericht en is enkel zichtbaar voor de redactie.
Advertentie