Discriminatie voorkomen in het ontwerp van AI

De huidige normen voor het ontwikkelen van kunstmatige intelligentie (AI) hebben nog te weinig effect op de praktijk. Met dat uitgangspunt ontwikkelde een groep wetenschappers van drie verschillende universiteiten en het College voor de Rechten van de Mens een handreiking, 'Non-Discriminatie by Design', waarmee organisaties die AI willen inzetten discriminatie kunnen voorkomen.

Te rechtvaardigen

Directe en indirecte discriminatie zijn verboden, maar onderscheid maken tussen groepen kan voor overheden legitiem en te rechtvaardigen zijn. ‘Dat is zo als er sprake is van een legitieme reden om het onderscheid te maken, als het maken van onderscheid proportioneel is en als er geen minder ingrijpende middelen ter beschikking staan om hetzelfde doel te bereiken’, schrijven de onderzoekers.

De juiste vragen

Systeembouwers moeten zich bewust zijn van de basis waarop het AI-systeem onderscheid maakt en of dat te rechtvaardigen is: ‘Is het onderscheid bedoeld of onbedoeld; is het relevant of niet?’ Dat is afhankelijk van de context – iets waar een rechter altijd rekening mee zal houden. Om de juiste vragen te stellen over de technische, juridische en organisatorische voorwaarden, ontwikkelde het onderzoeksteam de handleiding.

Verdacht onderscheid

Een vraag over bewustwording is bijvoorbeeld: ‘Is er bij mijn doel, design of uitkomst sprake

van mogelijk ‘verdacht’ onderscheid?’ Als er onderscheid wordt gemaakt, is de vraag of die leidt tot benadeling: ‘Ik wil een AI systeem bouwen dat die personen met een dubbele nationaliteit in

mijn data er uit filtert en aanmerkt voor extra controle’ verwijst naar ‘De groep wordt extra gecontroleerd en ondervindt daarvan negatieve consequenties.’

Betrek belanghebbenden

Er zijn zes stappen voor het ontwikkelen en toepassen van algoritmen, van het vaststellen van de probleemdefinitie tot het toetsen van beleid, en per stap worden de juridische regels en best practices gegeven. Belanghebbenden en relevante groepen in de samenleving moeten vanaf het begin worden betrokken, onafhankelijke experts moeten kritisch blijven meekijken en personen over wie automatische besluiten worden gemaakt, moeten daarvan op de hoogte zijn en bezwaar kunnen aantekenen. Bij fouten moet het proces worden gestopt.

Lokaal algoritmegebruik

Zeker 25 gemeenten maken gebruik van 'slimme' algoritmes, wees onderzoek van de NOS in samenwerking met lokale omroepen begin dit jaar uit. In april wees de Rotterdamse rekenkamer op de risico’s in het lokale algoritmegebruik en begin 2020 was de geruchtmakende uitspraak van de rechtbank in Den Haag dat de inzet van SyRI ‘onrechtmatig’ was want het vormde een te grote inbreuk op de privacy van burgers.