Rekenkamer: Ethische risico’s in Rotterdamse algoritmes

De gemeente Rotterdam heeft onvoldoende aandacht voor het ethisch gebruik van algoritmes, concludeert de Rekenkamer Rotterdam. Het is voor de burger vrijwel onmogelijk om goed inzicht te krijgen in hoe de algoritmes precies werken. Bovendien neemt de gemeente de invloed van algoritmes op inwoners niet serieus genoeg.

Discriminatie
Daardoor bestaat het risico dat de Rotterdamse algoritmes leiden tot vooringenomen uitkomsten. Zo vond de Rekenkamer in een algoritme dat bedoeld is om uitkeringsfraude op te sporen bepaalde variabelen die een proxy zouden kunnen zijn voor etnische achtergrond. Op die manier kan indirect discriminatie plaatsvinden.

Transparantie
Datzelfde algoritme is bovendien onvoldoende transparant. Als er op basis van het algoritme een heronderzoek naar de rechtmatigheid van een uitkering wordt ingesteld, worden burgers vaak niet ingelicht over de rol van het algoritme in die beslissing. Ook kan de gemeente niet goed uitgeleggen waarom het algoritme een bepaalde inwoner heeft uitgekozen. Medewerkers lijken zich onvoldoende bewust van de grote invloed die zo’n heronderzoek, waarbij uitkeringsontvangers binnen twee weken een ‘flink pakket’ aan bewijsstukken moeten aanleveren en op gesprek moeten komen, heeft op de inwoner.

‘Pilot’
Daar komt bij dat het niet duidelijk is hoe effectief de algoritmes eigenlijk zijn. De gemeente hanteert geen richtlijnen voor het evalueren van de prestaties van algoritmes. Het eerdergenoemde fraude-opsporingssysteem heeft al vier jaar de status van een ‘pilot’ zonder einddatum. Het algoritme is in toenemende mate onderdeel van het beleid geworden, terwijl de gemeente nooit heeft onderzocht of het beter werkt dan oudere methoden.

Algoritmeregister
De Rekenkamer adviseert het college onder andere om de eindverantwoordelijkheid voor het ethische gebruik van algoritmes te beleggen bij één centraal punt in de organisatie. Ook moet er een register komen waarin wordt opgenomen welke algoritmes de gemeente gebruikt, hoe ze werken, wat de gevolgen voor inwoners zijn en welke ethische risico’s ze met zich meebrengen. Het college neemt alle aanbevelingen over.