CPB bouwt tool om overheidsalgoritmes veilig te testen

Het Centraal Planbureau (CPB) heeft een nieuwe methode ontwikkeld waarmee overheidsorganisaties selectie-algoritmes kunnen toetsen op indirect onderscheid, zonder dat zij zelf toegang krijgen tot gevoelige persoonsgegevens. De zogenoemde Selectiviteitsscan maakt gebruik van beveiligde microdata van het Centraal Bureau voor de Statistiek (CBS) en laat zien dat het mogelijk is om algoritmes veilig en onafhankelijk te controleren op mogelijke ongelijke behandeling.

Selectie-algoritmes worden steeds vaker ingezet door overheden, bijvoorbeeld om dossiers te selecteren of risico’s in te schatten. Dat kan de efficiëntie vergroten, maar brengt ook risico’s met zich mee. Recente voorbeelden, zoals de controle op de uitwonendenbeurs, hebben laten zien dat algoritmische selectie kan leiden tot ongelijke behandeling van bepaalde groepen. Het toetsen van algoritmes op indirect onderscheid is echter complex, omdat organisaties doorgaans geen gevoelige persoonsgegevens mogen gebruiken, terwijl juist die gegevens nodig zijn om verschillen tussen groepen zichtbaar te maken.

Onderliggende persoonsgegevens 

De Selectiviteitsscan biedt hiervoor een oplossing: Overheidsorganisaties leveren uitsluitend de uitkomsten van hun selectieproces aan en uploaden deze naar de beveiligde microdataomgeving van het CBS. Een onafhankelijke uitvoerder voert daar de analyse uit door de selectieresultaten te koppelen aan CBS-gegevens over persoonskenmerken, zoals geslacht, leeftijd of migratieachtergrond. De organisatie die het algoritme gebruikt, krijgt alleen geaggregeerde uitkomsten terug in de vorm van tabellen en figuren. De onderliggende persoonsgegevens blijven volledig afgeschermd.

Voorbeeld

Als praktijkvoorbeeld heeft het CPB de Selectiviteitsscan toegepast op de Sollicitatiescan WW van het UWV. Dit algoritme ondersteunt medewerkers bij het bepalen welke WW-gerechtigden mogelijk extra ondersteuning nodig hebben bij het solliciteren. Uit de analyse blijkt dat zowel het algoritme als medewerkers selecties maken die afwijken van een neutrale referentiegroep. In die referentiegroep heeft 37 procent van de personen een migratieachtergrond. Bij de selectie door het algoritme is dat 38 procent en bij de selectie door medewerkers 43 procent. De afwijkingen ten opzichte van de referentiegroep blijken bij het algoritme kleiner dan bij de menselijke selectie.

De Selectiviteitsscan maakt zichtbaar dát er verschillen bestaan tussen groepen, maar velt geen oordeel over de vraag of deze verschillen gerechtvaardigd zijn. Het is aan de eigenaar van het algoritme om de uitkomsten te duiden en te beoordelen of er sprake is van ongewenste ongelijke behandeling. Ook wijst het CPB erop dat niet alle beschermde persoonskenmerken in de CBS-microdata zijn opgenomen, waardoor toetsing niet op alle mogelijke vormen van onderscheid mogelijk is.