De Immigratie- en Naturalisatiedienst gebruikt een algoritme genaamd Case Matcher. Het helpt medewerkers bij asielaanvragen vergelijkbare zaken op te zoeken, zodat gelijke gevallen gelijk worden behandeld. Een interne zoekmachine, dat klinkt onschuldig. Maar twee recente vonnissen van de rechtbank Den Haag maken duidelijk dat die onschuld niet vanzelf spreekt.
Ook een zoekmachine verdient motivering onder de Awb
Als een algoritme de besluitvorming beïnvloedt, moet je uitleggen hoe, stelt de bestuursrechter. En welke risico's eraan kleven.
De rechtbank eiste dat de IND documenteert hoe Case Matcher zoekresultaten rangschikt, of er een scoringsmechanisme achter zit, en welke criteria bepalen wat 'vergelijkbaar' is. Bovendien moet de IND inzicht geven in de risico's op automation bias en welke maatregelen daartegen zijn getroffen. Niet alleen melden dat je een algoritme gebruikt, maar motiveren hoe het werkt. Artikel 3:47 Awb, de motiveringsplicht, geldt ook voor de digitale gereedschapskist.
De IND kon aantonen dat Case Matcher geen AI-systeem is, geen machine learning en geen zelflerend model. Maar dat was voor de rechtbank onvoldoende. Ook een regelgebaseerd algoritme dat zoekresultaten rangschikt, maakt keuzes. Het bepaalt wat bovenaan staat en wat de medewerker als eerste ziet.
Wie drie vergelijkbare afwijzingen gepresenteerd krijgt, begint onvermijdelijk vanuit dat perspectief te redeneren
Als Case Matcher drie 'vergelijkbare' zaken presenteert, vormen die het referentiekader waarbinnen de medewerker oordeelt. Maar de sturing begint al eerder: bij de zoekactie zelf. Wie zoekt op termen die richting afwijzing wijzen, krijgt andere resultaten dan wie zoekt naar redenen om toe te laten. Het algoritme rangschikt vervolgens wat het vindt — en welke zaken wel verschijnen en welke niet, stuurt het denken verder. Wie drie vergelijkbare afwijzingen gepresenteerd krijgt, begint onvermijdelijk vanuit dat perspectief te redeneren. Niet uit onwil, maar omdat menselijke oordeelsvorming zo werkt.
Dat dit geen theoretisch gevaar is, bewees het eerdere visum-algoritme van Buitenlandse Zaken: aanvragers uit bepaalde landen bleken tot zeventig keer vaker als 'risicovol' te worden aangemerkt, ook wanneer ze uiteindelijk gewoon een visum kregen. Ook daar klonk het verweer dat de medewerker beslist, niet de computer.
Deze uitspraken raken niet alleen de IND. Ze raken een breder patroon in de uitvoeringspraktijk. Het verweer is steeds hetzelfde: het is alleen een voorselectie, een professional kijkt er nog naar, de uitkomst is slechts een indicatie, dus er is geen gevaar. Maar dat gaat voorbij aan hoe besluitvorming feitelijk werkt. Een risicoscore, een voorsortering, een zoekresultaat, het zijn allemaal momenten waarop keuzes worden gemaakt die de uitkomst beïnvloeden. Juist de stappen die aan het eigenlijke besluit voorafgaan verdienen aandacht, want zij bepalen het speelveld waarbinnen de beslisser opereert.
Inzet van zoekmachines, filters en voorselecties is prima, maar dan moet je het wel uitleggen. Een registratie in het Algoritmeregister op systeemniveau vervangt die uitleg niet. Motivering hoort in het individuele besluit, bij de feiten en omstandigheden die ertoe doen.
Arnoud Engelfriet, opleidingsdirecteur ICTRecht
Plaats als eerste een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.