'Mensen moeten beperkingen algoritmen kunnen zien'

We zijn nog niet heel ver met bepalen van wie verantwoordelijk is bij geautomatiseerde besluitvorming. Dat vindt hoogleraar Bestuursrecht, markt en data Johan Wolswinkel van Tilburg University, die vandaag zijn inaugurele rede houdt. ‘In de rechtsontwikkeling is het zoeken naar hoe ver je kunt gaan.’

‘Ik vind zelf AERIUS een heel mooi voorbeeld van de problematiek. De Raad van State sprak zich in 2017 niet alleen uit over het Programma Aanpak Stikstof (PAS), maar ook over AEIUS, het programma waarmee de overheid de stikstofdepositie berekent. De Raad van State heeft gezegd dat het gevaar dreigt dat geautomatiseerde besluitvorming een black box wordt, terwijl dat juist inzichtelijk moet zijn. Als een vergunning wordt geweigerd, moet de aanvrager weten waarom.’

Wat maakt geautomatiseerde besluitvorming anders?

‘Een computerprogramma gedijt vaak bij grote aantallen. Er is veel data nodig, maar soms is het perspectief van lokale overheden te klein. De landelijke overheid schreef daarom voor dat de provinciebesturen AERIUS moesten gebruiken bij vergunningverlening, maar het was het provinciebestuur dat voor de bestuursrechter werd gedaagd. Het provinciebestuur wees voor de uitleg van AERIUS naar het rijk. De rechter maakte duidelijk dat het provinciebestuur en het rijk zich niet achter elkaar kunnen verschuilen en verplichtte het rijk om inzage te bieden in het systeem. Deze casus maakt mooi het probleem duidelijk: wie is er nou verantwoordelijk?’

Hoe ver zijn we nu met het bepalen van wie verantwoordelijk is?

‘Nog niet heel ver. In theorie is het eenvoudig: de overheidsinstantie die de beslissing neemt op basis van het computersysteem. Pas in een specifieke casus lopen we ertegenaan dat de praktijk complexer is. Bij de WOZ maken veel gemeenten gebruik van door private partijen ontwikkelde taxatiesoftware. Daar leunt de decentrale overheid op private partijen en die leveranciers willen algoritmen niet zomaar openbaar maken. Moet je dan zeggen: dit is hun intellectueel eigendom, dat moet je respecteren, of moet je een soort middenweg zoeken waardoor het algoritme toch deels openbaar wordt? De rechtsontwikkeling is erg ad hoc, trial and error, zoeken naar hoe ver je kunt gaan.’

Soms lijkt digitaal bestuursrecht op het Wilde Westen, waar geen duidelijke wetten zijn.

‘Dat is een aardige observatie en er zijn twee manieren om naar de wetgeving  te kijken. De ene manier is als naar het Wilde Westen waar men vrij kan experimenteren. Digitaal lijken de regels te weinig specifiek, terwijl het ‘analoge’ bestuursrecht, waarmee ik vooral refereer aan het klassieke bestuursrecht zoals we dat kennen, redelijk veel houvast biedt. Een ander perspectief is dat hoewel wetgeving geen specifieke normen aanreikt, er wel algemene beginselen zijn waaraan je je ook zult moeten houden bij geautomatiseerde besluitvorming. Ik geloof in dat tweede perspectief, maar er zijn een aantal problemen.’

Zoals?

‘Welke concrete regels moeten er dan komen? De een legt het motiveringsbeginsel in digitale context uit als het volledig kunnen uitleggen van algoritmen, de ander zegt dat dat onmogelijk en onnodig is en dat je alleen in hoofdlijnen moet kunnen motiveren. Het is misschien prettig voor overheden als dat soort regels concreter worden. Een tweede punt is dat de rechter pas achteraf een uitleg van de beginselen geeft, terwijl overheden eigenlijk van tevoren al willen weten waaraan je je moet houden.’

‘Ik geef een voorbeeld: de AVG bevat een specifiek verbod op volledig geautomatiseerde besluitvorming bij de verwerking van persoonsgegevens. Er moet altijd een mens in the loop zijn. Maar als een mens alleen stempels zet op basis van digitale berekeningen dan is het formeel gezien misschien niet volledig geautomatiseerd, maar inhoudelijk wel. Ondermijnt dat de regelgeving niet? Menselijke interventie moet inhoudelijk zijn.’

U gaat het in uw rede hebben over een wisselwerking tussen analoog en digitaal bestuursrecht. Hoe biedt dat een oplossing?

‘Heel hot is bijvoorbeeld de roep om maatwerk. Het idee van geautomatiseerde besluitvorming versterkt echter het idee dat maatwerk niet mogelijk zou zijn bij algoritmen. Dat lijkt mij onterecht. In het analoge bestuursrecht kennen we al langer de figuur van de beleidsregel, waarvan in bijzondere omstandigheden kan en moet worden afgeweken en waardoor maatwerk mogelijk wordt. In digitaal bestuursrecht kan dat betekenen: als het algoritme 'linksaf' zegt, moeten wij kunnen zeggen: we gaan rechtsaf.'