‘Algoritmes zijn altijd moreel gekleurd’

Waarom gaat het publieke debat over de democratie zo weinig over de gevaren van datasturing? Met het essay ‘Doe zelf normaal’ raakt schrijver Maxim Februari een gevoelige snaar. ‘Ook als je technologie in positieve zin gebruikt, moet je blijven opletten wat je aan het meten bent.’

Ze staan voor hem in de rij. Hoewel het essay Doe zelf normaal. Menselijk recht in tijden van datasturing en natuurgeweld pas enkele weken geleden verscheen, ontmoette schrijver en filosoof Maxim Februari sindsdien al veel ambtenaren die hem tijdens signeersessies komen bedanken. ‘Ze zeggen dat ze dit gesprek al zo lang proberen aan te gaan binnen hun afdeling en dat het maar niet lukt’, zegt hij.

Dat gesprek gaat over het gemak waarmee veel gemeenten leunen op data en datatools van commerciële bedrijven. Het gaat over rekenmodellen die blindelings worden vertrouwd, waar inwoners met de grootst mogelijke argwaan worden bejegend. En het gaat over een toekomst waarin digitale informatiesystemen mensen de norm opleggen en daarmee de plaats van het recht in de staat veranderen. Het zijn onderwerpen die zelden zo helder en kort uit de doeken werden gedaan als in Doe zelf normaal, dat 142 bladzijden telt.

Februari zag het schrijven ervan als een soort opdracht. ‘Ik besloot het te schrijven omdat er eigenlijk niks is. Nu hebben die ambtenaren een redelijk pleidooi in handen dat ze kunnen gebruiken om tegen hun leidinggevende te zeggen: lees dit eens, er gebeuren best grote en serieuze dingen waarover we het moeten hebben.’

Waarom gaat het publieke debat over de democratie nog zo weinig over datasturing? Meer dan andere westerse landen is Nederland een alpha- en gammaland, meent Februari. ‘Iedereen denkt dat technologie een bèta-onderwerp is, wat het niet is. Na het lezen van dit boek merk ik dat veel mensen van mij verwachten dat ik vertel hoe het nu verder moet. Dat wil zeggen dat ze geen zin hebben om zichzelf in te lezen.’

Als een van de weinigen prominenten zit Februari wel goed in de materie. In 2020 spande hij met anderen een rechtszaak aan tegen de overheid vanwege de inzet van SyRI, het systeem van risico- indicatie voor het opsporen van sociale- zekerheidsfraude. Hoewel de rechter ze gelijk gaf en SyRI werd stopgezet, verzamelt en combineert de overheid nog altijd graag data om risicoprofielen aan te leggen. Zo bleek onlangs dat de gemeente Rotterdam tot in 2021 een bijstandsfraude- algoritme gebruikte dat vooral alleenstaande moeders en mensen die de taal niet goed machtig zijn als potentiële fraudeurs aanwees.

Norm

De titel van het essay verwijst naar ‘de meest fascinerende dialoog uit de geschiedenis van de westerse filosofie’ (‘Doe normaal’, zei de parlementariër. ‘Doe zelf normaal’, zei de minister-president). Het idee van een norm waaraan je al dan niet kunt voldoen, ontstaat in de negentiende eeuw, schrijft Februari. De opkomst van de statistiek had daar een grote invloed op. Het was handig dat de overheid voortaan bijvoorbeeld wist tot welke leeftijd mensen doorgaans konden werken. Maar al snel werden zulke data gezien als een soort voorschrift waaraan burgers moeten voldoen. En die statische norm wordt des te dwingender in onze eeuw, nu het verzamelen van data voor beleidsdoelen een grote vlucht neemt.

Februari zegt: ‘Je kunt technologie gebruiken bij je werk, maar de neiging bestaat om het maar helemaal aan de technologie over te laten. Ook als je het in positieve zin gebruikt, moet je voortdurend blijven opletten wat je aan het meten bent. Is dat nog wel dat wat je wilt weten? Als overheid zul je een uitgebreid bestek moeten maken voor de omgang met ieder algoritme, met regelmatige evaluaties.’

In het boek haalt u het voorbeeld aan van een ‘magisch schild’ dat gemeenten in staat stelt om automobilisten met behulp van GPS te dwingen om binnen een virtuele zone niet harder dan dertig kilometer per uur te rijden. Bijvoorbeeld in de buurt van een kleuterschool. Hoe verschilt dat van het verplichten van het dragen van een autogordel?

‘Een autogordel is een regel op papier waartoe jij je kunt verhouden en waarvan je kunt besluiten om het niet te doen. Besluiten om iets niet te doen is heel heilzaam. Binnen de luchtvaartmaatschappijen is een systeem in zwang waarbij de piloot tijdens de vlucht kan beslissen om protocollen niet op te volgen. Bij terugkomst moet de piloot uitleggen waarom het protocol niet is opgevolgd en gaat men kijken of het terecht was, maar iedereen is ervan doordrongen dat dit levens redt. Als je te allen tijde alle protocollen moet opvolgen, gaat het onherroepelijk mis.’

‘Een bestuurlijk gevaar is dat beslissingen worden genomen door de systemen en de mens wordt toegevoegd om de verantwoordelijkheid te dragen. Als er iets mis is, wordt de mens eruit gegooid en blijft het systeem in feite intact. Bij het Toeslagenschandaal wordt terecht gekeken naar de menselijke verantwoordelijken, maar mijns inziens nog te weinig naar de werking van het systeem.’

U schrijft dat we vertrouwen op een rekenmodel dat het risico voorspelt op kindermishandeling, gemaakt door dezelfde feilbare stervelingen die we niet vertrouwen met de zorg voor hun eigen kinderen. Waar komt toch die discrepantie vandaan tussen het vertrouwen in mensen en in digitale systemen?

‘Mensen hebben de neiging om te geloven dat wat niet in letters maar in cijfers is geformuleerd vanzelfsprekend veel betrouwbaarder is. Het valt ze bijna niet aan het verstand te brengen dat data en algoritmes altijd met een bepaald doel zijn gemaakt en dus moreel gekleurd zijn, soms zelfs ideologisch gekleurd. En dat de algoritmes vol zitten met aannames, en de uitkomsten dus gekleurd zijn. Ik vind het inderdaad een merkwaardig fenomeen dat we burgers aan alle kanten doorlichten in de opvoeding van hun eigen kinderen, maar dat we ze op kantoren rustig aan de gang laten met onbekende systemen die voor een groot deel zijn aangekocht van bedrijven die alleen op winstbejag uit zijn.’

Momenteel passen we oude oplossingen toe op een nieuwe werkelijkheid, schrijft u, zoals algoritmeregisters, AI-opleidingen, wetgeving en diplomatie. Die zouden niet voldoen in een werkelijkheid waarin alles in een netwerk met elkaar in verbinding staat.

‘De oplossing zit vooral in het zien wat het probleem is. Met meer expertise komen we een heel eind. De opdracht voor de komende tien jaar is zorgen dat er op alle plekken van de staat expertise zit, ook in de gemeenten, waar dat nu nog niet overal het geval is.’

Maar zelfs als we alle oplossingen inzetten die de Wetenschappelijke Raad voor het Regeringsbeleid voorstelt, zijn we er volgens u nog niet. Waarom niet?

‘Dat komt omdat er grote, diepe veranderingen plaatsvinden. We raken in snel tempo normeringsmacht en beslissingsmacht kwijt aan bedrijven. Daar zit een morele kennisclaim achter, namelijk dat je de definitie van wat van goed en wenselijk is kunt invullen door gebruik te maken van data. De meest cruciale zin van het essay is ‘Kant had nog niet te maken met computers’. De principes van onze ethische systemen hebben we altijd opgezet vanuit menselijk redeneren. Nu krijg je normen aangeleverd door computers. Daarom moeten we de democratische rechtsstaat opnieuw doordenken. Waarom hadden we die, waar beschermt het tegen? Hoe geven we de checks and balances in de nieuwe situatie vorm? Dat vraagt om veel meer dan algoritmeregisters. Dat betekent een herorientatie op de democratische rechtsstaat.’

Ondertussen doemt ook de klimaatcrisis op. U waarschuwt dat overheden in tijden van crises geneigd zijn oplossingen erdoor te drukken. Klimaatbeleid in combinatie met technologie kan leiden tot een situatie waarin de belangen van de mens niet meer centraal staan. Maar een ambitieuzer klimaatbeleid zou toch een zegen zijn voor de planeet?

‘Ah, het klimaatactivistenargument! Heel sympathiek en heel gevaarlijk. Sommige klimaatactivisten geloven dat we haast moeten maken, ook als dat ten koste gaat van burgerrechten. Maar door klimaatverandering zullen veel conflicten ontstaan, over water, over grond, klimaatvluchtelingen. Zelfs binnen Nederland zal er onenigheid ontstaan over wie waar mag wonen. Het lijkt me geen gelukkige combinatie om die conflicten tegemoet te gaan zonder de bescherming van de democratie en de rechtsstaat. Bovendien speel je staten in de kaart, die zullen zeggen dat ze onze inspraak en vrijheden afschaffen uit naam van het klimaat. Vervolgens barst de oorlog los en beland je in een anarchie.’

Voordat de moedeloosheid echt de overhand neemt, heeft Februari nog een lichtpuntje voor de lokale overheid in petto. Met het oog op de grote veranderingen die er op ons af komen, is het vinden van gezamenlijkheid lokaal misschien makkelijker dan nationaal, denkt hij. Waar hij in het essay de grond gelijkmaakt met nieuwe democratische experimenten, is hij bij nader inzien wel positief over de kansen van burgerberaden voor het lokaal bestuur. ‘Met name voor klimaatbeleid moet snel veel democratisch draagvlak worden gevonden, als we niet de oplossing van fervente klimaatactivisten kiezen om de democratie af te schaffen. Ik denk dat burgerberaden lokaal kans van slagen hebben, vanwege de schaal en omdat de lijnen er anders lopen. Dat kan het startpunt zijn voor het ontstaan van hoognodig draagvlak.’