Chatbots gemeenten spelen met vertrouwen van inwoners

De chatbots die door gemeenten nu worden ingezet voor dienstverlening en publiekscommunicatie beantwoorden slechts 10 procent van de vragen goed en 64 procent gewoon fout. Het is onverantwoord op deze manier het toch al lage vertrouwen van burgers in de overheid verder op het spel te zetten.

Deze cijfers komen uit recent onderzoek door Wiep Hamstra en Jules Ernst. De resultaten vind ik om twee redenen schokkend:

1. We hebben al een ontzettend groot probleem met ontbrekend vertrouwen in de overheid. Het eerste dat je daar aan moet doen als overheid is je betrouwbaar gedragen. Als je dan een tool inzet die geen betrouwbare antwoorden op vragen geeft, dan maak je het probleem groter in plaats van kleiner.
2. Als AI wordt ingezet in overheidscommunicatie, is menselijke toetsing en redactionele controle voor publicatie verplicht. Dit moet voorkomen dat eventuele onjuiste informatie die met generatieve AI-toepassingen is gecreëerd in communicatie-uitingen van de overheid terechtkomt. Hoe kan het dan dat chatbots onjuiste informatie genereren?

De reacties op het onderzoek van Ernst en Hamstra zijn voorspelbaar. Zo zegt de Vereniging Nederlandse Gemeenten (VNG) in een reactie op Binnenlands Bestuur: ‘De nieuwe AI-chatbots zijn nog geen eindproducten: de AI-toepassingen van vandaag zijn niet die van morgen.’ Dat is geen antwoord op de vraag waarom je toestaat dat de overheid nu foutieve informatie geeft. Als de technologie er nog niet klaar voor is, dan moet je het niet live zetten. Als gemeente accepteer je het immers ook niet als je medewerkers bij Klant Contact Centrum maar 10 procent van de vragen goed kunnen beantwoorden en zelfs 64 procent gewoon fout. Dat hoeven we van een online tool ook niet te accepteren. In ongeveer elke visie op dienstverlening en visie op communicatie staat dat de gemeente vooral betrouwbaar wil zijn. Toetsen gemeenten de output van de chatbots eigenlijk wel aan de basiswaarden die ze nastreven? Bovendien is in vergelijking met eenzelfde onderzoek vorig jaar geen enkele vooruitgang geboekt. Dus de toepassing van vandaag is nog steeds die van gisteren.

Het tweede deel van de reactie van de VNG is net zo voorspelbaar: ‘Inzicht van het afgelopen jaar op basis van ervaringen en reacties is dat daarbij kwaliteit van data enorm belangrijk is om verouderde antwoorden of hallucinaties te voorkomen.’ Het lijkt me toch dat gemeentelijke websites op zijn minst correcte informatie bevatten. En als die content niet volledig is of de kwaliteit is niet op orde: investeer daar dan als eerste in. Webredacties en online teams zijn in de regel zwaar onderbezet en ondergewaardeerd. We weten al decennia dat de nodige investeringen en professionaliteit daar ontbreken. Nu wordt er blijkbaar een tweede bak met content naast de website gezet om de chatbot te voeden. Dat lijkt me geen effectieve inzet van publieke middelen.

Ik vraag me echt af waarom het ministerie van BZK en de VNG zoveel investeren in niet-werkende technologie. Misschien speelt hier het psychologische principe van sunk cost fallacy: je gaat door met investeren omdat je al zoveel hebt geïnvesteerd. Of is de overheid echt helemaal in de ban van de beloften van tech-bro’s en megalomane AI Delta-plannen? Omdat ze eigenlijk geen zin hebben en geen tijd willen maken om het echte, taaie handwerk te doen? Leveranciers proberen wanhopig technologie een menselijk trekje mee te geven, terwijl het klantcontact in rap tempo dehumaniseert. Voelen bestuurders zich niet bij machte mee te praten, omdat de marketing-tech-praat hen omver blaast? Of geloven ze echt in het sprookje?

Ik tast nog in het duister. Ik begrijp echt niet dat niet iedereen op z’n achterste benen staat na publicatie van zo’n onderzoek. Ik roep alle (nieuwe) gemeentebesturen op niet langer toe te staan dat er op deze manier wordt geëxperimenteerd in de publieke ruimte. Het is spelen met het vertrouwen van burgers. En dat moeten we nou net niet doen.

Renata Verloop is specialist in overheidscommunicatie.