Gemeentehuis open op 5 mei? Chatbot heeft geen idee

Gemeentelijke chatbots geven geen, irrelevante of inhoudelijk niet-kloppende antwoorden op eenvoudige vragen. En hoewel wettelijk verplicht, zijn ze ook niet toegankelijk genoeg.

Toegankelijkheidseisen

Dat zijn de harde conclusies van overheidscommunicatie-expert Wiep Hamstra en Jules Ernst, deskundige op het gebied van digitale toegankelijkheid. Tussen 1 mei en 2 juni 2025 testten zij chatbots op de hoofdwebsites van 36 gemeenten diverse keren aan de hand van vier vragen op het gebied van dienstverlening. Ook deden ze een aantal metingen op digitale toegankelijkheid. Op beide vlakken brengen de bots het er matig van af. Zo voldoet geen van de onderzochte chatbots aan de toegankelijkheidseisen die de overheid stelt aan websites en webapplicaties.

Openingstijden

‘Zijn jullie aanstaande maandag open?’ Als deze vraag wordt gesteld op de vrijdag voor Bevrijdingsdag, maandag 5 mei 2025, dan hoort het antwoord ‘nee’ te zijn. Geen van de 36 onderzochte chatbots geeft het correcte antwoord.

Op de vraag over Bevrijdingsdag volgt een antwoord met de standaard openingstijden, geen antwoord, of een verwijzing naar een pagina op de website waar het juiste antwoord ook niet te vinden is. Omdat er regelmatig chatbots uitvallen, herhaalt Ernst het experiment met deze vraag in het weekend voor Pinksteren. Eén chatbot presteert het deze keer om te antwoorden: ‘Aanstaande maandag zijn we gesloten in verband met Bevrijdingsdag’, met een verwijzing naar een oud nieuwsbericht.

Informatiehuishouding op orde

Gemeentelijke chatbots zijn er in drie varianten. Veel gemeenten maken gebruik van een gescripte bot, die voorgeprogrammeerde antwoorden geeft. Andere chatbots genereren zelf een antwoord op basis van inhoud van de website. De derde variant is een mengvorm. Alle varianten doen het nagenoeg even slecht in het onderzoek. De meest gebruikte chatsoftware onder gemeenten is Spotler (tot vorig jaar bekend als OBI4wan), gevolgd door de Virtuele Gemeente Assistent GEM.

Hoe meer de gemeentelijke website op orde is, hoe beter de chatbots het ervan afbrengen, zien de onderzoekers. Ook doen oudere bots het over het algemeen beter dan nieuwere. ‘We ontdekten dat veel chatbots niet zo goed zijn in het voeren van conversaties, maar wel in het doorverwijzen naar informatie,’ zegt Ernst. ‘Ze functioneren als een veredelde zoekmachine. Dat doen ze vaak beter dan de zoekmachine op de gemeentewebsite zelf.’

Ze waarschuwen dat een chatbot op een slecht onderhouden website sowieso geen heil kan brengen. De gemeente moet dan ofwel veel handwerk verrichten met gescripte antwoorden, wat neerkomt op dubbel beheer, óf ze moeten de scope van de bot heel beperkt houden. ‘Beide zijn geen passende oplossingen voor een overheidsorganisatie,’ aldus Hamstra.

Smalle scope

De scope van de chatbots is sowieso al smal: ze geven antwoord op vragen over producten en diensten en veel minder over de thema’s waar gemeenten gewoonlijk over communiceren. Op de vraag ‘Krijgen we een asielzoekerscentrum in de gemeente?’ geven de chatbots geen antwoord, ook niet als de gemeentewebsite een pagina met informatie over het asielzoekerscentrum bevat. Hamstra is stelling: ‘Ik noem dat censuur.’ Soms gaat het ook gewoon fout en volgt op de vraag over asielzoekers het antwoord: ‘Wat leuk, gefeliciteerd! Meer informatie over trouwen en geregistreerd partnerschap vindt u op onze website.’

Paspoort voor Spanje?

Met de vraag ‘Heb ik een paspoort nodig als ik naar Spanje ga?’ testen de onderzoekers of de chatbot vermeldt dat een geldige ID-kaart ook een optie is. Vijf chatbots noemen in hun antwoord de identiteitskaart. Niet één vermeldt expliciet dat je niet per se een paspoort nodig hebt in Spanje. De vierde vraag, ‘Kan ik kwijtschelding krijgen?’ onderzoekt of de chatbots doorverwijzen.

Op het gebied van toegankelijkheid komt Ernst allerlei gebreken tegen. Met behulp van voorleessoftware zet hij de gevoerde gesprekken om in gesproken tekst. Daarbij verdwijnt vaak de opmaak, waardoor het gesprek verandert in één lange brij aan tekst. Ook opvallend noemt hij dat de chatbots om de haverklap uit de lucht zijn en zich soms gedragen als ambtenaren: ze werken niet buiten kantoortijden.