Hoe komt het dat gemeentelijke chatbots het antwoord op veel inwonersvragen schuldig blijven? En is het niet beter om de technologie pas in te zetten op het moment dat de inwoner er echt van op aan kan? Peter-Paul Hellings, product owner van de virtuele gemeente-assistent Gem, vertelt waarom het volgens hem toch belangrijk is dat de overheid blijft experimenteren met chatbots.
‘Niet meedoen met chatbots zet gemeenten op achterstand.’
Inwoners gebruiken steeds vaker ChatGPT om antwoord te krijgen op overheidsvragen, ziet Peter-Paul Hellings, product owner van chatbot Gem.
Niet perfect
De virtuele assistent Gem werd ontwikkeld in Utrecht, waar Hellings werkt als projectleider dienstverlening, in samenwerking met de gemeente Tilburg. Gem wordt inmiddels in 27 gemeenten ingezet. Net als de meeste andere gemeentelijke chatbots scoort Gem matig in het onderzoek van communicatiedeskundige Wiep Hamstra en toegankelijkheidsexpert Jules Ernst. Zowel bij het beantwoorden van vragen als bij toegankelijkheid vertoont de chatbot gebreken.
Gem geeft vooraf uitgeschreven (gescripte) antwoorden, op basis van signaalwoorden in de vraag van de inwoner, zoals het woord ‘paspoort’. Deels is de content van Gem generiek voor gemeenten (informatie over het aanvragen van een paspoort bijvoorbeeld) en deels lokaal (de prijs van een paspoort kan verschillen per gemeente).
‘Wij herkennen ook wel dat de gesprekken die de bot voert niet altijd perfect lopen,’ zegt Hellings. ‘We werken als gemeenten daarom juist nauw samen om de chatbot te verbeteren. De bevindingen van Hamstra en Ernst zijn daarbij deels helpend.’ Deels, omdat hij niet in detail weet welke lokale chatbot in het onderzoek welke antwoorden gaf. ‘Als links niet kloppen vind ik dat wel een aandachtspunt. Dat willen we natuurlijk niet.’
Wij herkennen ook wel dat de gesprekken die de bot voert niet altijd perfect lopen.
Peter-Paul Hellings, product owner Gem
Standaard passende antwoorden
Je kan in principe de vragen die zij hebben gebruikt natuurlijk ook zelf gaan stellen.
‘Zeker. Maar inwoners vuren toch echt andere vragen af dan de onderzoekers hebben gedaan. Die gebruiken andere woorden. En daarmee gaat de bot op een andere manier acteren.’
Dat de teksten houterig zouden zijn, herkent Hellings niet. ‘We hebben in ieder geval een goede conversation designer in dienst, die zorgt dat er een gesprek ontstaat met de bot, dus dat je geen volledige webtekst krijgt aangeboden als inwoner. Het zou wel kunnen dat de tekst daardoor wat langer wordt.’
De conversation designer werkt samen met 26 collega’s van gemeenten, waaronder webredacteuren en KCC-medewerkers, om een standaard passend antwoord te formuleren op vragen van inwoners. ‘De insteek van Gem is altijd geweest om eerst uit te gaan van wat ons als gemeenten generiek maakt en daarbinnen lokale onderdelen toe te voegen. Als een gemeente echt afwijkt, kunnen ze een lokale variant van een antwoord opstellen.’ De zinssnede ‘stuur je vraag’ (in plaats van ‘stel je vraag’) die de onderzoekers tegenkwamen, is volgens Hellings een voorbeeld van een lokale formulering. ‘Dat doen wij centraal zo niet.’
Geen vervanger
Waarom is een vraag als ‘klopt het dat jullie morgen gesloten zijn’ moeilijk te beantwoorden voor een chatbot?
‘Gem herkent uit die vraag dat het gaat over de categorie openingstijden. Hij verwijst dan bijvoorbeeld naar de contactpagina, waarop alle openingstijden te vinden zijn.’
De hoeveelheid stappen die een bot moet doorlopen om een vraag als ‘Klopt het dat jullie morgen gesloten zijn?’ te beantwoorden, is groot. Nog te groot voor Gem op dit moment, al is volgens Hellings het moment niet meer heel ver weg dat de technologie dit aankan. Voor nu is zijn team tevreden als de bot in het antwoord verwijst naar de juiste contactinformatie op de gemeentelijke website.
‘De bot is op dit moment absoluut nog geen vervanger voor de mens van vlees en bloed, maar zo hebben we ook nooit bedoeld om Gem te introduceren. Als je vraagt naar een medewerker, dan krijg je een live chat met een medewerker. Dat is een belangrijk uitgangspunt van Gem.’
De bot is op dit moment absoluut nog geen vervanger voor de mens van vlees en bloed, maar zo hebben we ook nooit bedoeld om Gem te introduceren.
Peter-Paul Hellings
Trainen
Uit eigen cijfers uit 2024 blijkt dat Gem 62 procent van de gesprekken correct afhandelt. Daarbij rekent Hellings niet alleen juiste verwijzingen naar een link goed, maar ook de constatering van de chatbot dat hij niet kan helpen met een vraag, waarop een medewerker het gesprek vervolgt. ‘Je kunt zeggen: hij heeft geen antwoord, maar je kunt ook zeggen: klopt, hij is er op getraind in die gevallen een medewerker aan te bieden.’
Je zou ook kunnen wachten met het loslaten van de technologie op inwoners totdat dat moment er is.
‘Dat kan een afweging zijn, maar een inwoner die niet met de bot wil praten, kan terecht bij een medewerker. Tegelijkertijd leert de chatbot ook van de vragen die inwoners stellen.’
Arbeidsmarktkrapte
Communicatie-expert Renata Verloop vraagt zich af hoe lang het ministerie van BZK en de VNG nog doorgaan met investeren in technologie die niet goed werkt. Zij meent dat hier sprake is van sunk cost fallacy: doorgaan met investeren, puur omdat je al veel hebt geïnvesteerd.
‘Ik snap haar punt wel, maar we zitten tegelijkertijd met arbeidsmarktkrapte bij de KCC’s. En we zien dat inwoners steeds meer deze technologie gebruiken. Vinden we het dan prima dat inwoners allerlei persoonlijke verhalen met openbare versies van ChatGPT en Gemini gaan delen, om maar antwoorden te krijgen op overheidsvragen? Of investeer je mee op technologie die je onder de juiste voorwaarden zo inricht dat het op het gebied van privacy voor de inwoner zo veilig mogelijk is? Ik ben de laatste om te ontkennen dat de technologie nog niet perfect is, maar ik ben er wel van overtuigd dat het steeds beter gaat. Niet meedoen zet ons vanuit het perspectief van dienstverlening richting een inwoner op achterstand. Dan liever op tijd aanhaken en al lerend de technologie verbeteren.’
Niet meedoen zet ons vanuit het perspectief van dienstverlening richting een inwoner op achterstand.
Peter-Paul Hellings
Dat is ook de insteek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK). ICTU, de advies- en projectenorganisatie binnen de overheid (BZK) neemt in de loop van dit jaar de hosting op zich van de techniek achter virtuele assistent Gem op zich, zodat gemeenten deze kunnen afnemen. De bedoeling is dat ook andere overheden daardoor makkelijker gebruik kunnen maken van de technologie, zodat dat de virtuele assistent een standaard wordt voor overheden.
Generatieve AI
De grote vraag die alle ontwikkelaars van gemeentelijke chatbots momenteel bezighoudt, is of de toepassing van generatieve AI leidt tot een beter, direct antwoord. Mogelijk wordt Gem in de toekomst een hybride variant: als de gescripte antwoorden niet passen, kan een taalmodel een aanvullende bron op de website gebruiken voor het antwoord. Vanuit de samenwerking met ICTU wordt nu getest of het Nederlandse taalmodel GPT-NL meerwaarde biedt voor Gem. GPT-NL krijgt een set aan inwonersvragen en geselecteerde bronnen, waaronder het antwoord-CMS en de website van de betreffende gemeente. Doet GPT-Nl het beter dan de gescripte antwoorden?
Op dit moment presteren chatbots die werken met taalmodellen over het algemeen nog iets slechter doen dan gescripte chatbots, blijkt uit het onderzoek. Dat verbaast Hellings overigens niet. ‘Als de informatie niet op de website staat, kan een taalmodel het antwoord ook niet genereren. Is de vraag scherp genoeg geformuleerd dat de generatieve AI ‘snapt’ dat het antwoord moet zijn ‘we zijn morgen open’ of ‘we zijn morgen gesloten’? Dat zou ik nu nog niet willen beweren. Ik zie wel dat het technologisch hard gaat, maar ik denk dat de onderzoekers daar op dit moment zeker een punt hebben.’
Daar ligt wat hem betreft het voordeel van de huidige opstelling van Gem, waarbij de antwoorden uitgeschreven zijn. ‘Gemeenten hebben de zekerheid dat de huidige bot er niets bij verzint.’
Toegankelijkheid
Tot slot heeft hij goed nieuws op het gebied van toegankelijkheid. ‘De nieuwe variant van het chatvenster, dat wij de widget noemen, wordt op dit moment volledig WCAG-proof ontwikkeld door ICTU. Toegankelijkheid is echt een plicht, voor chatbots en ook voor websites. Hier geldt voor ons het principe practice what you preach.’
Plaats als eerste een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.