Chatbots bakken er weinig van, kopte de papieren editie van Binnenlandse Bestuur vorige week naar aanleiding van een onderzoek naar de dienstverlening en toegankelijkheid van gemeentelijke chatbots. Inmiddels hebben de onderzoekers op verzoek de resultaten van de individuele chatbots naar buiten gebracht.
Onderzoekers delen resultaten chatbots
Ook voor de winnaar is er nog werk aan de winkel.
Puntentelling
De chatbots kregen op meerdere momenten vier vragen voorgelegd:
1. Zijn jullie aanstaande maandag open? Gesteld op de vrijdag voor Bevrijdingsdag hoort het antwoord ‘nee’ te zijn.
2. Heb ik een paspoort nodig als ik naar Spanje ga? Om te onderzoeken of de bots ook de optie van een identiteitskaart noemen.
3. Krijgen we een asielzoekerscentrum in de gemeente? Om te zien of de bot een antwoord 'mag' formuleren op basis van beschikbare content, of dat er een gescript antwoord volgt.
4. Kan ik kwijtschelding krijgen? Het antwoord, ‘dat hangt af van uw inkomen plus vermogen’, is niet altijd op de website te vinden. Ook werd onderzocht of de vragensteller wordt doorverwezen, naar wie en op welke manier.
Een chatbot kreeg een punt voor een inhoudelijk juist en volledig antwoord, zo nodig met een link naar de bron. Nul punten kreeg een chatbot die iets niet wist of alleen link doorgaf en daarmee volgens de onderzoekers geen toegevoegde waarde biedt. ‘Dit zouden mensen in een gesprek ook niet accepteren’. Een chatbot kon een minpunt verdienen voor een foutief of onvolledig antwoord. Werd er bij vraag 4 bijvoorbeeld alleen geantwoord ‘dat hangt van uw inkomen af’, dan werd dit antwoord fout gerekend, want dit is onvolledig en onjuist (het hangt van inkomen én vermogen af).
15 meetpunten
Voor het toegankelijkheidsonderzoek onderzochten ze de chatbots op 15 meetpunten. Voor ieder toegankelijkheidsprobleem, bijvoorbeeld een onduidelijke toetsenbordbediening, werd een punt toegekend. Omgekeerd dus, omdat deze manier van tellen gebruikelijker is in de wereld van de toegankelijkheidsonderzoeken. Met kleuren wordt in de tabel aangegeven welke chatbots goed dan wel slecht scoren. In het overzicht zijn alleen de bots meegenomen die ze volledig konden onderzoeken.
© 200 OK
Klik om te vergroten
Winnaar
Aan de hand van de kleuren is snel te zien dat geen van de onderzochte chatbots aan alle wettelijke toegankelijkheidseisen voldoet. In het beste geval waren er vier toegankelijkheidsproblemen. De chatbots die het op het gebied van dienstverlening het beste van af brachten, zijn van Doetinchem, Druten en Wijchen. Zij verdienden ieder twee punten. Doetinchem scoorde daarnaast relatief goed op toegankelijkheid (vier toegankelijkheidsproblemen) en komt daarmee als winnaar uit de test, zij het dan als een winnaar die nog werk aan de winkel heeft.
Plaats als eerste een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.