In het debat over de toepassing van AI in beleids- en beoordelingsprocessen wordt nog weleens vergeten dat het menselijk oordeel niet de veilige standaard is, maar net zo feilbaar is als een AI-oordeel. AI wordt dan in de verdachte en onbetrouwbare hoek gezet, terwijl AI en de mens niet verschillen in de vraag óf ze falen. Ze verschillen enkel in de manier waarop ze falen.
Computer says no en de ambtenaar knikt (niet meer)
AI kan bestaande ongelijkheid versterken. Transparante criteria, toezicht en menselijke toetsing zijn nodig om burgers te beschermen.
Menselijke beoordeling leidt tot gevarieerde uitkomsten. Een menselijke beoordelaar heeft vooroordelen, en de ene beoordelaar heeft weer andere vooroordelen dan de ander. Ongelijkheid bij menselijke beoordeling is daardoor verspreid, incidenteel en niet altijd makkelijk aan te wijzen.
AI-beoordeling leidt niet tot gevarieerde, maar tot cumulatieve beoordeling. Een foute beoordeling of scheve trainingssets worden op grote schaal vastgelegd en herhaald. Als gevolg daarvan blijven dezelfde groepen opnieuw en steeds vaker in beeld en wordt het gebruikte patroon bevestigd. Deze ongelijkheid is stabiel, maar óók moeilijk te herkennen en te corrigeren. Niet de aanwezigheid van AI is het probleem, maar het ontbreken van controleerbare verantwoordelijkheid voor de uitkomsten.
Het menselijk oordeel is net zo feilbaar als een AI-oordeel
Bij toezicht en handhaving (beoordeling) door een combinatie van mens en AI blijven twee ongewenste mechanismen op de loer liggen. Door een risicogerichte benadering worden handhaving en toezicht ongelijk verdeeld. Wie eenmaal in beeld is, blijft in beeld dankzij vooroordelen en scheve trainingssets. Daarnaast wordt een patroon herhaald en bevestigd, in plaats van kritisch beproefd. De onderliggende vraag is: wie is verantwoordelijk wanneer een ambtenaar een AI-uitkomst volgt, het systeem een structureel vertekend oordeel produceert en een burger daardoor wordt benadeeld? Dat maakt goede rechtsbescherming tegen beoordeling door mens en AI zowel uitdagend als strikt noodzakelijk.
Goede rechtsbescherming tegen beoordeling door mens en AI moet aan verschillende voorwaarden voldoen. Ten eerste moet politiek en bestuurlijk expliciet en transparant worden vastgesteld op grond waarvan onderscheid mag worden gemaakt. Ten tweede moet elk beoordelingssysteem (van mens en/of AI) een eigenaar of verantwoordelijke hebben en moet het systeem structureel intern en extern worden getoetst om onrechtvaardige verschillen te corrigeren. Verder moet elk beoordelingssysteem vastleggen wat het doet en welke gegevens worden verwerkt. Deze gegevens moeten raadpleegbaar zijn en vatbaar voor een betekenisvolle menselijke tussenkomst. Ten slotte moeten ambtelijke deskundigheid en rechtsstatelijk besef gewicht krijgen in de politieke en ambtelijke top. Wie sneller wil beoordelen, moet ook ruimte maken voor de ambtenaar die vertraagt omdat iets niet klopt.
Wat de toepassing betreft, is het van belang dat rechtsbescherming zich niet alleen kan richten op eindbesluiten, maar ook op structurele patronen in data en modellen. Institutioneel toezicht, onafhankelijke audits en periodieke evaluatie op groepsniveau kunnen daarbij helpen. Gelijkheid in beoordeling is geen natuurgegeven, maar het resultaat van eerdere, door mensen gemaakte keuzes en categoriseringen: wie plaatsen we in welk hokje, wie controleren we en wie laten we met rust? AI vindt ongelijkheid daarin niet uit: het erft haar, versterkt haar en verbergt haar achter een façade van objectiviteit. De echte vraag is dan ook niet óf de mens óf AI gelijkheid bewaakt. AI maakt die keuze voor ons, tenzij wij expliciet durven kiezen wie als gelijke telt.
Benjamin Beldman, leergroep B van de Interdepartementale Managementleergang 044
Plaats als eerste een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.