Hoewel de rijksoverheid volgens eigen inventarisaties zeker 370 algoritmes inzet, staan er maar dertien te boek als hoog risico AI-systeem. Zijn het er echt zo weinig, of helt de schaal van de departementen bij de afweging te vaak naar de kant die ze het minste extra werk oplevert?
Overheden worstelen met mogelijke hoog risico AI-systemen
Volgens Algorithm Audit hebben overheidsorganisaties moeite met de afweging of een algoritme tot de hoog risico AI-systemen behoort.
Onderzoek naar registraties
Vorige week werd bekendgemaakt dat de Auditdienst Rijk (ADR) de kwaliteit en de volledigheid van de registraties van algoritmes in het nationaal algoritmeregister gaat onderzoeken. Ook wordt de praktische toepasbaarheid en auditeerbaarheid van het Algoritmekader onderzocht.
Volgens stichting Algorithm Audit zijn er aanwijzingen dat het rijk algoritmes onterecht niet als hoog risico AI-systeem classificeert. Hoe lastig de afweging kan zijn, is het beste te zien aan de hand van een voorbeeld. Binnenlands Bestuur vroeg het ministerie van Justitie en Veiligheid hoe men tot de conclusie kwam dat het AI-systeem MONOcam als een impactvol algoritme in het algoritmeregister is opgenomen (en dus niet als een hoog risico AI-systeem, waarvoor veel meer regels en beperkingen gelden).
Categorisering
MONOcam wordt door de politie gebruikt bij verkeerscontroles. Het systeem controleert bij alle passerende bestuurders van (vracht)auto's of zij een mobiel elektronisch apparaat in de hand hebben. Stuit het op een mogelijke overtreder, dan stuurt het een foto van de bestuurder naar twee politiemedewerkers, die onafhankelijk van elkaar beoordelen of de bestuurder inderdaad een telefoon vasthoudt tijdens het rijden.
Voor het categoriseren van MONOcam heeft de politie gebruik gemaakt van de Handreiking Algoritmeregister van het ministerie van BZK. ‘Deze categorisering is uitgevoerd door meerdere politie-collega’s vanuit verschillende disciplines (juridisch, ethisch en technisch),’ laat een woordvoerder van de politie weten. Zij besloten dat er sprake is van een impactvol algoritme, gebaseerd op de richtlijnen daarover uit de Handreiking Algoritmeregister.
De politie kan nog geen definitief oordeel vellen of MONOcam wel of geen hoogrisico AI-systeem is.
Guidelines nog niet van kracht
De politie kan nog geen definitief oordeel vellen of MONOcam wel of geen hoog risico AI-systeem is zoals beschreven in de AI-verordening, voegt de woordvoerder eraan toe. De Guidelines op hoog risico AI-systemen moeten nog door de Europese Commissie worden gepubliceerd en zijn nog niet van kracht. ‘De politie houdt de voortgang van deze Europese besluitvorming nauwlettend in de gaten.’
Voor stichting Algorithm Audit is het nu al wel duidelijk: MONOcam is een hoog risico AI-systeem. Een blogpost van datawetenschapper Tim Hanssen uit februari 2024 beschrijft hoe het machine learning algoritme achter MONOcam werkt (en hoe het tot een vals-positieve uitslag kan komen). Op basis van deze werking is het een AI-systeem volgens de definitie en richtlijnen van de AI-verordening.
Bijlage III van de AI-verordening beschrijft in welke use-cases het gebruik van AI geldt als hoog risico. Er zijn acht toepassingsgebieden, waaronder rechtshandhaving. MONOcam wordt gebruikt in dit domein. Volgens Algorithm Audit wordt het systeem ingezet tijdens het opsporen (detecteren) van strafbare feiten, door een inschatting te maken van gedrag (profileren). Check: dat is een van de use-cases.
Je eigen begrip van hoog risico is iets anders dan de juridische definitie
Ylja Remmits, stichting Algorithm Audit
Uitzondering?
Er gelden uitzonderingen in de AI-verordening voor systemen die alleen worden gebruikt voor voorbereidende taken. Je zou kunnen beargumenteren dat die uitzondering opgaat voor het systeem van de politie. Het maakt immers niet zelf de beslissing om iemand een boete op te leggen voor een overtreding. ‘Deze uitzonderingen gelden niet als er sprake is van profilering,’ zegt Ylja Remmits van Algorithm Audit. ‘En volgens ons is er sprake van profilering, dus gelden die uitzonderingen niet.’
Ze benadrukt dat meerdere organisaties moeite hebben met het maken van de afweging. ‘Als je mensen vraagt of iets hoog risico is, dan speelt daar hun eigen begrip mee van wat hoog risico is. Maar je eigen begrip is iets anders dan de juridische definitie. Dat loopt vaak door elkaar bij dit soort classificaties, niet alleen bij de politie, maar bij álle organisaties die wij spreken.’
Als het aan Algorithm Audit ligt, moeten registraties vooral een betere motivering krijgen, al hoeft dat niet per se in het algoritmeregister.
Registratie niet verplicht
Demissionair staatssecretaris Van Marum (Digitalisering, BBB) liet vorige week in dezelfde Kaperbrief weten het verplicht registreren van algoritmes op dit moment niet ‘opportuun’ te vinden. De Autoriteit Persoonsgegevens had aangedrongen op een dergelijke verplichting. Het schiet nog steeds niet op met het aantal registraties in het register.
Als het aan Algorithm Audit ligt, moeten registraties vooral een betere motivering krijgen, al hoeft dat niet per se in het algoritmeregister. ‘Ze moeten die motivering in ieder geval kunnen overleggen aan hun interne toezichthouders, bijvoorbeeld aan de FG, en aan externe toezichthouders, zoals de AP en ADR,’ zegt Remmits. ‘Wij zouden het een goede stap vinden als de manier waarop overheden AI-systemen classificeren ook publiek transparant is. Juist omdat de interpretatie van de definities nog in beweging is, is het van maatschappelijk belang dat we begrijpen hoe de overheid nu de wet interpreteert.’
Plaats als eerste een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.