Politie-onderzoek onder de loep

Je hoeft de film Minority Report niet te hebben gezien om een gezond wantrouwen te koesteren tegen inzet van algoritmes bij politiespeurwerk. Een onderzoeksteam van de Universiteit Utrecht onderzocht hoe de politie daarbij ook publieke waarden als privacy, gelijke behandeling en transparantie kan inzetten.

Foutje?

Een automobilist uit Den Bosch die haar verstandskiezen had laten trekken, kreeg onlangs een dikke boete omdat het icepack dat ze tegen haar kaak hield abusievelijk werd aangezien voor een mobiele telefoon. Foutje van de flitspaal? Zo simpel is het nooit, weet voormalig promovenda Isabelle Donatz-Fest. Voor haar promotieonderzoek liep Donatz-Fest mee met verkeersagenten die het algoritmisch camerasysteem MONOcam gebruikten. MONOcam checkt op basis van kunstmatige intelligentie of bestuurders op de snelweg hun mobiele telefoon vast hebben.

Het systeem bepaalt niet wie er een boete krijgt, maar maakt alleen een voorselectie van potentiële overtreders. Een agent beoordeelt de voorselectie, waarna een tweede agent op het politiekantoor de foto’s bekijkt die de eerste agent heeft beoordeeld als overtreding. Voordat de boete bij de vrouw op de deurmat belandde, hebben dus twee agenten los van elkaar de foto gezien en bevestigd dat het om een mobiele telefoon ging. Donatz-Fes: ‘Algoritmes maken fouten, mensen ook. Naast de driedubbele controle kan deze vrouw haar foto inzien en in bezwaar gaan. Dit is hoe een verantwoorde inzet van algoritmes moet werken. Ik kwam ook geen indicaties tegen dat agenten overmatig op MONOcam vertrouwden.’

Risico’s

Ze noemt het systeem ‘volgens het boekje ontworpen als het gaat om publieke waarden’. De pixels van de bijrijdersstoel worden verwijderd, zodat de bijrijder überhaupt niet in beeld verschijnt. Alle foto’s waarop geen overtreding te zien is, verdwijnen meteen. En het ontwerp van het systeem is in eigendom van de politie zelf, niet van het bedrijf dat de camera’s bouwt. Toch stelde ze tijdens haar veldwerk vast dat er dingen fout gingen. De verkeersagenten maakten soms foto’s met hun telefoon van de foto die door MONOcam werd gemaakt. ‘Dat deden ze bijvoorbeeld om een foto te kunnen bespreken, zodat ze konden trainen op het gelijkwaardig beoordelen van de foto’s,’ zegt Donatz-Fest. ‘Met de beste bedoelingen, maar wel met risico’s voor de privacy en dataveiligheid.’

Aanpassing

Daarnaast bleek de fysieke context van invloed op de kwaliteit van de foto. De voorruit van een snel langsrijdende auto reflecteert, sommige autoruiten reflecteren meer dan andere en ook weersomstandigheden spelen een rol. Allemaal factoren die invloed hebben op de uitkomst: is dit een mobiele telefoon of een icepack?

Op basis van haar bevindingen werd MONOcam aangepast: tegenwoordig zijn de foto’s bijvoorbeeld zo kort te zien dat het niet meer mogelijk is om ze te fotograferen. Tenzij ze een potentiële overtreding bevatten, dan worden ze nog altijd opgeslagen ter beoordeling.

Ducttape

In haar proefschrift pleit ze voor het belang van ‘ducttape’. ‘Daarmee bedoel ik pragmatische kortetermijnoplossingen die niet perfect zijn en die je wellicht niet twintig jaar moet laten zitten, maar die je wel kunt gebruiken in de tussentijd, terwijl je nadenkt over verantwoord innoveren in de ideale situatie. We zijn best ver gevorderd met wetgeving en richtlijnen voor AI en algoritmes, maar dat werkt niet altijd door naar verantwoorde praktijken. Datawetenschappers bij de politie weten soms echt niet wat ze moeten met de stapels beleidskaders. Hoe schrijf je non-discriminatie in een lijncode? Soms moet je dan wat ducttape inzetten, want de innovatie gaat wel door.’