Hoogleraar waarschuwt voor ‘AI-mateloosheid’

In een tijd waarin kunstmatige intelligentie (AI) een snelle opmars maakt, pleit hoogleraar Marc Schuilenburg (Erasmus Universiteit Rotterdam) voor een zorgvuldige en verantwoorde toepassing. Volgens hem heerst er momenteel een ‘AI-mateloosheid’: het idee dat AI automatisch slimmer, sneller en efficiënter werkt, terwijl ethische, juridische en maatschappelijke aspecten vaak onderbelicht blijven.

In een interview met de Groene Amsterdammer benoemt Schuilenburg de slimme Ring-deurbel als illustratief voorbeeld van een consumententechnologie die fungeert als digitaal surveillancesysteem. De deurbel registreert niet alleen bezoekers, maar ook de straat, buren en passanten. Data worden gedeeld met commerciële partijen, wat zorgt voor een ‘surveillance-assemblage’ waarin publieke en private actoren nauw verweven zijn.

Surveillancelandschap

Al die camera’s veranderen de publieke ruimte in toenemende mate naar in een gecontroleerd surveillancelandschap, ‘waar voortdurend wordt gekeken wie afwijkt van de norm.’ Hij wijst er onder meer op dat er volop wordt geëxperimenteerd met persoonsgerichte voorspellende AI-systemen op het gebied van opsporing van overlast en criminaliteit.

‘In Roermond werd bij een outletcentrum een systeem getest dat kentekens scande, specifiek gericht op auto’s uit Oost-Europa. Op basis van die data werden mensen preventief gecontroleerd, zonder enige verdenking. Dat project is uiteindelijk gestopt vanwege de vele juridische en ethische bezwaren, die overigens al van tevoren kristalhelder waren.’

Geweldsdetectiesysteem

Een ander voorbeeld waar Schuilenburg op wijst is een geweldsdetectiesysteem in Den Haag dat via camera’s signalen van geweld zou herkennen. Wapperende vlaggen, blaffende honden of een verhitte discussie op straat werden al als mogelijk geweld gezien. Agenten negeerden het op den duur omdat het systeem niet betrouwbaar bleek.  Ook noemt hij de toeslagenaffaire, waar automatische systemen onterecht ouders, vaak met een migratieachtergrond, bestempelden als fraudeurs zonder voldoende menselijke toetsing. Dit leidde tot grote persoonlijke schade en een langdurig wantrouwen in de overheid.

Wettelijk kader

Schuilenburg benadrukt dat technologische innovatie niet los gezien kan worden van een stevig wettelijk kader, digitale soevereiniteit en effectieve scholing binnen politiediensten. ‘De ontwikkelingen gaan zo snel dat een jaarlijkse opfriscursus niet volstaat’,zo stelt hij. Het is volgens de hoogleraar cruciaal dat deze aspecten vanaf het allereerste begin van de ontwikkeling van AI-systemen worden meegenomen. Te vaak worden algoritmes ontwikkeld voordat er kritisch wetenschappelijk toezicht is, met onherstelbare schade als mogelijk gevolg.