of 59345 LinkedIn

Belangrijke stap richting eerlijke algoritmen

UvA-student Rik Helwegen heeft een model ontwikkeld dat eraan bijdraagt dat algoritmen in de toekomst geen ongewenste discriminerende effecten meer met zich meebrengen. Helwegen deed dat in samenwerking met de gemeente Amsterdam en het Centraal Bureau voor de Statistiek.

UvA-student Rik Helwegen heeft een model ontwikkeld dat eraan bijdraagt dat algoritmen in de toekomst geen ongewenste discriminerende effecten meer met zich meebrengen. Helwegen deed dat in samenwerking met de gemeente Amsterdam en het Centraal Bureau voor de Statistiek.

Controversieel

Gemeenten maken graag gebruik van big data en algoritmen om hun beleid te verbeteren maar lopen dikwijls aan tegen ongewenste effecten. Zo zag onlangs de gemeente Rotterdam zich genoodzaakt om te stoppen met het gebruik van het controversiële Systeem Risico-indicatie (SyRI), dat werd gebruikt om uitkeringsfraude op te sporen. Doordat het algoritme werd losgelaten op de gegevens van twee achterstandswijken zouden bewoners bij voorbaat verdacht gemaakt en daarmee oneerlijk behandeld worden, zo luidde de aanklacht van de tegenstanders.

 

Counterfactual fairness

Helwegen, die onlangs zijn scriptie voor zijn masterstudie kunstmatige intelligentie verdedigde, ontwikkelde een correctiemechanisme om algoritmen meer discriminatieproof te maken. ‘Om een algoritme helemáál eerlijk te maken is natuurlijk moeilijk’ vertelt Helwegen aan Binnenlands Bestuur. Daarnaast verschillen de opvattingen over wat eerlijk precies is.’ Helwegen vond hiervoor aanknopingspunten in het concept counterfactual fairness. Dat gaat ervan uit dat geautomatiseerde beslissingen op basis van big data eerlijk zijn wanneer deze niet beïnvloed zijn door gevoelige kenmerken van een persoon. ‘Ik kwam er op uit dat men zich zeer bewust moet zijn van causale verbanden tussen data. Zo kan er bijvoorbeeld een causaal verband bestaan tussen een bepaalde migratieachtergrond en een plaats of wijk waar iemand woont. Als je die laatste data ergens in meeneemt, heb je de invloed van die migratieachtergrond dus in die data zitten.’

 

Geneutraliseerde data

Helwegen vat zijn methode samen in een stappenplan. ‘Stap één is om vast te stellen hoe de causale verbanden tussen data liggen. Dat is zó ingewikkeld dat er uiteindelijk altijd in zekere zin sprake is van een versimpeld model. Stap twee is om de sterkte van die causale verbanden te onderzoeken, hiervoor worden de gemaakte veronderstellingen gecombineerd met de data. Correlation doesn’t imply causation, luidt een bekend mantra in het vakgebied van big data. Nu hebben we een schatting van hoe de causale verhoudingen liggen, waardoor we ervoor kunnen kiezen om alle invloed van een factor uit te sluiten, zo'n factor kan etniciteit zijn bijvoorbeeld. Wat overblijft kan worden gezien als geneutraliseerde data, en kan vervolgens op een ethisch verantwoorde manier gebruikt worden, dat is stap drie.'

 

Zwaarbeveiligde werkomgeving

Helwegen testte zijn ideeën uit in de praktijk tijdens een stage voor de gemeente Amsterdam en het Centraal Bureau voor de Statistiek. Het CBS leverde geanonimiseerde data van 11.000 Nederlanders die een bijstandsuitkering ontvangen of een veroordeling op hun naam hebben staan voor het onterecht opstrijken van uitkeringen. De experimenten vonden volgens het CBS plaats onder strikte privacyvoorwaarden in een zwaarbeveiligde werkomgeving van het CBS. Innovatiemanager Barteld Braaksma, die Helwegen begeleidde, benadrukt dat Helwegens onderzoek zowel grote wetenschappelijke als maatschappelijke waarde heeft. ‘Hij heeft met dit onderzoek een aanpak ontworpen om oneerlijke algoritmen tegen te gaan in de praktijk.’

 

Algoritmen controleren

‘Voor dit project heeft de gemeente Amsterdam het CBS nadrukkelijk ingeschakeld’, laat programmamanager digitale innovatie Tamas Erkelens van de gemeente weten op de website van het CBS. De gemeente kondigde in december aan dat zij alle algoritmen zie zij zelf gebruikt, zou gaan controleren op ongewenste of onethische effecten. Ook de algoritmen van bedrijven worden aan een audit onderworpen. Het Financieele Dagblad meldde in maart dat de Amsterdamse Chief Technology Officer Ger Baron accountantsbureau KPMG heeft ingeschakeld om hier een methode voor te ontwikkelen.

Verstuur dit artikel naar Google+

Gerelateerde artikelen

Reageer op dit artikel
















Even geduld a.u.b.

Reactie op dit bericht

Door frank willemse op
Zeer onduidelijke nonsense. Het gebruik van Big Data gaat er juist om dat alle data sets gebruikt worden en dat er dus gegeneraliseerd wordt op alle losse datasets en alle mogelijke samenhangende verbanden geautomatiseerd worden gevonden en gedeeld.

Wat het werkelijke probleem is: Scheef wettigheid.
Alle burgers die onder en net boven het bestaansminimum leven worden zonder aanleiding totaal bespioneerd. Wat machtsmisbruik is en ook disproportioneel.

Ik ben tegen algoritmes omdat ze altijd gecreëerd zijn door mensen met bepaalde gedachten worden ontworpen op basis van bepaalde aannames.

Is het niet tijd dat we wetgeving maken waarbij we niet IEDEREEN hoeven te controleren en is het niet tijd dat we stoppen wetgeving te maken die het stimuleert om creatief met de waarheid te zijn. Waarom bepaald of ik wel of niet alleen woon of samen mijn rechten mbt van alles en nog wat. Dat moet los van elkaar staan.
Is het niet vreemd dat elke huurder geen recht meer heeft op toeslag wanneer de huur hoger is dan 720 euro PM of het inkomen hoger is dan 22.000 euro, maar dat iemand die honderdduizend euro per maand verdient dat die wel onbeperkt kan profiteren van koopsubsidie / koop toeslag / hypotheek aftrek?
Je zou bijna denken dat ze de armen arm willen houden en dat de rijke elitaire bestuurdertjes vooral zichzelf en hun vriendjes / lobbyisten willen verrijken!

Wat ik me dan afvraag? Waar zijn de algoritmes voor de rijke stinkerds? Voor iedereen met 2-3 x modaal? Voor de ambtenaren, de gemeente raad, de burgemeesters, de bestuurders, de ministers. rechters, voor het bedrijfsleven en voor de lobbyisten.
Daar wordt niets onderzocht en alles fraude en corruptie zaken worden in de doofpot gestopt en alle betrokkenen krijgen ipv naheffingen, terugvorderingen en boetes (zoals in de bijstand) krijgen de "lucky few" gouden handdrukken.

Ons eigen ministerie van Veiligheid en nogwat is pas betrapt op het totaal herschrijven van zogenaamd objectieve onderzoeken. Elke niet gewenste conclusie werd volkomen herschreven. Dat is de reden dat onze democratie niet functioneert er is geen objectief controle mechanisme. Tijd dat we een constitutioneel hof oprichten en niet langer de zittende regering de informatie / onderzoeksregie geven.
Door R. (provider) op
Echt duidelijk is dit verhaal niet! Volgens mij is het zo dat het hier gaat om een tool die door mensen ingezet wordt en niet om mensen die door een tool geleid worden. Daarnaast dient er een soort kwaliteitsmanager zijn die een extra check doet of alles op een ethisch verantwoorde manier gebeurd en dient de toegepaste methode/werkwijze ter inzage beschikbaar te zijn. Een versimpeld model kan nooit de werkelijkheid vervangen en/of betrouwbaar benaderen (dat moet de mantra zijn!) want menselijk gedrag, waar het uiteindelijk om gaat (in de praktijk) is beïnvloedbaar door vele factoren en soms ook niet (feit)!
Door Masha Ivleva (Data Analist) op
Maar wat is dan de stap? Het mijden van de achtergronds-data?