Handreiking voor software-updates met AI-toevoegingen

Bestaande software krijgt steeds vaker AI-functies. Voor overheidsorganisaties is niet altijd duidelijk hoe ze verantwoord met deze toevoegingen kunnen omgaan, zeker als de software al is ingekocht. Een nieuwe handreiking moet hiervoor praktische handvatten bieden voor inkopers.

Overheidsorganisaties krijgen steeds vaker te maken met software-updates waarin AI is verwerkt. Dit roept vragen op, zoals: Kan dit zomaar? Welke wetgeving komt hierbij kijken? Wat gebeurt er met mijn data? De kern: behandel een AI-update niet als een gewone softwarewijziging, maar controleer de gevolgen voor het contract, de risico's en het gebruik van overheidsdata.

De belangrijkste adviezen in de handreiking zijn:

• Maak vooraf afspraken met leveranciers over het melden van AI-updates, verplicht hen om dit tijdig te melden wanneer er een SI-functionaliteit wordt geïntroduceerd en leg waar mogelijk vast dat activering alleen na toestemming mag.
• Controleer of de nieuwe functies passen binnen het oorspronkelijke contract. Een ingrijpende wijziging kan aanbestedingsrechtelijke gevolgen hebben.
• Beoordeel de toepassing en het risiconiveau van de AI en betrek juridische, AI- en privacy-experts waar nodig. Een AI-systeem kan al snel hoog risico zijn als op het gebied van onderwijs, rechtshandhaving of migratie wordt ingezet.
• Onderzoek welke gegevens worden verwerkt en of overheidsdata worden gebruikt om AI-modellen te trainen. Het kan leiden tot schendingen van het contract. Als het om persoonsgegevens gaat is de AVG van toepassing en moet mogelijk ook een Data Protection Impact Assessment (DPIA) uitgevoerd worden.
• Leg aanvullende afspraken vast over onder meer aansprakelijkheid, uitlegbaarheid, menselijke controle en toegang tot eigen data. Voorkomen moet worden dat een vendor lock-in ontstaat.
• Wijs intern verantwoordelijken aan die ook toekomstige updates blijven controleren.

De handreiking is ontwikkeld in het kader van de Nederlandse Digitaliseringsstrategie (NDS).