Sammie de AI weet alles over stikstof

Hoe kun je als overheid verstandig experimenteren met generatieve AI, kunstmatige intelligentie die nieuwe tekst, code, afbeeldingen, video of audio genereert? In de provincie Noord-Brabant proberen ze een virtuele collega uit op een onderwerp waarover ze heel veel data hebben: stikstof. AI-toepassing Sammie wordt getraind op de eigen systemen en data, draait lokaal én doet aan bronvermelding.

Verantwoord experimenteren

Het voorlopige rijksstandpunt over generatieve AI loog er niet om: gebruik als overheid geen niet-gecontracteerde generatieve AI-toepassingen die niet aantoonbaar voldoen aan de geldende wet- en regelgeving. Eerder had het Interprovinciaal Overleg (IPO) zich ook al in duidelijke bewoordingen uitgelaten over het gebruik van ChatGPT: dat is slecht verenigbaar met de plichten waaraan een ambtenaar moet voldoen vanuit de Provinciewet en de ambtseed.

De onlangs verschenen kabinetsvisie op generatieve AI roept overheden op tot verantwoord experimenteren. Dat doen ze in Noord-Brabant. In de woorden van gedeputeerde Saskia Boelema (D66): ‘AI komt vanzelf de organisatie binnen. Je houdt dat niet meer tegen. Dan kun je maar beter nieuwsgierig zijn naar wat het is en wat het voor ons kan betekenen.’

AI komt vanzelf de organisatie binnen. Je houdt dat niet meer tegen. Dan kun je maar beter nieuwsgierig zijn.

Gedeputeerde Saskia Boelema

Trainen op stikstofdata

Eén specifiek beleidsdomein leent zich in Noord-Brabant in het bijzonder voor experimenten met generatieve AI. Het begin van de stikstofcrisis liep ongeveer gelijk met de komst van CIO Marcel Thaens naar de provincie. Zijn oproep om meer datagedreven te werken, werd door het college van Gedeputeerde Staten met enthousiasme ontvangen. Vanwege de grote hoeveelheid data over het stikstofdossier waarover de organisatie beschikte, was de keuze snel gemaakt. Het team van Thaens bracht al die data bijeen in een viewer, een programma dat in real time de impact van stikstof op de Natura-gebieden in Brabant kan laten zien. ‘Het gaf onze medewerkers rust, omdat iedereen het antwoord op vragen over stikstof zelf kon opzoeken,’ vertelt Thaens.

Doordat alle bronnen al bij elkaar stonden, was de volgende stap snel gemaakt. Eén van de beloften van generatieve AI is dat je een toepassing kunt trainen op een bepaald domein. Dat gebeurt al veel met chatbots voor de klantenservice van bedrijven. Noord-Brabant besloot om een pilot te doen met een chatbot die op verantwoorde wijze alle stikstofvragen van ambtenaren kan beantwoorden. Een virtuele collega als het ware, met een schat aan kennis en geen negen-tot-vijf-mentaliteit.

Verantwoording afleggen

Hoeveel koeien staan er in Reusel? Wat is het effect daarvan op het Natura-gebied Kempenland-West? Sammie weet het antwoord. Bovendien kent hij zijn bronnen. Hij geeft aan op welk paginanummer van welk document het antwoord vandaan komt. ‘Dat we kunnen controleren of het klopt en dus verantwoording kunnen afleggen, is cruciaal,’ zegt Thaens. ‘De hallucinaties van taalmodellen zijn berucht. Dat kun je als publieke organisatie niet hebben, zeker als je er inzichten aan wilt ontlenen die je in beleidsprocessen wil gebruiken.’

Dat we kunnen controleren of het klopt en dus verantwoording kunnen afleggen, is cruciaal.

CIO Marcel Thaens

Niet bemoeien met andere zaken

Sammie draait lokaal bij de eigen organisatie en is dus niet verbonden met het wereldwijde internet. Desondanks gaf de chatbot in eerste instantie ook antwoord op vragen over andere onderwerpen dan stikstof. ‘Sammie mag zich niet bemoeien met zaken waar hij geen verstand van heeft,’ zegt Thaens. ‘Als je vraagt hoe hoog het provinciehuis is, antwoordt hij tegenwoordig keurig dat hij dat niet weet omdat hij alleen op stikstof wordt ingezet.’

Snelle ontwikkelingen

Minder makkelijk te overkomen leek het feit dat Sammie niet met tabellen kon omgaan. Een taalmodel, de technologie waarop de chatbot is gebaseerd, voorspelt het meest waarschijnlijke volgende woord in een tekst. Het berekent de uitkomst van een som dus niet zoals een mens dat doet, maar zoekt naar het meest waarschijnlijke antwoord.  ‘Dat leek wel echt een showstopper, want stikstofdata bestaan grotendeels uit tabellen,’ zegt Thaens. ‘Maar de technologie ontwikkelt zich nog zo snel, dat hij het drie maanden later wel kon.’

Een andere inhoudelijke aanpassing is dat Sammie tegenwoordig onderscheid maakt tussen sectoren.  ‘Vraag je wat de stikstofdepositie in een Natura 2000-gebied is, dan geeft hij nu aan wat daarvan de bijdrage van bijvoorbeeld de landbouw is,’ vertelt Thaens. ‘Dat er ook andere bronnen van stikstof zijn, zoals mobiliteit en verstedelijking, is voor de volledigheid wel belangrijk om te vermelden.’

De provincie loopt ook tegen praktische zaken aan. Zo bleek het niet mogelijk om Sammie als virtuele collega in Teams op te nemen, omdat de veiligheidsmaatregelen dat verhinderden. Ook in WhatsApp bleek Sammie niet zomaar inzetbaar, vanwege zijn Amerikaanse telefoonnummer. ‘Allemaal op te lossen, maar je moet het wel eerst ervaren,’ zegt Thaens.

Woo-verzoeken voldoen met AI

De pilot loopt tot en met maart. Daarna volgt de evaluatie. Aangezien de ervaringen met stikstofvragen positief zijn, kijkt de provincie al voorzichtig rond naar andere interne systemen die eventueel in aanmerking komen om een AI op te trainen, om daarmee de efficiëntie van de organisatie te vergroten. Neem de vele Woo-verzoeken waar de provincie mee te maken krijgt. Hoeveel tijd zou het schelen als een AI de juiste informatie bij elkaar zoekt en persoonsgegevens zwart lakt?

‘We proberen Woo-verzoeken altijd zo goed mogelijk af te handelen en zo compleet mogelijk te zijn, wat journalisten daar soms ook van mogen denken,’ zegt gedeputeerde Boelema.  ‘Maar het is soms best een gezoek om het allemaal bij elkaar te krijgen. We zien wel kansen om onze systemen beter doorzoekbaar te maken, zodat je alles compleet kunt laten aanleveren.’

Uiteraard vraagt dat allereerst een aantal flinke stappen binnen de organisatie, zoals het verbeteren van de metadatering en de indeling in vertrouwelijke en niet vertrouwelijke informatie. Maar in Noord-Brabant hebben ze er vertrouwen in dat het - op den duur - de nieuwe realiteit wordt voor de overheid.