Van ambitie naar effect: Effectmeting als motor voor leren en verbeteren

Effectmetingen bieden niet alleen inzicht in wat werkt, maar vormen een krachtig instrument voor keuzes maken, leren en verbeteren in het sociaal domein. Door de effectmeting zorgvuldig te ontwerpen, goed uit te voeren en samen met stakeholders te duiden, komen de resultaten boven tafel die voor hen echt belangrijk zijn. Dit artikel laat zien hoe een doordachte effectmeting bijdraagt aan zichtbare maatschappelijke waarde én beleidsontwikkeling.

In de maatschappelijke praktijk is één vraag ontzettend belangrijk: Wat werkt nu écht? [1] Overheden en (maatschappelijke) organisaties willen hun middelen doelgericht inzetten en tijd, geld en energie zo optimaal mogelijk benutten. Maar het valt vaak niet mee om de impact van een pilot, interventie of dienst zichtbaar te maken. Naast het modelmatig berekenen van de toegevoegde waarde is het uitvoeren van een effectmeting een middel om de waarde inzichtelijk te maken. [2] Wanneer effectmetingen zorgvuldig worden opgezet, leveren ze méér op dan alleen een momentopname. Een goed onderbouwde effectmeting biedt een duurzame basis voor leren, verbeteren en onderbouwen. Het kan inzicht geven in wat werkt, voor wie het werkt, onder welke omstandigheden het werkt en waarom het werkt. Daarmee wordt het niet alleen een instrument voor verantwoording, maar ook voor strategische ontwikkeling en impactgestuurd werken.

Meld je hier aan om de hele artikelenreeks (7 stuks) in je mailbox te ontvangen.

Effectmeting als strategisch kompas

Als middelen schaars zijn is de verleiding groot om te varen op snelle aannames. In de woorden van Oscar Wilde: ‘A cynic is a man who knows the price of everything, and the value of nothing.’ Hoe bepaal je waar je budgetten het beste op in kan zetten? Wat moeten we beëindigen, juist versterken of nieuwe ontwikkelen? Hoe maak je als uitvoerder zichtbaar wat de soms ongrijpbare waarde is van jouw inspanningen?

Een krachtig middel om op deze vragen antwoord te geven is het uitvoeren van een diepgaande effectmeting (zie figuur 1). Daarmee worden de resultaten van interventie, pilots of diensten systematisch in kaart gebracht. Afhankelijk van het doel kan een effectmeting worden ingezet om:

• Inzicht bieden:  onderzoek als instrument om scherp te krijgen wat er gebeurt, waarom dat gebeurt en wat er mogelijk anders moet. Dit creëert een gedeeld en feitelijk onderbouwd beeld van de huidige situatie en biedt richting voor toekomstig handelen.
• Verantwoording afleggen:  onderzoek als middel om op transparante wijze te rapporteren over de resultaten van inspanningen, ten behoeve van financiers, bestuurders of andere belanghebbenden.
• Leren en verbeteren:  onderzoek als motor voor reflectie en ontwikkeling. Door samen met interne teams en partners te analyseren wat werkt en wat beter kan, ontstaat een continu leerproces dat de effectiviteit van het handelen vergroot.

Effectmeting moet niet worden gezien als een verplicht nummertje. Door het juist als strategisch hulpmiddel te benaderen, ontstaat ruimte voor onderbouwde besluitvorming en inhoudelijke dialoog. Dit draagt bij aan duurzame verbetering in het sociaal domein.

Voorkom meten om te meten, start met een stakeholderanalyse

Nadenken over een effectmeting begint bij de vraag: wat wil ik met dit onderzoek bereiken? Een duidelijke doelstelling helpt om gericht de juiste gegevens te verzamelen, zodat het onderzoek daadwerkelijk impact heeft. Een cruciale stap is het vooraf bepalen wie de relevante stakeholders zijn: wie is betrokken, wat vinden zij belangrijk, en welke vragen hebben ze? Zijn ze op zoek naar verhalen of juist naar harde cijfers? Verwachten ze ook inzicht in de financiële waarde van een interventie?

Een goede stakeholderanalyse, nog vóór de inhoudelijke opzet van de effectmeting, voorkomt dat er data wordt verzameld die uiteindelijk niemand gebruikt en vergroot de kans dat het onderzoek écht van waarde is.

Het fundament van een goede effectmeting

Voor het ontwerpen van een goede effectmeting zijn vijf stappen te doorlopen, samengebracht in het onderstaande model (‘het huis’, zie figuur 2). Het zorgvuldig doorlopen van deze stappen helpt om tot een heldere, haalbare en relevante onderzoeksaanpak te komen.

Stap 1: Vaststellen kernvraag

De kernvraag bij een effectmeting gaat – it’s in the name – vaak over het effect. Andere invalshoeken kunnen zijn: Wat is de maatschappelijke of economische waarde van deze aanpak? Hoe efficiënt of effectief is deze interventie? Bereiken we de juiste doelgroep, en in welke mate?

Stap 2: Vaststellen doelgroepen

Als de kernvraag is vastgesteld stellen volgt de vraag: op wie heeft deze interventie idealiter effect? Door de oorspronkelijke vraag om te draaien – voor wie is deze dienst of pilot bedoeld? – wordt duidelijk welke doelgroepen centraal staan in het onderzoek.

Stap 3: Vaststellen Theory of Change

Als de doelgroepen zijn vastgesteld, is de volgende stap om de Theory of Change (ToC) op te stellen om per doelgroep de relatie te leggen tussen de activiteiten en verwachte effecten per doelgroep. De ToC is het inhoudelijke raamwerk voor de effectmeting en maakt inzichtelijk welke effecten onderzocht moeten worden.3

Stap 4: Vaststellen indicatoren

Voor elk beoogd effect uit de Theory of Change bepalen we meetbare indicatoren. De vraag hierbij is: Welke concrete signalen of cijfers geven ons informatie over het al dan niet optreden van het gewenste effect?

Stap 5: Vaststellen meetmethodiek

Tot slot wordt bepaald hoe de benodigde data verzameld gaat worden. Is bestaande (interne) procesdata bruikbaar? Zijn er openbare bronnen, zoals het CBS? Of is het nodig om de doelgroep zelf te bevragen, bijvoorbeeld via interviews of vragenlijsten? Belangrijk is om hierbij ook af te stemmen op de wensen en informatiebehoefte van relevante stakeholders: welke vorm van bewijs spreekt hen het meest aan – cijfers, verhalen, of een combinatie daarvan?

Meetbare en merkbare data: de kracht van cijfers en verhalen

Om data te verzamelen ten behoeve van onderzoek, monitoring of evaluatie, kan gebruik worden gemaakt van verschillende soorten data. Purpose maakt in dit kader een onderscheid tussen twee hoofdtypen data: meetbare data en merkbare data. Dit onderscheid helpt bij het kiezen van de juiste onderzoeksmethoden, afhankelijk van het doel van het onderzoek, de context en de beschikbare middelen.

• Meetbare data betreft informatie die representatief is voor een grotere populatie of situatie. Deze data worden meestal verzameld via kwantitatieve methoden zoals enquêtes, statistische analyses, digitale meetinstrumenten of geautomatiseerde dataverzameling (bijvoorbeeld via webanalytics). Het voordeel van meetbare data is dat deze vaak representatief is: ze biedt inzicht in trends, patronen en correlaties binnen een bredere groep. Deze vorm van data is uitermate geschikt voor het meten van impact, het aantonen van effectiviteit of het vergelijken van prestaties over tijd of tussen groepen.

• Merkbare data daarentegen is doorgaans van meer kwalitatieve aard en legt de nadruk op beleving, betekenis en context. Het gaat hier bijvoorbeeld om persoonlijke verhalen, interviews, observaties of casestudy’s. Deze data zijn vaak minder representatief in de statistische zin, maar biedt juist diepte, nuance en menselijke context die onmisbaar zijn voor het begrijpen van de onderliggende mechanismen, motivaties en ervaringen. Merkbare data zijn bijzonder waardevol bij het ontwikkelen van begrip, het signaleren van blinde vlekken of het identificeren van onverwachte effecten.

Bij het maken van een keuze tussen meetbare en merkbare methodieken is het belangrijk om rekening te houden met de doelstelling van het onderzoek en de belangen van de stakeholders, maar ook met praktische overwegingen zoals beschikbare tijd, budget en capaciteit. In veel gevallen is een combinatie van beide benaderingen aan te bevelen: kwantitatieve data om het geheel in kaart te brengen en kwalitatieve data om verdieping te bieden.

Na de effectmeting begint het echte werk: het duidingsgesprek

De uitkomsten van een effectmeting zijn binnen. En dan? Hoe geven we met elkaar betekenis aan de uitkomsten van de effectmeting?

Voor de duiding maken wij vaak gebruik van de vragen die Movisie heeft opgesteld voor het Kwaliteitsgesprek (zie figuur 3).4 Door met elkaar na te denken over het herkennen, begrijpen en waarderen van de uitkomsten en door vervolgens het gesprek te eindigen met de vierde stap, ‘verbeteren’, wordt ervoor gezorgd dat het niet blijft bij ‘een mooi onderzoek uitvoeren’, maar dat je aan de hand van het onderzoek verbeteringen doorvoert en besluiten neemt, waarmee het onderzoek écht impact maakt.

Lifecoaching werkt – zicht op impact bij jongeren met multiproblematiek

Een voorbeeld van hoe een effectmeting écht kan bijdragen aan inzicht, leren en onderbouwd beslissen, is het project "Lifecoaching werkt!" in Leeuwarden Oost. In deze pilot kregen jongeren met multiproblematiek intensieve één-op-één begeleiding van lifecoaches. De jongeren hadden vaak geen hulpvraag, wel problemen op meerdere leefgebieden zoals schulden, schooluitval, dakloosheid of psychische klachten. De aanpak was persoonlijk, laagdrempelig en langdurig: lifecoaches bleven naast jongeren staan, ook als het ingewikkeld werd.

Het onderzoek behelsde zowel een uitgebreide effectmeting als een daarop gebaseerde maatschappelijke kosten-batenanalyse (MKBA) uit. De effectmeting werd zorgvuldig opgebouwd volgens de vijf stappen uit het ‘huis’ (zie figuur 4). Door met elkaar na te denken over de kernvraag, de doelgroepen en de gewenste effecten werd duidelijk wat er eigenlijk gemeten moest gaan worden. Hierin is gebruik gemaakt van een combinatie van meetbare én merkbare data: harde cijfers (inkomen, dagbesteding, hulpverlening) gecombineerd met persoonlijke verhalen en ervaringsdata van jongeren, lifecoaches en ketenpartners. De resultaten zijn overtuigend. Het aandeel jongeren zonder inkomen daalde van 29% naar 1%. Jongeren rapporteerden een verbeterd mentaal welzijn, meer regie over hun leven en hernieuwde toekomstperspectieven. Uit de maatschappelijke kosten-batenanalyse bleek dat elke euro geïnvesteerd minimaal €1,61 tot €2,72 opleverde.

Wat deze casus bijzonder maakt, is hoe de effectmeting meer is dan alleen verantwoording. De opbrengst is gebruikt om samen met betrokkenen het gesprek te voeren over wat er goed werkt, voor wie, en onder welke omstandigheden. De combinatie van kwantitatieve én kwalitatieve data maakt het op deze manier mogelijk om zowel de impact te laten zien als het verhaal erachter te begrijpen. Zo fungeerde deze effectmeting als startpunt voor beleidsontwikkeling, borging en opschaling.

Meten en monitoren als bondgenoot van vernieuwing

Grip houden als gemeente betekent niet dat we de energie, creativiteit of ruimte voor vernieuwing moeten beperken. Integendeel: juist met een helder denkraam – zoals een Theory of Change – kunnen we die energie beter richten. Zo weten we waar we heen willen, hoe we denken daar te komen, en of we onderweg moeten bijsturen. Want uiteindelijk willen we allemaal antwoord op dezelfde vraag: “Wat werkt nu eigenlijk écht?”

[1]  Zie het eerste artikel uit de reeks: "Van ambitie naar effect: inzicht als sleutel voor betere keuzes” [2]  Zie het derde artikel uit de reeks: “Van ambitie naar effect: de kracht van een onderbouwde impactclaim” [3] Zie voor meer informatie over de verandertheorie: “Van ambitie naar effect: de Theory of Change als basis voor gefundeerde keuzes”   

.