‘Gebruik handvatten voor betere beleidsevaluatie’

Beleidsambtenaren en wetgevingsjuristen zijn vaak niet vertrouwd met de aanpak van beleidsevaluatie. Er bestaan handvatten voor. Onderzoeker Carolien Klein Haarhuis van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) en KPMG-consultant Annemarije Oosterwaal zetten ze op een rij.

Evaluatie is hobbel
‘Veel ambtenaren zien de aanpak van een beleidsevaluatie als een hobbel. Er is behoefte aan handvatten’, aldus Klein Haarhuis. Daarop besloten zij 'Handvatten voor evaluaties van effectiviteit' te maken. Effectiviteitsevaluaties zijn het middel om werking van beleid te onderzoeken. Maar in hoeverre zijn uitkomsten van beleid toe te schrijven aan het beleid zelf en bijvoorbeeld niet aan andere omstandigheden? ‘De Algemene Rekenkamer concludeerde in 2011 al van de 633 subsidieregelingen er 81 waren geëvalueerd, maar daaruit niet duidelijk werd of ze echt effect hadden. Aan het eind van de rit weet je dus niet of het bestede geld iets heeft opgeleverd, maar op basis van de evaluatie is vaak wel besloten of voortzetting nodig is.’

Korte handreiking
Beleidsmakers kiezen niet altijd voor het meeste geschikte evaluatietype. De auteurs willen met de handvatten zorgen dat zij het juiste type kiezen dat past bij de te beantwoorden vraag en de spelende praktijkomstandigheden. ‘De Rekenkamer wees al op het belang van effectiviteitsevaluaties om te kunnen bepalen of begrotingsdoelstellingen worden gehaald. Bij het doorlichten van beleid is een vereiste dat de doelen van het beleid worden verantwoord evenals de middelen om dit te bereiken en de uitkomsten. Dan wordt het voor beleidsambtenaren soms moeilijk. Er zijn allerlei boeken over evaluaties, maar die zijn dik en vaak wetenschappelijk geschreven. De meeste ambtenaren hebben geen opleiding in beleidsevaluatie. Wij dachten dat het raadzaam was om een kortere vorm van een handreiking te maken.’

Uitbesteed
Evaluaties worden vaak door beleidsdirecties uitbesteed, weet Klein Haarhuis. ‘Het is dan handig om er enige achtergrond in te hebben om de evaluatie te kunnen monitoren, bijvoorbeeld dat je weet dat er verschil is tussen het evalueren van een proces en van eindeffecten.’ Er zijn allerlei oorzaken waardoor evaluaties nu vaak niet goed gaan. Het kan zijn dat het beleid nog niet lang genoeg loopt om de eindeffecten te kunnen meten, maar het kan ook liggen aan de kwaliteit of de focus van de evaluatie zelf.’

Onduidelijke doelstelling
Eerst moet duidelijk zijn wat je wilt weten. Als dat de relatie tussen het beleid en de uitkomsten te verhelderen is, dan gaat het erom of je wilt hard maken of het beleid heeft bijgedragen aan de doelen (toetsen), of dat je wilt begrijpen hoe en waarom het beleid daaraan heeft bijgedragen (reconstrueren). ‘Nu komt dat vaak niet goed naar voren. De doelen zijn dan misschien bereikt, maar het is onduidelijk of dat ondanks of dankzij het beleid is.’ Als voorbeeld noemt ze het voldoen aan veiligheidsvoorschriften. Als veiligheidsvooorschriften worden nageleefd kan dat ook komen door de omstandigheden, zoals pittige concurrentie tussen bedrijven die risicovol werk doen. De markt rekent soms af als zaken niet goed gaan, niet het beleid.’

Handvatten
Klein Haarhuis onderscheidt drie handvatten voor beleidsambtenaren: streef naar een tastbare en meetbare doelstelling, maak de beleidstheorie expliciet en beperk tussentijdse beleids- en budgetwijzigingen of nieuwe interventies. ‘Beleidsambtenaren kunnen zelf helpen de rol van de evaluatie beter te maken door binnen de politieke randvoorwaarden de doelstellingen helderder te krijgen. Maak daarvoor ook tussendoelen duidelijk. En maak dus de beleidstheorie expliciet: hoe moest deze campagne tot dat doel leiden? Door verwachtingen en relaties tussen doel, middel en de beleidsuitkomst helderder te maken kun je er in de eindevaluatie beter op teruggrijpen.’

Leren van werking beleid
Een verbeterde aanpak van evaluaties zou meer tijd en energie kunnen kosten, maar die kunnen uiteindelijk dik worden terugverdiend. Het gaat Klein Haarhuis om leren van de werking van beleid. ‘Kijk of beleid heeft gewerkt of kan werken naast het voldoen aan politieke wensen en eisen.’