Q1 Wat zijn de prestaties en effecten van het beleid? (ex durante, meervoudig)

Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-durante evaluatie van een enkelvoudig beleidsinstrument vertaalt deze vraag zich tot:

  • Wat zijn de prestaties van het beleidsinstrument tot nu toe geweest?
  • Wat zijn de beoogde effecten van het beleidsinstrument tot nu toe geweest?

Om beleid te kunnen evalueren is het belangrijk te weten welke uitkomsten worden nagestreefd, en of ze tot nu toe worden behaald. Hierbij maken we vaak een onderscheid  tussen de tot nu toe bereikte prestaties en de beoogde effecten daarvan. Bij deze vraag ligt de focus volledig op de beleidsprestaties en de tot nu toe bereikte maatschappelijke resultaten. De onderstaande afbeelding toont dat de inzet van middelen de basis vormt voor te verrichten activiteiten. Deze activiteiten leiden tot prestaties en deze hebben als oogmerk om effecten te realiseren. Bedenk dat er ook niet-beoogde effecten kunnen zijn. Dit zijn zowel positieve als negatieve effecten die in de beleidstheorie vaak geen plek hebben gekregen, maar die wel kunnen optreden als gevolg van dat beleid.

Het is belangrijk om een onderscheid te maken tussen prestaties en beoogde effecten.

  • Effecten sluiten aan bij de beleidsdoelen. Om hier inzicht in te krijgen, moet worden geanalyseerd wat doelen van het beleid zijn. Bij het meten van effecten wordt een vergelijking gemaakt tussen de situatie op verschillende tijdstippen. Bij een enkelvoudige ex-durante vraag onderzoeken we in welke mate de huidige -tussentijdse- situatie al voldoet aan de doelen. Fictief voorbeeld: In 2010 hadden we als doel om in 2030 de CO2-uitstoot het wegverkeer in Nederland met 50% te reduceren. In welke mate is dit doel in 2020 gehaald?
  • Prestaties zijn nodig om de beleidsdoelen te bereiken. De prestaties van een overheidsinstelling worden vaak uitgedrukt in meetbare eenheden: “per jaar”, “per dag”, “per aanvraag”, etc. Een voorbeeld is het tot nu toe totale aantal verstrekte subsidies voor elektrische auto’s’ per jaar. Bij prestaties kan een hiërarchie bestaan waarbij sommige prestaties bijdragen aan andere meer overkoepelende prestaties die op hun beurt bijdragen aan beleidsdoelen (effecten).

Het is dus bij het evalueren van het beleid goed om terug te grijpen naar de beleidstheorie waarin (aannames over) verbanden tussen middelen, activiteiten, prestaties en doelen zijn beschreven.

Hoe verhoudt dit zich tot andere vragen?

Deze vraag is een uitstekend startpunt van een evaluatie. Het is een goede basis voor bijna elke andere evaluatievraag. Na de beantwoording van deze vraag kan de relatie tussen prestaties en effecten verder onderzocht worden. Dat kan aan de hand van verschillende en elkaar aanvullende perspectieven uit de vragen Q2 (Wat is de doeltreffendheid van het beleid?)Q3 (Voor wie en in welke omstandigheden werkt het beleid?) en Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?).

Hoe kan je deze vraag beantwoorden?

Bij deze vraag ligt de focus op het in kaart brengen van de tot nu toe gerealiseerde prestaties en effecten. Omdat er een inventariserend karakter is, is het logisch gebruik te maken van datacollectiemethoden. Onderzoeksmethoden liggen daarom minder voor de hand.
Onder de term ex-durante worden twee soorten evaluaties geschaard die onderling sterk verschillen.

  • Bij monitoring is er sprake van een periodieke of continue meting van een beperkte set indicatoren. Hierdoor kunnen tussentijds accenten worden verlegd. Daarnaast is monitoring een manier om tijdig problemen te identificeren.
  • Bij een mid-term evaluatie is er sprake van een onderzoek naar de doeltreffendheid en doelmatigheid van lopend beleid. Door terug te kijken (ex-post) kan toekomstig beleid (ex-ante) substantieel aangepast worden.

Vanwege de grote verschillen tussen deze twee vormen zijn er uiteraard andere manieren om deze vraag te beantwoorden. Hieronder worden beide soorten vragen separaat behandeld. 

Indien monitoring centraal staat, dan moet er een periodieke of continue meting worden uitgevoerd van prestaties en de opgetreden beoogde effecten. Het is zaak om databronnen te vinden die hierbij aansluiten. Voor de prestaties lijkt analyse van administratieve data (data van programma, microdata CBS) (D1) de meest logische bron. Hierdoor kunnen snel, relatief goedkoop en eenvoudig de prestaties worden gemeten. Aan de kant van de effecten moet ook gezocht worden naar databronnen die dit mogelijk maken. analyse van geaggregeerde statistische data en data uit beleidsmonitoren (openbaar) (D3) en online data interviews (D4) zijn interessante opties, maar ook de andere databronnen kunnen input leveren. Afhankelijk van het instrument kan analyse van administratieve data (data van programma, microdata CBS) (D1) wellicht ook data verstrekken over effecten. Meer over monitoring is hier te vinden: monitoring (O5)

Indien er sprake is van een mid-term evaluatie dan lijkt het methodologisch sterk op een model waarin eerst een ex-post evaluatie wordt uitgevoerd en daarna een ex-ante evaluatie wordt uitgevoerd. Hoe dit kan worden uitgevoerd, is te vinden bij de ex-post vraag Q1 (ex-post, enkelvoudig). Daarna kan naar het ex-ante perspectief worden gekeken. Dit is te vinden bij ex-ante vraag Q1 (ex-ante, enkelvoudig).

Denk bij zowel monitoring als mid-term evaluaties ook aan het inzetten van gedragsinzichten (O15).

Keuzehulp opnieuw starten