Q1 Wat zijn de prestaties en effecten van het beleid? (ex ante, enkelvoudig)

Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-ante evaluatie van een enkelvoudig beleidsinstrument vertaalt deze vraag zich tot:

  • Wat zullen de prestaties van het beleidsinstrument zijn?
  • Wat zullen de beoogde effecten van het beleidsinstrument zijn?

Om beleid te kunnen evalueren is het belangrijk te weten welke uitkomsten zullen worden nagestreefd, en of ze behaald zullen worden. Hierbij maken we vaak een onderscheid tussen de te leveren prestaties en de beoogde effecten daarvan. Bij deze vraag ligt de focus volledig op de verwachte beleidsprestaties en maatschappelijke resultaten.

De onderstaande afbeelding toont dat de inzet van middelen de basis vormt voor te verrichten activiteiten. Deze activiteiten leiden tot prestaties en deze hebben als oogmerk om effecten te realiseren. Bedenk dat er ook niet-beoogde effecten kunnen zijn. Dit zijn zowel positieve als negatieve effecten die in de beleidstheorie vaak geen plek hebben gekregen, maar die wel kunnen optreden als gevolg van dat beleid.

Het is belangrijk om een onderscheid te maken tussen prestaties en beoogde effecten.

  • Effecten sluiten aan bij de beleidsdoelen. Om hier inzicht in te krijgen, moet worden geanalyseerd wat doelen van het beleid zijn. Bij het meten van effecten wordt een vergelijking gemaakt tussen de situatie op twee tijdstippen. Bij een enkelvoudige ex-ante evaluatie vergelijken we de huidige situatie met de te verwachten situatie in de toekomst. Wat is de CO2-uitstoot van het wegverkeer in Nederland nu en wat is deze naar verwachting in 2040? Bij een effectmeting speelt vaak de vraag hoe een effect het best te meten is en welke doelwaarden daarbij horen: Welke CO2-uitstoot van het wegverkeer willen we in Nederland hebben in 2040? 
  • Prestaties zijn nodig om de beleidsdoelen te bereiken. De prestaties van een overheidsinstelling worden vaak uitgedrukt in meetbare eenheden: “per jaar”, “per dag”, “per aanvraag”, etc. Een voorbeeld is het verwachte totale aantal verstrekte subsidies voor elektrische auto’s per jaar. Bij prestaties kan een hiërarchie bestaan waarbij sommige prestaties bijdragen aan andere meer overkoepelende prestaties die op hun beurt bijdragen aan beleidsdoelen (effecten).

Hoe verhoudt dit zich tot andere vragen?

Deze vraag is een uitstekend startpunt van een evaluatie. Het antwoord op deze vraag draagt bij aan de beantwoording van veel andere evaluatievragen. Na de beantwoording van deze vraag kan de relatie tussen prestaties en effecten verder onderzocht worden. Dat kan aan de hand van verschillende en elkaar aanvullende perspectieven uit de vragen Q2 (Wat is de doeltreffendheid van het beleid?)Q3 (Voor wie en in welke omstandigheden werkt het beleid?) en Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?).

Hoe kan je deze vraag beantwoorden?

Bij deze vraag ligt de focus op het in kaart brengen van de verwachte prestaties en effecten. Omdat er een inventariserend karakter is, is het logisch gebruik te maken van datacollectiemethoden. Onderzoeksmethoden m.u.v. simulaties liggen daarom minder voor de hand. De complexiteit bij ex-ante onderzoek ligt uiteraard in de inherente onzekerheid die met voorspellingen samengaat. Het vooraf inschatten van de prestaties hangt sterk af van het beleidsinstrument an sich.

  • Bij sommige beleidsinstrumenten worden de prestaties vooraf bepaald en hangen de activiteiten en middelen direct af van de prestaties. Een goed voorbeeld van een dergelijke prestatie is een 112-centrale die bijvoorbeeld 99,999% van de tijd bereikbaar moet zijn. De middelen die hiervoor nodig zijn vloeien voort uit deze prestatie. In dit geval is de logische bron de achterliggende documentatie (documenten- en literatuuronderzoek (incl. beleidsrapporten, Kamerbrieven e.d.) (D2)).
  • In andere gevallen worden de middelen of activiteiten vooraf vastgelegd en is het verwachting dat dit leidt tot bepaalde prestaties. Een voorbeeld is een ziekenhuis dat meer middelen krijgt. In dit geval ligt de uitdaging in het bepalen van de omvang van de prestaties. Hiervoor moet worden gezocht naar kentallen uit andere cases. De meest voor de hand liggende databronnen hiervoor zijn analyse van administratieve data (data van programma, microdata CBS) (D1) en documenten- en literatuuronderzoek (incl. beleidsrapporten, Kamerbrieven e.d.) (D2).
  • Als zowel middelen, activiteiten als prestaties niet bepaald zijn dan is het niet mogelijk om een ex-ante evaluatie uit te voeren. Het is immers niet duidelijk wat het onderwerp is van de evaluatie.

Voor het bepalen van de omvang van de beoogde effecten moet gekeken worden naar de vragen over doeltreffendheid. De vraag Q2 (Wat is de doeltreffendheid van het beleid?) biedt de beste aanknopingspunten om de omvang te kwantificeren. Denk tot slot bij deze vraag ook aan het inzetten van gedragsinzichten (O15)

Keuzehulp opnieuw starten