Q1 Wat zijn de prestaties en effecten van het beleid? (ex ante, meervoudig)
Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?
Bij een ex-ante evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich tot:
- Wat zullen de prestaties van de beleidsinstrumenten zijn?
- Wat zullen de beoogde effecten van de beleidsinstrumenten zijn?
Om beleid te kunnen evalueren is het belangrijk te weten welke uitkomsten zullen worden nagestreefd, en of ze behaald zullen worden. Hierbij maken we onderscheid tussen de te leveren prestaties en de beoogde effecten daarvan. Bij deze vraag ligt de focus volledig op de verwachte beleidsprestaties en maatschappelijke resultaten.
De onderstaande afbeelding toont dat de inzet van middelen de basis vormt voor te verrichten activiteiten. Deze activiteiten leiden tot prestaties en deze hebben als oogmerk om effecten te realiseren. Bedenk dat er ook niet-beoogde effecten kunnen zijn. Dit zijn zowel positieve als negatieve effecten die in de beleidstheorie vaak geen plek hebben gekregen, maar die wel kunnen optreden als gevolg van dat beleid.
Het is belangrijk om een onderscheid te maken tussen prestaties en beoogde effecten.
- Effecten sluiten aan bij de beleidsdoelen. Om hier inzicht in te krijgen, moet worden geanalyseerd wat doelen van het beleid zijn. Bij het meten van effecten wordt een vergelijking gemaakt tussen de situatie op twee tijdstippen. Bij een meervoudige ex-ante evaluatie vergelijken we voor meerdere samenhangende instrumenten de huidige situatie met de te verwachten situatie in de toekomst. Een voorbeeld kan zijn de beleidsinstrumenten die erop gericht zijn om de CO2-uitstoot te verlagen. Wat is de CO2-uitstoot van het wegverkeer in Nederland nu en wat is deze naar verwachting in 2040? Dezelfde vraag stellen we voor de uitstoot van de industrie, de landbouw en de bebouwde omgeving. Bij een effectmeting speelt vaak de vraag hoe een effect het best te meten is en welke doelwaarden daarbij horen: Welke CO2-uitstoot willen we in Nederland hebben in 2040?
- Prestaties zijn nodig om de beleidsdoelen te bereiken. De prestaties van een overheidsinstelling worden vaak uitgedrukt in meetbare eenheden: “per jaar”, “per dag”, “per aanvraag”, etc. Een voorbeeld is het verwachte totale aantal verstrekte subsidies voor elektrische auto’s’ per jaar. Bij prestaties kan een hiërarchie bestaan waarbij sommige prestaties bijdragen aan andere meer overkoepelende prestaties die op hun beurt bijdragen aan beleidsdoelen (effecten).
Hoe verhoudt dit zich tot andere vragen?
Deze vraag is een uitstekend startpunt van een evaluatie. Het antwoord op deze vraag draagt bij aan de beantwoording van veel andere evaluatievragen. Het is hiermee een goede basis voor bijna elke andere evaluatievraag. Na de beantwoording van deze vraag kan de relatie tussen prestaties en effecten verder onderzocht worden. Dat kan aan de hand van verschillende en elkaar aanvullende perspectieven uit de vragen Q2 (Wat is de doeltreffendheid van het beleid?), Q3 (Voor wie en in welke omstandigheden werkt het beleid?) en Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?).
Hoe kan je deze vraag beantwoorden?
Bij deze vraag ligt de focus op het in kaart brengen van de verwachte prestaties en effecten. Omdat er een inventariserend karakter is, is het logisch gebruik te maken van datacollectiemethoden. Onderzoeksmethoden m.u.v. simulaties liggen daarom minder voor de hand. Merk op dat bij deze vraag nog niet gekeken wordt naar de onderlinge samenhang van de verschillende instrumenten; dat komt pas aan de orde bij Q2 (Wat is de doeltreffendheid van het beleid?). Van alle beleidsinstrumenten wordt separaat bepaald wat de prestaties en effecten zijn geweest. Hiermee is deze vraag feitelijk een herhaling van de enkelvoudige vraag. Hieronder wordt duidelijk hoe dit bepaald kan worden voor één instrument. Dit proces moet voor elke instrument worden herhaald.
De complexiteit bij ex-ante onderzoek ligt uiteraard in de inherente onzekerheid die met voorspellingen samengaat. Het vooraf inschatten van de prestaties hangt sterk af van de beleidsinstrumenten an sich.
- Bij sommige beleidsinstrumenten worden de prestaties vooraf bepaald en hangen de activiteiten en middelen af van de prestaties. Voorbeelden zijn de beschikbaarheid van de 112-centrale. In dit geval is de logische bron de achterliggende documentatie. (documenten- en literatuuronderzoek (incl. beleidsrapporten, Kamerbrieven e.d.) (D2))
- In andere gevallen worden de middelen of activiteiten vooraf vastgelegd en is het verwachting dat dit leidt tot bepaalde prestaties. Een voorbeeld is een ziekenhuis dat meer middelen krijgt. In dit geval ligt de uitdaging in het bepalen van de omvang van de prestaties. Hiervoor moet worden gezocht naar kentallen uit andere cases. De meest voor de hand liggende databronnen hiervoor liggen zijn analyse van administratieve data (data van programma, microdata CBS) (D1) en documenten- en literatuuronderzoek (incl. beleidsrapporten, Kamerbrieven e.d.) (D2).
- Als zowel middelen, activiteiten als prestaties niet bepaald zijn dan is het niet mogelijk om een ex-ante evaluatie uit te voeren. Het is immers niet duidelijk wat het onderwerp is van de evaluatie.
Voor het bepalen van de omvang van de beoogde effecten moet gekeken worden naar de vragen over doeltreffendheid. De vraag Q2 (Wat is de doeltreffendheid van het beleid?) biedt de beste aanknopingspunten om dit te kwantificeren. Denk tot bij deze vraag ook aan het inzetten van gedragsinzichten (O15).