Q1 Wat zijn de prestaties en effecten van het beleid? (ex post, enkelvoudig)

Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-post evaluatie van een enkelvoudig beleidsinstrument vertaalt deze vraag zich tot:

Wat zijn de prestaties van het beleidsinstrument geweest?
Wat zijn de beoogde effecten van het beleidsinstrument geweest?

Om beleid te kunnen evalueren is het belangrijk te weten welke uitkomsten zijn nagestreefd, en of ze zijn behaald. Hierbij maken we vaak een onderscheid tussen bereikte prestaties en de beoogde effecten daarvan. Bij deze vraag ligt de focus volledig op de beleidsprestaties en de bereikte maatschappelijke resultaten.

De onderstaande afbeelding toont dat de inzet van middelen de basis vormt voor te verrichten activiteiten. Deze activiteiten leiden tot prestaties en deze hebben als oogmerk om effecten te realiseren. Bedenk dat er ook niet-beoogde effecten kunnen zijn. Dit zijn zowel positieve als negatieve effecten die in de beleidstheorie vaak geen plek hebben gekregen, maar die wel kunnen optreden als gevolg van dat beleid.

Het is belangrijk om een onderscheid te maken tussen prestaties en beoogde effecten.

Effecten sluiten aan bij de beleidsdoelen. Om hier inzicht in te krijgen, moet worden geanalyseerd wat doelen van het beleid zijn. Bij het meten van effecten wordt een vergelijking gemaakt tussen de situatie op twee tijdstippen. Bij een enkelvoudige ex-post evaluatie wordt de huidige situatie vergeleken met de situatie in het verleden. Voorbeeld: Wat was de CO2-uitstoot van het wegverkeer in Nederland in 1990 en wat is deze nu?
Prestaties zijn nodig om de beleidsdoelen te bereiken. De prestaties van een overheidsinstelling worden vaak uitgedrukt in meetbare eenheden: “per jaar”, “per dag”, “per aanvraag”, etc. Een voorbeeld is het totale aantal verstrekte subsidies voor elektrische auto’s per jaar. Bij prestaties kan een hiërarchie bestaan waarbij sommige prestaties bijdragen aan andere meer overkoepelende prestaties die op hun beurt bijdragen aan beleidsdoelen (effecten).

Het is dus bij het evalueren van het beleid goed om terug te grijpen naar de beleidstheorie waarin verbanden tussen middelen, activiteiten, prestaties en doelen zijn beschreven.

Hoe verhoudt dit zich tot andere vragen?

Deze vraag is een uitstekend startpunt van een evaluatie. Het is een goede basis voor bijna elke andere evaluatievraag. Na de beantwoording van deze vraag kan de relatie tussen prestaties en effecten verder onderzocht worden. Dat kan aan de hand van verschillende en elkaar aanvullende perspectieven uit de vragen Q2 (Wat is de doeltreffendheid van het beleid?), Q3 (Voor wie en in welke omstandigheden werkt het beleid?) en Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?).

Hoe kan je deze vraag beantwoorden?

Bij deze vraag ligt de focus op het in kaart brengen van de gerealiseerde prestaties en effecten. Omdat er een inventariserend karakter is, is het logisch gebruik te maken van datacollectiemethoden. Onderzoeksmethoden liggen daarom minder voor de hand.

Bij het bepalen van de prestaties gaat het om de producten of diensten die zijn opgeleverd. Denk aan verstrekte mondkapjes, gedownloade apps, kilometers snelweg, uitgegeven subsidies, afgehandelde vragen van burgers, et cetera. Het is duidelijk dat veel uitvoerders van beleid dergelijke parameters in hun interne administratie bijhouden. In veel gevallen is het niet nodig om hiervoor een onderzoeksmethode in te zetten, maar kan direct naar (interne) databronnen van de organisatie die de activiteiten uitvoert worden gegrepen: analyse van administratieve data (data van programma, microdata CBS) (D1) en documenten- en literatuuronderzoek (incl. beleidsrapporten, Kamerbrieven e.d.) (D2) liggen voor de hand. Indien dit niet beschikbaar is, moet er gezocht worden naar andere bronnen. Er kan dan bijvoorbeeld gebruikt gemaakt worden van surveys/enquêtes (D6), nieuwe, innovatieve manieren om online (big) data te verzamelen (D8) en analyses van geaggregeerde statistische data en data uit beleidsmonitoren (openbaar) (D3).

Bij het bepalen van de beoogde effecten kan minder snel worden teruggegrepen naar interne databronnen dan bij de prestaties. Het gaat immers veelal om effecten op de buitenwereld. Voorbeeld: Een ziekenhuis weet vrij goed hoeveel mondkapjes ze aan bezoekers heeft verstrekt, maar hoeveel bezoekers een besmettingsziekte hebben gekregen is lastiger te bepalen. Daar komt bij dat de beoogde effecten vaak minder goed in harde parameters zijn uit te drukken. Rijkswaterstaat wil de filedruk verminderen, maar drukken we filedruk dit uit in kilometers stilstaand verkeer, kilometers stilstaand of langzaam rijdend verkeer, verloren reizigersminuten, et cetera? Bij het bepalen van de beoogde effecten moet een meting worden uitgevoerd waar in principe alle dataverzamelingsmethodes mogelijk geschikt voor kunnen zijn. Omdat veel effecten al gemeten worden is het nuttig ook te kijken naar welke data al beschikbaar is. De volgende dataverzamelingsmethoden zijn toepasbaar:

Het inzetten van gedragsinzichten (O15) kan ook waardevol zijn bij deze evaluatievraag. In gevallen waarbij het niet mogelijk is om met de bovenstaande dataverzamelingsmethodes de beoogde effecten in kaart te brengen, is het te overwegen om andere onderzoeksmethodes in te zetten. Systematische reviews & meta-analyse (O3) en case-studies: Process tracing; Contribution analyses (O4) zijn dan een logische stap. Indien meerdere methodes tegelijk worden ingezet dan is het belangrijk om goed na te denken over de manier waarop deze methoden het beste kunnen worden gecombineerd. Meer hierover is te vinden onder bij de pagina over mixed methods (O12).

Keuzehulp opnieuw starten