Stap 2 Vraagstelling bepalen
Het doel van deze stap is om te bepalen welke centrale vraag (of vragen) leidend zullen zijn voor de evaluatie. Deze vraagstelling zal samenhangen met de beleidstheorie. Dit is het geheel van veronderstellingen dat aan een beleid ten grondslag ligt. De beleidstheorie toont welke instrumenten (en tegen welke kosten) ingezet worden om bepaalde prestaties en vervolgens doelen te bereiken. De vraagstelling kan zich richten op de vraag of een beleid doeltreffend of doelmatig is geweest (of zal zijn), gegeven de doelen die centraal staan in de beleidstheorie. Ook kan de beleidstheorie een basis bieden om andere aspecten van de beleidsonderbouwing te onderzoeken, zoals het bestaan van vermeende problemen die de aanleiding vormen voor het beleid. De beleidstheorie – en de afgeleide evaluatievragen - zijn essentieel om een evaluatie goed uit te kunnen voeren.
1. Inzicht krijgen in de beleidstheorie
Om een goede evaluatie uit te kunnen voeren, is het van groot belang om inzicht te hebben (of krijgen) in de zogeheten beleidstheorie. Dat is het geheel aan veronderstellingen waar een beleid op berust. De beleidstheorie omvat een beschrijving van het beleid, de doelen van dit beleid en de middelen en activiteiten om deze doelen te bereiken, inclusief hun onderlinge samenhang. De kern van de beleidstheorie wordt meestal weergegeven in de vorm van een pijlenschema waarin de relaties tussen middelen (inputs), activiteiten (throughputs), prestaties (outputs) en de beoogde impact (outcomes) visueel worden getoond in de vorm van een doelenboom. Hieronder staat een voorbeeld van een doelenboom met betrekking op milieubeleid. In de beleidstheorie kan ook worden aangegeven op basis van welke gronden beleidsinterventie legitiem is, bijvoorbeeld door te beschrijven welke knelpunten of problemen er zijn die om overheidsingrijpen vragen (en welke indicaties er zijn dat dergelijke overheidsingrijpen effectief kan zijn).
Een beleidstheorie is in eerste instantie gericht op een beschrijving en analyse van de beleidsdoelen en -instrumenten. Je kunt echter ook een bredere beleidstheorie opstellen. Een dergelijke brede beleidstheorie visualiseert ook andere relevante factoren die met het beleid (kunnen) samenhangen, bijvoorbeeld:
- Neveneffecten: een beleid kan andere effecten veroorzaken die buiten de formele beleidsdoelstellingen vallen. Sommige neveneffecten worden vooraf ingecalculeerd (een verhoging van de brandstofaccijns leidt in grensregio’s tot meer tankbeurten in het buitenland), terwijl andere neveneffecten onverwacht kunnen optreden (aanleg van een nieuwe snelweg leidt tot meer inbraken in aanliggende gemeenten).
- Externe factoren: doelbereiking kan versterkt of verzwakt worden door factoren die buiten het bereik van het beleid liggen. De mate waarin kleine ondernemingen een beroep kunnen doen op externe kredietverlening hangt bijvoorbeeld niet alleen af van het ondernemingsbeleid van de overheid, maar ook van de rentestand, de conjunctuur, het beleid van kredietverstrekkers en de werking van de financieringsmarkt in het algemeen.
De beleidstheorie achter het beleid wordt niet altijd expliciet beschreven in de begrotingen en beleidsnota’s. Vaak is de beleidstheorie dan wel te reconstrueren op basis van beleidsteksten en interviews. Het is daarbij vooral van belang om de achterliggende veronderstellingen over de bijdrage van het beleidsinstrument aan het beleidsdoel boven water te krijgen (waarom zal deze interventie bijdragen aan het doel?).
Begrippen die nauw verwant zijn aan de beleidstheorie zijn:
- Logical Framework Approach (LFA): een managementtool die zich richt op de inzet van instrumenten voor het plannen, ontwerpen, inzetten en evalueren van projecten.
- Theory of Change (ToC): een methode die zich expliciet richt op het openen van de blackbox achter het beleid, namelijk het inzichtelijk maken van de mechanismen waardoor een beleidsmaatregel een bepaald effect sorteert op een specifieke doelgroep. Welke factoren maken dat een beleidsmaatregel in deze context wel en in een andere context niet werkt? Dit gaat dus verder dan het meten van doelbereiking aan de hand van indicatoren die aan een beleidstheorie zijn ontleend. Dit wordt ook wel de interventielogica genoemd.
Wat als er geen beleidstheorie is beschreven?
Idealiter is een beleidstheorie beschreven in een beleidsnota. In de praktijk is dit echter vaak niet (expliciet) gebeurd, en is de beschrijving summier (alleen doelstellingen en middelen genoemd, zonder onderlinge samenhang te tonen) of zijn de doelstellingen gedurende de uitvoering gewijzigd (wat op zichzelf niet verkeerd hoeft te zijn). De volgende vragen kunnen helpen om inzicht te krijgen welke situatie van toepassing is:
- Identificeer de doelen van, activiteiten binnen en middelen voor een beleidsmaatregel (of beleidsmaatregelen) en het probleem dat het beleid moet verhelpen. Meestal komt dit neer op het verzamelen van relevante documenten (beleidsnota’s, begrotingen, programmaplannen, etc.) waarin de ambities van het beleid, de inzet van beleidsinstrumenten worden aangekondigd en duidelijk wordt gemaakt waarom dit beleid een maatschappelijk probleem zal verhelpen.
- Analyseer of de doelen, activiteiten en middelen volledig beschreven zijn en welke relaties er tussen deze aspecten worden verondersteld. Op basis van het verzamelde materiaal kan een aanzet worden gemaakt voor een doelenboom (mogelijk staat deze ook al in één van de verzamelde documenten). Er bestaan drie typen relaties:
- Finale relaties: relaties tussen doelen en middelen;
- Causale relaties: relaties tussen oorzaken en gevolgen;
- Normatieve relaties: relaties tussen beginselen of waarden en de normen die in het beleid worden gebruikt.
- Verzamel indien nodig aanvullende gegevens over (relaties tussen) doelen, activiteiten en middelen. Mogelijk zijn niet alle aspecten volledig beschreven, zijn er tijdens de looptijd van de maatregel nieuwe doelen gesteld of zijn middelen veranderd (dat kan ook blijken uit de voorgaande stappen) of zijn sommige aspecten nog niet beschreven. In het laatste geval zijn interviews met beleidsmakers relevant.
Hieronder een (deels) uitgewerkt voorbeeld van een doelenboom voor milieubeleid.
2. Type onderzoeksvraag kiezen
Binnen elk evaluatieonderzoek staat een hoofdvraag of opdracht centraal. In de kern kunnen we evaluatievragen en -opdrachten samenvatten in drie categorieën (zie ook de figuur onderaan de pagina):
- Effectevaluatie. Hierbij kijken we naar de mate waarin het beleid effect heeft of zal hebben. De causaliteitsvraag staat centraal: In welke mate leiden de beleidsprestaties tot de effecten? Verder gaat het er hier ook om na te gaan voor wie en onder welke omstandigheden het beleid effectief is geweest en hoe betrokkenen het beleid ervaren en beoordelen. Voor de bijbehorende evaluatievragen: zie onderdeel Effectevaluaties in de keuzehulp.
- Doelmatigheidsevaluatie. Hierbij kijken we naar de verhouding tussen de kosten en de opbrengsten van het beleid of de uitvoering. We maken onderscheid tussen (a) de kleine doelmatigheid die betrekking heeft op de relatie tussen middelen en prestaties en (b) de grote doelmatigheid die over de relatie tussen middelen en effecten gaat. Meer informatie over de bijbehorende evaluatievragen kun je vinen bij het onderdeel Doelmatigheidsevaluaties in de keuzehulp.
- Verklarende evaluatie. In dit type evaluatie zijn we op zoek naar verklaringen voor de doelmatigheid en de doeltreffendheid van het beleid. Dit helpt ook bij het bepalen van mogelijkheden om de doelmatigheid en doeltreffendheid te verhogen. Ook hebben we oog voor een verklaring van de niet-beoogde effecten van het beleid. Gezamenlijk geeft dit een beeld van waarom bepaalde uitkomsten wel of niet worden gerealiseerd, en hoe dit eventueel anders zou kunnen. Voor de bijbehorende evaluatievragen: zie onderdeel Verklarende evaluaties in de keuzehulp.
Ga door naar stap 3: Keuzehulp onderzoeksontwerp