Q11 Hoe en waarom zal de beleidstheorie of (interventie)logica werken in de praktijk? (ex durante, meervoudig)
Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?
Vaak worden verschillende maatregelen ingezet om een bepaald beleidsdoel te realiseren. Idealiter versterken deze instrumenten elkaar, maar soms zitten ze elkaar eerder in de weg. Deze evaluatievraag is erop gericht de interactie tússen de mechanismen te achterhalen als er meerdere instrumenten worden ingezet om een bepaalde doelstelling te bereiken. Elk beleidsinstrument is gebaseerd op een bepaalde logica, en veronderstelt de activering van bepaalde causale mechanismen die een bepaalde verandering kunnen bewerkstelligen. Wanneer meerdere instrumenten worden ingezet, is het van belang bedacht te zijn op de interactie tussen die verschillende causale mechanismen. Veronderstelde causale mechanismen die door de inzet van het ene beleidsinstrument worden geactiveerd, kunnen de werking van andere mechanismen immers versterken, verzwakken of neutraliseren.
De onderstaande figuur toont schematisch wat deze vraag kan bieden. De enkele pijl tussen prestaties en effecten wordt uitgeplozen en vervangen door gedetailleerdere mechanismen. De mechanismen worden omsloten door de context die bepaalt hoe de mechanismen werken.
In een ex durante evaluatie kan worden ingegaan op de verwachte interactie van deze mechanismen van beleid tijdens de uitvoering. De coherentie van de verschillende beleidsinstrumenten kan op deze manier worden getoetst; en eveneens kan worden bekeken of er een bepaalde volgorde al dan niet gunstig is voor de optimale werking van meerdere beleidsinstrumenten.
Denk bijvoorbeeld aan een beleidsprogramma dat erop gericht is het rijgedrag van mensen aan te passen rond de omgeving van scholen. Om dit te realiseren kan gebruik worden gemaakt van verschillende beleidsinstrumenten. Zo kan men zich beroepen op verkeersboetes en informatiecampagnes. Beide instrumenten zijn gebaseerd op bepaalde veronderstellingen. Verkeersboetes zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen uit ‘angst’ voor een financiële sanctie. Deze ‘angst’ is het causale mechanisme of de logica achter dit beleid. Informatiecampagnes langs de weg zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen indien men kennis heeft over de gevaren van te snel rijden in een schoolomgeving. Deze mechanismen, ‘angst’ en het ‘kennis over de gevaren’ worden vaak verondersteld als onderdeel van de beleidstheorie, maar zijn niet altijd expliciet omschreven in beleidsstukken. Daarom wordt in veel evaluaties vaak een reconstructie gemaakt van de beleidstheorie. Door ex-durante onderzoek te doen naar de activering van mechanismen volgend op het uitschrijven van boetes en het inzetten van informatiecampagnes, en de wisselwerking tussen beiden in het bijzonder, kun je meer zekerheid krijgen over de werking van het beleid in de praktijk. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties, effecten en doelmatigheid van het gevoerde beleid: het is immers nog in uitvoering.
In een ex durante evaluatie kan worden ingegaan op de verwachte interactie van deze mechanismen van beleid tijdens de uitvoering. De coherentie van de verschillende beleidsinstrumenten kan op deze manier worden getoetst; en eveneens kan worden bekeken of er een bepaalde volgorde al dan niet gunstig is voor de optimale werking van meerdere beleidsinstrumenten.
Denk bijvoorbeeld aan een beleidsprogramma dat erop gericht is het rijgedrag van mensen aan te passen rond de omgeving van scholen. Om dit te realiseren kan gebruik worden gemaakt van verschillende beleidsinstrumenten. Zo kan men zich beroepen op verkeersboetes en informatiecampagnes. Beide instrumenten zijn gebaseerd op bepaalde veronderstellingen. Verkeersboetes zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen uit ‘angst’ voor een financiële sanctie. Deze ‘angst’ is het causale mechanisme of de logica achter dit beleid. Informatiecampagnes langs de weg zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen indien men kennis heeft over de gevaren van te snel rijden in een schoolomgeving. Deze mechanismen, ‘angst’ en het ‘kennis over de gevaren’ worden vaak verondersteld als onderdeel van de beleidstheorie, maar zijn niet altijd expliciet omschreven in beleidsstukken. Daarom wordt in veel evaluaties vaak een reconstructie gemaakt van de beleidstheorie. Door ex-durante onderzoek te doen naar de activering van mechanismen volgend op het uitschrijven van boetes en het inzetten van informatiecampagnes, en de wisselwerking tussen beiden in het bijzonder, kun je meer zekerheid krijgen over de werking van het beleid in de praktijk. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties en effecten van het gevoerde beleid: het is immers nog in uitvoering.
Hoe verhoudt deze vraag zich tot andere vragen?
Deze vraag geeft inzicht in de causale werking van beleid. Het is daarom goed om eerst de prestaties en effecten scherp te hebben (Q1 (Wat zijn de prestaties en effecten van het beleid?), voordat wordt overgegaan op deze verdiepende evaluatievraag. Daarnaast is inzicht in de beleidstheorie van belang. Deze vraag sluit goed aan bij de vraag ‘voor wie en onder welke omstandigheden werkt beleid?’, omdat werkzame mechanismen vaak beïnvloed worden door allerlei contextfactoren. Om beter inzicht te krijgen in de werking van causale mechanismen, en de interactie tussen deze, kan het ook interessant zijn om het perspectief van de stakeholders mee te nemen (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?). Zij kunnen immers inzichten geven in de wijze waarop een combinatie van maatregelen daadwerkelijk aansluit bij een doelgroep, en hoe deze maatregelen elkaar kunnen versterken, verzwakken of neutraliseren. Ook biedt deze vraag een goede aanvulling op inzicht in de mate waarin beleid bijdraagt aan beoogde doelen (Q2 (Wat is de doeltreffendheid van het beleid?).
Hoe kan je deze vraag beantwoorden?
Om deze vraag te beantwoorden is allereerst inzicht nodig in de beleidstheorie, ofwel de veronderstellingen over oorzaken en gevolgen en causale mechanismen. Wanneer de beleidstheorie in kaart is gebracht kan de werking van causale mechanismen onderzocht worden in de praktijk. Contribution analysis en Process tracing (O14) zijn hiervoor mogelijke methoden. Het is ook interessant om diegenen die in de praktijk betrokken zijn bij het beleid te bevragen of observeren, zoals de uitvoerders van de interventie en de doelgroep van beleid (via individuele interviews (D4), focusgroepen (D5) of participerende observatie (D7)). Ook zijn er verschillende onderzoeksmethoden om gedrag (O15) te onderzoeken.