Q11 Hoe en waarom zal de beleidstheorie of (interventie)logica werken in de praktijk? (ex durante, enkelvoudig)
Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?
Met deze vraag wordt de logica achter het beleid ex-durante onderzocht. De focus ligt daarbij op de het openen van de ‘black box’ van beleid in de fase dat het beleid nog volop wordt uitgevoerd: hoe en waarom draagt het beleid bij aan beoogde effecten? Welk eerste bewijs is voor de werking van de veronderstelde causale mechanismen van beleid is er gedurende de uitvoering van beleid? Met het antwoord op deze vraag krijg je dus een vroeg inzicht in het ‘waarom’ achter de veronderstelde causale mechanismen van het beoogde beleid in de praktijk.
De onderstaande figuur toont schematisch wat deze vraag kan bieden. De enkele pijl tussen prestaties en effecten wordt uitgeplozen en vervangen door gedetailleerdere mechanismen. De mechanismen worden omsloten door de context die bepaalt hoe de mechanismen werken.
Denk bijvoorbeeld aan verkeersboetes die gebaseerd zijn op de veronderstelling dat mensen hun rijgedrag zullen aanpassen uit ‘angst’ voor een financiële sanctie. Deze ‘angst’ is het causale mechanisme of de logica achter dit beleid. Deze mechanismen worden vaak verondersteld als onderdeel van de beleidstheorie, maar niet altijd expliciet omschreven in beleidsstukken. Daarom wordt in veel evaluaties vaak eerst een reconstructie gemaakt van de beleidstheorie. Door ex-durante onderzoek te doen naar het bewijs voor de ‘angst’ die uitgaat van boetes kan je meer zekerheid krijgen over de werking van het beleid in de praktijk.
Een ander voorbeeld zijn doelmatigheidsprikkels die vaak worden verondersteld bij de invoering van prestatiebekostiging van publieke dienstverlening. De veronderstelling daarbij is dat als organisaties worden betaald per prestatie ze meer zullen produceren omdat ze daarvoor beloond worden. Daarnaast is de veronderstelling dat organisaties zullen proberen te produceren onder de afgesproken prijs, omdat ze de ‘winst’ die ze daarmee behalen zelf mogen houden. Er wordt dus aangenomen dat prestatiebekostiging een gedragsverandering teweeg zal brengen. Door ex-durante onderzoek te doen naar de werking van deze mechanismen in de praktijk kan inzicht worden verkregen in de wijze waarop het beleid werkt en wat eventuele neveneffecten zijn. In dit geval op bijvoorbeeld de kwaliteit van dienstverlening. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties en effecten van het gevoerde beleid: het is immers nog in uitvoering.
Hoe verhoudt deze vraag zich tot andere vragen?
Deze vraag geeft inzicht in de causale werking van beleid in de praktijk gedurende de uitvoering. Het is daarom goed om eerst de prestaties en effecten scherp te hebben (Q1 (Wat zijn de prestaties en effecten van het beleid?), voordat wordt overgegaan op deze verdiepende evaluatievraag. Daarnaast is inzicht in de beleidstheorie van belang. Deze vraag sluit goed aan bij de vraag ‘voor wie en onder welke omstandigheden werkt beleid?’, omdat werkzame mechanismen vaak beïnvloed worden door allerlei contextfactoren. Om beter inzicht te krijgen in de werking van causale mechanismen kan het ook interessant zijn om het perspectief van de stakeholders mee te nemen (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?). Zij kunnen immers inzichten geven over de wijze waaropeen maatregel daadwerkelijk aansluit bij een doelgroep. Ook biedt deze vraag een goede aanvulling op inzicht in de mate waarin beleid bijdraagt aan beoogde doelen (Q2 (Wat is de doeltreffendheid van het beleid?).
Hoe kan je deze vraag beantwoorden?
Om deze vraag te beantwoorden is allereerst inzicht nodig in de beleidstheorie, ofwel de veronderstellingen over oorzaken en gevolgen en causale mechanismen. Wanneer de beleidstheorie in kaart is gebracht kan de werking van causale mechanismen onderzocht worden in de praktijk. Contribution analysis en Process tracing (O14) zijn hiervoor mogelijke methoden. Het is ook interessant om diegenen die in de praktijk betrokken zijn bij het beleid te bevragen of observeren, zoals de uitvoerders van de interventie en de doelgroep van beleid (via individuele interviews (D4), focusgroepen (D5) of participerende observatie (D7)). Ook zijn er verschillende onderzoeksmethoden om gedrag (O15) te onderzoeken.