Q11 Hoe en waarom zal de beleidstheorie of (interventie)logica werken in de praktijk? (ex post, enkelvoudig)
Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?
Met deze vraag wordt de logica achter het beleid ex-post onderzocht. De focus ligt daarbij op het toetsen van de ‘black box’ van beleid: hoe en waarom heeft het beleid bijgedragen aan beoogde effecten? Welk bewijs is er voor het zich daadwerkelijk manifesteren van de beoogde causale mechanismen van beleid? Met het antwoord op deze vraag krijg je beter inzicht in het bewijs dat er bestaat voor de werking van de causale mechanismen van het uitgevoerde beleid en de factoren die dat (kunnen) verklaren.
De onderstaande figuur toont schematisch wat deze vraag kan bieden. De enkele pijl tussen prestaties en effecten wordt uitgeplozen en vervangen door gedetailleerdere mechanismen. De mechanismen worden omsloten door de context die bepaalt hoe de mechanismen werken.
Denk bijvoorbeeld aan verkeersboetes die gebaseerd zijn op de veronderstelling dat mensen hun rijgedrag zullen aanpassen uit ‘angst’ voor een financiële sanctie. Deze ‘angst’ is het causale mechanisme of de logica achter dit beleid. Deze mechanismen worden vaak verondersteld als onderdeel van de beleidstheorie, maar niet altijd expliciet omschreven in beleidsstukken. Daarom wordt in veel evaluaties vaak eerst een reconstructie gemaakt van de beleidstheorie.
Een ander voorbeeld zijn doelmatigheidsprikkels die vaak worden verondersteld bij de invoering van prestatiebekostiging van publieke dienstverlening. De veronderstelling daarbij is dat als organisaties worden betaald per prestatie ze meer zullen produceren omdat ze daarvoor beloond worden. Daarnaast is de veronderstelling dat organisaties zullen proberen te produceren onder de afgesproken prijs, omdat ze de ‘winst’ die ze daarmee behalen zelf mogen houden. Er wordt dus aangenomen dat prestatiebekostiging een gedragsverandering teweeg heeft gebracht.
Hoe verhoudt deze vraag zich tot andere vragen?
Deze vraag geeft inzicht in de causale werking van beleid in de praktijk na uitvoering. Het is daarom goed om eerst de daadwerkelijk gerealiseerde prestaties en effecten scherp te hebben (Q1 (Wat zijn de prestaties en effecten van het beleid?), voordat wordt overgegaan op deze verklarende evaluatievraag. Daarnaast is inzicht in de beleidstheorie van belang. Deze vraag sluit goed aan bij de vraag ‘voor wie en onder welke omstandigheden werkt beleid?’, omdat werkzame mechanismen vaak beïnvloed worden door allerlei contextfactoren. Om beter inzicht te krijgen in de werking van causale mechanismen kan het ook interessant zijn om het perspectief van de stakeholders mee te nemen (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?). Zij kunnen inzichten geven in wijze waarop een maatregel daadwerkelijk aansluit bij - de beweegredenen van - een doelgroep. Ook biedt deze vraag een goede aanvulling op inzicht in de mate waarin beleid bijdraagt aan beoogde doelen (Q2 (Wat is de doeltreffendheid van het beleid?).
Hoe kan je deze vraag beantwoorden?
Om deze vraag te beantwoorden is allereerst inzicht nodig in de beleidstheorie, ofwel de veronderstellingen over oorzaken en gevolgen en causale mechanismen. Wanneer de beleidstheorie in kaart is gebracht kan de werking van causale mechanismen onderzocht worden in de praktijk. Process tracing en Contribution analysis (O14) zijn hiervoor mogelijke methoden. Het is ook interessant om diegenen die in de praktijk betrokken zijn bij het beleid te bevragen of observeren, zoals de uitvoerders van de interventie en de doelgroep van beleid (via individuele interviews (D4), focusgroepen (D5) of participerende observatie (D7)). Ook zijn er verschillende onderzoeksmethoden om gedrag (O15) te onderzoeken.