Q11 Hoe en waarom zal de beleidstheorie of (interventie)logica werken in de praktijk? (ex ante, meervoudig)
Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?
Vaak worden verschillende maatregelen ingezet om een bepaald beleidsdoel te realiseren. Idealiter versterken deze instrumenten elkaar, maar soms zitten ze elkaar eerder in de weg. Deze evaluatievraag is erop gericht de interactie tússen de mechanismen te achterhalen als er meerdere instrumenten worden ingezet om een bepaalde doelstelling te bereiken. Elk beleidsinstrument is gebaseerd op een bepaalde logica, en veronderstelt de activering van bepaalde causale mechanismen die een beoogde verandering kunnen bewerkstelligen. Wanneer meerdere instrumenten worden ingezet, is het van belang bedacht te zijn op de interactie tussen de verschillende causale mechanismen. Veronderstelde causale mechanismen die door de inzet van het ene beleidsinstrument worden geactiveerd, kunnen de werking van andere mechanismen immers versterken, verzwakken of neutraliseren.
De onderstaande figuur toont schematisch wat deze vraag kan bieden. De enkele pijl tussen prestaties en effecten wordt uitgeplozen en vervangen door gedetailleerdere mechanismen. De mechanismen worden omsloten door de context die bepaalt hoe de mechanismen werken.
In een ex ante evaluatie kan worden ingegaan op de verwachte interactie van deze mechanismen van beleid nog voor gestart wordt met de uitvoering. De coherentie van de verschillende beleidsinstrumenten kan op deze manier worden getoetst; en eveneens kan worden bekeken of er een bepaalde volgorde noodzakelijk is voor de optimale werking van meerdere beleidsinstrumenten. Dient de inzet van een bepaald instrument A vooraf te gaan aan de inzet van een ander instrument B, of is de timing niet relevant om een bepaald effect teweeg te brengen?
Denk bijvoorbeeld aan een beleidsprogramma dat erop gericht is het rijgedrag van mensen aan te passen rond de omgeving van scholen. Om dit te realiseren kan gebruik worden gemaakt van verschillende beleidsinstrumenten. Zo kan men zich beroepen op verkeersboetes en informatiecampagnes. Beide instrumenten zijn gebaseerd op bepaalde veronderstellingen. Verkeersboetes zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen uit ‘angst’ voor een financiële sanctie. Deze ‘angst’ is het causale mechanisme of de logica achter dit beleid. Informatiecampagnes langs de weg zijn gebaseerd op de assumptie dat mensen hun rijgedrag zullen aanpassen indien men kennis heeft over de gevaren van te snel rijden in een schoolomgeving.
Deze mechanismen, ‘angst’ en het ‘kennis over de gevaren’ worden vaak verondersteld als onderdeel van de beleidstheorie, maar zijn niet altijd expliciet omschreven in beleidsstukken. Daarom wordt in veel evaluaties vaak eerst een reconstructie gemaakt van de beleidstheorie. Door ex-ante onderzoek te doen naar de activering van mechanismen volgend op het uitschrijven van boetes en het inzetten van informatiecampagnes, en de wisselwerking tussen beiden in het bijzonder, kun je meer zekerheid krijgen over de werking van het beleid in de praktijk.
Een ander voorbeeld zijn doelmatigheidsprikkels die vaak worden verondersteld bij de invoering van prestatiebekostiging van publieke dienstverlening. De veronderstelling daarbij is dat als organisaties worden betaald per prestatie ze meer zullen produceren omdat ze daarvoor beloond worden. Daarnaast is de veronderstelling dat organisaties zullen proberen te produceren onder de afgesproken prijs, omdat ze de ‘winst’ die ze daarmee behalen zelf mogen houden. Er wordt dus aangenomen dat prestatiebekostiging een gedragsverandering teweeg zal brengen. Door ex-ante onderzoek te doen naar de aannemelijkheid van deze veronderstellingen kan beter inzicht worden verkregen in de waarschijnlijkheid dat het beleid ook zal werken zoals beoogd en wat mogelijke neveneffecten zijn op (in dit geval) bijvoorbeeld de kwaliteit van dienstverlening.
Hoe verhoudt deze vraag zich tot andere vragen?
Deze vraag geeft inzicht in de aannemelijkheid van de veronderstelde causale werking van beleid. Het is daarom goed om eerst de beoogde prestaties en effecten scherp in beeld te hebben (Q1 (Wat zijn de prestaties en effecten van het beleid?), voordat over wordt gegaan op deze verdiepende evaluatievraag. Daarnaast is inzicht in de beleidstheorie van belang. Deze vraag sluit goed aan bij de vraag Q3 ‘voor wie en onder welke omstandigheden beleid werkt’, omdat werkzame mechanismen vaak beïnvloedt worden door allerlei contextfactoren. Om beter inzicht te krijgen in de beoogde werking van causale mechanismen kan het ook interessant zijn om het perspectief van de stakeholders mee te nemen (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?). Zij kunnen immers inzichten geven in hoe verschillende beleidsmaatregelen aansluiten bij een doelgroep, en hoe deze maatregelen elkaar kunnen versterken, verzwakken of neutraliseren. Ook biedt deze vraag een goede aanvulling op inzicht in de mate waarin beleid bijdraagt aan beoogde doelen (Q2 (Wat is de doeltreffendheid van het beleid?).
Hoe kan je deze vraag beantwoorden?
Om deze vraag te beantwoorden is allereerst inzicht nodig in de beleidstheorie, ofwel de veronderstellingen over oorzaken en gevolgen en causale mechanismen. Wanneer de beleidstheorie in kaart is gebracht kan de aannemelijkheid van de werking en wisselwerking van causale mechanismen van de verschillende in te zetten instrumenten onderzocht worden, bijvoorbeeld op basis van literatuuronderzoek (verwijzen naar fiche) of een systematische review (verwijzen naar fiche). Je kunt ook simulaties (O10) gebruiken om een beleidstheorie te toetsen. Op sommige beleidsterreinen worden speciale kennisbanken ontwikkeld van ‘bewezen effectieve interventies’ waarin ook aandacht is voor causale mechanismen (zie bijvoorbeeld https://www.movisie.nl/sites/movisie.nl/files/2018-05/databank-beoordeling-goed-onderbouwd-en-effectief-criteria-en-procedure-versie2-0.pdf).
Een ander voorbeeld is de Kennisbank Justitiële interventies of ‘toezicht’ https://www.wodc.nl/cijfers-en-prognoses/kennisbank/. Daarnaast wordt er steeds meer kennis opgedaan over gedragsinzicht door het Behavioural Insights Netwerk Nederland (BIN NL) (zie ook www.binnl.nl). Naast het gebruik van beschikbare kennis kun je de veronderstellingen over de werking van beleid ook onderzoeken door diegenen die er de praktijk bij betrokken zullen worden te bevragen of observeren, zoals de uitvoerders van de interventie en de beoogde doelgroep (via individuele interviews (D4), focusgroepen (D5) of observaties (D7). Ook zijn er verschillende onderzoeksmethoden om gedrag (O15) te onderzoeken.