Q3 Voor wie en in welke omstandigheden werkt het beleid? (ex durante, meervoudig)

Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-durante evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich tot: voor wie en in welke omstandigheden werken de beleidsinstrumenten tot nu toe?

Met het antwoord op deze vraag krijg je beter inzicht in de combinaties van condities die tot nu toe voldoende en/of noodzakelijk zijn voor een bepaalde uitkomst. Die condities kunnen bijvoorbeeld betrekking hebben op eigenschappen van de gebruikers van het beleid (de doelgroep). Ook contextfactoren of aanverwante andere beleidsmaatregelen kunnen van invloed zijn. Door deze vraag te beantwoorden krijg je inzicht in mogelijke noodzakelijke en (combinaties van) voldoende factoren voor succesvol beleid. Een mogelijke uitkomst is dat een specifieke set aan beleidsinstrumenten op zichzelf niet voldoende was voor succes, maar mogelijk wel in combinatie met andere factoren, waarbij er meerdere combinaties kunnen leiden tot succes. Het is ook mogelijk dat een andere mix van instrumenten succesvol kan zijn.

Een goed voorbeeld is tabaksbeleid: Er zijn verschillende instrumenten ingezet om roken te ontmoedigen zoals waarschuwende afbeeldingen, (hogere) accijnzen, leeftijdsgrenzen, et cetera. De vraag is welke combinatie van beleidsinstrumenten voor bepaalde groepen in bepaalde omstandigheden tot nu toe gewerkt hebben. Wellicht dat leeftijdsgrenzen en hoge accijnzen goed gewerkt hebben om te voorkomen dat jongeren gaan roken. Aan de andere kant zorgde de combinatie van waarschuwende afbeeldingen in combinatie met hoge accijnzen er juist voor dat rokers met relatief lage inkomens minder gingen roken.

Hoe verhoudt dit zich tot andere vragen?

Niet zozeer de mate waarin beleid werkt, maar de omstandigheden waaronder het beleid werkt staan bij deze vraag centraal. Het is daarom vaak handig om eerst in kaart te brengen wat prestaties en effecten zijn (Q1 (Wat zijn de prestaties en effecten van het beleid?)), om vervolgens over te gaan op deze verdiepende evaluatievraag. Daarnaast is het ook van belang voldoende kennis te hebben van uitkomsten van beleid in verschillende gevallen en van de context van het beleid. Deze vraag wordt vaak gecombineerd met de vraag of de logica achter het beleid werkt (Q11) en is aanvullend op de vraag wat de doeltreffendheid van het beleid is (Q2). Ook is het interessant om te overwegen om (ook) het perspectief van de stakeholders (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)) mee te nemen. Zij kunnen immers inzichten geven over hoe beleid aansluit bij een doelgroep. Het antwoord op deze vraag kan ook aanknopingspunten bieden om de doeltreffendheid te verhogen (Q10).

Hoe kan je deze vraag beantwoorden?

Case studies (O4) kunnen worden ingezet om de omstandigheden van verschillende uitkomsten van beleid te bestuderen. Eventueel kan ook naar outcome mapping (O7) worden gekeken. Ook kan de inzet van gedragsinzichten (O15) waardevol zijn bij deze evaluatievraag. Om een algemener antwoord te krijgen op deze vraag is Qualitative Comparative Analysis (O9) de meest geschikte methode.

Quasi-experimentele methoden (O1) kunnen in bepaalde gevallen gekwantificeerde inzichten geven in verschillen tussen verschillende groepen en omstandigheden, maar zijn doorgaans minder geschikt om deze vraag te beantwoorden.

Indien meerdere methodes worden ingezet dan is het aan te raden om de combinatie van deze methodes zorgvuldig uit te voeren. Meer hierover is te vinden onder bij de pagina over mixed methods (O12).

Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties en effecten van het gevoerde beleid: het is immers nog in uitvoering.