Q7 Wat verklaart de mate van doelmatigheid van het beleid? (ex post, meervoudig)

Wat kan je met deze doelmatigheidsevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-post evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich tot de volgende vraag: wat verklaart de gerealiseerde mate van doelmatigheid van de beleidsinstrumenten?

Met deze vraag krijg je een antwoord op de achterliggende redenen waarom de kleine doelmatigheid (Q5) of grote doelmatigheid (Q6) wel of niet optimaal is. Idealiter leveren deze vragen een bepaalde score op, maar dan ontbreekt nog een (kwalitatieve) onderbouwing van (veranderingen in) deze score. Een logische vervolgvraag is dan waarom de doelmatigheid goed of slecht is. Hieronder maken we een onderscheid tussen de verklaringen voor grote en kleine doelmatigheid.

Verklaringen voor tegen- of meevallende kleine doelmatigheid

Bij kleine doelmatigheid (Q5) draait het om de verhouding van prestaties en middelen. Deze verhouding kan net als bij grote doelmatigheid gunstig of ongunstig zijn. Kleine doelmatigheid richt zich vooral op de uitvoering(sorganisatie). Verklaringen voor doelmatigheid moeten dus worden gezocht in de bedrijfsvoering van de uitvoerende organisatie. Wanneer deze organisatie zijn interne bedrijfsprocessen goed heeft ingericht, is de kans groot dat de uitvoering doelmatig geschiedt. Dit zijn overigens processen die in reguliere audits en controles worden doorgelicht (en hiermee een nuttige input kunnen zijn voor een beleidsevaluatie).

Een doelmatige uitvoeringsorganisatie zegt nog niet alles over de doelmatigheid van beleidsinstrumenten. Het is best mogelijk dat de uitvoeringsorganisatie onnodig veel gegevens bij de aanvragers opvraagt of dat gebruikers van het beleidsinstrument tijdens het gebruik van de maatregel onnodig veel rapportages hebben moeten opleveren. Dat kan zelfs zo ver gaan dat potentiële doelgroepen van een maatregel afzagen van deelname. Hoewel dit strikt genomen niet onder kleine doelmatigheid valt, is de kans groot dat wanneer nagegaan wordt hoe een instrument werkt (Q3 (Voor wie en in welke omstandigheden werkt het beleid?)) of hoe belanghebbenden tegen doelmatigheid aankijken (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)) het oordeel over doelmatigheid afwijkt doordat ook het perspectief van partijen naast de uitvoeringsorganisatie wordt meegenomen.

Verklaringen voor tegen- of meevallende grote doelmatigheid

Wanneer de grote doelmatigheid van een beleid (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)) bekend is doet zich dus de vraag voor of deze doelmatigheid mee- of tegenvalt en welke verklaringen daarvoor mogelijk zijn.

  • Een manier om de verhouding tussen beoogde effecten en middelen te verklaren, is door te onderzoeken voor wie in welke omstandigheden het beleid werkt (Q3 (Voor wie en in welke omstandigheden werkt het beleid?)). Mogelijk sloot een instrument niet goed aan bij een doelgroep waardoor het instrument aan doeltreffendheid verliest, maar waardoor het ook minder doelmatig werd (de middelen hadden mogelijk beter elders doeltreffender en dus ook doelmatiger kunnen worden ingezet).
  • Een andere manier om de verhouding te verklaren, is door te onderzoeken hoe het beleid door belanghebbenden wordt ervaren en beoordeeld (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)). Zo krijgen we een beter inzicht in de steun en weerstand die het beleid oplevert, maar ook in redenen waarom belanghebbenden de doelmatigheid groter, gelijk of kleiner percipiëren dan initieel is vastgesteld. Mogelijk gebruiken belanghebbenden afwijkende normen om grote doelmatigheid te beoordelen. Mogelijk zien zij kosten of opbrengsten die de overheid over het hoofd ziet.
  • Ook kan onderzocht worden of de ingezette middelen optimaal waren. Beleid dat zeer doeltreffend is, kan niet doelmatig zijn als er onnodig veel middelen aan besteed worden. Door te kijken naar de kleine doelmatigheid (Q5 (Is de verhouding tussen kosten en beleidsprestaties optimaal?)) krijgen we een inzicht of er sprake is van een efficiënte manier van het leveren van prestaties.

Een laatste manier om doelmatigheid te verklaren, is door te kijken naar de gehanteerde normen. Immers, in veel gevallen wordt de doelmatigheid bepaald door te kijken naar alternatieven. De vraag is dan of de norm wel correct is. Een voorbeeld is een vergelijking van beleidsopties op basis van de kosten per vermeden ton CO2-uitstoot. Stel: het stimuleren van elektrische auto’s kost 1.700 euro per vermeden ton CO2-uitstoot. Dat is hoog omdat subsidie op zonnepanelen 300 euro per vermeden ton CO2-uitstoot kost. Alleen als vermeden ton CO2-uitstoot het enige doel is, dan is dit vergelijk correct. Een ander interessant effect is dat de normen (en daarmee de doelmatigheid) sterk kunnen veranderen over de tijd. De kosten van zonnepanelen zijn de afgelopen 10 jaar sterk gedaald. Het zou dus kunnen dat het stimuleren van elektrische auto’s minder doelmatig is geworden doordat zonnepanelen in prijs zijn gedaald.

Meervoudigheid

Bij deze vraag gaat het om meerdere, samenhangende beleidsinstrumenten. Bij het verklaren van de doelmatigheid moet expliciet aandacht zijn voor de wijze waarop en de mate waarin de individuele instrumenten met elkaar interacteren. Maatregelen kunnen wanneer zij goed op elkaar ingesteld zijn de doelmatigheid vergroten: denk aan uitvoeringsorganisatie die verschillende samenhangende beleidsinstrumenten efficiënt uitvoert. Maar het kan ook zo zijn dat ze dermate negatief op elkaar inwerken dat er afbreuk wordt gedaan aan de doelmatigheid. Er moet dus niet alleen gekeken worden of de verklaringen voor doelmatigheid effect hebben op individuele beleidsinstrumenten. Het is juist interessant om te vanuit een integraal perspectief deze analyse uit te voeren. Onderaan deze pagina kan je lezen hoe je dit kan uitvoeren.

Hoe verhoudt dit zich tot andere vragen?

Zoals uit de bovenstaande tekst duidelijk wordt, is deze vraag een vervolgvraag op de vragen over kleine doelmatigheid (Q5) en grote doelmatigheid (Q6). Het antwoord op deze vraag biedt tevens een ingang naar de vraag over hoe de doelmatigheid van het beleid kan worden vergroot (Q8 (Hoe kan de doelmatigheid van het beleid verhoogd worden?)), want wanneer de factoren bekend zijn die deze doelmatigheid positief of negatief beantwoorden, is de eerste stap naar verbetering gezet.

Hoe kan je deze vraag beantwoorden?

De meest voor de hand liggende methode om deze vraag te beantwoorden is het gebruik van MKBA en kosteneffectiviteitsonderzoek (O2). Daarnaast kunnen andere methodes worden ingezet om dit nader uit te zoeken. De volgende methoden komen hiervoor in aanmerking:

Indien meerdere methodes worden ingezet dan is het aan te raden om de combinatie van deze methodes zorgvuldig uit te voeren. Meer hierover is te vinden onder bij de pagina over mixed methods (O12).

Keuzehulp opnieuw starten