Q5 Is de verhouding tussen kosten en beleidsprestaties optimaal? (ex post, enkelvoudig)

Wat kan je met deze doelmatigheidsevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-post evaluatie van één beleidsinstrument vertaalt deze vraag zich in: is de verhouding tussen kosten en beleidsprestaties optimaal geweest?
Met het antwoord op deze vraag wordt de verhouding tussen de prestaties en de middelen bepaald. Dit wordt ook wel de kleine doelmatigheid of de doelmatigheid van prestaties genoemd. Deze doelmatigheid richt zich binnen de meeste evaluaties op uitvoeringsorganisaties. Daar concentreren zich doorgaans de kosten die gemoeid zijn met het uitvoeren van een beleidsinstrument. Maar er zijn ook andere kosten, zoals de inzet van capaciteit voor het ontwerpen van een beleidsinstrument. Om het instrument te gebruiken kan ook doelgroep bepaalde kosten (capaciteit en andere middelen) kennen. Dit laatste noemen we de administratieve lasten en die worden vaak apart van de kleine doelmatigheid berekend. De onderstaande afbeelding geeft schematisch weer waar deze vraag over gaat, namelijk de relatie tussen beleidsprestaties en beleidskosten. Het gaat nadrukkelijk nog niet om de doelmatigheid van de effecten van beleid: dat is de grote doelmatigheid (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)). 

Doelmatigheid krijgt in evaluaties vaak minder aandacht dan doeltreffendheid, maar maakt het daarmee niet minder belangrijk.

Om achteraf de verhouding tussen kosten en prestaties te bepalen, zijn de volgende gegevens relevant:

  • Wat zijn de gerealiseerde prestaties?
  • Wat zijn de ingezette middelen?
  • Wat is de norm?

Het antwoord op deze vraag zijn allerlei varianten op (X producten of diensten) per (Y mensen, geld of materiaal). Enkele voorbeelden: één bed op de intensive care (= prestatie) heeft tot nu toe 2.400 euro per dag gekost (= middelen), het in het gips zetten van een been duurde tot nu toe 2 uur, etc.

Het bepalen van de prestaties is een van de eerste vragen Q1 (Wat zijn de prestaties en effecten van het beleid?) die we ons zouden moeten stellen. Prestaties zijn vaak objectief vast te stellen en te kwantificeren. Het gaat dan bijvoorbeeld om het aantal behandelingen in de zorg of het aantal verstrekt uitkeringen in de sociale zekerheid.

Bij het bepalen van de middelen kan onduidelijk zijn welke kosten meegerekend dienen te worden. Zijn dit alleen de te verwachte directe kosten of moeten ook verwachte indirecte kosten (deels) worden meegenomen? Wellicht laat dit zich het beste toelichten met het voorbeeld van een ziekenhuis. Directe kosten zijn de verstrekte medicijnen en andere goederen, maar ook de personeelskosten van de artsen en de verpleging. Indirecte kosten kunnen bijvoorbeeld liggen in kosten voor de loonadministratie, patiëntendossiers en onderhoudskosten van het gebouw. Vanuit een breder perspectief zijn de tijd en het geld dat patiënten kwijt zijn voor het bezoeken van het ziekenhuis ook indirecte kosten.

Het woord optimaal is essentieel in deze vraag. Het vraagt om een norm, want wat is een goede score en wat een slechte? Is 2.400 euro per dag voor één bed op de intensive care optimaal? Eén manier om te kijken naar normering is overhead. Welk deel van de middelen zullen direct worden besteed aan de prestaties en welk deel aan overhead? Om bij ons voorbeeld van de zorg te blijven: zal er een steeds groter deel van de middelen per intensive care besteed worden aan zorgmanagers en zorgadministratie in plaats van aan handen aan het bed? Overhead kan echter ook doelmatig zijn, als de totale kosten per IC-bed hierdoor uiteindelijk lager zijn.

Een tweede mogelijkheid om te normeren is benchmarking. Welke kosten maken andere ziekenhuizen per IC-bed? Bij een benchmark is van belang dat dat de instellingen vergelijkbaar zijn. Wellicht krijgt een academisch ziekenhuis een ander type patiënten op de IC dan een regulier ziekenhuis waardoor de kosten per IC-bed ook kunnen verschillen. Hier dient rekening mee te worden gehouden.

Hoe verhoudt dit zich tot andere vragen?

Het bepalen van doelmatigheid vraagt inzicht in beleidsprestaties. Dat wordt verkregen met de antwoorden op Q1 (Wat zijn de prestaties en effecten van het beleid?). Na beantwoording van deze vraag over de doelmatigheid van de prestaties, is het wellicht goed om door te schakelen naar de vraag over de doelmatigheid van de effecten (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)). Ook kan vanuit deze vraag worden gekeken naar de verklaringen van doelmatigheid Q7 (Wat verklaart de mate van doelmatigheid van het beleid?). Daarnaast kunnen ervaringen van belanghebbenden met de beleidsmaatregel aanvullende inzichten bieden in de doelmatigheid (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)). Mogelijk hebben ze ondervonden dat de uitvoeringsorganisatie efficiënt en klantvriendelijk werkte (of juist niet). Dat kunnen ook indicatoren zijn voor de kleine doelmatigheid.

Hoe kan je deze vraag beantwoorden?

Van één enkel beleidsinstrument gaan we dus bepalen of de verhouding tussen kosten en beleidsprestaties optimaal was. De meest voor de hand liggende manier om dit te onderzoeken is om gebruik te maken van een productiviteitsonderzoek (Productiviteitsonderzoek: Benchmarking, SFA, DEA, productiviteitsindices (O6)).

Keuzehulp opnieuw starten