Q5 Is de verhouding tussen kosten en beleidsprestaties optimaal? (ex durante, enkelvoudig)

Wat kan je met deze doelmatigheidsevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-durante evaluatie van één beleidsinstrument vertaalt deze vraag zich in: is de verhouding tussen kosten en beleidsprestaties van het beleidsinstrument tot nu toe optimaal?

Met het antwoord op deze vraag wordt de verhouding tussen de prestaties en de middelen bepaald. Dit wordt ook wel de kleine doelmatigheid genoemd. Deze doelmatigheid richt zich binnen de meeste evaluaties op de uitvoeringsorganisatie van een beleidsinstrument. Daar concentreren zich doorgaans de kosten die gemoeid zijn met het uitvoeren van een beleidsinstrument. Maar er zijn ook andere kosten, zoals capaciteit voor het ontwerpen van een beleidsinstrument. Om het instrument te gebruiken kan ook doelgroep bepaalde kosten (capaciteit en andere middelen) kennen. Dit laatste noemen we de administratieve lasten en die worden vaak apart van de kleine doelmatigheid berekend. De onderstaande afbeelding geeft schematisch weer waar deze vraag over gaat, namelijk de relatie tussen beleidsprestaties en beleidskosten. Het gaat nadrukkelijk nog niet om de doelmatigheid van de effecten van beleid: dat is de grote doelmatigheid (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)).

Doelmatigheid krijgt in evaluaties vaak minder aandacht dan doeltreffendheid, maar maakt het daarmee niet minder belangrijk.

Om tussentijds de verhouding tussen kosten en prestaties te bepalen, zijn de volgende gegevens relevant:

  • Wat zijn de tot nu toe gerealiseerde prestaties?
  •  Wat zijn de tot nu toe ingezette middelen?
  • Wat is de norm?

Het antwoord op deze vraag zijn allerlei varianten op (X producten of diensten) per (Y mensen, geld of materiaal). Enkele voorbeelden: één bed op de intensive care (= prestatie) heeft tot nu toe 2.400 euro per dag gekost (= middelen), het in het gips zetten van een been heeft tot nu toe 2 uur geduurd, etc.

Het bepalen van de prestaties is een van de eerste vragen Q1 (Wat zijn de prestaties en effecten van het beleid?) die we ons zouden moeten stellen. Prestaties zijn vaak objectief vast te stellen en te kwantificeren: Er zijn tot nu toe 100 bedden op de IC gerealiseerd, er zijn tot nu toe 1.000 röntgenfoto’s gemaakt, et cetera.

Bij het bepalen van de middelen kan een onduidelijk zijn welke kosten meegerekend dienen te worden. Zijn dit alleen de directe kosten of moeten ook indirecte kosten (deels) worden meegenomen? Wellicht laat dit zich het beste toelichten met het voorbeeld van een ziekenhuis. Directe kosten zijn aan patiënten verstrekte medicijnen en andere goederen, maar ook de personeelskosten van de artsen en de verpleging. Indirecte kosten kunnen bijvoorbeeld liggen in kosten voor de loonadministratie, patiëntendossiers en onderhoudskosten van het gebouw. Vanuit een breder perspectief zijn de tijd en het geld dat patiënten kwijt zijn voor het bezoeken van het ziekenhuis ook indirecte kosten. Het is duidelijk dat het vooraf inschatten van deze indirecte kosten lastig kan zijn. 

Het woord optimaal is essentieel in deze vraag. Het vraagt om een norm, want wat is een goede score en wat een slechte? Is 2.400 euro per dag voor één bed op de intensive care optimaal? Eén manier om te kijken naar normering is overhead. Welk deel van de middelen zullen direct worden besteed aan de prestaties en welk deel aan overhead? Om bij ons voorbeeld van de zorg te blijven: zal er een steeds groter deel van de middelen per intensive care besteed worden aan zorgmanagers en zorgadministratie in plaats van aan handen aan het bed? Overhead kan echter ook doelmatig zijn, als de totale kosten per IC-bed hierdoor uiteindelijk lager zijn.

Een tweede mogelijkheid om te normeren is benchmarking. Welke kosten maken andere ziekenhuizen per IC-bed? Bij een benchmark is van belang dat dat de instellingen vergelijkbaar zijn. Wellicht krijgt een academisch ziekenhuis een ander type patiënten op de IC dan een regulier ziekenhuis waardoor de kosten per IC-bed ook kunnen verschillen. Hier dient rekening mee te worden gehouden.

Hoe verhoudt dit zich tot andere vragen?

Het bepalen van doelmatigheid vraagt inzicht in beleidsprestaties. Dat wordt verkregen met de antwoorden op Q1 (Wat zijn de prestaties en effecten van het beleid?). Na beantwoording van deze vraag over de doelmatigheid van de prestaties, is het wellicht goed om door te schakelen naar de vraag over de doelmatigheid van de effecten (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)). Ook kan vanuit deze vraag worden gekeken naar de verklaringen van doelmatigheid Q7 (Wat verklaart de mate van doelmatigheid van het beleid?). Daarnaast kunnen ervaringen van belanghebbenden met de beleidsmaatregel aanvullende inzichten bieden in de doelmatigheid (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)). Mogelijk hebben ze ondervonden dat de uitvoeringsorganisatie efficiënt en klantvriendelijk werkte (of juist niet). Dat kunnen ook indicatoren zijn voor de kleine doelmatigheid.

Hoe kan je deze vraag beantwoorden?

Bij deze vraag is monitoring (O5) een voor de hand liggende optie. Indien deze vraag wordt gesteld in het kader van een mid-term evaluatie, dan kunnen de methodes voor ex-post (Q5 (ex-post, enkelvoudig)) en ex-ante (Q5 (ex-ante, enkelvoudig)) gecombineerd worden. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties, effecten en doelmatigheid van het gevoerde beleid: het is immers nog in uitvoering.

Keuzehulp opnieuw starten