Q5 Is de verhouding tussen kosten en beleidsprestaties optimaal? (ex post, meervoudig)

Wat kan je met deze doelmatigheidsevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-post evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich in: is de verhouding tussen kosten en beleidsprestaties van de beleidsinstrumenten optimaal geweest?Met het antwoord op deze vraag wordt de verhouding tussen de prestaties en de middelen bepaald. Dit wordt ook wel de kleine doelmatigheid genoemd. Deze doelmatigheid richt zich binnen de meeste evaluaties op de uitvoeringsorganisatie(s) van beleidsinstrumenten. Daar concentreren zich doorgaans de kosten die gemoeid zijn met het uitvoeren van beleidsinstrumenten. Maar er zijn ook andere kosten, zoals de inzet van capaciteit voor het ontwerpen van beleidsinstrumenten. Om het instrument te gebruiken kan ook doelgroep bepaalde kosten (capaciteit en andere middelen) kennen. Dit laatste noemen we de administratieve lasten en die worden vaak apart van de kleine doelmatigheid berekend. De onderstaande afbeelding geeft schematisch weer waar deze vraag over gaat, namelijk de relatie tussen beleidsprestaties en beleidskosten. Het gaat nadrukkelijk nog niet om de doelmatigheid van de effecten van beleid: dat is de grote doelmatigheid (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)). 

Doelmatigheid krijgt in evaluaties vaak minder aandacht dan doeltreffendheid, maar maakt het daarmee niet minder belangrijk.

Om achteraf de verhouding tussen kosten en prestaties te bepalen, zijn de volgende gegevens relevant:

  • Wat zijn de gerealiseerde prestaties?
  • Wat zijn de ingezette middelen?
  • Wat is de norm?

Het antwoord op deze vraag zijn allerlei varianten op (X producten of diensten) per (Y mensen, geld of materiaal). Enkele voorbeelden: één bed op de intensive care (= prestatie) kostte 2.400 euro per dag (= middelen), het in het gips zetten van een been duurde 2 uur, etc.

Het bepalen van de prestaties is een van de eerste vragen Q1 (Wat zijn de prestaties en effecten van het beleid?) die we ons zouden moeten stellen. Prestaties zijn vaak objectief vast te stellen en te kwantificeren: Er zijn 100 bedden op de IC gerealiseerd, er zijn 1.000 röntgenfoto’s gemaakt, et cetera.
In dit geval gaat het om een vraag naar meerdere instrumenten. Er is dus sprake van één organisatie die meerdere prestaties moet gaan leveren. Het is niet voldoende om te kijken naar de afzonderlijke prestaties omdat er sprake kan zijn synergievoordelen (of wellicht synergienadelen). Als we kijken naar het voorbeeld in de zorg, dan zien we dat een ziekenhuis niet alleen een intensive care heeft met bepaalde prestaties, maar wellicht ook een polikliniek, een apotheek, et cetera. Bij het vooraf inschatten van de verwachte prestaties moet nadrukkelijk aandacht zijn voor te verwachten synergievoordelen of -nadelen.

Bij het bepalen van de middelen kan een onduidelijk zijn welke kosten meegerekend dienen te worden. Zijn dit alleen de directe kosten of moeten ook indirecte kosten (deels) worden meegenomen? Wellicht laat dit zich het beste toelichten met het voorbeeld van een ziekenhuis. Directe kosten zijn aan patiënten verstrekte medicijnen en andere goederen, maar ook de personeelskosten van de artsen en de verpleging. Indirecte kosten kunnen bijvoorbeeld liggen in kosten voor de loonadministratie, patiëntendossiers en onderhoudskosten van het gebouw. Vanuit een breder perspectief zijn de tijd en het geld dat patiënten kwijt zijn voor het bezoeken van het ziekenhuis ook indirecte kosten. Het is duidelijk dat het vooraf inschatten van deze indirecte kosten lastig kan zijn. 

Het woord optimaal is essentieel in deze vraag. Het vraagt om een norm, want wat is een goede score en wat een slechte? Is 2.400 euro per dag voor één bed op de intensive care optimaal? Eén manier om te kijken naar normering is overhead. Welk deel van de middelen zullen direct worden besteed aan de prestaties en welk deel aan overhead? Om bij ons voorbeeld van de zorg te blijven: zal er een steeds groter deel van de middelen per intensive care besteed worden aan zorgmanagers en zorgadministratie in plaats van aan handen aan het bed? Overhead kan echter ook doelmatig zijn, als de totale kosten per IC-bed hierdoor uiteindelijk lager zijn.

Een tweede mogelijkheid om te normeren is benchmarking. Welke kosten maken andere ziekenhuizen per IC-bed? Bij een benchmark is van belang dat dat de instellingen vergelijkbaar zijn. Wellicht krijgt een academisch ziekenhuis een ander type patiënten op de IC dan een regulier ziekenhuis waardoor de kosten per IC-bed ook kunnen verschillen. Hier dient rekening mee te worden gehouden.

Hoe verhoudt dit zich tot andere vragen?

Het bepalen van doelmatigheid vraagt inzicht in beleidsprestaties. Dat wordt verkregen met de antwoorden op Q1 (Wat zijn de prestaties en effecten van het beleid?). Na beantwoording van deze vraag over de doelmatigheid van de prestaties, is het wellicht goed om door te schakelen naar de vraag over de doelmatigheid van de effecten (Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?)). Ook kan vanuit deze vraag worden gekeken naar de verklaringen van doelmatigheid Q7 (Wat verklaart de mate van doelmatigheid van het beleid?). Daarnaast kunnen ervaringen van belanghebbenden met de beleidsmaatregel aanvullende inzichten bieden in de doelmatigheid (Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?)). Mogelijk hebben ze ondervonden dat de uitvoeringsorganisatie efficiënt en klantvriendelijk werkte (of juist niet). Dat kunnen ook indicatoren zijn voor de kleine doelmatigheid.

Hoe kan je deze vraag beantwoorden?

Net als bij Q5 (ex-post, enkelvoudig) kan gebruik worden gemaakt van productiviteitsonderzoek (Productiviteitsonderzoek: Benchmarking, SFA, DEA, productiviteitsindices (O6)).

Keuzehulp opnieuw starten