Stap 1 context bepalen
Een evaluatie staat nooit op zichzelf. Er is altijd sprake van een bepaalde context waarin de evaluatie wordt uitgevoerd. Om deze context goed te begrijpen, is het goed om voorafgaand aan de evaluatie over een aantal vragen na te denken. Dit helpt je om later de juiste keuzes te maken bij het opstellen van het onderzoeksplan. Het nadenken is voor nu het doel, de antwoorden worden pas relevant in de keuzehulp.
1. Wat ga ik evalueren?
De opzet van een evaluatie hangt onder meer af van het type beleidsinstrument, bijvoorbeeld een individuele regeling, een instituut, of een project. Of gaat het juist om een breder programma, een systeemvraagstuk of een mix aan beleidsmaatregelen? In dit laatste geval ben je waarschijnlijk ook geïnteresseerd in de samenhang en mate waarin de maatregelen elkaar versterken (of juist niet). Dit vraagt om een onderzoeksopzet en methoden die een evaluatie van een mix van beleidsmaatregelen mogelijk maken. Het onderwerp bepaalt ook in sterke mate wanneer effecten naar verwachting optreden en wat je dus op dit moment zou kunnen evalueren.
2. Op welk moment ga ik evalueren?
De beleidscyclus kent verschillende fasen (bijv. ontwerpen, bepalen en uitvoeren van beleid). In al deze fasen van beleid kun je evalueren:
- Bij een evaluatie aan het begin van het beleid (ex-ante evaluatie) probeer je aan de hand van aannames en beschikbare data op voorhand een inschatting te maken van de te verwachten effecten. Een ex-ante evaluatie kan daarmee dienen om beleidskeuzes te onderbouwen.
- Een evaluatie tijdens de uitvoering van een beleid (ex-durante evaluatie) maakt het mogelijk beleid bij te sturen op basis van kennis en ervaringen tot dan toe. Vaak wordt hierbij gebruik gemaakt van monitoring van de met het beleid gemoeide middelen en de gerealiseerde prestaties.
- Terugkijken op de uitkomsten van beleid doe we via een ex-post evaluatie. Ex-post evaluaties zijn vaak primair gericht op verantwoording over de gerealiseerde doeltreffendheid en doelmatigheid, maar worden regelmatig gecombineerd met het identificeren van verbeteringen voor de toekomst.
Doordat veel beleid een lange doorlooptijd kent en verschillende wijzigingen doorgaat is er niet altijd een scherp onderscheid tussen ex-ante, ex-durante en ex-post; op het moment dat beleid een nieuw regime in gaat (als gevolg van aanpassingen) kan een ex-post evaluatie dienen om lessen uit het verleden te benutten, terwijl een ex-ante evaluatie geschikt is om te analyseren hoe de beleidsaanpassingen zouden kunnen uitpakken. In welke fase je evalueert, en dus met welke focus, heeft doorgaans ook implicaties voor de onderzoeksmogelijkheden en de 'tools' die benut kunnen worden.
3. Wat is het doel van mijn evaluatie?
De aanleiding voor een evaluatie kan verschillen. Evaluaties kunnen worden geïnitieerd op basis van specifieke behoeften aan kennis bij een departement om te leren en/of beleid te verbeteren. De verschillende redenen sluiten elkaar niet uit en kunnen gecombineerd worden in een evaluatie.
Daarnaast zijn er ook allerlei evaluatieverplichtingen die vooral gericht zijn op het afleggen van verantwoording vooraf en/of achteraf. Deze formele verplichting tot het evalueren is onderdeel van publieke verantwoording. Zo schrijft de comptabiliteitswet voor dat al het beleid dat ten grondslag ligt aan de begroting periodiek geëvalueerd dient te worden door de verantwoordelijke ministers op doeltreffendheid en doelmatigheid. Nadere regels over deze ex-post evaluaties zijn opgenomen in de Regeling Periodiek Evaluatieonderzoek. Ook ZBO’s en agentschappen dienen eens in de vijf jaar te worden doorgelicht op de doeltreffendheid en doelmatigheid en ook voor subsidies bestaat de wettelijke vijfjaarlijkse verplichting tot evalueren. In afzonderlijke wetten staan ook regelmatig evaluatiebepalingen: artikelen in de betreffende wet zelf, die de opsteller ertoe verplichten deze eenmalig of periodiek te evalueren. Voor grote infrastructurele projecten en projecten op het vlak van gebiedsontwikkeling, duurzame energie, en water- en natuurvraagstukken bestaat verder een plicht om ex-ante een maatschappelijke kosten-/batenanalyse (MKBA) te verrichten. Ook dienen voorstellen over substantiële beleidswijzigingen (inclusief nieuw beleid) aan de Tweede Kamer te worden voorzien van een onderbouwing op doeltreffendheid en doelmatigheid (artikel 3.1 CW) en een evaluatieparagraaf waarin wordt aangegeven of en hoe het beleid zal worden geëvalueerd. Over het geheel aan geplande ex-ante, ex-durante en ex-post evaluaties dat een departement gaat uitvoeren wordt de Kamer geïnformeerd middels meerjarige ‘departementale strategische evaluatieagenda’s’.
4. Voor wie voer ik de evaluatie uit?
Beleid maken en uitvoeren is mensenwerk. Een evaluatie raakt verschillende betrokkenen: de doelgroep van een beleid (burgers, bedrijven), de uitvoerders van een beleid (uitvoeringsinstellingen), de (politiek) verantwoordelijken voor een beleid (minister), de volksvertegenwoordiging die kader stelt en controleert (Tweede Kamer) en mogelijk andere organisaties. Denk daarom na over wie de doelgroep is voor de resultaten van de evaluatie. Is dit bijvoorbeeld een interne doelgroep om het beleid te gaan verbeteren? Dient de evaluatie als input voor politieke besluitvorming? Wil de Tweede Kamer geïnformeerd worden over de werking en effecten? Of wil je ook de doelgroep van het beleid (burgers, ondernemers, etc.) informeren over de uitkomsten? Verschillende doelgroepen vragen (mogelijk) om een verschillende wijze van rapporteren en communiceren.
5. Wat zijn de indicaties en overwegingen?
Bij evaluatieonderzoek is er een sterke driehoeksrelatie tussen het beschikbare budget/middelen, de beschikbare tijd en de kwaliteit van de resultaten. Zijn twee van de drie factoren vastgelegd, dan volgt de derde hier automatisch ook uit. Een goedkope en korte evaluatie (bijv. een quick scan) zal wat betreft diepgang en resultaat anders zijn dan een kostbare en langlopende evaluatie (bijv. een systeemevaluatie). Beide varianten kunnen echter nuttig zijn. Uiteindelijk hangt het van de doelstellingen en van het evaluatiebudget af wat haalbaar is. Meer middelen betekent dat je een grotere evaluatie kunt uitvoeren, maar weegt dat op tegen het evaluatiedoel of de budgettaire omvang van het evaluatieobject?
Het is ook belangrijk om vooraf te bepalen wanneer een evaluatie beschikbaar moet zijn. Bij een formele evaluatie kan een wetsartikel (bijv. elke vijf jaar evalueren) of de politieke vergaderagenda bepalend zijn. Bepaal daarom de doorlooptijd van de evaluatie: wanneer begint en eindigt de evaluatie? Ook is het goed om met de intern betrokkenen (zoals leidinggevenden, collega’s, collega-departementen) te bespreken hoeveel tijd ieder heeft om aan de evaluatie te besteden. Dit helpt je bijvoorbeeld bij het opzetten van de begeleidingscommissie, het inplannen van de bijeenkomsten en het verzamelen van bronnen voor de evaluatie.
Het uitvoeren van een evaluatie vraagt dus ook om personeelscapaciteit, ongeacht of je de evaluatie zelf uitvoert of laat uitvoeren. Het is daarom goed om na te gaan welk budget beschikbaar is en wat voor evaluatie dan mogelijk is. Sommige evaluatiemethoden zijn nu eenmaal duurder dan andere. Literatuuronderzoek gericht op het identificeren van bevindingen voor (het effect van) een bepaald type beleid is bijvoorbeeld goedkoper dan zelf en experimenteel onderzoek opzetten.
6. Welke data is er al beschikbaar?
Evalueren gebeurt bijna nooit vanuit een leeg blad. Beleidsvoering gaat gepaard met de verzameling en bewerking van talloze gegevens. Dat varieert van begrotingen, notulen en rapportages tot administratieve gegevens van gebruikers van een bepaald beleidsinstrument. Ook eerdere (evaluatie)onderzoeken naar hetzelfde onderwerp, ervaringen uit andere landen en inzichten uit de literatuur kunnen waardevolle inzichten geven. Bepaal voorafgaand aan een evaluatie dus welke gegevens en onderzoeken beschikbaar zijn en onder welke voorwaarden deze te gebruiken zijn voor een evaluatie. Vooral bij grote evaluaties wordt vooraf regelmatig een ‘data-assessment’ gedaan. Dit helpt om te bepalen welke data beschikbaar zijn en wat voor type evaluatie(methoden) dat mogelijk maakt. Zo kun je vooraf nagaan of er al een zogenoemde controlegroep samengesteld kan worden. Deze groep kan bijvoorbeeld bestaan uit mensen of bedrijven die zelf niet met het te evalueren beleidsinstrument in contact zijn gekomen, maar die wat betreft eigenschappen goed vergelijkbaar zijn met de experimentele groep (bereikte doelgroep van het instrument). Door deze twee groepen met elkaar te vergelijken, kun je (mogelijk) uitspraken doen over de mate waarin het beleid effect heeft gehad.
Ga door naar stap 2: Vraagstelling bepalen