Stap 4: Uitvoeren onderzoek

Nu je het onderzoeksontwerp en de methodeselectie achter de rug hebt, kun je nadenken over de uitvoering van het onderzoek. Je kunt hierbij onderscheid maken tussen drie stappen: 

  1. Start de uitvoering
  2. Koppel terug tijdens de uitvoering
  3. Rond het onderzoek af

1. Start de uitvoering

De start van een evaluatie vraagt doorgaans nog enkele voorbereidende werkzaamheden. Zo kun je kiezen een evaluatie zelf uit te voeren of om dit uit te besteden aan een externe partij. Ook dien je een evaluatie organisatorisch in te richten, bijvoorbeeld door een begeleidingscommissie samen te stellen en deze van een duidelijke opdracht te voorzien. Tot slot is het van belang om een gedetailleerde planning op te stellen. 

Takenpakket onafhankelijke begeleidingscommmissie

Veel evaluaties kennen een (externe) begeleidingscommissie (BC). Een externe begeleidingscommissie is meer gebruikelijk bij grootschalige en complexere evaluaties met een duidelijke externe verantwoordingsverplichting. Begeleidingscommissies komen minder voor bij kleinere of interne evaluaties. Een onafhankelijke begeleidingscommissie is doorgaans verantwoordelijk voor de kwaliteitsbewaking en voortgang van de evaluatie. Zij kan zowel de opdrachtgever als de evaluator adviseren over de uitvoering van de evaluatie en het gebruik van de resultaten. In een begeleidingscommissie zetelen meestal leden met inhoudelijke en methodologische kennis op het gebied van de onderhavige evaluatie. De secretariaatsrol kan door de opdrachtgever of de evaluator worden vervult. De commissie moet op tijd worden samengesteld en er moet een voorzitter worden gekozen. Meestal komt een begeleidingscommissie bijeen vanaf de start van een evaluatie (dus nadat een externe evaluator is gekozen). Het is echter ook mogelijk dat een commissie al eerder werkzaamheden verricht, bijvoorbeeld bij het opstellen van de evaluatievraag en de selectie van een onderzoeksbureau.

Uitbesteden of zelf uitvoeren

Je kunt een evaluatie zelf uitvoeren of laten uitvoeren. Elk van beide benaderingen heeft eigen voor- en nadelen. Wanneer je een evaluatie zelf uitvoert, is het gemakkelijker om (tussentijds) lessen te trekken uit de bevindingen. Ook is er per definitie kennis van het werkveld aanwezig. Verder ben je flexibeler in de uitvoering, aangezien er geen contract nodig is zoals bij een extern bureau. Dit maakt het eenvoudiger om op basis van tussentijdse resultaten de aanpak (licht) aan te passen. Tot slot is het goedkoper om de evaluatie zelf uit te voeren, aangezien je geen kosten maakt voor de inhuur van een extern bureau. Wel moet je rekening houden met de inzet (en dus kosten) van het eigen personeel. Zorg er wel voor dat er voldoende stevige evaluatiedeskundigheid betrokken is bij het gehele traject van opzet tot oplevering. Een nadeel is dat goed evalueren tijd en methodologische kennis vraagt (en die is niet altijd aanwezig). Houd ook rekening met het feit dat een evaluatie gericht op verantwoording om een onafhankelijke uitvoering vraagt. Als je als beleidsmedewerker mede verantwoordelijk bent voor de uitvoering van het te evalueren beleid, is het minder gebruikelijk dat je dat beleid ook evalueert.

Het grote voordeel van uitbesteden is dat je specialistische kennis over evaluatiemethoden in kunt huren die mogelijk niet aanwezig is binnen het eigen departement. Deze partij is vaak niet betrokken geweest bij de uitvoering, waardoor de kennis uit het veld soms minder sterk is dan bij de uitvoering in eigen beheer. Deze externe blik zorgt uiteraard wel voor een andere (frisse) invalshoek en mogelijk verassende aanbevelingen en lessen. Met de inhuur zijn kosten gemoeid, die deels worden gecompenseerd omdat er minder interne capacitieit nodig is. Toch vraagt een uitbestede evaluatieopdracht ook om een goede en intensieve begeleiding, met name om voldoende te kunnen leren van de uitkomsten.

Als je een extern bureau vraagt een evaluatie uit te voeren, zal dat bureau op basis van de vraagstelling, de beschikbaarheid van data, het budget en de planning een eigen plan van aanpak opstellen. De methoden in die aanpak kunnen afwijken van de methodeselectie uit stap 3. Dit hoeft geen probleem te zijn. Je kunt in de aanbesteding immers aangeven aan welke methoden je zelf denkt (op basis van de vorige stap) en je kunt beter inschatten of de voorgestelde methoden door het extern bureau realistisch en haalbaar zijn. 
Let op: in sommige gevallen (bijvoorbeeld bij een beleidsdoorlichting) is het verplicht om een onafhankelijke deskundige te betrekken in het proces. De ervaring leert dat je deze het beste vanaf het begin van het project kunt betrekken in het proces. 

Maak een gedetailleerde planning

Het uitvoeren van een evaluatie vraagt om een gedegen planning. Een gedetailleerde en realistische planning zorgt ervoor dat de verschillende (verplichte) processtappen goed doorlopen kunnen worden. Ook voorkom je dat dat er concessies aan de kwaliteit gedaan hoeven te worden of dat om uitstel van oplevering gevraagd hoeft te worden.

Bij de planning kan het beste worden teruggerekend vanaf het moment dat de uitkomsten van de evaluatie beschikbaar moeten zijn. Dit kun je koppelen aan het moment waarop het evaluatierapport aan de Tweede Kamer zal worden aangeboden. Het is aan te raden om alle betrokkenen, zoals de leden van begeleidingscommissie, al vroeg te informeren over de termijnen, zodat zij rekening kunnen houden met de (voorbereiding op) overleg- en reviewmomenten. Bij het uitbesteden dien je ook rekening te houden met het aanbesteden van de werkzaamheden. Deze stap kent een doorlooptijd van enkele weken (tot enkele maanden in het geval van een Europese aanbesteding).

2. Koppel terug tijdens de uitvoering

Het is tijdens de uitvoering van de evaluatie van belang om zicht te houden op de voortgang en de (tussentijdse) resultaten. Maak hiertoe afspraken met de uitvoerder van de evaluatie en – indien van toepassing – de begeleidingscommissie. Bij de start van de evaluatie maken de uitvoerder en de begeleidingscommissie afspraken over momenten waarop terugkoppeling plaatsvindt. Dit biedt mogelijkheden om grip te houden op de planning en om eventueel bij te sturen op basis van tussentijdse resultaten, bijvoorbeeld om meer medewerking te vragen in het veld wanneer dat nodig is of om de doorlooptijd van een enquête te verlengen om de respons te verzamelen.

3. Rond het onderzoek af

Aan het einde van de uitvoering zijn als het goed is alle gegevens beschikbaar om tot een evaluatief oordeel te komen. Deze gegevens – vaak uit verschillende bronnen – vragen om ordening, bewerking en interpretatie. Deze stap is de opmaat naar de rapportage.

Ga door naar stap 5: Rapporteren en communiceren

Zie ook: