Er bestaan veel verschillende methoden om data te verzamelen. Om een idee te geven van de manieren waarop je de verschillende dataverzamelingsmethoden kunt inzetten, is per methode een fiche uitgewerkt. Hierin vind je ook onderwerpen als de eisen, beperkingen en kosten van deze methode.
De Toolbox bevat op dit moment de volgende fiches:
Korte toelichting
Uitvoeringsinstellingen verzamelen continu gegevens over personen en organisaties die gebruik (willen) maken van een instrument, bijvoorbeeld over de persoonlijke situatie van iemand die een huursubsidie aanvraag of omzet- en winstgegevens van ondernemingen die een beroep willen doen op een MKB-stimuleringsmaatregel. Dankzij automatisering van bedrijfsvoeringprocessen bij uitvoeringsinstellingen worden deze gegevens makkelijker verzameld, opgeslagen, bewerkt en verspreid. Ook kunnen de gegevens makkelijker gekoppeld worden aan andere gegevensbronnen (bv. microbestanden van het CBS, zie: website CBS) en andere dataverzamelingsmethoden waardoor meer en verdiepende analyses en dus evaluaties mogelijk zijn. Uiteraard is het gebruik van dit type gegevens gebonden aan wetgeving (bv. de Algemene Verordening Gegevensbescherming).
Toepassingsgebied
Administratieve gegevens (zoals projectadministraties, notulen, overzichten en achtergrondinformatie van aanvragers en deelnemers, etc.) worden meestal niet verzameld met het oog op een evaluatie, maar zij kunnen daarvoor wel nuttig zijn. Vrijwel rond alle beleidsmaatregelen worden bij de uitvoering dit soort administratieve gegevens verzameld. Zij kunnen dus een rol spelen bij evaluaties op alle beleidsterreinen, en dan vooral in ex durante en post evaluaties. Administratieve gegevens zijn ook nuttig bij andere dataverzamelingsmethoden, bijvoorbeeld:
- Steekproeftrekkingen voor surveys, interviews en focusgroepen ondersteunen en/of controleren.
- Gegevens aanleveren om in een surveys met vooraf ingevulde vragen te kunnen werken die een respondent alleen hoeft te controleren (cf. de vooraf ingevulde belastingaangifte).
- Vragenlijsten voor interviews of onderwerpen voor focusgroepen aanscherpen, omdat de administratieve gegevens niet compleet zijn of omdat zij relevante vragen opwerpen voor andere dataverzamelingsmethoden.
- Koppelen van verschillende administratieve bronnen om evaluatievragen te beantwoorden of statistieken te maken.
Tegelijkertijd geven dit soort gegevens ook een blik op hoe een instelling een beleidsmaatregel uitvoert, administreert en tegen welke knelpunten wordt aangelopen. Dit soort gegevens zijn dan ook belangrijk om uitspraken over ‘doelmatigheid’ te doen (bv. hoeveel personeelscapaciteit wordt ingezet of de kwaliteit van de interne informatievoorziening). Bovendien kunnen dit soort gegevens zicht geven op doelgroepenbereik van een maatregel (wie maken er volgens de administratie gebruik van) en interne besluitvorming over de inzet van een instrument (op basis van het interne projectdossier).
Eisen
- De opslag, bewerking en verspreiding van gegevens moeten voldoen aan wettelijke kaders, zoals de Algemene Verordening Gegevensbescherming.
- Ook voor andere type van verzamelde gegevens kan bescherming gewenst of zelfs verplicht zijn. Denk aan vertrouwelijke gegevens over bedrijfswinsten en -investeringen.
- Bij het ontwikkelen van een beleidsmaatregel kan al nagegaan worden welke gegevens nodig kunnen zijn voor een evaluatie en dus vanaf het begin verzameld moeten worden (en daar afspraken over te maken).
- Bij grotere en complexe evaluaties is het nuttig vooraf een ‘data-assessment’ uit te voeren. Een dergelijk assessment verheldert de beschikbaarheid en kwaliteit van gegevens, geeft aan welke analysemethoden mogelijk zijn (bv. wel of geen experimentele evaluatie) en legt uit tegen welke voorwaarden de gegevens gebruikt kunnen worden.
Beperkingen
Er bestaan ook enkele relevante beperkingen aan het verzamelen van administratieve gegevens:
- Het vraagt vaak tijd om (administratieve) gegevens te verzamelen en geschikt te maken voor een evaluatie, want zij worden vaak niet met dat doel verzameld. Bovendien zijn deze gegevens niet altijd compleet en verspreid over verschillende informatiesystemen en eigenaren waardoor zij niet eenvoudig en op tijd beschikbaar te maken zijn voor een evaluatie.
- Wetgeving stelt strikte eisen aan het verzamelen en opslaan van persoonsgegevens, zeker wanneer hergebruik van deze gegevens afwijkt van de oorspronkelijke doeleinden waarvoor deze gegevens zijn verzameld. Een implicatie hiervan is dat gegevens in evaluaties vaak geaggregeerd en geanonimiseerd worden getoond (wat een evaluatie niet in de weg hoeft te staan).
- Administratieve gegevens geven zelden een compleet beeld van het effect van een beleid. Daarvoor moeten ze vaak bewerkt en gekoppeld worden aan (bevindingen uit) andere dataverzamelingsmethoden.
Kosten
De kosten voor het verzamelen van administratieve gegevens zijn in veel gevallen overzichtelijk, want het zijn gegevens die ‘met een druk op de knop’ beschikbaar kunnen worden gemaakt via de informatiesystemen van bijvoorbeeld een uitvoeringsinstelling. Deze ‘druk op de knop’ is vaak echter niet mogelijk en is er meer inspanning nodig om administratieve gegevens geschikt te maken voor een evaluatie. Eventuele kosten zijn dan het uitvoeren van een ‘data-assessment’ (dat heeft vaak een doorlooptijd van minimaal een week), verzamelde gegevens analyse-klaar maken (denk aan kwaliteitsborging en ‘ontdubbeling’ van gegevens die onterecht vaker in een database voorkomen) of het toegang krijgen tot of koppelen van gegevens aan andere (externe) databronnen, zoals de CBS microdata of andere publiek toegankelijke databestanden (soms moet je wel betalen voor data).
Bekijk hier de voorbeeldstudies.
Korte toelichting
Bestaande beleidsdocumenten en wetenschappelijke c.q. vakliteratuur zijn hoegenaamd onmisbaar in de voorfase van een evaluatie: ze geven inzicht in de al beschikbare informatie en gegevens ten behoeve van een probleemstelling. Bij de start van een evaluatie wordt dus vrijwel altijd verscheidene documentatie en literatuur verzameld over een beleidsmaatregel. Je kunt grofweg een onderscheid maken in twee soorten te verzamelen bronnen. Ten eerste gaat beleidsuitvoering gepaard met een documentenstroom (bv. begrotingen, beleidsvisie en -nota’s, Kamerbrieven, jaarrapportages en eerdere evaluaties) die een evaluatie kunnen helpen met het beschrijven van de evolutie van een beleidsinstrument, het (re)construeren van een beleidstheorie en het aanscherpen van een probleemstelling. Ten tweede bestaat er een stroom van (wetenschappelijke) evaluatieliteratuur. Het is mogelijk dat een vergelijkbare beleidsmaatregel in een andere context is onderzocht, dat specifieke evaluatiemethoden zijn gebruikt (en die nu ook bruikbaar kunnen zijn) en er bepaalde hypothesen zijn getoetst. Het gaat er hier dus om dat documenten en literatuur gericht verzameld worden (bv. op onderwerp, op periode), bv. via websites van de Tweede Kamer, Rijksoverheid, bibliotheken of wat uitvoeringsinstellingen en beleidsmedewerkers zelf beschikbaar kunnen maken voor een evaluatie (‘grijze literatuur’).
Toepassingsgebied
Vrijwel geen enkel beleidsterrein is uitgesloten van de genoemde stroom aan beleidsdocumenten of (wetenschappelijke) literatuur (publicaties, boeken, websites, etc.). Dit betekent ook dat in vrijwel alle evaluaties beleidsdocumenten en literatuur worden verzameld. Evaluaties verwijzen op basis van dit verzamelde materiaal minimaal naar ontwikkelingen in het beleid, argumenten om te kiezen voor een beleidsmaatregel of mogelijke verklaringen voor gevonden effecten. De verzameling van documenten en literatuur ondersteunt zowel ex ante, ex durante als ex post evaluaties.
Documenten en literatuur vormen een belangrijke bron voor andere dataverzamelingsmethoden in evaluatieonderzoek. Zij kunnen bijvoorbeeld helpen bij het selecteren van onderwerpen die in een survey of een focusgroep aan de orde kunnen komen. Er zijn ook steeds meer mogelijkheden om verzamelde documenten geautomatiseerd te analyseren, bijvoorbeeld in de vorm van text mining. Dit is een vorm van tekstanalyse waar met digitale hulpmiddelen grote hoeveelheden tekstmateriaal worden geanalyseerd, bv. op patronen en woorden. Denk aan het gebruik van bepaalde termen in beleidsdocumenten.
Beleidsdocumenten dragen vaak bij aan de inleidende hoofdstukken van een evaluatierapport over de achtergrond van een evaluatie, alsook het beleidsterrein, de beleidsmaatregel, de doelgroepen en de beleidstheorie. Wetenschappelijke literatuur vindt eerder zijn weg naar eventueel aanscherpingen van een probleemstelling, de keuze voor specifieke onderzoeksmethoden of verklaringen voor het (ontbreken van) causaliteit.
Eisen
Om de juiste documenten en literatuur te verzamelen, moet er rekening worden gehouden met de volgende eisen:
- Formuleer een duidelijk doel voor het verzamelen van documenten en literatuur: dient het bijvoorbeeld meer inzicht te geven in het probleem of dient het deelvragen van de evaluatie te beantwoorden?
- Bepaal de juiste zoekstrategie met passende zoekcriteria (gebruik van termen, tijdsperiode, etc.) om documenten en literatuur te verzamelen – dit kan een iteratief proces zijn.
- Je kunt veel beleidsdocumenten snel verzamelen met een rondgang onder betrokken collega’s. Dit kost weinig moeite en levert snel een vrij compleet beeld van relevante beleidsdocumenten.
- Bedenk waar je literatuur en eventueel andere documenten gaat verzamelen. Dit kan bijvoorbeeld via online zoekmachines zoals Google Scholar, wetenschappelijke zoekmachines, bibliotheken en databases van instellingen (bv. de Tweede Kamer en de Rijksoverheid) of andere betrouwbare websites.
- Het verzamelen van documenten en literatuur kan tot een lange lijst leiden. Je kunt daarom tijdens het verzamelen al kritisch kijken naar de bruikbaarheid, bijvoorbeeld door te letten op publicatiedatum of de betrouwbaarheid van de bron.
Beperkingen
Deze dataverzamelingsmethode kent ook beperkingen:
- Niet alle literatuur is even betrouwbaar, een kritische houding is daarom nodig. Bijkomend punt is dat het publiceren van wetenschappelijke publicaties vaak veel tijd vergt, waardoor het voor kan komen dat ze (te) gedateerd zijn.
- Niet alle beleidsdocumenten en wetenschappelijke literatuur zijn vrij toegankelijk. Hoewel steeds meer wetenschappelijke publicaties beschikbaar zijn via ‘open access’, zijn veel publicaties enkel tegen betaling beschikbaar. Wat betreft beleidsdocumenten geldt dat er veel ‘grijze literatuur’ bestaat die wel beschikbaar is via computers en netwerken binnen beleids- en uitvoeringsinstellingen, maar niet daarbuiten (zoals interne werkdocumenten of vertrouwelijke audits).
- Het verzamelen (en later analyseren) van wetenschappelijke literatuur kan tijdrovend zijn, terwijl het geen garantie geeft op bruikbaarheid voor een evaluatie. De onderzoeken betreffen vaak toch een andere context, vraagstelling of aanpak waardoor zij zich niet één-op-één laten vertalen naar een andere evaluatie.
- Het verzamelen van de juiste documenten en literatuur kost tijd. Je weet nooit of je belangrijke informatie mist. Het is daarom goed bij verschillende (inhoudelijke) experts te verifiëren of je alle belangrijke stukken in beeld hebt.
Kosten
De kosten voor het verzamelen van beleidsdocumenten zijn beperkt, want het zijn documenten die betrokken overheden meestal snel beschikbaar kunnen maken of ze zijn eenvoudig vindbaar via openbare databanken. Het verzamelen van wetenschappelijke literatuur kost doorgaans meer tijd en middelen, omdat ze vaak verspreid zijn over meer collecties en omdat er soms voor betaald moet worden. En dan spreken we nog niet over de tijd die nodig is om verzamelde documenten en literatuur te lezen en te analyseren.
Bekijk hier de voorbeeldstudies.
Korte toelichting
Planbureaus, statistische bureaus (CBS), universiteiten, kennisinstellingen en marktpartijen verzamelen gegevens over een breed scala aan beleidsterreinen en maatschappelijke ontwikkelingen. Deze gegevens vinden hun weg in openbare statistische bestanden (bijvoorbeeld CBS Statline) en allerlei monitors die de stand in een economische of maatschappelijke sector weergeven aan de hand van een set van periodiek gemeten indicatoren (bv. export, CO2-uitstoot). In tegenstelling tot administratieve data wordt deze data expliciet verzameld voor onderzoeks- of monitoringsdoeleinden. Ter ondersteuning van een evaluatie is het gebruikelijk om deze openbare bronnen te verzamelen en na te gaan of zij bruikbaar zijn. Dat gebeurt natuurlijk ook al via het verzamelen van documenten en literatuur, maar in deze methode worden uitdrukkelijk kwantitatieve gegevens verzameld. Het helpt hier om gericht te verzamelen, dat wil zeggen dat op basis van de kennis van een beleidsterrein, de evaluatievragen of een uitgewerkte beleidstheorie een verkenning wordt gedaan van beschikbare data. Sommige statistische bronnen en monitoren gelden als een soort van standaard in een beleidsterrein, en dat impliceert dat een evaluatieonderzoek al bijna niet voorbij kan gaan aan gebruik van of verwijzingen naar deze bronnen.
Toepassingsgebied
Het toepassingsgebied is groot. Er zijn geen beleidsterreinen uitgesloten. Vrijwel alle departementen en uitvoeringsinstellingen maken gebruik van statistische data uit deze databronnen en publiceren deze – vaak in de vorm van monitoren en dashboards – op internet. Een andere mogelijkheid van deze gegevens is dat zij de context van het beleid en het beleidsinstrument kunnen kwantificeren, en daarmee aanvullende factoren kunnen presenteren die van invloed kunnen zijn op bijvoorbeeld de effectiviteit van een instrument. Bij het evalueren van bijvoorbeeld een landelijke maatregel om arbeidsparticipatie te vergroten, kan het van belang zijn om de doeltreffendheid van de maatregel te plaatsen in de context van meer algemeen-economische indicatoren over bijvoorbeeld de gemiddelde productie van de Nederlandse industrie of het producentenvertrouwen.
Eisen
Aan het verzamelen van openbare statistische bronnen en monitoren kunnen we enkele eisen stellen aan de manier waarop ze gebruikt worden:
- De te verzamelen gegevens uit deze openbare bronnen komen bij voorkeur overeen met de periode waarop een evaluatie zich richt.
- De gegevens zijn bij voorkeur voorzien van een duidelijke en complete beschrijving van de gebruikte dataverzamelingsmethode (definitie van begrippen, populatie, steekproef, etc.). Onderzoeksinstellingen en planbureaus voldoen doorgaans aan deze wens.
- Om data te kunnen bewerken - wat voor analyse vaak noodzakelijk is - is het zaak om over de brondata te kunnen beschikken (in plaats van alleen een cijfer, tabel of grafiek). Dat biedt ook de mogelijkheid om de uitkomsten te presenteren in een vorm die beter past bij een specifieke evaluatie.
Beperkingen
Aan het gebruik van deze bronnen kleven ook enkele beperkingen:
- Deze openbare gegevens worden meestal niet verzameld voor een specifieke evaluatie, maar om de ontwikkelingen in een beleidsterrein in kaart te brengen. Dat betekent dat gepresenteerde gegevens en indicatoren vanuit het oogpunt van een evaluatie mogelijk niet de meest ideale indicatoren zijn. Voorts zullen veranderingen in de scores zonder aanvullende analyse nauwelijks te herleiden zijn tot de inzet van de te evalueren maatregel. Ze bieden weinig basis om een uitspraak te doen over de causaliteit.
- Je maakt je in de evaluatie afhankelijk van de gegevens die derden verzamelen en verstrekken. De invloed op welke gegevens beschikbaar komen (en wanneer) is noodzakelijkerwijs beperkt. Sommige gegevens worden jarenlang op dezelfde manier verzameld en ontsloten waardoor maatwerk uitgesloten is (of kostbaar is).
- Niet alle openbare bronnen geven duidelijk aan hoe gegevens verzameld zijn en dat maakt het lastig om in te schatten hoe betrouwbaar deze gegevens zijn. Voor CBS-data geldt dat niet.
Kosten
De kosten van het verkrijgen van deze gegevens zijn doorgaans beperkt. Ze zijn immers openbaar en worden vaak kosteloos verstrekt door publieke organisaties (maar soms moet er ook voor betaald worden). Eventuele kosten hangen samen met zoeken naar, analyseren en/of bewerken van deze gegevens. Dan moet al snel aan een aantal dagen worden gedacht, en dat kan oplopen naarmate er meer kwaliteitsbewerkingen en analyseslagen nodig zijn.
Bekijk hier de voorbeeldstudies.
Korte toelichting
In een interview worden de vragen over het te evalueren instrument mondeling gesteld aan een respondent, bijvoorbeeld iemand uit een doelgroep van een instrument of een medewerker van een uitvoeringsorganisatie. Het interview is een populaire kwalitatieve methode in evaluaties en kent verschillende varianten: locatie-gebonden of telefonische gesprekken, individuele of groepsinterviews en gestructureerde of open gesprekken. In tegenstelling tot focusgroepen (waar deelnemers van gedachten wisselen over een specifiek onderwerp) gaat het bij groepsinterviews om het gezamenlijk beantwoorden van specifieke vragen.
Een belangrijke reden voor het gebruik van deze methode is dat het verdiepende inzichten kan opleveren over de werking en effect van een instrument en omdat het een eenvoudig toe te passen dataverzamelingsmethode is. Het interview kan helpen om, als het in de beginfase van een evaluatie plaatsvindt, in de breedte gegevens over een instrument te verzamelen die de vraagstelling kunnen aanscherpen of eerste inzichten uit het veld opleveren over een maatregel. Later kan een interview dienen om bijvoorbeeld knelpunten in de uitvoering te signaleren, cijfermatige uitkomsten te interpreteren of om dieper inzicht te krijgen in – beweegredenen achter – eventuele gedragsveranderingen bij een doelgroep die samenhangen met het instrument of om onverwachte effecten in beeld te krijgen.
Toepassingsgebied
Interviews worden in ex ante, ex durante en ex post evaluaties gebruikt. Een belangrijke reden om met interviews gegevens te verzamelen, is dat zij geschikt zijn om in een ex post evaluatie (kwantitatieve) uitkomsten, bijvoorbeeld over de effectiviteit van een maatregel, te duiden. Waarom zijn bepaalde effecten opgetreden of waarom wijken uitkomsten af van de verwachting? Interviews lenen zich niet als kwalitatieve methode om vast te stellen of bepaalde effecten daadwerkelijk dankzij een beleidsmaatregel zijn opgetreden. Wel kun je interviews in een ex ante evaluatie inzetten om mogelijke effecten van een beleidsmaatregel te verzamelen, en daarmee bijvoorbeeld de vraagstelling of beleidstheorie aan te scherpen.
De kwaliteit van de verzamelde gegevens hangt onder meer af van de geselecteerde respondenten, de mate waarin beoogde respondenten mee willen werken aan een interview en of zij in hun antwoorden volledig open zijn. Het zou niet de eerste keer zijn dat in een evaluatie respondenten een effect positiever voorstellen. Een doelgroep wil bijvoorbeeld graag een subsidie behouden, terwijl een beleidsvoerder graag het succes van een instrument wil benadrukken. Bij interviews kun je doorvragen en antwoorden van andere respondenten toetsen. Interviews zijn bovendien geschikt om inzicht te krijgen in hoe een instrument in de praktijk ervaren wordt. Zijn er onbekende redenen waarom een instrument goed of slecht valt bij een doelgroep? Zeker bij het begin van een evaluatie kan het leerzaam zijn om via verkennende interviews een eerste beeld te vormen. Interviews zijn dus ook een middel om te leren hoe de wereld volgens betrokkenen in elkaar steekt en welke gevolgen dat heeft (gehad) of zal hebben voor de werking van een instrument.
Eisen
Interviews zijn gebonden aan methodologische regels. Zo mag een interviewer de respondent niet (on)bewust beïnvloeden richting bepaalde antwoorden (controle-effect) en andersom (dit speelt ook bij bijvoorbeeld surveys en focusgroepen), dat een respondent een bepaald beeld oproept bij de interviewer waardoor deze antwoorden in een bepaald kader plaatst (biased-viewpoint-effect). Specifiek voor evaluaties gelden de volgende eisen (en de zwaarte van de eisen zal verschillen per evaluatie):
- De populatie respondenten vertegenwoordigt de belangrijkste stakeholders die bij het ontwerp en uitvoering van het instrument betrokken zijn (beleidsmakers, uitvoerders, doelgroepen, etc.). Eventueel kan wel onderscheid worden gemaakt tussen sleutel informanten met breed overzicht en respondenten die kennis hebben over specifieke aspecten van het instrument.
- De respondenten moeten in een veilige omgeving (bijvoorbeeld thuis) hun oordeel over de werking en het effect van het instrument kunnen geven.
- De interviewer gebruikt een (semi-)gestructureerd interviewprotocol dat de belangrijkste vragen bevat. Dit protocol kan eventueel vooraf gedeeld worden met de respondent. De respondent mag achteraf het interviewverslag controleren.
- De interviewer maakt duidelijk wat er met de resultaten van het gesprek gebeurt (bv. met gebruikmaking van letterlijke citaten of niet) en op welke wijze de respondent vermeld wordt in het evaluatierapport (bv. anoniem of niet).
- De evaluator moet in het evaluatieverslag duidelijk aangeven of resultaten op interviews zijn gebaseerd en hoe ‘stevig’ die resultaten zijn.
Zie voor praktische informatie over interviewen ook de website van de RUG.
Beperkingen
Interviews kennen ook beperkingen:
- Bij de samenstelling van een groepsinterview is het nodig om te controleren op factoren die de interactie ongewenst kunnen beïnvloeden (bijvoorbeeld deelname van een leidinggevende bij een groep medewerkers) en daar tijdens de bijeenkomst op te (laten) sturen.
- Interviews zijn een relatief tijdrovende en dus kostbare methode. Zij kunnen veel relevante kwalitatieve gegevens opleveren, maar zijn niet bedoeld (en ook niet geschikt) om causaliteit tussen instrument en effect aan te tonen.
- Er zijn dus logischerwijs grenzen aan het aantal interviews dat je kunt afnemen, veelal bepaald door het budget en de doorlooptijd van een evaluatieonderzoek. Ook vraagt een interview ook tijd van een respondent.
Kosten
Een interview van 1,5 uur vraagt snel 4 à 6 uur onderzoektijd (voorbereiden, uitvoeren, verslagleggen en analyseren samen). Telefonische en online interviews zijn goedkoper omdat meer met gesloten vragen wordt gewerkt en omdat reistijd vervalt. Groepsinterviews zijn ook iets goedkoper (voor de onderzoeker althans), omdat je per gesprek meer personen tegelijk spreekt. Bedenk dat het geven van interviews ook kosten (tijd) met zich meebrengt.
Bekijk hier de voorbeeldstudies.
Korte toelichting
De focusgroep is een vorm van groepsgesprek waarbij een ‘facilitator’ of ‘moderator’ een groep deelnemers (5 à 15 personen) stimuleert om met elkaar van gedachten te wisselen over een specifiek onderwerp, bijvoorbeeld over de voor- en nadelen van een nieuwe beleidsmaatregel. In een focusgroep staat de (inhoudelijke) interactie tussen deelnemers centraal. Dat is een wezenlijk verschil met een groepsinterview, waar het beantwoorden van vragen door meerdere mensen tegelijk aan de orde is (hoewel de interactie in een focusgroep natuurlijk wel gestimuleerd kan worden met open vragen). Aanverwante methoden zijn rondetafelgesprekken, paneldiscussies en brainstormsessies.
Toepassingsgebied
- De focusgroep is een kwalitatieve methode die kan bijdragen aan inzicht hoe een doelgroep de inzet van een beleidsmaatregel in de praktijk ervaart of hoe een doelgroep via een dialoog verdiepende inzichten ontwikkelt over de voor- en nadelen van een beleidsmaatregel. Een focusgroep kan ook informatie opleveren over knelpunten en effecten die zich in de praktijk (kunnen) voordoen en die op ‘de tekentafel van het beleid’ niet voorzien zijn. Je kunt een focusgroep ook gebruiken om (kwantitatieve) uitkomsten van een evaluatie te bespreken, bv. om te achterhalen welke verklaringen mogelijk zijn voor afwijkingen van doelstellingen.
- De focusgroep kan daarom in alle typen van beleidsevaluatie worden ingezet (ex ante, ex durante en ex post). Je kunt focusgroepen zowel zelfstandig toepassen als inzetten in combinatie met andere dataverzamelingsmethoden. Een focusgroep kan bijvoorbeeld helpen om het taalgebruik van een specifieke doelgroep ‘onder de knie’ te krijgen, zodat een survey goed aansluit bij de doelgroep. Ook kan een focusgroep helpen onderwerpen te verzamelen die een doelgroep relevant vindt, maar die nog weinig aandacht krijgen in de evaluatie.
Eisen
Focusgroepen kennen een aantal eisen:
- Bij de samenstelling van een focusgroep moet gelet worden dat deelnemers over een vergelijkbaar kennisniveau beschikken, bv. dat deelnemers allemaal minimaal één keer een aanvraagprocedure hebben doorlopen van een te evalueren subsidie-instrument of allemaal behoren tot dezelfde doelgroep (bv. docenten Engels, politieagenten, beleidsmedewerkers milieu). Uiteraard kan het inzicht op de problematiek wel verschillen. Dit laatste impliceert ook dat een focusgroep niet gericht is op het vormen van consensus, maar op (verrijking van) informatieverzameling.
- Vanwege de wat betreft kennis en ervaring homogene samenstelling van focusgroepen is het in een evaluatie (waar vaak verschillende typen van stakeholders betrokken worden) vaak nodig om meer focusgroepen te organiseren, en dat telkens met een andere doelgroep. Het is uiteraard ook mogelijk meer focusgroepen met dezelfde doelgroep te organiseren.
Beperkingen
Focusgroepen kennen ook beperkingen:
- De focusgroep is gericht op interactie tussen deelnemers en niet op het creëren van consensus of het afnemen van een vragenlijst (dan is er eerder sprake van een groepsinterview). Bij de samenstelling van een focusgroep is het daarom nodig te controleren op factoren die de interactie ongewenst kunnen beïnvloeden (bv. deelname van een leidinggevende bij een groep medewerkers) en daar tijdens de bijeenkomst op te (laten) sturen.
- Hierbij aansluitend geldt dat een vergelijkbaar kennisniveau van deelnemers nog geen garantie is dat een dialoog in een focusgroep gelijkwaardig verloopt. Het is een blijft een groepsproces waar sommige deelnemers meer het woord nemen dan anderen, een standpunt goed of minder goed onderbouwen, afwijken van gespreksonderwerpen, etc. Focusgroepen vragen dus om een goede procesbegeleiding.
- Aangezien het aantal deelnemers aan een focusgroep beperkt is, leent deze methode zich minder om een effect van een maatregel vast te stellen. Een focusgroep biedt geen basis voor het aantonen van causaliteit.
Kosten
De kosten van een focusgroep bestaat uit enkele dagen (inhoudelijke voorbereiding, werving deelnemers, begeleiding, verslaglegging en analyse van de resultaten).
Bekijk hier de voorbeeldstudies.
Korte toelichting
Een survey is een systematische uitvraag van vragen met als doel om specifieke informatie op te halen bij een groep van personen, bijvoorbeeld de doelgroep van een specifiek beleidsinstrument. Vaak wordt deze vragenlijst voorgelegd aan een steekproef van respondenten die representatief dienen te zijn aan een grotere populatie in kwestie. Om een goede afspiegeling te garanderen – of te berekenen in hoeverre daarvan wordt afgeweken – heb je een register nodig van de hele populatie, waaruit een aselecte steekproef getrokken kan worden. Surveys hebben als kenmerk dat zij vragen systematisch en gestructureerd in hetzelfde format voorleggen aan iedere respondent. Bij het ontwerpen van het veldwerk voor een survey moet je kiezen hoe je beoogde respondenten wilt benaderen (schriftelijk, telefonisch, via email, face-to-face, via een app, etc.) en hoe je ze wilt bevragen (schriftelijk, telefonisch, etc.). Alle keuzes die je maakt met betrekking tot de benadering en bevraging hebben implicaties voor welke mensen mee (kunnen) doen en welke antwoorden ze geven. Het Total Survey Error perspectief maakt inzichtelijk door welke oorzaken statistieken uit een survey kunnen afwijken van de “ware” antwoorden en kan behulpzaam zijn in het bepalen hoe goed een bepaald survey-ontwerp de evaluator in staat stelt om tot de juiste conclusies te komen.
Toepassingsgebied
Je kunt een survey voor veel doeleinden gebruiken, en dat maakt ze een aantrekkelijke methode in beleidsonderzoek. Zij kunnen in vrijwel elk beleidsdomein worden toegepast. Voor kwantitatieve studies is een survey voornamelijk relevant als er weinig statistische of administratieve data beschikbaar is, of als men een beter beeld wil krijgen van de thema’s die onder een doelgroep spelen. Door de gestructureerde opzet van een survey kunnen antwoorden op een survey gemakkelijk (systematisch) met elkaar worden vergeleken. Surveys kunnen daarbij zowel ingezet worden als zelfstandige methode om data te verzamelen als om een breed evaluatieonderzoek te ondersteunen. Enkele veelvoorkomende toepassingen zijn:
- Op basis van een steekproef uit de doelgroep van een beleid kun je nagaan hoe tevreden respondenten zijn over een instrument en welke effect(en) een instrument heeft gehad op hun houding, kennis of gedrag.
- Wanneer je een panel van gebruikers van een maatregel van dezelfde samenstelling periodiek enquêteert, kun je zowel ex ante, ex durante als ex post evaluaties doen (indien paneluitval beperkt blijft).
- In een experimentele evaluatie kun je identieke enquêtevragen stellen aan twee vergelijkbare groepen (een groep die aan de maatregel wordt blootgesteld en een groep die niet aan de maatregel wordt blootgesteld).
Eisen
Een goede vragenlijst maken en een goed ontwerp voor het survey-veldwerk opzetten, is vakwerk en kost tijd. Het maken van een goede survey wordt vaak onderschat: het kenmerkt zich als een intensieve klus. Zowel het ontwerpen van de survey zelf (zowel de type vragen als de gebruikte verwoording), het bepalen van de groep respondenten, als wijze van dataverzameling en data-analyse vergen veel voorbereiding. Denk hierbij aan de volgende punten:
- Bepaal vooraf goed welke data je uit een survey wilt halen, wie de survey moet invullen en welk kanaal gebruikt wordt voor een survey.
- Wanneer de survey op verschillende momenten in het beleid wordt ingezet, is het van belang de vragenlijst, de steekproeftrekking en analyses goed te archiveren, zodat later in het beleid alles herbruikbaar is (zeker wanneer de uitvoering van de evaluatie door een andere partij gebeurt).
- Een survey wordt meestal ingezet bij een grotere doelgroep en het gebruikte kanaal (schriftelijk, online) moet garant staan dat iedereen (van de steekproef) uit deze doelgroep de vragenlijst kan invullen. De opzet van de enquêtevragenlijst sluit wat betreft lengte, onderwerp en taalgebruik aan bij de belevingswereld van de doelgroep.
- Hou er als evaluator en als opdrachtgever rekening mee dat het opstellen van een goede vragenlijst meestal verschillende aanpassingsronden nodig zijn (en dat vergt tijd).
- Houd als evaluator rekening met wet- en regelgeving op het gebied van persoonsgegevens. Zorg er bovendien voor dat de beoogd respondenten duidelijk weten wat er met de (anonieme) resultaten gebeurt en welke rol zij spelen in het evaluatieonderzoek, maar bijvoorbeeld ook hoe je aan de contactgegevens van de respondent bent gekomen.
Beperkingen
Een survey kent ook beperkingen:
- Voor een inzicht in de meningen, beelden en opvattingen van doelgroepen, bijvoorbeeld over hoe een maatregel in de praktijk werkt, zijn interviews en focusgroepen vaak beter geschikt.
- Een survey kan leiden tot meetfouten. Deze fouten kunnen verschillende oorzaken hebben, bijvoorbeeld (1) respondenten verstrekken (expres) onjuiste informatie, (2) respondenten begrijpen de vraag niet waardoor ze verkeerde informatie geven, (3) de respondenten geven onvolledige informatie of vullen de survey onnauwkeurig in, etc. Deze risico’s kun je voorkomen door een nauwkeurige operationalisering van begrippen en het kwalitatief en kwantitatief testen van een survey bij een aantal mogelijke respondenten.
- Een (te) lage of selectieve respons op een survey kan een vertekening opleveren in de verzamelde uitkomsten (mogelijk zijn tevreden gebruikers van een instrument of personen die toevallig meer tijd hebben om een enquête in te vullen, oververtegenwoordigd in de respons) waardoor deze uitkomsten niet representatief zijn voor de populatie waar je een uitspraak over wilt doen. Een weging van de survey-resultaten naar bekende kenmerken van de populatie kan soms de representativiteit verbeteren, maar biedt geen garantie dat de groep die niet heeft meegedaan niet systematisch afwijkt van de groep die wel heeft meegedaan. In alle keuzes rond het ontwerpen van de survey moet dus goed nagedacht worden over maatregelen die de vragenlijst en het surveyontwerp zo goed mogelijk maken (bijvoorbeeld door incentives te geven voor deelname, een goede uitnodigingsbrief te schrijven, de respons goed te monitoren, interviewers te trainen etc.).
- Sommige doelgroepen van specifiek beleid zijn lastig te bereiken met een survey, bijvoorbeeld door taalbarrières (bijvoorbeeld arbeidsmigranten en asielzoekers), omdat ze relatief weinig voorkomen in de samenleving en niet te achterhalen zijn in bevolkingsregisters (bijvoorbeeld LHBT-ers), of door andere factoren (bijvoorbeeld zwerfjongeren, gezinnen met problemen, mensen met een hoge leeftijd, mensen met mentale of fysieke beperkingen).
Kosten
De kosten van een survey hangen sterk af van het design van een survey dat wordt gekozen. Over het algemeen wordt survey-onderzoek duurder, wanneer de doelgroep moeilijk te bereiken is en naarmate er meer belang wordt gehecht aan een juiste afspiegeling van de populatie. Belangrijke kostenposten bestaan uit het ontwikkelen en testen van een vragenlijst, het benaderen en overtuigen van beoogde deelnemers en het verwerken van de resultaten. Andere kosten betreffen het programmeren, testen, verspreiden en hosten van de vragenlijst (en het respons management). Het kan efficiënt zijn om (delen van) dit werk uit te besteden aan een gespecialiseerd bureau.
Literatuur
- Meer informatie over verschillende doelen van survey-onderzoek
- Meer informatie over het opzetten van surveyonderzoek
Bekijk hier de voorbeeldstudies.
Korte toelichting
Participerende observatie is een kwalitatieve methode die het mogelijk maakt om veel en rijkere gegevens over een groep te verzamelen en dieper inzicht te krijgen in de meningen en het gedrag van groepsleden en de groep. Begrippen als begrijpen en leren staan hier dus centraal. Door echt deel te nemen aan hoe beleid uitgevoerd wordt in de praktijk, bijvoorbeeld door de observeren hoe een managementteam van een culturele instelling het gebruik van een subsidie bespreekt, krijgt de evaluator een beter beeld hoe maatregelen in de praktijk uitwerken.
Bij participerende observatie neemt een observant (evaluator) dus deel aan de activiteiten van de groep die onderzocht wordt. Binnen deze groep vervult de observant een bepaalde rol, bijvoorbeeld als teamlid of collega. De observant krijgt zo de gelegenheid om de gedragingen, rollen en waarden van een groep van binnenuit te bestuderen. Dit in tegenstelling tot niet-participerende observatie waar de observator niet deelneemt aan de groep die bestudeerd wordt. Participerende observatie – populair in de antropologie - is een zelfstandige methode waarbinnen andere methoden zoals interviews en deskstudie ook een plek kunnen hebben.
Toepassingsgebied
- Participerende observatie kan verkennend worden ingezet. Dan is de observator flexibel en worden er vooral ongestructureerde waarnemingen gedaan. Dit levert meestal meer levensechte waarnemingen en beschrijvingen op. Participerende observatie kan ook heel gestructureerd worden uitgevoerd. De observator registreert specifieke gedragingen conform een protocol.
- Participerende observatie kan in heel specifieke gevallen worden ingezet, bijvoorbeeld in de vorm van een ‘mystery guest’ onderzoek waar een onderzoeker zich voordoet als een klant en dus deelneemt aan echte dienstverlening (bijvoorbeeld aan een balie of een online subsidieaanvraagproces) om zich zo informatie te verzamelen over hoe dat proces verloopt.
Eisen
Bij de inzet van een participerende observatie moet rekening gehouden worden met het volgende:
- De onderzoeker moet eerst vertrouwd raken met de te observeren groep. Vervolgens moet hij of zij investeren in het opbouwen van een relatie met de groepsleden en een rol verwerven in de groep. Bij een grotere acceptatie in de groep zal het inwinnen van informatie makkelijker verlopen.
- Participerende observatie kent enkele grote methodologische uitdagingen. Ten eerste kan een observator niet al het relevant gedrag observeren, omdat verschillende groepsprocessen tegelijk plaatsvinden (en tegenwoordig ook digitaal). Ten tweede is de toegang tot groepsprocessen ook afhankelijk van de positie die een observant in een groep verwerft. Bepaalde gebeurtenissen kunnen zich dan aan het oog onttrekken. Tot slot bestaat het risico dat de observant groepsprocessen onbedoeld beïnvloedt (en andersom dat de groepsleden de observatie, registratie en interpretatie beïnvloeden). Dit komt veel voor.
- Bij de overweging kan ook naar het alternatief van niet-participerende observatie worden gekeken. De observant bestudeert een groep van buitenaf. Dit is een veel gebruikte sociaalwetenschappelijke methode. Een observant gaat bijvoorbeeld op pad met politieagenten, BOA’s of inspecteurs die een nieuwe maatregel handhaven en observeert wat er in specifieke situaties gebeurt. Een observant kan ook binnen bedrijven, ziekenhuizen, scholen en andere organisaties afdelingen en vergaderingen observeren.
Beperkingen
Participatieve observaties kennen ook beperkingen:
- Aangezien participerende observatie zich vooral richt op begrijpen en leren is de methode minder geschikt om het effect van een maatregel vast te stellen. Participerende observatie biedt daarom geen basis voor het aantonen van causaliteit. Wel kan verdiepend inzicht worden gekregen hoe een beleidsmaatregel uitwerkt in een doelgroep, bijvoorbeeld doordat groepsleden over de maatregel discussiëren.
- Participerende observatie is een tijdrovende methode. Een observant moet toegelaten worden door de groep en langere tijd deelnemen om vertrouwen en inzichten te verwerven in de groep. Een beslissing over participerende observatie zou dan ook al bij de start van een beleidsmaatregel genomen kunnen worden, zodat deze methode voldoende tijd krijgt om effectief in te zetten.
Kosten
Participerende observatie is een tijdsintensieve methode. De kosten hangen nauw samen met de lengte van de observatieperiode (dagen, maanden) en de intensiteit van het observeren (een of meerdere uren per dag).
Bekijk hier de voorbeeldstudies.
Korte toelichting
De toegenomen digitale connectiviteit in onze samenleving resulteert in een explosieve groei van gegevensstromen (bv. locatiedata, surfgedrag, videobeelden, online betalingen) afkomstig van talloze en digitaal onderling verbonden apparaten (smartphones, laptops, tablets, sensoren, camera’s, navigatiesystemen, etc.). Ook delen steeds meer gebruikers (persoonlijke) informatie via sociale netwerken en andere apps. Deze gegevens kunnen ook verzameld worden voor een evaluatie. Om goed gebruik te kunnen maken van de verscheidenheid, complexiteit, hoeveelheid en snelheid van databronnen zijn er ook aanpassingen nodig in de methoden en technieken in de datawetenschappen.
Toepassingsgebied
De toegenomen digitale connectiviteit en de daaruit voortkomende grote gegevensstromen creëren op hoofdlijnen twee nieuwe mogelijkheden. We kunnen bestaande methoden van evaluatieonderzoek (1) vervangen en/of (2) verbeteren c.q. aanvullen. Aangezien de groeiende gegevensstromen in de gehele samenleving voorkomen, kunnen deze methoden in vrijwel alle beleidsterreinen worden ingezet.
Je kunt deze methoden ook gebruik om evaluaties te verbeteren. Aan de hand van de Veiligheidsmonitor en processen-verbaal kun je bijvoorbeeld het gevoel over) de veiligheid in een gemeente in kaart brengen. Je kunt deze gegevens echter verbeteren of aanvullen met discussies op sociale media, in buurt-apps, etc. Conventionele methoden (waaronder het hergebruik van administratieve data) zijn beperkt tot het niveau van het onderzoeksobject zelf (individuele burgers of bedrijven). De kracht van big data is dat ook op het niveau eronder (bv. uitingen via analyse van social media, verplaatsingen via mobiele data, online gedrag via webstatistieken) data automatisch kan worden verzameld en geanalyseerd (bijvoorbeeld middels webscraping waarbij software wordt gebruikt om informatie van webpagina's te halen en eventueel te analyseren).
Eisen
Het gebruik van big data in evaluatieonderzoek stelt verschillende eisen:
- Het gebruik van big data in evaluatieonderzoek vraagt om zowel nieuwe expertises (big datavaardigheden) als om de koppeling van bestaande expertises zoals data-, evaluatie- en beleidsinhoudelijke vaardigheden . Het verzamelen, bewerken, koppelen en analyseren van zeer grote databestanden vraagt om vaardigheden waar ‘traditionele’ onderzoekers nog weinig over beschikken. Andersom zijn ‘traditionele’ onderzoekers vaak beter in het definiëren van de onderzoeksvragen, en in het beoordelen van de praktische bruikbaarheid van de (big) data. Ook de betrokkenheid van inhoudelijke deskundigen is van essentieel belang om potentiële datasets te identificeren.
- Nagegaan moet worden of het verzamelen, koppelen en bewerken van grote en openbare databronnen voldoet aan ethische en juridische regels, bijvoorbeeld ten aanzien van de waarborg van bescherming van persoonsgegevens.
- Het gebruik van big data vraagt om een soort onbevangenheid als opdrachtgever en evaluator. Bij de beantwoording van een evaluatievraag kan verkend worden of er externe of “ongebruikelijke” databronnen beschikbaar en relevant kunnen zijn voor de evaluatie.
Beperkingen
Het gebruik van big data in evaluaties kent enkele beperkingen:
- Databronnen bevatten veelal ongestructureerde en onbewerkte en dus ruwe gegevens die niet verzameld zijn met het oog op een evaluatie. Het kan een (kostbare) bewerkingsslag vergen voordat zij geschikt zijn voor een evaluatie.
- De verzamelde gegevens zeggen iets over kennis, houding en gedrag van doelgroepen, en mogelijk ook veranderingen hierin over de tijd. In de meeste gevallen zullen de gegevens geen basis zijn om een uitspraak te doen over causaliteit (tussen beleidsmaatregel en effect).
- Mogelijk zijn bepaalde doelgroepen nauwelijks digitaal actief of worden sommige gedragingen helemaal niet digitaal geregistreerd. Big data-analyses zijn dus eerder ondersteunend aan een evaluatieonderzoek dan dat zij vervangend zijn.
- Niet alle data kunnen eenvoudig worden verzameld, omdat steeds meer organisaties die over deze data beschikken er (concurrentie)voordelen mee kunnen behalen. Tegelijkertijd zien we ook steeds meer initiatieven om grote datasets juist voor iedereen toegankelijk te maken.
Kosten
De kosten van het gebruik van big data zijn moeilijk in te schatten, omdat vooraf vaak niet bekend is welke datasets tegen welke voorwaarden beschikbaar zijn. Kosten kunnen oplopen naarmate sets gekocht en bewerkt moeten worden (kan specialistische kennis vergen), zeker als aanbieders datamonopolist zijn. Ten opzichte van traditionele (handmatige en dus arbeidsintensieve) dataverzamelingsmethoden is het opschalen van automatische methoden aanzienlijk makkelijker. Bij het verzamelen, verwerken en analyseren van grote hoeveelheden data zijn big data technieken relatief goedkoop.
Literatuur
Hergebruik administratieve data:
Big data in beleidsonderzoek:
- OECD (2019), Enhancing Access to and Sharing of Data: Reconciling Risks and Benefits for Data Re-use across Societies, OECD Publishing, Paris.
- OECD (2015), Data-Driven Innovation: Big Data for Growth and Well-Being, OECD Publishing, Paris
- Reimsbach-Kounatze, C. (2015-01-12), “The Proliferation of “Big Data” and Implications for Official Statistics and Statistical Agencies: A Preliminary Analysis”, OECD Digital Economy Papers, No. 245, OECD Publishing, Paris.
Bekijk hier de voorbeeldstudies.