Bouwstenen voor een effectieve sociale interventie - deel 3
Bouwsteen 3: evaluatie praktijkervaringen - hoe werkt het?
U heeft een aanpak ontwikkeld en deze met succes in de praktijk toegepast. U krijgt positieve reacties van uitvoerders en van de doelgroep. Wat kunt u nog meer doen om van uw aanpak een effectieve sociale interventie te maken? In deze serie artikelen dragen wij vijf bouwstenen aan voor een effectieve sociale interventie, met downloads naar ondersteunende producten waar u zo mee aan de slag kunt.
Om tot een effectieve interventie te komen, moet er op basis van ervaringen in de praktijk vaak nog aan worden gesleuteld en geschaafd. Door ervaringen van uitvoerders en deelnemers te evalueren kun je sterke en zwakke onderdelen van een interventie opsporen. Vervolgens kan er worden bijgestuurd en onvoorziene problemen worden opgelost. Zo draagt onderzoek naar praktijkervaringen bij om een interventie gaandeweg te versterken.
Onderzoek waar je het meeste van leert
Vaak wordt de stap naar het meten van de resultaten van een interventie te snel gemaakt. Natuurlijk is het aantrekkelijk om aan te kunnen tonen dat jouw interventie werkt. Maar je vergroot de kans op een positief resultaat door de interventie in de praktijk eerst te optimaliseren.
Onderzoek naar praktijkervaringen biedt de mogelijkheid om er op een systematische manier achter te komen wat goed en minder goed gaat bij een interventie. De ervaringen van de uitvoerders én doelgroep staan daarbij centraal. Dit type onderzoek vormt de basis voor kwaliteitsverbetering én voor vervolgonderzoek. Want pas als je de interventie op basis van gebruikerservaringen hebt geoptimaliseerd, wordt het relevant om met monitoring en effectonderzoek te bewijzen dat met de interventie daadwerkelijk de gestelde doelen behaald worden.
Twee invalshoeken: proces en waardering
Bij onderzoek naar praktijkervaringen zijn twee invalshoeken relevant. De eerste is gericht op het proces: is de interventie uitvoerbaar en werkt het zoals bedoeld? Wat gaat goed en wat gaat er (nog) niet goed? De tweede invalshoek is gericht op de waardering van de interventie door de betrokken uitvoerders en deelnemers. Zijn zij tevreden over de verschillende onderdelen van de interventie? Heeft de interventie hen opgeleverd wat zij ervan verwachtten?
Vanuit de genoemde invalshoeken staan in de evaluatie vijf hoofdvragen over de interventie centraal:
- Is de interventie uitgevoerd volgens plan?
- Hoe is de waardering en ervaring van uitvoerders en deelnemers?
- Wat de doelgroep met de interventie voldoende bereikt?
- Wat zijn de succes- en faalfactoren?
- Welke aanbevelingen kunnen er worden gedaan voor verbetering van de interventies?
Een voorbeeld: de Eigen Kracht-conferentie
De Eigen Kracht-conferentie is een interventie voor activering en besluitvorming binnen het eigen netwerk. De gedachte is dat het belangrijk is dat mensen ook bij problemen eigen regie houden. Een Eigen Kracht-coördinator organiseert in samenspraak met een persoon of gezin een Eigen Kracht-conferentie waarbij mensen uit hun eigen netwerk bij elkaar komen om het probleem op te lossen.
Er zijn diverse evaluatieonderzoeken naar de praktijkervaringen bij deze interventie gedaan, waaruit onder andere naar voren kwam:
- De conferentie wordt door deelnemers als positief ervaren
- Na de conferentie wordt meer steun door familie en netwerk ervaren
- Succesfactoren zijn: de invloed die de deelnemers ervaren op de organisatie en het verloop van de conferentie, het werken aan een eigen plan
- Knelpunten zijn: jongeren en kinderen hebben tijdens de conferentie steunfiguren nodig, er is aandacht nodig voor de lange termijn effecten, voor de uitvoer van het plan is betere begeleiding en evaluatie nodig.
Op basis van deze onderzoeksresultaten is gewerkt aan verbetering van de interventie.
Aan de slag
Wie?
Je kunt als interventie-eigenaar zelf onderzoek doen naar praktijkervaringen. Dat is waardevol, want je hoort dan uit eerste hand hoe uitvoerders en deelnemers de interventie ervaren. Ook kun je de evaluatie vaak goed inbedden in het werkproces zelf en zijn de uitkomsten direct bruikbaar zijn voor tussentijdse bijsturing.
Je kunt het evaluatieonderzoek ook door een extern (onderzoeks-)bureau, hogeschool of universiteit laten doen. Het voordeel is dat het je werk uit handen neemt. Ook is de kwaliteit doorgaans hoger, zij zijn immers gewend om onderzoek te doen. Tot slot kan het de geloofwaardigheid van de evaluatie vergroten: een onafhankelijk onderzoeksbureau heeft geen direct belang bij de uitkomsten.
Wanneer?
Voor een evaluatie van het proces is het van belang om dit zoveel mogelijk tijdens de implementatie van de interventie te doen. Zo kun je het verloop in de verschillende fasen van planning en uitvoering systematisch volgen. Bij voorkeur worden dezelfde uitvoerders of deelnemers op verschillende momenten tijdens en na afloop van het uitvoeringsproces geobserveerd en/of geïnterviewd. Daardoor kan ook inzicht ontstaan in veranderend gedrag of opvattingen. Het is eventueel ook mogelijk om achteraf een evaluatie uit te voeren, maar naarmate de interventie langer geleden is uitgevoerd bestaat er steeds meer risico op verlies of vertekening van informatie.
Hoe?
Een evaluatie wint aan waarde door meerdere onderzoeksmethoden met elkaar te combineren. Denk bijvoorbeeld aan:
- Vraaggesprekken: interviews, focusgroepen of enquêtes
- Analyse van administratieve gegevens: registraties, vergaderverslagen, logboeken, websites
- Observaties: van activiteiten die onderdeel uitmaken van de interventie en bv. vergaderingen van de uitvoerders
- Evt. literatuuronderzoek: om zicht krijgen op wat er al bekend is over de werkzaamheid van de ingezette activiteiten en/of welke thema’s en begrippen van belang zijn en hoe je die het beste kunt meten.
Hoeveel respondenten?
Het is belangrijk zowel deelnemers (de doelgroep) als de uitvoerders (de professionals, maar soms ook vrijwilligers) van de interventie te betrekken bij het onderzoek. Om goed zicht te krijgen op de variëteit in de waardering en ervaringen is het aan te raden om minimaal 15 deelnemers bij het onderzoek te betrekken. Bij een kleiner aantal is het belangrijk goed uit te leggen waarom voor dit aantal gekozen is (bijvoorbeeld omdat er sprake is van een kleine of moeilijk aanspreekbare doelgroep). Ook kan een beperkter aantal respondenten gecompenseerd worden doordat zij intensiever gevolgd en uitgebreider gesproken zijn. Ook voor de uitvoerders geldt idealiter het aantal van 15 respondenten. Soms zijn er echter (nog) niet zoveel uitvoerders bij de interventie betrokken.
Zorgvuldige verslaglegging
Het belangrijk dat zowel de bevindingen als het onderzoek zelf zorgvuldig wordt vastgelegd. Denk daarbij aan alle voorgaande onderdelen: wie heeft het onderzoek gedaan en hoe is zijn/haar betrokkenheid bij de interventie, de onderzoekaanpak, de onderzoeksgroep, het aantal respondenten en de wijze waarop de analyse is uitgevoerd. Ook is het met name bij de vraaggesprekken en observaties belangrijk dat de resultaten in afzonderlijke gespreks- en observatieverslagen vastgelegd worden. Deze hoeven niet in het evaluatierapport opgenomen te worden, maar zo kan indien nodig achterhaald worden hoe bepaalde conclusies tot stand zijn gekomen. Ook kan er op teruggegrepen worden als het evaluatierapport aanvullende vragen oproept. De conclusies en aanbevelingen in het evaluatierapport zijn het belangrijkste en vloeien voort uit een analyse van de resultaten van het evaluatieonderzoek.
Bouwsteen voor een effectieve sociale interventie
We onderscheiden vijf bouwstenen voor een effectieve sociale interventie: de beschrijving, de onderbouwing, evaluatie van praktijkervaringen, monitoring en effectonderzoek. Een goede evaluatie is de basis voor kwaliteitsverbetering van de interventie en voor vervolgonderzoek naar de effecten. Bij aanmelding voor de databank en de onafhankelijke beoordeling op het niveau goed beschreven en op het niveau goed onderbouwd is de aanwezigheid van een evaluatieonderzoek dan ook een voorwaarde.
Meer informatie
Meer informatie over evaluatieonderzoek naar praktijkervaringen vindt u in de volgende publicaties: