‘Het zal wel werken, want we doen het al jaren zo’, hoort Movisie-onderzoeker René Broekroelofs regelmatig in de praktijk. ‘Er zijn tal van interventies die netjes worden uitgevoerd maar zonder enig effect. Erger wordt het wanneer ze het tegenovergestelde bereiken. Het meest iconische voorbeeld zijn de alcoholpreventielessen die vroeger op scholen werden gegeven, die hadden - bleek later uit onderzoek - een averechts effect. Jongeren gingen juist drinken.’ 

'Als je ergens niet aan mag denken, dan denk je er juist wél aan.'

Of het voorbeeld van een interventie tegen discriminatie waarin een gastdocent leerlingen vroeg om alle stereotypen die ze kennen over lhbtiqa+ personen te noemen. Daarna legde de gastdocent aan de leerlingen uit dat de stereotypen niet juist zijn en dat dat is waar je juist niét aan moet denken. Onderzoeker Hanneke Felten: ‘Maar ergens niet aan denken, is vrijwel onmogelijk. Als je ergens niet aan mag denken, dan denk je er juist wél aan. Stereotypen worden door dat soort lessen dus juist versterkt. En dat is natuurlijk niet de bedoeling. Wanneer je een interventie niet baseert op wetenschappelijke kennis of nooit evalueert, dan loop je het risico de plank mis te slaan.’

Daarom, benadrukken de onderzoekers, is het belangrijk dat interventies regelmatig kritisch tegen het licht worden gehouden en worden verbeterd. In het Movisie-rapport Ingrijpen bij racisme binnen je eigen bubbel (april 2023) zetten Felten en Broekroelofs een aantal tips op een rij voor de aanpak van racisme, maar deze tips zijn ook bruikbaar bij interventies voor hele andere problemen zoals eenzaamheid, armoede, polarisatie of geweld.

1. Interventie mapping

Wat is het probleem, wat is de doelgroep en wat wil ik met deze interventie bereiken en hoe?
Broekroelofs: ‘In de praktijk blijkt dan soms dat niet iedereen binnen het team bijvoorbeeld hetzelfde doel voor ogen heeft. Kijk ook goed naar bestaande ‘wat-werkt-kennis’. Wat weten we hierover uit onderzoek?’ Voeg deze inzichten toe.

2. Beschrijf de interventie in een handboek

Een handboek zorgt ervoor dat er goed wordt stilgestaan bij de doelgroep, doelen, aanpak. Een handboek bestaat uit verschillende onderdelen: doelgroep, doel, aanpak, competenties uitvoerder, begroting, randvoorwaarden en onderbouwing. Waarom zou dit werken? 

3. Stel een verandertheorie op

Een andere manier om inzicht te krijgen in hoe een interventie werkt. Hoe en waarom zorgt deze activiteit ervoor dat het doel bereikt wordt? Een verandertheorie maakt aannames die onder een interventie liggen helder. Kloppen deze aannames wel? Is daar onderbouwing voor vanuit de wetenschappelijke literatuur?

4. Evaluatie

Begin met een procesevaluatie. Die laat zien of de aanpak in de praktijk goed wordt uitgevoerd zoals bedoeld. ‘Doen we eigenlijk allemaal hetzelfde wat we hebben bedacht? Zitten daar nog onderlinge verschillen in?’ Soms kan het namelijk zo zijn dat een interventie heel anders wordt uitgevoerd dan dat deze op papier staat. 

Een volgende stap van de evaluatie kan ‘een ervaren baat-onderzoek zijn’. Deelnemers worden na afloop van de interventie bevraagd. ‘Het gaat echt om hun beleving. Wat heeft het voor hen opgeleverd?’ Deze informatie kan via focusgroepen of vragenlijsten worden opgehaald en is een goede indicator voor de daadwerkelijke effectiviteit.

5. Kwantitatief of experimenteel effectonderzoek

Hiermee kan het effect van de interventie worden vastgesteld. Denk bijvoorbeeld aan een onderzoek waarbij je alle deelnemers vooraf en na afloop van de interventie een vragenlijst laat invullen. Je kunt dan zien wat het verschil is in bijvoorbeeld hun houding en opvattingen. Bijvoorbeeld: als het de bedoeling was dat de deelnemers door de interventie positiever gingen denken over meer sporten en bewegen, dan kun je checken of dat inderdaad gebeurd is. Nog beter is om daar aan een controlegroep toe te voegen: een groep mensen vult dus op ongeveer zelfde momenten als de deelnemers twee keer de vragenlijst maar neemt niet deel aan de interventie. Bijvoorbeeld: als je interventie over voldoende bewegen wordt uitgevoerd onder 60+ vrouwen van een huisartsenpost, dan kun je per persoon die zich opgeeft voor de interventie willekeurig bepalen of deze wel of niet mag meedoen. Diegene die nu niet mee mogen doen, kunnen dan alsnog later de interventie volgen maar nu wel alvast de vragenlijsten invullen en op deze manier als controlegroep dienen. Dan kun je nog meer inzicht krijgen in het effect. Het kan dan namelijk worden uitgesloten dat de houding of opvattingen van de deelnemers zijn verbeterd doordat er bijvoorbeeld iets toevallig in het nieuws was over het belang van meer bewegen of omdat het goed weer was om buiten te bewegen. Anders gezegd: het wordt aannemelijk dat het gevonden verschil tussen vragenlijst 1 (voorafgaand aan de interventie) en vragenlijst 2 (na afloop van de interventie) niet op toeval berust maar wordt veroorzaakt door de interventie. 

Dit type onderzoek is niet altijd makkelijk zelf uit te voeren. Zoek daarom samenwerking op met hogeschool, universiteit of landelijk kenniscentrum om de interventie door ervaren onderzoekers te laten evalueren.

Tekst: Jessica Maas