Hoe weet ik of mijn interventie effectief is? Dit kun je onderzoeken door na te gaan in welke mate het doel van de interventie wordt bereikt. Ook is verklarend onderzoek naar hoe en waarom de effecten behaald zijn relevant. Onderzoek naar de effectiviteit bestaat idealiter dan ook uit een slimme mix van onderzoeksmethoden.

Onderzoek naar effecten

Bij onderzoek naar effecten ga je na in welke mate het doel van de interventie wordt bereikt. Je kunt dit op verschillende manieren onderzoeken:

1. Onderzoek naar de ervaren effectiviteit: hierbij wordt na afloop van de interventie achterhaald welke betekenis de doelgroep geeft aan de met de interventie behaalde resultaten. Welke doelen zijn volgens hen behaald? Dit kunnen mogelijk ook andere doelen zijn dan de bedenkers van de interventie voor ogen hadden.
2. Observatieonderzoek: het via observatie nagaan of de beoogde doelen en de daarvoor benodigde voorwaarden daadwerkelijk gerealiseerd worden. Hiervoor moet je nagaan wat je kan observeren en hoe je dat gaat doen.
3. Casestudieonderzoek: op verschillende momenten wordt de situatie van een casus (bv. een individu of wijk) beschreven, zodat het verloop van de veranderingen inzichtelijk wordt gemaakt. Bij een herhaalde casestudie toetst de onderzoeker de resultaten uit een eerdere studie door het onderzoek te herhalen bij nieuwe cases. Komen daar steeds weer dezelfde resultaten uit, dan is het steeds aannemelijker dat de interventie een rol speelt in de geconstateerde veranderingen.
4. Veranderingsonderzoek: via metingen voorafgaand aan of bij de start van de interventie én na afloop van de interventie (ofwel een voor-, na en bij voorkeur ook een follow-up meting) wordt vastgesteld in welke mate verandering in de richting van de beoogde doelen plaats vindt.
5. Onderzoek naar causale effecten: Wanneer de voor- en nametingen op grote schaal plaatsvinden en vergeleken worden met metingen in een controlegroep, kan vastgesteld worden of de effecten ook daadwerkelijk toe te schrijven zijn aan de interventie. We spreken dan van een causaal verband.

Onderzoek naar de werking

Bij dit onderzoek ga je na hoe en waarom de interventie werkt. Of nog specifieker: wat werkt aan de interventie, voor wie en onder welke omstandigheden? Via dergelijk verklarend onderzoek krijg je zicht op de werkzame mechanismen: de belangrijkste of meest succesvolle onderdelen van een interventie die ervoor zorgen dat je met de interventie de gewenste effecten behaalt. Daarnaast is goed zicht op de werkzame mechanismen essentieel voor de overdraagbaarheid van een interventie. Interventies kunnen aan de lokale omstandigheden of individuele situatie van de doelgroep aangepast worden. Daarbij is het van belang om te weten welke onderdelen van de interventie essentieel zijn om de doelen te realiseren.

Er zijn verschillende typen verklarend evaluatieonderzoek, zoals Theory of Change, Theory based evaluation en Realistic evaluation (zie Weten wat werkt). Het startpunt is in alle gevallen een analyse van bestaande documenten over de interventie en gesprekken met de bedenkers van de interventie op basis waarvan de veronderstelde werkzame mechanismen - ook wel interventietheorie of veranderingstheorie genoemd - gereconstrueerd worden. Vervolgens verschillen de benaderingen enigszins in de mate waarin zij het accent leggen op:

• het onderzoeken van de veronderstellingen over de werking van de interventie van diegenen die in de praktijk bij de interventie betrokken zijn, zoals de uitvoerders van de interventie en de beoogde doelgroep (via individuele interviews of focusgroepen);
• het onderzoeken van de specifieke kenmerken van situaties en mensen waarin verklaringen worden gezocht voor de werking of niet-werking van interventies (via onder meer observatie),
• het theoretisch toetsen van de veronderstellingen (via literatuuronderzoek).

Een slimme mix

De meer kwantitatieve vormen van effectiviteitsonderzoek leveren waardevol feitelijk cijfermateriaal en inzicht in de causale relatie tussen de interventie en de behaalde effecten. De meer kwalitatieve vormen van effectiviteitsonderzoek maken inzichtelijk hoe de uitvoerders en de doelgroep de behaalde resultaten beleven en verwoorden, hoe de interventie verandering teweeg brengt en waarom de interventie werkt. Wanneer onderzoek zich alleen richt op de effecten, dan blijft de interventie een black box. Zonder informatie over de werking van de interventie is het moeilijk na te gaan of en wanneer de met effectonderzoek gemeten resultaten ook bij implementatie van de interventie in andere situaties behaald kunnen worden. Zie onderstaand kader voor een voorbeeld van een interventie waarbij via slimme mix van onderzoeken inzicht is verkregen in de effectiviteit.

Aan de slag: wanneer en door wie?

De interventie moet rijp zijn voor onderzoek naar de effectiviteit. Dat wil zeggen dat het belangrijk is eerst te werken aan eerdere bouwstenen uit deze serie: een goede beschrijving, een goede onderbouwing en onderzoek naar de praktijkervaringen. De eerste bouwstenen vormen de basis. Immers: als je van je bouwstenen een toren bouwt en de basis is niet solide, dan valt de toren om. En als de interventie nog onvoldoende geëxpliciteerd is, heb je in feite onvoldoende idee wat je met effectiviteitsonderzoek meet. Bovendien is effectiviteitsonderzoek relatief duur en doorgaans vooral aan de orde wanneer een interventie op grotere schaal toegepast wordt.

Onderzoek naar effectiviteit is ingewikkeld. Dit type onderzoek wordt bij voorkeur uitgevoerd door onafhankelijke onderzoekers van onderzoeksbureaus of universiteiten. Daarom bij deze bouwsteen geen stappenplan hoe je met effectiviteitsonderzoek aan de slag gaat. Dit neemt niet weg dat je zelf als interventie-eigenaar allerlei stappen kunt zetten om eerste indicaties voor de met je interventie behaalde effecten op het spoor te komen. Zo is in bouwsteen 4 beschreven hoe je zelf je doelrealisatie kunt monitoren. Ook worden in de publicatie Zicht op effect instrumenten beschreven waarmee je indicaties voor de effecten van je interventie in kaart kunt brengen.

Overigens is het ook bij de hier besproken onderzoeken naar effectiviteit erg belangrijk dat de onderzoekers, de bedenkers en de uitvoerders van de interventie nauw met elkaar optrekken. Dit principe is mooi uitgewerkt bij Praktijkgestuurd effectonderzoek. Hierbij sluit de onderzoeksopzet nauw aan bij het type interventie en ontwikkelingsniveau. Het meten van effecten wordt bovendien zoveel mogelijk ingebed in het reguliere werkproces, waarbij de onderzoeksresultaten vervolgens ook zoveel mogelijk voor datzelfde werkproces benut worden.

Bouwsteen voor een effectieve sociale interventie

We onderscheiden vijf bouwstenen voor een effectieve sociale interventie: beschrijving, onderbouwing, evaluatie van praktijkervaringen, monitoring en effectonderzoek. Met het bij deze bouwsteen besproken onderzoek wordt de effectiviteit aangetoond. Bij aanmelding voor de databank en de onafhankelijke beoordeling op het niveau Effectief wordt er gekeken naar eerste, goede en sterke aanwijzingen voor de effectiviteit. Het oordeel hangt af van het aantal en type onderzoeken dat gedaan is naar de effectiviteit en de resultaten van dat onderzoek.