‘Betrek sociale professionals als kennispartners bij kwalitatief onderzoek'

Symposium Kwalitatief onderzoek als bewijs voor wat werkt

Het tienjarig bestaan van Movisie werd op dinsdag 28 november gemarkeerd met een middagsymposium over het belang van kwalitatief onderzoek in het sociaal domein. Het vormde de inhoudelijke opmaat van de oratie van Saskia Keuzenkamp, diezelfde middag op de Vrije Universiteit. Zij is nu naast Directeur Kennis en Innovatie van Movisie ook bijzonder hoogleraar Participatie en effectiviteit.

Uit de reacties op de stellingen die moderator Marcel Ham aan deelnemers voorlegt, blijkt meteen dat er vrijwel geen ‘kwantitatieve hardliners’ in de zaal zitten. Het merendeel van de 250 aanwezigen is overtuigd van de meerwaarde en mogelijkheden van kwalitatief onderzoek om aan te tonen wat ‘werkt’.

Oratie Saskia Keuzenkamp

Aansluitend op het symposium over kwalitatief onderzoek sprak Saskia Keuzenkamp haar oratie 'Wat werkt en wie werkt? De rol van ervaringsdeskundigen bij de aanpak van armoede en schulden' uit. We plaatsten een fragment uit de oratie op onze website.

Het pleidooi van de hoogleraren Anja Machielse en Trudie Knijn voor het vaststellen van de gebruikswaarde van interventies door een radicale ommekeer van de bestaande onderzoekshiërarchie – met bovenaan objectief krachtig kwantitatief onderzoek en onderaan soft subjectief kwalitatief onderzoek – lijkt hierdoor een beetje op preken voor eigen parochie. Toch prikkelt hun heldere uitgangspunt: interventies zijn pas echt effectief wanneer ze hun waarde hebben bewezen in de professionele praktijk (en daarbij een stevige theoretische basis hebben en aan criteria voor betrouwbaar en transparant onderzoek voldoen).

Interventies zijn pas echt effectief wanneer ze hun waarde hebben bewezen in de professionele praktijk

Kloof overbruggen

In hun duo-presentie gaan Machielse en Knijn* in op het gegeven dat het hoogste niveau van bewezen effectiviteit nog niets zegt over de praktische toepasbaarheid van interventies. Desondanks focussen financiers, ambtenaren en beleidsmakers nog vaak op louter kwantitatief onderzoek en de theoretische onderbouwing van interventies. ‘Dit veronderstelt echter een strak geprotocolleerde aanpak en toepassing van een methode in steeds dezelfde setting. En juist daar ligt het probleem’, aldus Anja Machielse. ‘De meeste interventies voor het sociaal domein die in de databanken van de kennisinstituten zijn opgenomen, voldoen niet aan deze harde criteria. En de weinige interventies die daar wel aan voldoen, worden nauwelijks toegepast omdat ze slecht bruikbaar zijn. Hoog tijd dus om die kloof te overbruggen!’

Co-creatie in kennisontwikkeling

Werkers in het sociaal domein hebben een sleutelpositie bij het overbruggen van deze kloof. Zij zouden veel meer moeten investeren in hun professionaliteit, onderstreept Knijn: dus niet alleen vertrouwen  op eigen inzichten en meer gebruikmaken van interventies die in de praktijk hun bruikbaarheid hebben bewezen. Om ze hierbij te ondersteunen, moeten welzijnsorganisaties en opleidingsinstituten beter wegwijs worden gemaakt in de databanken van de kennisinstituten. Maar dat niet alleen. Ook de sociale professionals zelf zijn aan zet als partner en co-creator bij het evalueren en ontwikkelen van methodieken en interventies. ‘Dat lukt het beste als zij zich eigenaar gaan voelen van interventies, en dus niet alleen afnemers zijn van kennis die op een hoger niveau en buiten hen om is ontwikkeld.’

In de video zie je reacties van deelnemers op het symposium.

Trans-disciplinair kennis vergaren

Zodra sociale professionals en gebruikers gaan meewerken aan kwalitatief onderzoek ontstaan er nieuwe mogelijkheden om te achterhalen wat werkzame bestanddelen zijn van een bepaalde interventie bij een bepaalde (beperkte) doelgroep, en dat ook nog eens binnen een bepaalde context. Zo ontstaat er een zogeheten trans-disciplinaire benadering, waarbij op drie niveaus kennis wordt vergaard: door wetenschappers, professionals en gebruikers. Ook al is het gezamenlijk ontwikkelen en evalueren van interventies alles behalve gemakkelijk, het is zeker de moeite waard, aldus Knijn. ‘Het leidt niet tot gemiddelde bevindingen of conclusies die je kunt generaliseren, zoals bij kwantitatief onderzoek. Maar hierdoor ontstaat wel zicht op allerlei variaties in voorkeuren, afwegingen en opinies, waar we samen lijnen in kunnen trekken.’ 

Ook al is het gezamenlijk ontwikkelen en evalueren van interventies alles behalve gemakkelijk, het is zeker de moeite waard

Kritisch op betrouwbaarheid

Bij kwalitatief onderzoek is de onderzoeker vaak nauw betrokken bij de onderzochte interventie. Daarom is het bij kwalitatief onderzoek van groot belang kritisch te kijken naar zaken als transparantie, betrouwbaarheid, validiteit en controleerbaarheid. Al was het maar om te voorkomen dat er onterecht causale verbanden worden gelegd, of dat er interpretaties worden gegeven waardoor een interventie succesvoller lijkt dan die in werkelijkheid is.

Onderzoeker Vasco Lub neemt de deelnemers daarom mee in een minicollege over hoe de subjectiviteit van kwalitatief onderzoek kan worden ingeperkt om de bewijskracht te vergroten. Dat kan enerzijds door het gebruik van betrouwbare methodes om data te generen (zoals systematische observaties en interviews op basis van die observaties) en anderzijds door de inzet van procedures die de validiteit verhogen en de uitkomsten objectiever maken. ‘Je kunt bijvoorbeeld meerdere perspectieven inbouwen: het eigen perspectief van degene die evalueert, aangevuld met het perspectief van de onderzoekparticipanten en dat van externe lezers of reviewers’, oppert Vasco Lub.

‘Om te voorkomen dat je je teveel vereenzelvigt met je onderzoeksgroep, kun je ook hardop reflecteren op je eigen positie en rol als onderzoeker. Daarna kun je je bevindingen voorleggen aan de participanten als een soort reality check. En je kunt beschrijven hoe de samenwerking met je doelgroep heeft plaatsgevonden, zodat externe reviewers dat kunnen controleren.’

Lastige onderzoekers

Peter Steenbergen en Ton Huiskens vertellen vervolgens over hun project Thuis op Straat, in 1996 opgezet in Rotterdam. Hun belangrijkste doel: de leefbaarheid van wijken ook voor kinderen vergroten, zodat zij positief met elkaar omgaan en veilig met elkaar kunnen buitenspelen. Medewerkers van TOS zijn hiervoor minimaal vier dagen per week aanwezig op straat, en dat jaar in jaar uit.

Bekijk filmpje over Thuis Op Straat

Van meet af aan is flankerend onderzoek gedaan naar TOS om te leren van tekortkomingen en de interventie in de praktijk verder door te ontwikkelen. Met succes: na 21 jaar is de interventie volwassen en wordt die nu erkend als ‘effectief’. ‘Eigenlijk hadden we alleen maar last van die onderzoekers’, zegt Steenbergen met een brede lach. ‘Maar dankzij hun vragen hebben we Rotterdam Zuid nog beter leren kennen en bedienen. En TOS is hierdoor ook zelf een sterk merk geworden in Rotterdam Zuid. Jongeren geven zelfs aan dat ze later ‘als ze groot’ bij TOS willen gaan werken.’

‘Onze betrokkenheid bij dit project is altijd groot geweest. Maar dat is zowel onze kracht als onze zwakte, vult founding father Ton Huiskens aan. ‘Onderzoekers hebben ons helpen ontdekken wat effectief en minder effectief was. Dat was soms vervelend, omdat hun feedback soms bijna op kritiek leek. Maar die blik van buiten is wel nodig als je vooruit wil komen. Zeker als je een project als dit wilt opschalen.’

Lees meer over Thuis Op Straat in de databank Effectieve sociale interventies van Movisie.

Naar de databank

In deze video zie je meer van Anja Machielse, Trudie Knijn en Ton Huiskens.

Kies voor een én én-benadering

Ter afsluiting reflecteren drie panelleden op alles wat er is langsgekomen. Godfried Engbersen kent goed kwalitatief én goed kwantitatief onderzoek. Daarom ziet hij weinig in het pleidooi om kwalitatief onderzoek boven kwantitatief onderzoek te plaatsen. Beide benaderingen hebben hun eigen waarde; het gaat erom welk soort onderzoek het beste past bij de onderzoeksvraag.

Ook Henk Smid moet niets hebben van de bepleite omkering in hiërarchie. ‘Ik ben groot voorstander van de evidence based beweging. Dat heeft een geweldige revolutie in gang gezet na eeuwen van authority based werken, waarin de dokter zonder verdere discussie bepaalde wat goed was. Maar inmiddels staat evidence based werken vrijwel gelijk aan het werken met randomized controlled trials (rct’s). Dat is zo verabsoluteerd, dat daar terecht kritiek op is. Bovendien zijn complexe praktijksituaties niet te onderzoeken in het design van een RCT. Laten we ons dus bij de keuze van de onderzoeksmethode vooral laten leiden door de kennisvraag die centraal staat.’

Saskia Keuzenkamp krijgt het laatste woord. ‘In commissies merk ik vaak dat kwantitatief ingestelde wetenschappers lang praten over specifieke statistische maten die in kwantitatief onderzoek gebruikt worden, terwijl die maten voor kwalitatief onderzoek nog nauwelijks zijn uitgewerkt. Dat vind ik zorgelijk. Daarom vind ik het een grote verdienste van Movisie, dat men zich daar al jaren sterk maakt voor goed en gedegen kwalitatief onderzoek als bewijs voor 'wat werkt'. Dat heeft de evaluatie van interventies in het sociaal domein enorm gestimuleerd!’

Het Symposium Kwalitatief onderzoek als bewijs voor ‘wat werkt’ werd georganiseerd door Movisie en het Institute for Societal Resilience van de Vrije Universiteit (VU).

*Aan dit symposium werkten mee:

  • Anja Machielse, hoogleraar 'Empowerment van Kwetsbare Ouderen' aan de Universiteit voor Humanistiek.
  • Trudie Knijn, hoogleraar Algemene Sociale Wetenschappen aan de Universiteit Utrecht.
  • Vasco Lub, socioloog en eigenaar van het Bureau voor Sociale Argumentatie.
  • Peter Steenbergen en Ton Huiskens, de drijvende krachten achter de interventie Thuis Op Straat.
  • Godfried Engbersen, hoogleraar algemene sociologie aan de Erasmus Universiteit Rotterdam.
  • Henk J. Smid, directeur ZonMw
  • Saskia Keuzenkamp, bijzonder hoogleraar Participatie en effectiviteit aan de faculteit Sociale Wetenschappen van de Vrije Universiteit en directeur Kennis en innovatie bij Movisie.
  • Marcel Ham, hoofdredacteur Platform Sociale Vraagstukken.