Getallen hebben woorden nodig –Most Significant Change in Leiden

Expertmeeting Waarde van ervaringen in monitoring en onderzoek

Hoe werk je met kwalitatieve onderzoeksmethoden? Hoe verhouden de ervaringen zicht tot kwantitatieve data? Want naast cijfers heb je ook cliëntervaringen nodig om te kunnen volgen, leren en sturen, zoals bij de gemeente Leiden met de Most Significant Change.

Expertmeeting De waarde van ervaringen in monitoring

Tijdens een digitale bijeenkomst in december 2021 probeerden zo’n twintig experts uit praktijk, gemeentelijk beleid en wetenschap de vinger te leggen op de waarde van ervaringen in monitoring. Instrumenten als focusgroepen, klantreizen, Wat Telt en Most Significant Change zijn tegenwoordig erg in trek. Maar het gebruik van ervaringen in monitoring brengt ook vraagstukken met zich mee. Het is bijvoorbeeld de vraag hoe ervaringsverhalen zich verhouden tot cijfers. En hoe ze uitvoering en beleid helpen verbeteren. Een presentatie van de gemeente Leiden, over hoe zij een structurele plek inruimen voor kwalitatief ervaringsonderzoek in de monitor, voedde het gesprek over deze kwesties. Movisie begeleidde de expertmeeting, die zeker een vervolg gaat krijgen. Dit artikel maakt deel uit van een tweeluik.

In Leiden begonnen ze direct na de decentralisaties in 2015 met het ophalen van cliëntervaringen. Beleidsadviseur Jan van Kleef is sindsdien een van de trekkers van de gemeentelijke monitor en nauw betrokken bij het kwalitatieve deel ervan. ‘De wethouder wilde geen cijfers’, vertelt hij tijdens de expertmeeting, ‘die wilde weten hoe de cliënten de ondersteuning ervaren. Daarom kozen we voor kwalitatief onderzoek.’ De keuze viel op de Most Significant Change, de MSC, een narratieve methode uit de antropologie.

Vier jaar lang werden klanten van de Wmo, Jeugd, en Werk en Inkomen tijdens huisbezoeken in gesprekken van twintig tot dertig minuten bevraagd. ‘Met als centrale vraag’, legt Van Kleef uit, ‘wat voor de cliënt de belangrijkste verandering was sinds die in contact kwam met de hulpverlening. Een hele open vraag dus, niet de vraag of de gemeentelijke doelen gehaald zijn.’ In samenwerking met de Hogeschool Leiden zijn de ervaringsverhalen naderhand wel geanalyseerd met die doelen in het achterhoofd. Zo werd duidelijk hoe vaak cliënten begrippen als maatwerk, dichtbij de inwoner en eigen netwerk noemden in hun verhalen over de veranderingen die zij ervaarden.

Waarde eruit halen

Het werken met de MSC methode leverde jaarlijks zo’n honderd verhalen op. Naast de waarde die elk verhaal op zichzelf heeft, zochten betrokkenen ook naar de waarde van de verhalenset als geheel. Drie teams, van professionals, adviesraadsleden en managers, kozen elk het verhaal dat volgens hen de belangrijkste verandering het meest veelzeggend verwoordde. Van Kleef: ‘De gesprekken die dat oplevert over de verhaalkeuze zijn ook heel waardevol. Het helpt professionals bijvoorbeeld te reflecteren op het eigen werk.’

De gemeenteraadsleden ontvingen de ervaringsverhalen als bijlage bij de jaarlijkse monitorrapportage en waren daar zeker over te spreken. Alleen zijn zij voornamelijk op zoek naar een doel-middel-effect relatie en sturingsinformatie, zegt Van Kleef. ‘De gemeenteraad heeft dan ook een grote behoefte aan cijfermatige ervaringen.’ In een zorgvuldige exercitie met alle betrokkenen is de afgelopen jaren steeds naar een goede balans gezocht tussen kwantitatieve en kwalitatieve informatie.

Wel of geen sturingsinformatie

Maar na de presentatie van de meest recente monitor, eind 2021, bleek dat de gemeenteraad opnieuw niet tevreden is. Er is een motie aangenomen waarin om een “hogere informatiewaarde” gevraagd wordt. Voor Van Kleef en zijn collega’s is dit best een domper, en volgens hem spitst de discussie zich toe op de vraag in hoeverre de monitor sturingsinformatie kan bevatten. De ambtenaren zien de monitor vooral als signaleringsinstrument, zegt Van Kleef. ‘Maar de gemeenteraad wil erop kunnen sturen. Alleen heb je daarvoor actuelere informatie nodig dan dat wat er in de monitor zit. En ze denken daarvoor vooral kwantitatieve gegevens nodig te hebben. Ik vrees dat we nu weer richting heel veel cijfers verzamelen gaan.’

Maakbaarheidsideaal

Van Kleef benadrukt dat hij de sturingswens van de gemeenteraad heel goed begrijpt. Maar hij wil waken voor te veel geloof in het maakbaarheidsideaal, zeker voor wat betreft de knoppen die de gemeente tot haar beschikking heeft. ‘Neem de huishoudelijke ondersteuning. Het kabinet Rutte III stelde het vaste abonnementstarief in voor de eigen bijdragen. Dat heeft een aanzuigende werking gehad onder de goed gesitueerden. Daar kun je op lokaal niveau niet zo veel aan doen.’

Om te voorzien in de cijferbehoefte werkt Leiden tegenwoordig met de VNG basisindicatoren, vertelt Van Kleef. Hij is daar voorstander van, omdat de lokale cijfers en ontwikkelingen op waarstaatjegemeente goed te vergelijken zijn met die in andere gemeenten. Dan kan bijvoorbeeld blijken dat de huishoudelijke ondersteuning in omliggende gemeenten net zo sterk toeneemt.

Aanvullende onderzoeksagenda

Om de cliëntervaringen goed in kaart te brengen, werkt de gemeente Leiden de laatste paar jaar niet meer standaard met de MSC, maar met een aanvullende onderzoeksagenda die de beleidsafdeling in overleg met de gemeenteraad opstelt. ‘Afhankelijk van het onderwerp kan de MSC dan zeker nog  ingezet worden. Of een andere kwalitatieve methode om het verdiepende beeld te krijgen.’

Voor de komende maanden staat er een onderzoek naar gezinnen die in armoede leven op de agenda en dat gebeurt met een soort keukentafelgesprekken. ‘We willen achterhalen hoe we als gemeente deze mensen extra kunnen ondersteunen’, zegt Van Kleef. ‘En de gesprekken grijpen we ook aan om te vertellen over de specifieke lokale regelingen waar mensen op terug kunnen vallen.’

Rijke verhalen

Een voordeel van open vragen in kwalitatief onderzoek zoals dat met de MSC is dat het informatie op kan leveren waar niet bij voorbaat naar werd gezocht. Deze rijke informatie is waardevol, daarover zijn de deelnemers aan de expertmeeting het unaniem eens. Getallen hebben woorden nodig om hetgeen ze weerspiegelen invoelbaar te maken. Een grafiek kan nu eenmaal niet vertellen hoe het is om bij het wakker worden geen idee te hebben of je die dag een woord zult wisselen met iemand anders. Of hoe je je kinderen die avond te eten kunt geven.

Persoonlijke ervaringsverhalen kunnen van waarde zijn voor beleidsverbetering

In het verlengde hiervan: persoonlijke ervaringsverhalen kunnen ook van waarde zijn voor beleidsverbetering. Als voorbeeld noemt Van Kleef een inwoner die een Wmo-indicatie heeft voor ondersteuning in het huishouden, maar die tijdens het interview over haar ervaringen vooral met eenzaamheid blijkt te kampen. De gemeente kan op basis van die kennis intensiever inzetten op de eenzaamheidsproblematiek. Áls tenminste blijkt dat dit vaker voorkomt.

Representativiteitsvraag

En dat raakt aan een punt waar meerdere experts tijdens de bijeenkomst mee zeggen te worstelen: hoe weet je of je te maken hebt met een particuliere ervaring of met een structureler signaal? Van Kleef stelt dat onderzoekers de representativiteitsvraag zelf deels kunnen beantwoorden, via de selectie van de respondenten. ‘Voorheen droegen de professionals de cliënten voor interviews aan. Nu kiezen we ze random uit onze cliëntbestanden.’ Voor een van de experts is de representativiteit overigens absoluut geen issue. ‘Al is er maar één persoon op wie een ervaring grote impact heeft, dan moet dat sowieso serieus genomen worden.’ Een ander brengt in dat het pas een probleem is op het abstracte niveau van bijvoorbeeld een gemeenteraadslid die moet sturen op de hoofdlijnen.

Onderzoeksvraag sluit niet aan

Een ander vraagstuk bij kwalitatief onderzoek is dat het arbeidsintensief is en dat de kwaliteit van de interviewers deels bepaalt in hoeverre de verhalen inhoudelijk van waarde zijn. Van Kleef bepleit daarom ook een voldoende en goed opgeleide formatie. ‘Wil je dit structureel verankeren, dan moet je niet afhankelijk zijn van tijdelijke krachten, dat is een belangrijke randvoorwaarde.’

Kwalitatief onderzoek legt ook de kloof tussen systeemwereld en leefwereld bloot. In de zin dat de onderzoeksvraag vanuit de gemeente niet per se aansluit bij wat de cliënten bezighoudt. Dat maakt het soms lastig om bepaalde antwoorden of reacties op waarde te schatten, ondanks gevalideerde analysemethoden. Van Kleef heeft daar wel een heel typerend voorbeeld van: ‘Een van de respondenten was heel blij dat er iemand op bezoek kwam. “Dan kun je meteen ook de plantjes water geven.”’

Gekwalificeerde onderzoekers

Dit punt herkennen meer experts, bijvoorbeeld bij het gebruik van de Klantreis als instrument. Deze methodiek is bedoeld om ervaringen van de inwoner met het toegangsproces op te halen. En cliënten willen ook best hun ervaringen delen, maar dan die met het product, de ondersteuning waar ze gebruik van maken. En niet over het proces van hoe ze daarbij terecht gekomen zijn. Dat vereist goede interviewvaardigheden, zoals de flexibiliteit om het vaste format los te kunnen laten en tóch input te krijgen over de ervaringen in de toegang. En het vermogen om die naderhand te koppelen aan bepaalde fasen. En het onderstreept het eerdere pleidooi van Van Kleef voor gekwalificeerde onderzoekers.

Al met al is Van Kleef overtuigd voorstander van kwalitatief onderzoek. ‘De cijfers zijn goed voor het financieel technische overzicht en het afstemmen van de budgetten. Maar de cliëntervaringen zijn heel waardevol voor het verdiepende beeld, het verhaal achter de cijfers.’

Tekst: Tea Keijl