Is alles meetbaar?

Over effectonderzoek binnen sociaal werk

In ons privéleven meten we wat af. Energieverbruik in huis, afgelegde kilometers bij het sporten en het aantal likes op Facebook. Voor een restaurant of hotel kijken we naar cijfers, sterren en reviews. Maar hoe zit dat bij sociaal werk? Kwantificeren we veranderingen in buurten en bij cliënten in welzijn? Is sociaal werk wel in cijfers uit te leggen of is het beeld van de buurt of het persoonlijke verhaal van de cliënt voldoende?

De effectiviteit en het rendement van de sector staan al jaren hoog op de agenda’s van financiers, uitvoerende organisaties, professionals en klanten. Wat investeren we in sociaal werk en wat levert dit de klanten en de gemeenschap op? Er is behoefte aan uitkomsten en harde cijfers, maar tegelijkertijd is er ook twijfel en weerstand. Is de kwaliteit van dienstverlening wel in cijfers uit te drukken? Dit artikel levert een bijdrage aan het maatschappelijk debat met argumenten voor effectonderzoek, handvatten en suggesties voor onderzoeksmethoden.

Voor en tegenstanders

De roep om ‘Meten is weten’ komt tegenwoordig ook vanuit andere beroepsgroepen dan de wetenschap. De argumenten overtuigen nog lang niet iedereen. Meten roept de beelden op als ingewikkelde berekeningen en saaie systemen. Met argumenten als ‘Ik zie het toch met mijn eigen ogen’ en ‘Het kost veel geld’ wordt de noodzaak voor dergelijk onderzoek betwijfeld. Voorstanders beroepen zich op intrinsieke motivatie: ‘Je wilt toch weten of je goed bezig bent en je missie haalt?’ en ‘Als je geld uitgeeft van een ander (vaak de overheid) om te interveniëren in het leven van een ander, is het je verantwoordelijkheid om aan je doelgroep en financiers duidelijk te maken of je succesvol bent.’ Deze motivatie lijkt langzaamaan terrein te winnen en uit onderzoek van de MOgroep (voorjaar 2014) onder haar leden blijkt dat 61,3% tevredenheidsonderzoek doet en 17,3% effectiviteitsonderzoek. Opvallend hierin is dat de meerderheid onderzoek doet om de dienstverlening te verbeteren.

Verbetering à la De Kern

Ook De Kern, een organisatie voor maatschappelijke dienstverlening, voert een constante tevredenheidsmeting uit onder haar cliënten. Alle scores en reviews worden op de website gepubliceerd. ‘Een van onze kernwaarden is transparantie. Het was dus een logische stap om reviews en scores te publiceren. In het begin was dit onwennig en zelfs een beetje eng. Je staat immers meteen in je hemd als iemand iets negatiefs over de organisatie zegt of als de score omlaag gaat. Inmiddels is het voor ons ‘kicken’ als we zien dat er weer een nieuwe review gepubliceerd is. Over het algemeen zijn de reviews positief en dan maakt zo af en toe een negatieve opmerking niet meer uit. Bovendien zijn deze laatsten van belang in een organisatie die op zoek is naar continue verbetering,’ aldus Jörg Post, projectleider bij de Kern.

‘Een van onze kernwaarden is transparantie. Het was dus een logische stap om reviews en scores te publiceren.'

Meten om te verbeteren

Net als De Kern kiezen meer organisaties voor het verbeteren van hun dienstverlening als argument om effectiviteit en tevredenheid te meten. Daarnaast zijn intern leren, transparantie tegenover klanten en het enthousiasmeren van opdrachtgevers ook veelgenoemde argumenten. Wat is de waarde van meten voor een organisatie? We zetten het op een rij:

  • Inzicht in het effect van een interventie biedt de mogelijkheid om deze te verbeteren en daardoor de doelgroep beter (effectiever en daarmee efficiënter) te helpen
  • Kennis van de effecten is input voor de strategie en de inzet van hulp- en dienstverlening
  • Het doen van effectonderzoek maakt professionals bewust van hun handelen
  • Bij effectonderzoek moet voorafgaand aan interveniëren goed worden nagedacht over de beoogde resultaten
  • Effectonderzoek kost tijd en geld maar het betaalt zich terug: een goed verhaal vooraf, tussentijds en achteraf is waardevoller dan gebrekkige resultaatmeting achteraf
  • Met effect- en tevredenheidsonderzoek betrek je klanten bij de uitvoering en bij de organisatie.
  • Op basis van de gegevens en begrip hoe de uitkomsten tot stand komen, kan een stap naar verbetering gezet worden. Uitkomsten vragen altijd toelichting, verklaring en inkleuring.

Wat te doen bij effectonderzoek?

Alle effectonderzoek vraagt om duidelijkheid over de verwachtingen vooraf, zodat de resultaten op een goede wijze gecommuniceerd en benut kunnen worden. Die noodzakelijke duidelijkheid betreft vooral de volgende drie aspecten:

  1. Burgers of klanten verwachten dat onderzoek, waar zij bij betrokken worden, leidt tot verbeteringen in de zorg- of dienstverlening. Kies daarom voor effectmetingen die direct betekenis hebben voor deze diensten voor de burger of klant.
  2. Organisaties kunnen onderzoek gebruiken bij interne en externe verantwoording. De inzichten en de uitkomsten kunnen ingezet worden voor het onderbouwen en het verbeteren van de kwaliteit van hun producten en diensten. De uitkomsten kunnen ook de professional ondersteunen in het verbeteren van zijn/haar werk.
  3. Opdrachtgevers en financiers in het sociale domein hebben er belang bij dat nagegaan wordt of de vooraf gestelde doelen bereikt zijn. Het onderzoek is dan bedoeld ter verantwoording van de gedane investeringen met een focus op concrete resultaten. Verantwoord effecten meten vraagt om zorgvuldige keuzen van instrumenten. Niemand is gebaat bij een kwantificeerbaar eindplaatje dat geen goede weergave van de beoogde doelen oplevert.

'Over het algemeen zijn de reviews positief en dan maakt zo af en toe een negatieve opmerking niet meer uit.'

Meetmethoden

De sector kent vele methoden, instrumenten en (online) tools. Er bestaan vele manieren om de meerwaarde van welzijn aan te tonen; van het meten van tevredenheid tot het koppelen van een financiële waarde aan een effect. Een paar veelgebruikte methoden zijn de Maatschappelijke Kosten Baten analyse (MKBA), Maatschappelijke Business Case (MBC), de Zelfredzaamheidmatrix, de effectmeter en het tevredenheidsonderzoek.

Welke methode het meest geschikt is voor dat wat je wilt meten en bereiken, kun je aan de hand van een aantal criteria bepalen. Mag het kleinschalig (je eigen klantenbestand) of wil je een groot onderzoek (de wijk, de stad, alle jongeren in stad x etc.)? Er zijn methoden en instrumenten die je zelf als professional kunt inzetten, en andere waarvoor je een externe adviseur of onderzoeker moet inhuren. Sommige instrumenten zet je eenmalig in en andere continu.

Iedereen een rol

Wil je meten dan is er volop keuze. Het is belangrijk om zorgvuldig te zijn over de inhoud en realistisch te blijven over de mogelijkheden van onderzoek (wat kunnen we wel en niet meten). Om goed na te gaan hoe zinvol en effectief sociale interventies zijn, vergt tijd en inzet van diverse partijen, in de eerste plaats uiteraard de professionals en de uitvoerende organisaties. Daarnaast is het nodig om daarvoor de ruimte te scheppen, beleidsmatig en financieel. Kennisinstituten leveren daarbij ondersteuning en dragen bij aan de uitvoering.

Dit artikel is tot stand gekomen met input uit de notitie Twee meter geluk. Over effectiviteit en kwaliteit binnen sociaal werk. Deze notitie is samengesteld door Martijn Bool, Hanneke Mateman (Movisie) en Han Bijker, Marije van der Meij (MOgroep), september 2015.