De aanpak van eenzaamheid monitoren en evalueren. Hoe doe je dat?

2 april 2019

Gemeenten en maatschappelijke organisaties leveren veel inspanningen om eenzaamheid te voorkomen en te verminderen. De vraag is alleen hoe je inzichtelijk maakt wat deze inspanningen opleveren. Tijdens de leerbijeenkomst aanpak van eenzaamheid voor gemeenten op 19 maart 2019 stond het monitoren en evalueren van de aanpak van eenzaamheid dan ook centraal. Wat is er al bekend? Wat gebeurt er in de praktijk en wat kunnen we van elkaar leren?

Hanneke Mateman, senior-adviseur Effectiviteit bij Movisie, legde uit wat het belang is van monitoren en evalueren. ‘Vaak zien mensen het als een verplicht nummer ter verantwoording, maar als je op een zinvolle manier invulling geeft aan monitoren en evalueren kan zoveel meer opleveren. Door te monitoren en te evalueren kun je leren. Je ontdekt de verbeterpunten en kan sturen op langetermijndoelen. Ten slotte is het belangrijk om de legitimiteit van je aanpak aan te tonen. Dat zorgt voor draagvlak bij een opdrachtgever.’ Aldus Mateman. Ze legt uit dat er vijf stappen zijn om te monitoren en te evalueren.

Vijf stappen om te monitoren en evalueren

De eerste stap is het beantwoorden van de “waarom-vraag”. Waarom wil je gaan meten? Welke informatie wil je ophalen en voor wie is dat van belang? En, waarvoor wil je de uitkomsten gebruiken? Daar moet volgens Matenman goed over worden nagedacht. ‘Vaak zie ik dat het schort aan tijd en middelen die een opdrachtgever hiervoor vrij maakt, en dat is jammer’. Het is van belang dat duidelijk is hoeveel tijd en budget beschikbaar is voor het monitoren en evalueren, zodat ambities realistisch en haalbaar kunnen worden geformuleerd. Na de beantwoording van deze vragen, volgen de volgende stappen:

  • Stap 2 Indicatoren formuleren. Welke indicatoren zijn relevant om het verloop van het proces of de effecten te meten? Er zijn verschillende typen indicatoren mogelijk, zoals telbare resultaten (bijvoorbeeld aantal deelnemers) kennis (bijvoorbeeld deskundigheid), beleving of waardering (van de doelgroep), werkhouding, samenwerking of gedrag. Vraag jezelf altijd af wat de indicator zegt over het bereiken van je doel.
  • Stap 3 Data verzamelen. Mateman ziet in de praktijk dat er vaak direct een nieuwe vragenlijst ontwikkeld wordt, maar dat is vaak niet nodig. ‘Kijk eerst naar welke gegevens er al beschikbaar zijn en daarna wat er aanvullend verzameld moet worden. Als je een verandering wilt aantonen is het verder van belang een nulmeting te doen.
  • Stap 4 Analyse en conclusies. Wat zeggen de uitkomsten over het bereiken van de gestelde doelen? En hoe kunnen we dat verklaren? Matenman waarschuwt: ‘Let wel op de representativiteit: zijn de respondenten wel representatief voor de gehele groep?
  • Stap 5. Leren en verbeteren. ‘De terugkoppeling van de uitkomsten en conclusies naar alle betrokkenen is cruciaal. Ga met elkaar het gesprek aan over de geleerde lessen en de kansen voor verbeteringen vertaal dat naar concrete verbeteracties.’

Het verschil tussen monitoren en evalueren

Er is een onderscheid tussen de begrippen monitoren en evalueren. Monitoring is een continu proces om zicht te houden op de voortang van beleid, project of aanpak. Door te monitoren houd je zicht op je resultaten. Zo weet je welke stappen je moet zetten om je einddoel te bereiken en kun je waar nodig bijsturen. Bijbehorende vragen zijn: Ben je op het goe-de spoor? Wat doe je en dragen die activiteiten bij aan je (sub)doelen? Wat gaat goed? Wat kan beter? Bij evaluatie breng je op een bepaald moment in kaart wat de resultaten en effecten van je beleid of aanpak zijn. Een evaluatie levert kennis op voor de doorontwikkeling van beleid of aanpak of voor nieuw te ontwikkelen beleid of projecten. Bijbehorende vragen zijn: Is het doel bereikt? Zijn de beoogde effecten daarmee bereikt? Welke factoren hebben bijgedragen aan het succes? Waar liggen verbeterpunten?

Wat zijn evaluatiemethoden?

Er zijn verschillende methoden volgens Mateman. Vaak wordt gebruik gemaakt van een combinatie van methoden (Mixed methods). ‘Met verschillende methoden haal je ook verschillende gegevens op. Je kunt bijvoorbeeld gebruik maken van een vragenlijst en een interview om zowel kwantitatieve als kwalitatieve gegevens op te halen. Ook kun je Storytelling in casestudies of een Effectencalculator inzetten. Daarnaast zijn er ook specifieke meetinstrumenten voor eenzaamheid, zoals de eenzaamheidsschaal van De Jong Gierveld. Of de UCLA lonelinesscale.’ Een onderschatte methode is volgens Mateman observatie. ‘Door bijvoorbeeld bij activiteiten aanwezig te zijn en te observeren, kun je volgen wat er precies gebeurt en verandert. Belangrijk is wel dat je van tevoren bepaalt waar, op welke indicatoren, je gaat letten. Wat zie je bijvoorbeeld aan de gezichtsexpressie van deelnemers?’

Bekijk de Powerpoint

Wat gebeurt er in de praktijk?

Na de uitleg van Hanneke gingen deelnemers in gesprek met elkaar. Daar vloeiden voorbeelden uit van hoe gemeenten eenzaamheid aanpakken en op welke manier zij de monitoring en evaluatie hiervan zouden kunnen vormgeven en tegen welke knelpunten zij aanlopen. De gemeente Leidschendam richt de aanpak van eenzaamheid op life-events. Een rouwcafé wanneer een partner is overleden, of nieuwe ouders die elkaar ontmoeten in de lokale bibliotheek. Wijkmanagers hebben de rol om de behoeften uit de verschillende wijken naar boven te halen. Omdat de aanpak per wijk verschilt, is het overkoepelend monitoren lastig.

In Gouda zijn drie platforms Eenzaamheid actief. Formele en informele zorg en ondersteuning werken samen om eenzaamheid op te sporen en het brede aanbod aan activiteiten in kaart te brengen. Een vraagstuk bij het monitoren en evalueren is hoe je dit aanpakt bij burgerinitiatieven. Je wil hen de ruimte geven, en tegelijkertijd wil je wel weten of de financiële ondersteuning goed besteed wordt.  

Volgens een van de deelnemers zou ‘Citizen Science’, een moderne vorm van actieonderzoek, uitkomst kunnen bieden voor het monitoren en evalueren van aanpakken van eenzaamheid. Hierbij worden mensen in een kwetsbare positie uitgenodigd om zelf onderzoeker te worden.  Dat leidt tot een sterke verbinding van het onderzoek met de realiteit van mensen om wie het uiteindelijk gaat. Om de kwaliteit van dit soort onderzoek te waarborgen is het nodig te investeren in het trainen en ondersteunen van burgeronderzoekers. 

Zoeken naar oplossingen

Volgens Movisie-adviseur Jan Willem van de Maat bleek tijdens de bijeenkomst dat veel gemeenten zich in de startfase begeven van het opzetten van een lokale aanpak van eenzaamheid. ‘Deze bijeenkomst over monitoren en evalueren kwam voor sommige gemeenten misschien wat te snel’. Er spelen nog veel praktische vragen, zoals bijvoorbeeld welke concrete doelen bij welke groepen inwoners bereikt moeten worden. Met wie samengewerkt moet worden om de doelen te bereiken, en ook welke goed onderbouwde aanpakken en methoden voor welke doelgroepen beschikbaar zijn. In de volgende bijeenkomsten zullen we hier verder op in gaan. Op 18 juni en 30 oktober 2019 vinden de volgende bijeenkomsten plaats.

Meld je aan voor 30 oktober

Tips

  • Met de Instrumentenwijzer kun je gemakkelijk bepalen welk evaluatie-instrument het beste past bij de informatie die je wil ophalen.
  • Wil je weten wat werkt bij de aanpak van eenzaamheid? Bekijk dan het Kennisdossier Wat werkt bij het aanpakken van eenzaamheid?
  • Beoordeel je subsidieaanvragen op het terrein van eenzaamheid? Dan kun je gebruik maken van de checklist die Movisie met de gemeente Amsterdam ontwikkelde.
  • Wil je inzicht in hoe je jouw project gericht op eenzaamheid kunt verbeteren? Hiervoor is de Verbetertool eenzaamheid ontwikkeld.
  • Eén tegen eenzaamheid is hét actieprogramma tegen eenzaamheid van het Ministerie van VWS. Ben je lokaal aan de slag met de aanpak van eenzaamheid en zoek je ondersteuning door een adviseur of procesbegeleider vanuit het actieprogramma? Stuur een e-mail.Voor meer informatie over de Nationale Coalitie tegen Eenzaamheid en de ondersteuningsmogelijkheden kijk je op eentegeneenzaamheid.nl vind je inspirerende initiatieven. 
  • Ook op Movisie.nl/eenzaamheid bouwen we aan actuele kennis rondom het thema eenzaamheid.