Hanneke Mateman, senior-adviseur Effectiviteit bij Movisie, legde uit wat het belang is van monitoren en evalueren. ‘Vaak zien mensen het als een verplicht nummer ter verantwoording, maar als je op een zinvolle manier invulling geeft aan monitoren en evalueren kan zoveel meer opleveren. Door te monitoren en te evalueren kun je leren. Je ontdekt de verbeterpunten en kan sturen op langetermijndoelen. Ten slotte is het belangrijk om de legitimiteit van je aanpak aan te tonen. Dat zorgt voor draagvlak bij een opdrachtgever.’ Aldus Mateman. Ze legt uit dat er vijf stappen zijn om te monitoren en te evalueren.

Vijf stappen om te monitoren en evalueren

De eerste stap is het beantwoorden van de “waarom-vraag”. Waarom wil je gaan meten? Welke informatie wil je ophalen en voor wie is dat van belang? En, waarvoor wil je de uitkomsten gebruiken? Daar moet volgens Matenman goed over worden nagedacht. ‘Vaak zie ik dat het schort aan tijd en middelen die een opdrachtgever hiervoor vrij maakt, en dat is jammer’. Het is van belang dat duidelijk is hoeveel tijd en budget beschikbaar is voor het monitoren en evalueren, zodat ambities realistisch en haalbaar kunnen worden geformuleerd. Na de beantwoording van deze vragen, volgen de volgende stappen:

• Stap 2 Indicatoren formuleren. Welke indicatoren zijn relevant om het verloop van het proces of de effecten te meten? Er zijn verschillende typen indicatoren mogelijk, zoals telbare resultaten (bijvoorbeeld aantal deelnemers) kennis (bijvoorbeeld deskundigheid), beleving of waardering (van de doelgroep), werkhouding, samenwerking of gedrag. Vraag jezelf altijd af wat de indicator zegt over het bereiken van je doel.
• Stap 3 Data verzamelen. Mateman ziet in de praktijk dat er vaak direct een nieuwe vragenlijst ontwikkeld wordt, maar dat is vaak niet nodig. ‘Kijk eerst naar welke gegevens er al beschikbaar zijn en daarna wat er aanvullend verzameld moet worden. Als je een verandering wilt aantonen is het verder van belang een nulmeting te doen.
• Stap 4 Analyse en conclusies. Wat zeggen de uitkomsten over het bereiken van de gestelde doelen? En hoe kunnen we dat verklaren? Matenman waarschuwt: ‘Let wel op de representativiteit: zijn de respondenten wel representatief voor de gehele groep?
• Stap 5. Leren en verbeteren. ‘De terugkoppeling van de uitkomsten en conclusies naar alle betrokkenen is cruciaal. Ga met elkaar het gesprek aan over de geleerde lessen en de kansen voor verbeteringen vertaal dat naar concrete verbeteracties.’

Wat zijn evaluatiemethoden?

Er zijn verschillende methoden volgens Mateman. Vaak wordt gebruik gemaakt van een combinatie van methoden (Mixed methods). ‘Met verschillende methoden haal je ook verschillende gegevens op. Je kunt bijvoorbeeld gebruik maken van een vragenlijst en een interview om zowel kwantitatieve als kwalitatieve gegevens op te halen. Ook kun je Storytelling in casestudies of een Effectencalculator inzetten. Daarnaast zijn er ook specifieke meetinstrumenten voor eenzaamheid, zoals de eenzaamheidsschaal van De Jong Gierveld. Of de UCLA lonelinesscale.’ Een onderschatte methode is volgens Mateman observatie. ‘Door bijvoorbeeld bij activiteiten aanwezig te zijn en te observeren, kun je volgen wat er precies gebeurt en verandert. Belangrijk is wel dat je van tevoren bepaalt waar, op welke indicatoren, je gaat letten. Wat zie je bijvoorbeeld aan de gezichtsexpressie van deelnemers?’

Bekijk de Powerpoint

Wat gebeurt er in de praktijk?

Na de uitleg van Hanneke gingen deelnemers in gesprek met elkaar. Daar vloeiden voorbeelden uit van hoe gemeenten eenzaamheid aanpakken en op welke manier zij de monitoring en evaluatie hiervan zouden kunnen vormgeven en tegen welke knelpunten zij aanlopen. De gemeente Leidschendam richt de aanpak van eenzaamheid op life-events. Een rouwcafé wanneer een partner is overleden, of nieuwe ouders die elkaar ontmoeten in de lokale bibliotheek. Wijkmanagers hebben de rol om de behoeften uit de verschillende wijken naar boven te halen. Omdat de aanpak per wijk verschilt, is het overkoepelend monitoren lastig.

In Gouda zijn drie platforms Eenzaamheid actief. Formele en informele zorg en ondersteuning werken samen om eenzaamheid op te sporen en het brede aanbod aan activiteiten in kaart te brengen. Een vraagstuk bij het monitoren en evalueren is hoe je dit aanpakt bij burgerinitiatieven. Je wil hen de ruimte geven, en tegelijkertijd wil je wel weten of de financiële ondersteuning goed besteed wordt.  

Volgens een van de deelnemers zou ‘Citizen Science’, een moderne vorm van actieonderzoek, uitkomst kunnen bieden voor het monitoren en evalueren van aanpakken van eenzaamheid. Hierbij worden mensen in een kwetsbare positie uitgenodigd om zelf onderzoeker te worden.  Dat leidt tot een sterke verbinding van het onderzoek met de realiteit van mensen om wie het uiteindelijk gaat. Om de kwaliteit van dit soort onderzoek te waarborgen is het nodig te investeren in het trainen en ondersteunen van burgeronderzoekers. 

Zoeken naar oplossingen

Volgens Movisie-adviseur Jan Willem van de Maat bleek tijdens de bijeenkomst dat veel gemeenten zich in de startfase begeven van het opzetten van een lokale aanpak van eenzaamheid. ‘Deze bijeenkomst over monitoren en evalueren kwam voor sommige gemeenten misschien wat te snel’. Er spelen nog veel praktische vragen, zoals bijvoorbeeld welke concrete doelen bij welke groepen inwoners bereikt moeten worden. Met wie samengewerkt moet worden om de doelen te bereiken, en ook welke goed onderbouwde aanpakken en methoden voor welke doelgroepen beschikbaar zijn. In de volgende bijeenkomsten zullen we hier verder op in gaan. Op 18 juni en 30 oktober 2019 vinden de volgende bijeenkomsten plaats.