De waarde achter de cijfers zichtbaar maken I

Outcome meten van burgerinitiatieven

De meeste burgerinitiatieven ontwikkelen zich niet in een rechte lijn. Hoe krijg je als initiatiefnemer en gemeente dan toch scherp of alle inzet wel bijdraagt aan de beoogde effecten? Met andere woorden: hoe meet je de outcome? Om die vraag draaide het in een webinar over het meten van burgerinitiatieven, dat Movisie op 29 september organiseerde. Dat leverde veel inzichten op, die we in een tweedelige serie behandelen. Dit is het eerste deel van het tweeluik.

‘Burgerinitiatieven zijn zo divers als de bewoners zelf’, zegt onderzoeker Jolinde Dermaux van Movisie. ‘Het kan gaan over elk thema waarop ze zich verbinden.’ Bovendien is het einddoel vaak wel duidelijk, maar de weg daarnaartoe volstrekt niet. Of, zoals Carry de Vries, Wmo-beleidsmedewerker van de gemeente Oost Gelre, het verwoordt: ‘We wisten dat we naar het spreekwoordelijke Rome gingen. We dachten te weten hoe we er moesten komen, maar toch bleek er elke dag een andere route nodig.

25 mensen zegt niets

Bij zulke onvoorspelbare trajecten levert een traditionele manier van monitoren geen volledig beeld op. Neem een initiatief om samen te eten, met als doel de eenzaamheid onder ouderen te verminderen. Wat zegt het dan dat er wekelijks 25 mensen mee eten? Dat zegt in elk geval niks over de eenzaamheidsgevoelens van de deelnemers. En het zegt al helemáál niets over de contacten die ontstaan tussen de ouderen en de jongere generatie die toevallig ook aanschuift.

Teweeg brengen

Je wilt met andere woorden niet de output meten, maar de outcome. Mellouki Cadat-Lampe, senior onderzoeker bij Movisie, duidt het verschil tussen beide begrippen: ‘Output is het telbare resultaat van het initiatief, bijvoorbeeld het aantal deelnemers. Het gaat dus over kwantiteit. Outcome is wat het initiatief met zijn activiteiten bij de deelnemers teweeg heeft gebracht. Bijvoorbeeld onderlinge steun of minder gevoelens van eenzaamheid. Dit gaat over kwaliteit.’

Veranderverhaal

‘Tellen én vertellen’, zo vat Dermaux het meten van outcome samen. Daarbij kan het vertelgedeelte op verschillende manieren gebeuren. Het is wel belangrijk om te starten met het maken van een veranderverhaal, waarin je uitlegt wat je wilt bereiken met je initiatief. Dermaux: ‘Voor welke deelnemers is het, hoe kom je van A naar B en wat zijn de beoogde effecten, zowel voor de deelnemers als voor de gemeenschap als geheel?’ Movisie ontwikkelde op basis van praktijkonderzoek een hulpmiddel met bouwstenen voor het opstellen van wat we ook wel een theory of change noemen.

Vele tools

Voor het ophalen van verhalen zijn er inmiddels vele tools beschikbaar. Movisie was betrokken bij de ontwikkeling van de zogeheten InstrumentenWijzer, die een overzicht biedt van 25 instrumenten. In de recente verkenning wordt een indeling in vier categorieën gemaakt: om te beginnen vragenlijsten zoals Mijn positieve gezondheid en Mijn kwaliteit van leven, als tweede de tools om gerichte gesprekken te voeren zoals de Waardendriehoek en de Effectenarena. De derde categorie bestaat uit narratieve methoden, bijvoorbeeld het Initiatievenfestival en Kijk mee!. De laatste soort tools zijn financiële barometers, waarin de maatschappelijke effecten worden doorberekend in euro’s.

Wat zeggen de verhalen

Als belangrijke vervolgstap in het meten van outcome noemt Dermaux het duiden van de opgehaalde verhalen. ‘Je bent immers niet bezig met tellen, waarbij een aantal van 25 niet voor discussie vatbaar is. Maar bij het meten van outcome is de vraag wat de verhalen en beelden laten zien. Gemeente en initiatief moeten die vraag samen beantwoorden. Net als de vraag of de effecten voldoende waarde hebben, volgens zowel het initiatief als de gemeente.’ 

Critical Turning Points

Met name dat laatste, de vraag over de waarde, is cruciaal. Daarom is het ook zo belangrijk om in een vroeg stadium al samen op te trekken in de monitoring, zodat je van elkaar weet wat je belangrijk en dus waardevol vindt. De gemeente Oost Gelre werkt in de monitoring vanaf het prille begin samen met het bewonersinitiatief BMV Mariënvelde. ‘Wij maken gebruik CTP, ofwel Critical Turning Points’, vertelt coördinator Fleur Wieggers. ‘Dit bleek hét middel om een echte dialoog op gang te brengen. Ieder voor zich formuleert aan de hand van een uitgewerkte vragenset wat een belangrijk moment is in het traject.’ 

Zelfstandig wonen

De BMV Mariënvelde is inmiddels ruim vijf jaar actief en een succesvolle combinatie van een brede maatschappelijke voorziening, ‘de stenen’, en een zorgcorporatie. Het dorp telt nog geen duizend inwoners, maar het merendeel van hen is linksom of rechtsom betrokken bij de BMV, die als overkoepelend doel heeft dat inwoners zo lang mogelijk zelfstandig in het dorp kunnen wonen. Carry de Vries van de gemeente vertelt hoe verhelderend de gesprekken over Critical Turning Points kunnen zijn: ‘Voor de gemeente kan een CTP iets anders zijn dan voor het initiatief. Door dat te benoemen krijg je inzichten in elkaar.’

De aanschaf van een bus

Als voorbeeld noemt De Vries de aanschaf van een bus. ‘Dat bleek voor de BMV Mariënvelde echt een CTP. Wat mij betreft was het dat niet. Ik dacht, je schaft gewoon een bus aan en that’s it. Maar voor de BMV bleek het een vliegwiel, om nog veel meer in gang te brengen in het dorp.’ Ellen Penterman is net als Wieggers coördinator bij het bewonersinitiatief. Zij bevestigt het belang van de bus: ‘We rijden ermee rond in de omgeving. Door het logo op de zijkant krijgt de BMV echt body. Ook de zorgcorporatie wordt hiermee tastbaar voor de dorpsgenoten.’

Niet afrekenen

Het samen bespreken van de  CTP’s maakt deel uit van de bredere monitoringsmethode waarmee ze in Oost Gelre werken: reflexieve monitoring. De kern daarvan is dat het gaat over het expliciet maken van elkaars kennis, verwachtingen en ervaringen. ‘We willen leren van het proces, zodat de BMV succesvol kan blijven’, verklaart De Vries. ‘Dit gaat dus niet over controleren.’ Penterman beaamt: ‘We bespreken de zaken open met elkaar, het gaat niet om goed of fout. We worden niet afgerekend.’

Verhalen uit het hart 

De opzet voor de kwartaalmonitoring is onderverdeeld in een beschrijving van de afgelopen maanden en de verwachting voor de komende tijd. Wat direct opvalt in de acht subonderdelen, is dat er slechts één daarvan over cijfers gaat. De rest bestaat uit verhalen uit het hart, met bijvoorbeeld een citaat van de maand en het kwartaalhoogtepunt, maar ook het baalmoment.  Penterman: ‘Dat hele verhaal helpt om zichtbaar te krijgen zien wat er allemaal gebeurt en wat de effecten zijn. Op deze manier krijg je het scherper te zien dan alleen met cijfers.’

Kopje koffie 

De jonge man met wie Penterman vanuit de zorgcorporatie al een paar jaar optrekt, maakt dit eens te meer duidelijk. ‘Hij had zo’n baat gehad bij zijn individuele begeleiding, dat hij daarmee kon stoppen. Ik dronk nog wel af en toe een kopje koffie met hem. Maar na verloop van tijd was er een live event waardoor het hem even boven het hoofd groeide. Hij belde me ’s avonds laat op, ik kon hem geruststellen en de begeleiding snel weer laten herstarten, voor een korte periode.’ 

Geen jaarverslag meer nodig

Zou je alleen de indicatiecijfers zien, dan zou de conclusie kunnen zijn dat er extra kosten gemaakt worden door de tweede periode. Ken je het hele verhaal, dan zie je de hoge kwaliteit van zorg door het flexibel op- en af kunnen schalen. ‘Of, zoals als zijn moeder het verwoordde in een appje: “Wat fijn dat jullie erbij betrokken waren.”’ 
De sessies volgens de reflexieve monitoring leveren schriftelijke en beeldverslagen op. ‘Een traditioneel jaarverslag vinden we als gemeente daarom niet meer nodig’, zegt De Vries. ‘Wel een jaarrekening.’

Hard en zacht

Reflexieve monitoring brengt de harde cijfers en de zachte verhalen samen. ‘En dat is nog steeds best zoeken’, zegt Wieggers. Bijvoorbeeld als het gaat over het overgangsgebied tussen het voorliggende veld en maatwerkvoorzieningen. In de dagelijkse praktijk wordt die grens vaak pragmatisch geslecht. ‘Voor de monitoring zijn we nu wat casussen helemaal aan het uitpluizen, om ze inzichtelijk te krijgen.’ Meer hierover in deel 2 van dit tweeluik. Net als over het zichtbaar maken van de bijvangst: ‘monitoren met eyes wide shut.’

Lees hier deel 2