Outcome indicatoren ontwikkelen is niet gemakkelijk

Over co-creatie en onvermijdelijke spanning
artikel - 3 augustus 2015

Goede outcome indicatoren komen tot stand in een proces van co-creatie. Tijdens intensieve sessies overleggen gemeenten met aanbieders en cliënten/burgers. Gelijkwaardigheid van de partijen is daarbij cruciaal.

Dit is het tweede artikel in een reeks van vier. Lees ook het eerste, inleidende artikel over effecten meten van geleverde zorg, het derde artikel over zelfredzaamheid meten en het vierde artikel: De meerwaarde van outcome indicatoren in de praktijk.

Het zijn inmiddels gevleugelde termen in het sociale domein: zelfredzaamheid en eigen netwerk. Bij gemeenten en aanbieders zoals welzijnsorganisaties zijn de begrippen zo ingeburgerd dat veel medewerkers zich nauwelijks nog afvragen wat ze betekenen. Het eigen netwerk? Dat verwijst uiteraard naar buren, vrienden en familieleden. Toch geven burgers of cliënten er vaak een andere invulling aan. Bij een co-creatieve bijeenkomst in Amersfoort bleek dat zij ook professionals tot het eigen netwerk rekenen. Het begrip krijgt daarmee een andere lading. In Haarlem gebeurde min of meer hetzelfde met ‘eigen kracht’.

‘Voor de meesten betekent dat de kracht van het individu,’ zegt Robert van Koten, consulent van MEE Noordwest-Holland, een organisatie die mensen met een handicap of chronische ziekte ondersteunt. ‘Maar sommigen blijken ook het netwerk tot de eigen kracht te rekenen.’

Wat de juiste betekenis ook moge zijn, het is goed om doordrongen te raken van het feit dat verschillende partijen termen verschillend kunnen interpreteren. Goede outcome indicatoren moeten uiteindelijk uitgedrukt worden in woorden die voor alle betrokkenen min of meer hetzelfde betekenen. Anders meet je niet wat je wilt meten.

Gelijkwaardigheid

Gemeenten doen er verstandig aan om afwijkende interpretaties van een begrip niet meteen van tafel te vegen, zegt Karin Sok van Movisie. Ze is als procesbegeleider betrokken bij het vertalen van algemene doelen (bijvoorbeeld het versterken van zelfredzaamheid) naar outcome indicatoren. Idealiter gebeurt dit in een proces van co-creatie: verschillende partijen brengen in gezamenlijkheid en gelijkwaardigheid iets tot stand, ieder pratend vanuit zijn eigen achtergrond. Het ene perspectief is daarbij niet waardevoller dan het andere. ‘De toegevoegde waarde ontstaat juist als je de verschillende bronnen van kennis combineert,’ zegt Sok. ‘Mensen die vanuit hun eigen ervaring praten hebben niet minder gelijk dan beleidsmakers of professionals.’ Weliswaar begint het proces bij de gemeente, die de algemene doelstelling bepaalt, maar in het vervolg is de gemeente gelijkwaardig aan de andere twee partijen, burgers en aanbieders.

In de zes gemeenten waarin tot dusver is gezocht naar werkbare outcome indicatoren betekende co-creatie in de praktijk: drie sessies van enkele uren waarin vier à vijf vertegenwoordigers van elke partij met elkaar in gesprek gingen. Het waarborgen van gelijkwaardigheid tussen de deelnemende partijen is een van de cruciale taken van de procesbegeleiders van Movisie.

Een nieuwe aanpak voor gemeenten
U wilt resultaten boeken als het gaat om het versterken van eigen kracht, participatie en collectieve kracht. Maar hoe weet u of het gewenste doel van het Wmo-beleid is bereikt? In de brochure Concrete outcome, gedragen indicatoren (pdf) leest u over een nieuwe, effectieve aanpak om deze resultaten te meten.

Gezamenlijk leerproces

Essentieel voor het welslagen van de co-creatie is de betrokkenheid van de twee andere partijen: aanbieders en  cliënten/burgers. Het betrekken van aanbieders vergt over het algemeen weinig problemen, ook al betekent de ontwikkeling van indicatoren dat ze uiteindelijk kunnen worden afgerekend op hun prestaties.

‘We werken al jaren in een sfeer van dialoog en het samen zoeken naar oplossingen,’ zegt beleidsadviseur Linda Stomphorst van de gemeente Apeldoorn. ‘We hebben een gezamenlijk belang. Maar eerlijk is eerlijk, wij zijn de partij met het geld, waarvan de aanbieders afhankelijk zijn. Dus enige mate van spanning is onvermijdelijk.’

‘Uiteindelijk beslist de gemeenteraad over de centen'

De sleutel voor een vruchtbare co-creatie ligt bij het begin, zegt Karin Sok van Movisie. ‘Het is belangrijk om de tijd te nemen en te benadrukken dat het om een gezamenlijk leerproces gaat. We willen indicatoren ontwikkelen om het bereiken van belangrijke maatschappelijke doelen te kunnen meten. De ontwikkeling is nog lang niet zo ver dat gemeenten op basis daarvan instellingen kunnen gaan afrekenen. Bovendien is dat niet het doel. Het doel is het meten van effecten. Dat is voor alle partijen van belang.’

Regiobijeenkomsten outcome
Movisie organiseert in oktober met de MOgroep, LCGW en In voor Zorg in drie regio’s een bijeenkomst over outcome: ‘Meten of gemeten worden’. De regiobijeenkomsten zijn bedoeld voor directeuren, managers en stafmedewerkers van organisaties voor sociaal werk. En voor wethouders, managers en beleidsmedewerkers van gemeenten. Meer informatie over workshops en aanmelden vindt u in het agenda-item.  

Movisie en de gemeente Haarlem hebben duidelijk naar voren gebracht dat de ontwikkeling van outcome indicatoren nog in een pilotfase verkeert, zegt Robert van Koten. ‘Wij zijn ons er bovendien goed van bewust dat een indicator uiteindelijk maar een indicator is. Het zegt iets, maar niet alles.’

‘Uiteindelijk beslist de gemeenteraad over de centen,’ zegt Stomphorst, gemeente Apeldoorn. ‘Raadsleden willen goede informatie om besteding van overheidsmiddelen te kunnen beoordelen. Bij het ontwikkelen van indicatoren krijgen aanbieders de kans om invloed uit te oefenen. Hun bijdrage is ook in hun eigen belang.’

Kom achter je bureau vandaan

Eenvoudige uitleg

Naast het waarborgen van veiligheid voor aanbieders/professionals, is de deelname van cliënten/burgers van doorslaggevend belang. ‘Zij brengen het proces in de realiteit,’ zegt Linda Stomphorst van de gemeente Apeldoorn. ‘Van achter het bureau blijven doelstellingen als zelfredzaamheid of participatie toch redelijk abstract. Voor een goede invulling heb je burgers nodig.’ Het ligt voor de hand om cliënten te werven via cliëntenorganisaties of bijvoorbeeld de gemeentelijke Wmo-raad. Professionals die deelnemen aan de co-creatie kennen daarnaast voldoende mensen in de wijken. Al met al genoeg mogelijkheden om gemotiveerde cliënten te vinden. Toch blijken sommige gemeenten aanzienlijke moeite te moeten doen om hen bij het proces te betrekken.

‘Burgers zijn wel betrokken, maar ze moeten een duidelijk belang zien.'

Dat lijkt ten eerste te maken te hebben met het abstracte doel: het ontwikkelen van outcome indicatoren voor het meten van maatschappelijke effecten. ‘Bij de start hebben wij hebben te weinig aandacht besteed aan hoe we dat in eenvoudige woorden konden uitleggen,’ zegt Robert van Koten, actief in het sociaal wijkteam in Haarlem-Oost. ‘Burgers zijn wel betrokken, maar ze moeten een duidelijk belang zien. Dat belang moet je goed kunnen uitleggen.’ Ten tweede speelt de tijdsinspanning een rol: in de proeftuinen ging het om drie sessies van drie uur. ‘Dat is best lang,’ erkent Dragica Safradin, die deelnam in Apeldoorn. ‘Voor mij was het de moeite waard, omdat ik het belangrijk vind om mijn stem te laten horen. Maar ik kan met voorstellen dat anderen erdoor worden afgeschrikt.’

Gemeenten doen er goed aan om de sessies op laagdrempelige, nabije locaties te organiseren, op passende tijden, en deelnemers enigszins in de watten te leggen door wat te eten en drinken aan te bieden. Linda Stomphorst: ‘Voor ambtenaren is het misschien minder gebruikelijk, maar wij zijn onze deelnemers ook tegemoet gekomen door een van de bijeenkomsten  ‘s avonds te houden.’ Ook in de gemeenten Amersfoort en Horst aan de Maas gebeurde dat.

Bijvangst

Het proces vergt een behoorlijke inspanning van de deelnemers, erkent Karin Sok. ‘Dat moet ook wel: het meetbaar maken van maatschappelijke effecten is een fundamentele zaak.’ Sterker, het komt zelden voor dat ambtenaren van een gemeente tegelijkertijd met burgers en aanbieders om tafel zitten om te praten over wezenlijke kwesties. Het co-creatieve proces levert veel ‘bijvangst’ op: er komt veel informatie boven tafel die niet direct bijdraagt aan de ontwikkeling van indicatoren, maar erg waardevol is voor de samenwerking tussen gemeente en aanbieders. De verwachtingen die de deelnemende partijen van elkaar hebben worden op een grondige manier uitgesproken.

Sok: ‘Het proces is minstens zo waardevol als de uitkomst. Bij de bijeenkomsten in de gemeente Woerden hebben we uitgebreid gesproken over het thema zelfregie. Hoe ver gaat die? Zitten daar ook grenzen aan? Het waren vaak ethische dilemma’s die we aanroerden.’

Linda Stomphorst van de gemeente Apeldoorn: ‘De co-creatieve bijeenkomsten zijn een werkvorm die ons veel bruikbare informatie hebben opgeleverd.’ Omdat er fundamentele discussies worden gevoerd, leiden de bijeenkomsten tot meer onderling begrip en inzicht in elkaars gedachtegang, zegt Robert van Koten. ‘Wij zijn al behoorlijk ver in de overgang naar een participatiesamenleving: de buurt, het netwerk, daar zit een groot deel van de oplossingen. Ik heb gemerkt dat veel burgers nog bezig zijn die slag te maken.’

Gemeenten hebben meer verantwoordelijkheden gekregen in het sociale domein. Maar heeft hun beleid wel het beoogde effect?

Samen met gemeenten, aanbieders op het gebied van zorg en ondersteuning en cliënten/burgers probeert Movisie een route te vinden naar het antwoord. Dat gebeurt door zogenaamde outcome indicatoren te ontwikkelen: concrete, meetbare instrumenten die iets zeggen over het effect van het gevoerde beleid op het gebied van zorg en ondersteuning. Een gemeente wil bijvoorbeeld de eigen kracht van (kwetsbare) burgers versterken. Hoe kun je meten of dat inderdaad gebeurt?

  • Outcome indicatoren zijn iets anders dat output metingen, waarbij het juist gaat om aantallen (het aantal cliënten of het aantal ontmoetingen). Outcome indicatoren beogen te meten wat je wilt meten: niet het aantal ontmoetingen maar het effect ervan.

Het ontwikkelen van outcome indicatoren in het sociale domein is vrij nieuw. Zes gemeenten fungeerden als proeftuin: Haarlem, Leiden, Apeldoorn, Woerden, Horst aan de Maas en Amersfoort. Onder leiding van procesbegeleiders van Movisie zochten vertegenwoordigers van de gemeente, aanbieders en cliënten/burgers naar de juiste outcome indicatoren voor een algemeen doel dat door de gemeente was bepaald. Dit gebeurde tijdens drie intensieve sessies.

De aanbieders die deelnamen zijn betrokken bij het door de gemeente vastgestelde thema. Bij zelfregie in Woerden bijvoorbeeld deden zorg- en welzijnsorganisaties mee. Bij collectieve kracht in Horst aan de Maas discussieerden ook vertegenwoordigers van een woningbouwvereniging mee. 

Dit artikel werd geschreven in samenwerking met journalist Marcel van Engelen.

Reacties

Outcome-indicatoren zijn te onderscheiden in (1) de indicatoren die een (SMART-)vertaling zijn van de doelen/maatschappelijk beoogde effecten ('beleidsoutcome') , en in (2) indicatoren die een (SMART-)vertaling zijn van die doelen in concrete resultaten die instellingen geacht worden te realiseren ('interventieoutcome').
Dit onderscheid is wezenlijk, maar dat komt niet tot zijn recht in bovenstaand artikel.

Als het over jeugdhulp gaat noemt het NJI/prof van Yperen (1) maatschappelijke outcome en (2) instellingsoutcome. Hoe het genoemd wordt is niet belangrijk, wél dat daar een helder onderscheid in wordt gemaakt. Zo kunnen instellingen bv niet verantwoordelijk worden gesteld voor het realiseren van beleidsoutcome, maar wel (tot op zekere hoogte) voor instellingsoutcome (de effectiviteit).

Voor meer info hierover kan men bij mij terecht. Goed voorbeeld van een beleidsnota in het brede sociaal domein, waarbij maatschappelijke doelen (met SMART indicatoren) zijn vertaald in SMART resultaten t.b.v. de instellingen: http://www.publicconsultancy.com/uploads/1/8/3/3/18339919/beleidskader_s...

Frits van Vugt, adviseur/onderzoeker in het sociaal domein

Beste Frits,
Wij zijn het eens met het onderscheid tussen maatschappelijke outcome en outcome van interventies of voorzieningen dat je maakt op basis van de publicaties van Tom van Yperen. Dat onderscheid hanteren wij meestal en het is dan ook een terecht om dit toe te voegen aan bovenstaand artikel.

Reageer op dit artikel

5 + 12 =
Los deze eenvoudige rekenoefening op en voer het resultaat in. Bijvoorbeeld: voor 1+3, voer 4 in.