Gaan we nu ook de effecten meten van geleverde zorg?

Outcome indicatoren bieden uitkomst
artikel - 27 juli 2015
Effectmeting welzijnswerk

In de welzijnssector groeit de behoefte om de effecten te meten van geleverde zorg en ondersteuning. Samen met gemeenten, instellingen en cliënten/burgers werkt Movisie aan de ontwikkeling van zogenaamde outcome indicatoren, die daar zicht op geven.

Dit is het eerste artikel in een reeks van vier. Lees ook het tweede artikel over outcome indicatoren, het derde artikel over zelfredzaamheid meten en het vierde artikel: De meerwaarde van outcome indicatoren in de praktijk.

Voor ziekenhuizen in Nederland is het verplichte kost: het verstrekken van indicatoren die iets moeten zeggen over de kwaliteit van de zorg. Artsen en andere professionals vullen voor tientallen verschillende aandoeningen in of patiënten voorlichtingsmateriaal hebben ontvangen (ja/nee), wat het aantal wondinfecties is of welk percentage patiënten binnen vier weken na diagnose wordt geopereerd. Het levert een stroom aan cijfers op, zogenaamde prestatie-indicatoren. Maar zeggen die indicatoren iets over de kwaliteit of de effecten van de geleverde zorg?

Helaas maar in beperkte mate, concludeerde de Nederlandse Federatie van Universitair Medische Centra na een onderzoek. Een belangrijke oorzaak is dat ziekenhuizen definities nogal verschillend interpreteren, waardoor scores van het ene ziekenhuis slecht vergelijkbaar zijn met het andere. Daarnaast bevordert het systeem van zelfrapportage ‘het aanleveren van sociaal wenselijke doch onbetrouwbare gegevens,’ aldus de onderzoekers.

'De invoering bij de ziekenhuizen leverde een oerwoud aan cijfers op'

Het is leerzaam een blik te werpen op de indicatoren van ziekenhuizen, zegt Loek Stokx, chief strategist bij het RIVM en deskundig op het terrein van indicatoren. Want nergens anders in de Nederlandse zorgwereld worden indicatoren zo breed verzameld als daar. Een advies: hou het aantal indicatoren beperkt. ‘De invoering bij de ziekenhuizen leverde een oerwoud aan cijfers op,' zegt Stokx. 'Dat werkt eerder verhullend dan verhelderend.’

Een nieuwe aanpak voor gemeenten
U wilt resultaten boeken als het gaat om het versterken van eigen kracht, participatie en collectieve kracht. Maar hoe weet u of het gewenste doel van het Wmo-beleid is bereikt? In de brochure Concrete outcome, gedragen indicatoren (pdf) leest u over een nieuwe, effectieve aanpak om deze resultaten te meten.

Outcome indicatoren

De voorbije jaren is ook in de welzijnssector de aandacht voor het meten van prestaties gegroeid. Nu gemeenten met schaarse middelen nieuwe verantwoordelijkheden hebben op het gebied van werk, ouderen- en jeugdzorg, wordt het belang ervan alleen maar urgenter. Hebben de nieuwe afspraken met aanbieders wel het beoogde effect? De Wet Maatschappelijke Ondersteuning (Wmo) stelt gemeenten verplicht om met 'outcome criteria' te gaan werken. Ze moeten gaan meten wat de effecten zijn van geleverde zorg en ondersteuning. Worden de beoogde doelen wel bereikt, zoals het vergroten van zelfredzaamheid?

De focus op outcome is te beschouwen als een reactie op het meten van output, waarbij het alleen gaat om het aantal cliënten, het aantal geleverde diensten of het aantal bijeenkomsten, zonder dat naar de effecten werd gekeken. Terwijl het juist om die effecten (outcome) zou moeten gaan. Alleen, hoe meet je die op een betrouwbare manier?

'Mensen niet overladen met allerlei vragenlijsten'

‘Wij willen het veld ondersteunen bij het ontwikkelen van goede outcome indicatoren,’ zegt Saskia Keuzenkamp, manager effectiviteit bij Movisie. Keuzenkamp is verantwoordelijk voor een project waarin zes gemeenten in nadrukkelijke samenwerking met instellingen en cliënten/burgers outcome indicatoren hebben ontwikkeld. Gezamenlijk stelden ze een belangrijke doelstelling vast, bijvoorbeeld het vergroten van de inzet van het eigen netwerk van burgers. Via een tussenstap werd dat algemene doel vertaald naar concrete, meetbare indicatoren. Die geven aan in welke mate het beleidsdoel is gerealiseerd. Iedereen heeft belang bij die wetenschap. Bestuurders kunnen de gemeenteraad informeren over de effecten van hun beleid. Aanbieders willen weten of ze goed bezig zijn en de gewenste resultaten worden behaald. En burgers en cliënten zijn daarvan ook graag op de hoogte, maar zij willen niet overladen worden met allerlei vragenlijsten.

Regiobijeenkomsten outcome
Movisie organiseert in oktober met de MOgroep, LCGW en In voor Zorg in drie regio’s een bijeenkomst over outcome: ‘Meten of gemeten worden’. De regiobijeenkomsten zijn bedoeld voor directeuren, managers en stafmedewerkers van organisaties voor sociaal werk. En voor wethouders, managers en beleidsmedewerkers van gemeenten. Meer informatie over workshops en aanmelden vindt u in het agenda-item.  

Onontgonnen terrein

Wat het ontwikkelen van goede indicatoren in de zes proeftuinen lastig maakte, is dat de beleidsdoelen vaak breed en algemeen zijn geformuleerd. Wat betekent het vergroten van eigen kracht in de praktijk? Meer vrijwilligers? Meer mantelzorg? Of minder beroep doen op collectieve voorzieningen? ‘Of neem de schuldhulpverlening,’ zegt Keuzenkamp. ‘Een van de opgaven daarbij is dat mensen beter kunnen omgaan met geld. Hoe kun je dat het beste meten? Alleen met overleg, denkkracht en kennis van indicatoren kom je daaruit.’

Vergeleken met andere sectoren staat het gebruik van outcome indicatoren in de welzijnssector nog in de kinderschoenen, zegt Keuzenkamp. 'Hoe je verschijnselen als zelfregie en collectieve kracht goed kan meten is nog onontgonnen gebied. Ook het werken met gegevens over de effecten, in een lerende cyclus van meten en verbeteren, is behoorlijk nieuw.’

Een veilige situatie

Op zichzelf zijn (prestatie-)indicatoren weinig nieuws. Sinds mensenheugenis geeft de thermometer een indicatie van de temperatuur, de AEX-index zegt iets over het verloop van de beurskoersen. Het woord indicator komt van index, Latijn voor wijsvinger. ‘Een goede indicator geeft de richting aan,’ zegt Loek Stokx. ‘Wat zijn de ontwikkelingen? Waarover moeten we het hebben?'

'Als de aanlevering van de indicatoren direct in een sfeer van afrekening gebeurt, is de verleiding groot de cijfers mooier te maken dan ze zijn'

Stokx verrichtte onderzoek bij ziekenhuizen en huisartsen in Engeland en Schotland, waar prestatie-indicatoren al eerder in zwang raakten, in de jaren negentig van de vorige eeuw. Behalve het vermijden van een overvloed aan indicatoren, is het van belang om goede indicatoren vast te stellen, aldus Stokx. Goede indicatoren meten wat je wilt meten en hebben een duidelijke, niet mis te verstane definitie. ‘Dat klinkt misschien logisch, maar juist daar gaat het vaak fout.’ Als je bijvoorbeeld wilt meten hoeveel patiënten tijdens een behandeling uitvallen, telt iemand die verhuist dan ook mee?

De grootste uitdaging evenwel bij het succesvol ontwikkelen van prestatie-indicatoren is het creëren van ‘een veilige situatie’. Het is vrijwel onvermijdelijk dat de professionals en instellingen die worden beoordeeld ook de indicatoren verstrekken. In beginsel stellen zij zich daarmee kwetsbaar op, want uiteindelijk zal de overheid hen willen afrekenen op de geleverde prestaties. Daarom is voorzichtigheid geboden. Als de aanlevering van de indicatoren direct in een sfeer van afrekening gebeurt, is de verleiding groot de cijfers mooier te maken dan ze zijn.

‘Het kan niet zo zijn dat je een organisatie vraagt naar prestaties, en haar bij een eerlijk antwoord straft met een lager budget of het stoppen van het contract,’ zegt Stokx. ‘Dan zullen mensen cijfers gaan aanleveren die gunstig voor hen uitpakken en worden de indicatoren waardeloos.’

Een sfeer van leren

In een ideale situatie vergaart een onafhankelijke partij de informatie bij patiënten of cliënten, zegt Movisie-manager Saskia Keuzenkamp. ‘Toch ligt het voor de hand dat professionals het doen. Zij onderhouden immers het – vaak gevoelige – contact met cliënten. Zij kunnen het invullen van vragenlijsten inpassen in hun werkproces, bijvoorbeeld bij de intake en aan het slot van het contact. Dat zou onder goede condities moeten gebeuren, zodat je geen sociaal wenselijke antwoorden krijgt.’

Evengoed kan bij instellingen de vrees bestaan dat zij worden afgerekend op de indicatoren die zij aanleveren. Hoe neem je die vrees weg? Door de indicatoren in samenspraak met instellingen en cliënten(vertegenwoordigers) te kiezen, zegt Keuzenkamp. ‘De partijen moeten in een vertrouwelijke sfeer en in nauw overleg bepalen wat goede indicatoren zijn en wat niet. Samen stellen ze ook vast waarvoor je de indicatoren wilt gebruiken. De houding van de financier is van cruciaal belang. Die moet duidelijk maken dat het eerst en vooral om kwaliteitsverbetering draait, niet om afrekening.’

‘Een sfeer van leren, is ook voor een zorg- of welzijnsinstelling belangrijk,’ zegt Stokx. ‘Ook die wil weten hoe het gaat en hoe het beter kan.' Bovendien is een indicator een aanwijzing, benadrukt Keuzenkamp. Niet meer en niet minder. Een percentage van uitvallende cliënten is waardevolle informatie, maar zegt niets over de oorzaken van die uitval. De ene hulpverlener kan met een lastigere populatie werken dan de andere.

Keuzenkamp: ‘Een indicator is het begin van een dialoog. Wat zeggen de cijfers? Wat ligt er aan ten grondslag? Wat kun je eraan doen? Moeten we verdiepend onderzoek doen om te kijken wat de oorzaken zijn? Er zijn behalve indicatoren ook andere instrumenten, zoals werkbezoeken en peer reviews.’

Gemeenten hebben meer verantwoordelijkheden gekregen in het sociale domein. Maar heeft hun beleid wel het beoogde effect?

Samen met gemeenten, aanbieders op het gebied van zorg en ondersteuning en cliënten/burgers probeert Movisie een route te vinden naar het antwoord. Dat gebeurt door zogenaamde outcome indicatoren te ontwikkelen: concrete, meetbare instrumenten die iets zeggen over het effect van het gevoerde beleid op het gebied van zorg en ondersteuning. Een gemeente wil bijvoorbeeld de eigen kracht van (kwetsbare) burgers versterken. Hoe kun je meten of dat inderdaad gebeurt?

  • Outcome indicatoren zijn iets anders dat output metingen, waarbij het juist gaat om aantallen (het aantal cliënten of het aantal ontmoetingen). Outcome indicatoren beogen te meten wat je wilt meten: niet het aantal ontmoetingen maar het effect ervan.

Het ontwikkelen van outcome indicatoren in het sociale domein is vrij nieuw. Zes gemeenten fungeerden als proeftuin: Haarlem, Leiden, Apeldoorn, Woerden, Horst aan de Maas en Amersfoort. Onder leiding van procesbegeleiders van Movisie zochten vertegenwoordigers van de gemeente, aanbieders en cliënten/burgers naar de juiste outcome indicatoren voor een algemeen doel dat door de gemeente was bepaald. Dit gebeurde tijdens drie intensieve sessies.

De aanbieders die deelnamen zijn betrokken bij het door de gemeente vastgestelde thema. Bij zelfregie in Woerden bijvoorbeeld deden zorg- en welzijnsorganisaties mee. Bij collectieve kracht in Horst aan de Maas discussieerden ook vertegenwoordigers van een woningbouwvereniging mee. 

Dit artikel werd geschreven in samenwerking met journalist Marcel van Engelen.

DownloadsTypeGrootte
Concrete-outcome-gedragen-indicatorenpdf198.22 KB

Reacties

Goede zaak dat Movisie het vraagstuk van de outcomesturing en - meting oppakt. Dit vraag stuk is echter niet nieuw, zoals in het artikel gesteld wordt.
Al eerder kwam er uit gemeente- en welzijnsland een reactie op het feit dat er alleen maar gedacht en gemeten werd in output-termen.

Vijf Brabantse gemeenten en Maastricht en hun lokale welzijnsorganisaties ontwikkelen in 2005/2006 een alternatief voor het productendenken: dat werd TRILL: Transformatie naar Resultaatgerichte Informatievoorzieking Lokaal en Landelijk. Hierin werden doelen meetbaar (SMART) gemaakt (beleids- outcome) en vervolgens doorvertaald naar eveneens meetbaar resultaat (instellings-outcome).

Dat resulteerde in een Resultaten-catalogus (te vergelijken met de outcome-criteria die Movisie thans noemt) en een TRILL-dienstenboek dat instellingen konden gebruiken om hun producten zowel te beschrijven als qua resultaat meetbaar te maken.

Ziehier een prachtige trias in outcome. En nog steeds te gebruiken bij de nieuwe welzijnsdoelen i.h.k.v. de Wmo, de jeugdhulp en het voorliggende "welzijnsveld'.
Zie: http://www.publicconsultancy.com/uploads/1/8/3/3/18339919/triple_w_broch...

Frits van Vugt, mede-ontwikkelaar van TRILL, adviseur in het sociaal demein

Beste Frits,
Bedankt voor je reactie en de bevestiging dat het vraagstuk van outcomesturing en –meting actueel en tegelijkertijd niet nieuw is. Wat wel nieuw is dat outcomesturing in de Wmo is opgenomen en daarmee vanuit het publieke beleid meer aandacht heeft gekregen. De systematiek die met TRILL ontwikkeld is ziet er qua strekking van de aanpak vergelijkbaar uit. En wellicht is een deel van de daarin ontwikkelde indicatoren bruikbaar. De huidige ontwikkelingen in het sociale domein vragen passende uitkomstmaten die gedeeltelijk nieuw zijn en soms lokaal verschillend gedefinieerd. Waar mogelijk is het wenselijk gedeelde uitkomstmaten na te streven.

Beste mevrouw/meneer,
Ook ik heb pogingen gedaan om de pdf te downloaden, maar ook mij is het niet gelukt.
Zou ik deze ook toegestuurd kunnen krijgen naar mijn E-mail adres?
Alvast hartelijk bedankt,
met vriendelijke groet,
Joan Budwilowitz

Uw verzoek is opgepakt.

Bedankt voor de snelle reactie! Inmiddels heb ik het document gemaild gekregen ;-)

Hartelijke groet,

Sylvia de Goede

Geachte heer/mevrouw,

Ik heb pogingen gedaan de pdf concrete-outcome-gedragen-indicatoren te downloaden maar helaas lukt dit niet. Is de pdf nog beschikbaar en zou ik deze kunnen ontvangen?

Hartelijke dank alvast,
met vriendelijke groet,

Sylvia de Goede
medewerker Participatie & Activering Combiwel
0639717875

Uw verzoek is opgepakt.

Reageer op dit artikel

3 + 3 =
Los deze eenvoudige rekenoefening op en voer het resultaat in. Bijvoorbeeld: voor 1+3, voer 4 in.