De gemeente Arnhem en de adviesraad Wmo/Jeugd trekken al samen op sinds de opzet van het ‘nieuwe’ CEO in 2023, vertelt Renée van Os, strategisch adviseur onderzoek en data: ‘Zij stelden de terechte vraag wat het nou eigenlijk zegt, die 7,6 als tevredenheidscijfer waar we al jaren op zitten. Het is een gemiddelde: er zijn ook altijd mensen die een flink lager cijfer geven. Hoe komen die in beeld? Hoe krijg je meer diepgang en zicht op de kwetsbare groepen? Dat los je niet op met kwantitatief onderzoek, waarmee je vooral op zoek gaat naar de grote lijnen.’

Verdiepend onderzoek 

Dit jaar is er daarom voor het eerst een verdiepend kwalitatief onderzoek toegevoegd aan het CEO. Stefan van Tongeren, bestuursadviseur Wmo: ‘We gaan dat elke keer onder een andere specifieke doelgroep doen, afhankelijk van wat er uit gesprekken met de adviesraad komt. Op dit moment loopt er een kwalitatief onderzoek onder inwoners met multiproblematiek, om te achterhalen hoe zij de toegang ervaren – precies de doelgroep die vaak niet in beeld kwam bij het klassieke CEO. Het gebeurt via narratieve interviews van een uur tot anderhalf uur. Er doen ongeveer twintig mensen aan mee. Zij werden door het wijkteam benaderd en ze krijgen een VVV-bon als dank voor hun deelname.’ 

Oorspronkelijk zorgmijders

De adviesraad zit ook in de begeleidingscommissie van het kwalitatieve onderzoek, vertelt Van Os verder: ‘Ze werkten mee aan de formulering van de opdracht in het inkooptraject om een onderzoeksbureau te vinden én ze waren betrokken bij de selectie van de deelnemers.’ Daarover legt Van Tongeren uit dat ze een diverse groep van deelnemers voor ogen hadden: ‘Daarom hebben we drie heel verschillende wijken geselecteerd: een welvarende wijk, een wijk met veel vergrijzing en een multiculturele, sociaal-kwetsbare wijk. Het onderzoeksbureau heeft de wijkteams gevraagd om casussen aan te dragen, zeker ook casussen die niet soepel waren verlopen. In sommige gevallen ging het om mensen die oorspronkelijk zorgmijders waren. Zo ontstond een lijst met potentiële deelnemers waaruit de begeleidingsgroep een selectie heeft gemaakt en die mensen zijn vervolgens benaderd door het onderzoeksbureau.’

Mensen zijn afhankelijk van onze hulp, dus ze moeten zeker weten dat hun gegevens vertrouwelijk behandeld worden

Waarborg van anonimiteit 

Een van de redenen om voor een extern onderzoeksbureau te kiezen heeft te maken met de waarborg van anonimiteit. Van Tongeren: ‘Mensen zijn afhankelijk van onze hulp, dus ze moeten zeker weten dat hun gegevens vertrouwelijk behandeld worden.’ Tegelijkertijd beperkt de niet-herleidbaarheid de mogelijkheden om gericht actie te ondernemen. ‘Soms is het heel zonde dat we niet kunnen reageren op specifieke antwoorden. De medewerkers van het onderzoeksbureau hebben in een enkel geval de deelnemers wel gewezen op een andere weg om hun vragen of opmerkingen te kunnen adresseren, zoals bij het wijkteam. Bijvoorbeeld als er echt meer hulp nodig was dan op dat moment werd geboden.’ 

Samenwerkingsproject 

Dit vraagstuk raakt volgens Van Os ook aan een principiële kwestie: ‘Het CEO is geen formeel klachtenkanaal. Daar heb je als gemeente andere procedures voor. Maar het is best een precaire balans. Zeker bij onderzoek zoals dit, dat dicht op de uitvoering zit. Daar blijven kansen liggen om direct follow-up te geven aan een vraag of opmerking van een inwoner. Het is wikken en wegen, want het waarborgen van iemands privacy in een onderzoek is ook erg belangrijk.’ In het verlengde hiervan benadrukt Van Os dat het CEO in Arnhem niet alleen een samenwerkingsproject is met de adviesraad, maar ook met de wijkteams: ‘We zien allemaal het gezamenlijke belang. De wijkteams hebben ook de intentie om ervan te willen leren. Op die manier hebben we het ook aan de gemeenteraad gepresenteerd: het CEO is er om van te leren, niet om te oordelen.’

Continumeting 

In Arnhem werken ze behalve met het kwalitatieve onderzoek ook met digitale vragenlijsten. Dat doen ze sinds 2024 in een continumeting. Van Os: ‘Elke inwoner krijgt direct na het moment van toe- of afwijzing van de voorziening een eerste vragenlijst, met vragen over de ervaringen met de toegang. De tweede vragenlijst versturen we zes maanden na de start van de zorg, om de ervaren kwaliteit en het effect in beeld te krijgen.’ Om deze tweede vragenlijst goed aan te laten sluiten bij de inwoners, zijn er varianten gemaakt voor de verschillende soorten hulp en ondersteuning die mensen kunnen krijgen. ‘Zo vragen we aan inwoners die gebruik maken van het doelgroepenvervoer hoe tevreden ze zijn over het contact met de vervoerder’, legt Van Tongeren uit, ‘en mensen die hulpmiddelen krijgen, vragen we hoe tevreden ze zijn over het contact met leverancier Medipoint.’ 

Validiteit

Dit kostte in het begin wel veel werk om het te programmeren en om goed in het dashboard te laten landen, voegt Van Os eraan toe, ‘maar de mensen begrijpen nu wel beter wat we bedoelen. Doordat we ze sneller na de start van de zorg bevragen, maar ook omdat we het specifieker vragen. Voorheen kwam het voor dat iemand anderhalf jaar na de ontvangst van een douchebeugel de vraag kreeg naar de tevredenheid over ‘uw Wmo-voorziening’. Heel begrijpelijk dat je dan geen idee hebt waar het over gaat.’ De specifieke vragen dragen ook op nog een andere manier bij aan de validiteit van het CEO, stelt Van Tongeren: ‘Voorheen met de standaardvragenlijst kregen alle inwoners, ongeacht de voorziening waarvan ze gebruik maakten, de vraag of de zorg hielp om beter mee te kunnen doen. Voor mensen die huishoudelijke hulp kregen was dat niet echt een relevante vraag. Maar vanwege het vaste stramien beantwoordden ze die vraag wel, en daarmee ging de validiteit van het CEO omlaag.’ 

Resultaten benutten

De vragenlijsten van de continumeting zijn heel makkelijk op de telefoon in te vullen. Bij de gesloten vragen geven de respondenten hun antwoorden met behulp van smileys weer en dat kost maximaal vijf minuten. De resultaten komen via een automatische verbinding met de server van de leverancier direct in een dashboard terecht. Deze resultaten worden met name gebruikt door het college en de gemeenteraad, vertelt Van Tongeren: ‘Het dashboard toont wat zij nodig hebben: de kerncijfers en trendanalyses om te zien in hoeverre de maatschappelijke doelen en beoogde effecten worden bereikt. Voor de beleidsafdelingen en de wijkteams is een andere variant van het dashboard beschikbaar. Bovendien zijn de resultaten van het kwalitatieve onderzoek natuurlijk ook heel waardevol voor beleidsontwikkeling en verbetering van de uitvoering.’  

Artificial Intelligence

De vragenlijsten van de continumeting bevatten ook enkele open vragen. Voor de analyse daarvan werkte de gemeente samen met een student sociologie van de Radboud Universiteit. Van Os: ‘Het was veel werk, omdat de inhoudelijke codering van de ongeveer 1200 antwoorden handmatig gebeurde. Maar het leverde ook iets moois op: per zorgvorm een word-cloud die een weerslag geeft van de ervaring van inwoners.’ Het is de bedoeling dat de codering van de open vragen in de toekomst minder tijdrovend zal zijn, sluit van Tongeren af: ‘We proberen dit met AI te gaan doen, daar zijn we een model op aan het trainen.’ 

Auteur: Tea Keijl

Illustratie: Geert Gerard