Sessie 1 | Waar moet een goed CEO aan voldoen? 

Onderzoeker Jochum Deuten van Bureau Anderzoek werkte in de aanloop naar 2021 mee aan de nieuwe inrichting van de landelijke CEO-systematiek. ‘Er kwam meer vrijheid voor gemeenten, en daarmee kwam ook de vraag naar de kwaliteit van het onderzoek naar boven.’ Volgens Deuten geven de wettelijke vereisten een eerste en tamelijk logisch kader voor een goed CEO. ‘De drie belangrijkste zijn dat je onderzoek doet onder cliënten die een voorziening gebruiken of hebben gebruikt, dat je met een vragenlijst of topiclijst werkt en dat je aandacht besteedt aan de drie vaste thema’s: toegankelijkheid, kwaliteit van de ondersteuning en de ervaren effecten.’ Over dat laatste, de ervaringen, praten Deuten en de deelnemers verder door. Want de ervaringen die mensen hebben met de Wmo zijn heel rijk. ‘Je trekt een hele grote lade open. Het gaat over verschillende momenten, met verschillende medewerkers. Het roept vaak ook emoties op: mensen zijn teleurgesteld of misschien juist verrast.’

Wie doet de vertaalslag

Die rijke ervaringen moeten dus worden gecomprimeerd binnen het onderzoek en de manier waarop dat gebeurt bepaalt mede de kwaliteit van het onderzoek. ‘Bij kwantitatief onderzoek zit die vertaalslag vooral bij de inwoner zelf. Hij moet zijn ervaring samenballen in een meerkeuze antwoord die de onderzoeker vooraf heeft bepaald. Dat leidt hoe dan ook tot compromissen. Je kent het wel van als je zelf iets beoordeelt: ik doe maar een zeven, want dit onderdeel was echt oké, maar dat andere was wat minder.’ Bij kwalitatief onderzoek haalt de onderzoeker de ervaringen uit de hoofden van de mensen. ‘De groepsgesprekken of verdiepende interviews leveren uren en uren aan materiaal. En die moet jij als onderzoeker van een subjectieve ervaring naar objectieve informatie zien te vertalen. Aan kwalitatief onderzoek zitten specifieke kwaliteitsaspecten gekoppeld: je moet goede vraaggesprekken kunnen voeren, je moet een goede selectie van inwoners maken en in de analysefase moet je goed coderen.’ Deuten stelt concluderend: ‘Als je als gemeente wilt leren van je CEO, dan is kwalitatief onderzoek bijzonder interessant. Het geeft heel rijke informatie. Maar het stelt dus wel andere eisen. Ik zou zeggen: begin met een klein onderzoek. Een scherpe vraag, een afgebakende doelgroep en een specifiek Wmo-product.’
 

Sessie 2 | Standaardvragenlijst op maat: hoe doe je dat en wat levert het op?  

Carolien Veldkamp zei het al in haar introductie: de meest gemeenten werken vooralsnog met vragenlijstonderzoek met de oude standaardset van vragen, aangevuld met voor de betreffende gemeente relevante vragen. Angeline van Duijn van de gemeente Katwijk vertelt over hoe dat proces bij hen verliep. ‘De resultaten van de eerdere CEO’s riepen vragen op, en op basis daarvan hebben we onze vragenlijsten meer op maat gemaakt. We ontwikkelen elk jaar een stukje verder door.’ Het is dus een kwestie van aanpassen, niet van een compleet nieuwe vragenlijst maken: ‘De oude vragenlijst loslaten is lastig, want dan kun je niet meer vergelijken met voorgaande jaren.’ 

De gemeente Katwijk streeft ernaar zo dicht mogelijk bij de ervaringen van de inwoners te komen, vervolgt Van Duijn: ‘We voeren het onderzoek zo snel mogelijk uit nadat het jaar waarover het gaat is afgerond. We hebben extra vragen toegevoegd over de specifieke maatwerkvoorziening die iemand heeft gekregen en we hebben deze vragen getoetst op leesbaarheid.’ In Katwijk zien ze nog mogelijkheden om de respons verder te versterken en om CEO zo optimaal mogelijk vanuit het perspectief van inwoners vorm te geven. ‘Het CEO is bij ons nog volop in ontwikkeling.’
 

Sessie 3 | Cijfers én verhalen: een verrijking van het CEO

In Oost Gelre voeren ze het CEO sinds twee jaar uit met telefonische interviews. Heidy Lobeek vertelt: ‘Elk jaar kiezen we daarbij een specifieke doelgroep of onderwerp. De afgelopen keer waren dat de mensen die huishoudelijke hulp ontvingen. We hebben met dertig mensen een telefoongesprek van ongeveer een kwartier gehad.’ Soms waren deze gesprekken direct aanleiding tot verbetering van de dienstverlening: ‘Als de inwoner een specifieke ervaring had, vroegen we of het oké was als we navraag zouden doen bij een collega en dan koppelden we het vervolgens ook direct terug aan de inwoners.’ Een nadeel van deze aanpak zou kunnen zijn dat het niet representatief is, zegt Lobeek. ‘Maar er was wel sprake van verzadiging. Bij de laatste gesprekken kwamen er geen erg nieuwe antwoorden meer bij.’ Lobeek en haar collega’s zijn tevreden over de aanpak, en dat geldt ook voor de inwoners. ‘Vooral omdat we echt wat kunnen met de uitkomsten.’

Groepsgesprek met lunch

Gerdine Veldstra van de gemeente Leeuwarden vertelt hoe zij het CEO uitvoeren met een aangepaste versie van de standaardvragenlijst en groepsgesprekken. ‘Sinds 2022 meten we de ervaringen met de toegang continu, dat wil zeggen na maximaal zes weken. De ervaren kwaliteit en het effect meten we een keer per jaar. Dit doen we allemaal met een vragenlijst, alleen digitaal of telefonisch. Sinds dit jaar kunnen inwoners die de vragenlijst invullen aangeven of ze verder willen praten over een thema. Dat doen we in focusgroepen. Het eerste focusgroep-thema was de ervaring met de toegang. Eerst een lunch en dan het gesprek.’ Naast het recentere en specifiekere beeld dat op deze manier ontstaat, noemt Veldstra’s collega Marianne Slingerland als pluspunt dat mensen elkaar ontmoeten. ‘Ze hebben zelfs telefoonnummers uitgewisseld om elkaar te helpen. Verder geven de deelnemers van de focusgroepen aan dat ze het prettig vinden om met de gemeente zelf in gesprek te gaan, en niet met een extern bureau.’ Een nadeel van deze aanpak kan de tijdsinvestering zijn. Maar, zo zegt Veldstra: ‘Eigenlijk was het alleen de eerste keer tijdrovend, inmiddels is het minder werk.’ En hoe zit het met de representativiteit? ‘Ook in de focusgroepen horen we op een gegeven moment wel zo’n beetje dezelfde antwoorden.’
 

Sessie 4 | CEO Andersom – wat wil de inwoner dat jij weet? 

De deelnemers van sessie 4 maken kennis met een radicaal andere aanpak van het CEO. Onder de noemer CEO Andersom gaan ze onder leiding Movisie-experts Marc Mulder en Malin de Winter een experiment aan. Wat gebeurt er als de inwoners zelf de vragen voor het CEO bedenken? Wat vinden zij belangrijk om te vertellen, wat willen zij dat de gemeente weet over hun ervaringen? Om deze exercitie denkbeeldig uit te voeren is het belangrijk te beseffen dat ervaringen gekleurd worden door de feitelijke gebeurtenissen die eraan vooraf gaan, weet Mulder. ‘Stel dat iemand onderweg verdwaald is geraakt in de bureaucratie, of de aanvraag wordt niet snel genoeg behandeld, dan kan dat frustratie opleveren of een ervaring van onrecht en vernedering. Een mogelijk gevolg daarvan is dat iemand zich als een leeuw gaat gedragen of zijn waardigheid verliest. Dat gaat gepaard met bepaalde verwachtingen over het vervolg bij deze inwoner en daar ontstaat een soort cyclus in. Die kan positief of negatief zijn.’ 

Hun woord als waarheid 

De deelnemers aan deze sessie noemen het CEO Andersom ‘mooi, maar ook best ingewikkeld’. En: ‘We moeten een stapje terugzetten en hun woord als waarheid nemen. Dus als ze zeggen dat het voor hen op manier X gaat, dan is dat ook zo.’ En hoe voer je het praktisch gezien eigenlijk uit? Samenwerking met de Adviesraad Sociaal Domein of de Integrale Adviesraad ligt volgens de deelnemers wel voor de hand. Iemand benadrukt dat er veel winst te behalen valt door als gemeente de taal van de inwoners beter te leren spreken. En weer een andere deelnemer stelt dat je op deze manier wel heel verschillende soorten betrokkenheid van inwoners vraagt. ‘En dat levert nog wel wat koudwatervrees op aan onze kant.’
 

Sessie 5 | Hoe kom je dichter bij de ervaringen van inwoners?

Een van de manieren waarop ze in Arnhem proberen dichter bij de inwoners te komen is door samen te werken met de adviesraad Wmo/Jeugd. Renée van Os: ‘Op hun verzoek werken we nu ook met een verdiepend kwalitatief onderzoek naar specifieke doelgroepen. Op dit moment loopt er een kwalitatief onderzoek onder inwoners om te achterhalen hoe zij de toegang ervaren. Dat gebeurt door narratieve interviews te houden van een uur tot anderhalf uur. Het is heel tijdsintensief. Mensen worden door het wijkteam benaderd en ze krijgen een VVV-bon als dank voor hun deelname.’ In Arnhem werken ze ook met vragenlijsten, in een continumeting. ‘Elke inwoner krijgt direct na het moment van toe- of afwijzing van de voorziening een eerste vragenlijst, met vragen over de ervaringen met de toegang. De tweede vragenlijst versturen we zes maanden later, om de ervaren kwaliteit en het effect in beeld te krijgen. De vragenlijsten zijn heel makkelijk op de telefoon in te vullen. We werken bij de gesloten vragen met smileys en dat werkt goed. Het kost maximaal vijf minuten. De resultaten komen via een directe verbinding met de server van de leverancier direct in een dashboard terecht.’ 

Student sociologie 

De beide vragenlijsten bevatten ook enkele open vragen en voor de analyse daarvan werkte de gemeente samen met een student sociologie van de Radboud Universiteit, vertelt Van Os. ‘Het was veel werk, omdat de inhoudelijke codering handmatig gebeurde. Maar het leverde ook iets moois op: per zorgvorm een word-cloud die een weerslag geeft van de ervaring van inwoners.’ In Arnhem maken ze onderscheid qua benutting van de onderzoeksresultaten, legt Van Os verder uit. ‘Het continu onderzoek wordt met name gebruikt door de bestuurders, die willen cijfers en trendanalyses zien. De resultaten van het kwalitatieve onderzoek worden gebruikt voor beleidsontwikkeling en ook voor verbetering van de uitvoering.’  
 

Sessie 6 | Vier richtingen voor betekenisvoller CEO 

In sessie 6 vertellen Mara van Leuken en Aimée Albers namens de Peelgemeenten, in het oosten van Noord-Brabant, hoe zij het CEO dichter bij het moment van de ervaring brengen en beter benutten voor kwaliteitsverbetering van de toegang. Van Leuken: ‘We versturen een keer per maand een vragenlijst per post aan de inwoners die in de voorgaande maand een gesprek hebben gehad met een consulent van de toegang. Door een QR-code te scannen kunnen ze de vragen in vijf minuten beantwoorden. Bij een lage score volgt er een open vraag naar een toelichting.’ Door deze continumeting zie je over de tijd heen als het goed is effecten van wijzigingen in het toegangsbeleid. ‘En’, vult Albers aan: ‘We kunnen onderling de resultaten in de vijf Peelgemeenten ook vergelijken. Als een pilot bij de ene gemeente wordt ingezet en bij de andere niet, hebben we gelijk controlegemeenten.’ Ze legt hiermee ook de link naar de kwaliteitsverbetering: ‘Er bleken negatieve ervaringen met de wachtlijsten voor de huishoudelijke hulp. In Laarbeek is de werkwijze nu aangepast. Als het goed is gaan we dat terugzien in de resultaten.’ 

Benut het primaire proces

Jochum Deuten van Bureau Anderzoek bespreekt hoe je als gemeente ook samen met de aanbieders kunt optrekken in het CEO, in de wetenschap dat de hiërarchische verhouding steeds verder opschuift naar gelijkwaardig partnerschap. Ook laat hij zien dat je dichterbij de leefwereld kunt komen door goed naar verschillende groepen te kijken. ‘Ouderen benader je beter met een brief, bij jongeren metsel je niet alles dicht, die neem je in de opzet: wat wil jij dat wij straks weten?’ Nog een andere richting om het CEO betekenisvoller te maken is door ook ervaringen in de sociale basis te meten. Maar omdat de deelnemers bij algemene voorzieningen niet met hun contactgegevens bekend zijn, is daarvoor een andere benadering nodig. ‘Je kunt ervoor kiezen om ter plekke vragenlijsten uit te delen’, zegt Deuten, ‘of je laat ze uitdelen door de organisator van de activiteit. Kijk goed naar het primaire proces en de contacten daarin tussen de deelnemers en de uitvoerders. Bij automaatje bijvoorbeeld, daar heeft de chauffeur contact met de inwoner. Kan die misschien drie vragen laten beantwoorden? Daar hoort dan wel bij dat je als gemeente ook laat zien wat je met de resultaten doet.’ Karin Sok sluit de sessie af met een verwijzing naar de inzichten van Sofie Sergeant: ‘Maak duidelijk dat de deelnemer de kennis heeft die de aanbieder en de gemeente nodig hebben om het beter te kunnen doen.’