Oriënteer op de verschillende typen van evaluatie
Centrale vragen in evaluatieonderzoek zijn: werkt mijn aanpak (worden de doelen/doelstellingen bereikt) en hoe werkt mijn aanpak (werkzame principes) ?
Om deze vragen te beantwoorden zijn verschillende typen evaluatie mogelijk. De drie vormen die hieronder beschreven staan, kunnen los toegepast worden, maar staan niet los van elkaar; ze grijpen op elkaar in. Zo kan een effectevaluatie bijvoorbeeld inzichten opleveren voor het proces, wat weer kan leiden tot bijstelling van 'het plan'.
Planevaluatie
Deze vorm van evaluatie richt zich op het plan van aanpak (zie in deze startmotor onder 'plan'), en vindt plaats nog voordat de uitvoering start. Vragen die relevant zijn:
- Is er een goede probleemanalyse gemaakt?
- Zijn de doelstellingen concreet geformuleerd?
- Zijn er bepaalde inzichten uit de praktijk of uit onderzoek die de gekozen aanpak onderbouwen?
- Is de taakverdeling en tijdsinvestering van betrokkenen duidelijk?
- Welke effecten worden verwacht van de aanpak?
De planevaluatie kan opgestart worden door de gemeente. Zij kan er voor kiezen daarbij van meet af aan samenwerkingspartners - cliënten/burgers, beroepskrachten, instellingen - te betrekken.
Procesevaluatie
Bij een procesevaluatie wordt het verloop en de uitvoering van een aanpak geëvalueerd. Dit type evaluatie dient er toe feedback te geven op en te werken aan verbetering van het handelen van uitvoerders.
Deze vorm van evaluatie is niét geschikt om vast te stellen of bepaalde effecten of resultaten worden behaald, maar vormt wel een belangrijke aanvulling op een effectevaluatie.
Relevante vragen zijn:
- Wat is het bereik van de aanpak (waar, met en voor wie)?
- Hoe is de samenwerking tussen de betrokken partijen in het sociale wijkteam en met derden?
- Hoe waarderen en beoordelen de uitvoerders en cliënten/burgers betrokken bij het sociale wijkteam de aanpak qua investering in middelen, tijd en geld?
- Welke succes- en verbeterpunten zijn er?
Een dergelijke procesevaluatie kan de organisatie zelf uitvoeren of laten uitvoeren. De uitkomsten kunnen de wijkteams bespreken en gebruiken om hun werkwijze waar nodig bij te stellen.
Effectevaluatie
De centrale vraag die een effectevaluatie beantwoordt: wat levert het project op?
De uitkomsten (resultaten en effecten) van de interventie/project en de gekozen werkwijze/aanpak staan centraal.
Relevante vragen zijn:
- Zijn de doelstellingen behaald? En is de problematiek bij cliënten afgenomen of gestabiliseerd?
- Hoe zit het met cliënttevredenheid en -uitval?
- Welke concrete resultaten (output) zijn gerealiseerd en welke verwachte en onverwachte effecten (outcome)?
- Welke factoren hebben bijgedragen aan welk resultaat en effect?
- Zijn er wijzigingen in het plan van aanpak nodig?
Effectevaluatie vraagt een gedegen opzet en uitvoering, welke bij voorkeur door derden wordt gerealiseerd.
Voor het nagaan van effecten zoals de afname van problematiek of toename van participatie of zelfredzaamheid zijn uiteenlopende instrumenten in te zetten. Zie hiervoor de publicatie 'Overzicht meetinstrumenten en monitoren sociaal domein' en de website 'Meetinstrumenten in de zorg'.
Een kanttekening: in de praktijk richten veel sociale wijkteams zich hoofdzakelijk op de aanpak van individuele problematiek bij cliënten. Maar bij veel gemeenten is er de (impliciete) verwachting dat de teams ook een forse bijdrage leveren aan het versterken van de samenredzaamheid in een wijk of dorp en aan het realiseren van algemene voorzieningen in plaats van (individuele) maatwerkvoorzieningen. Het gaat dan om het realiseren van buurthulp, lotgenotencontact, vrijwillige maatjes, ontmoetingsplek e.d. De huidige instrumenten van effectevaluatie zijn hier vooralsnog weinig op ingericht.
Zie voor een uitgebreide beschrijving van bovenstaande, Movisie-publicatie 'Zicht op effect'.