Tijdens een workshop voor aanvraagbeoordelaars wisselde ik enkele tips uit met de deelnemers om te kijken naar aanvragen en hun evaluatieplannen. We spraken over een categorie aanvragen, waarin mensen centraal stonden. Bij de formulering van projectdoelen kunnen de volgende effecten worden beoogd:
1. verhoogde kennis (wetenschap, inzicht, informatie, probleemoplossing)
2. veranderde houding (smaak, mening, opvatting, overtuiging, geloof, affectie, gevoel, vooroordeel)
3. veranderd gedrag (keuzes, verrichtingen, handelingen, patronen, leefgewoonten, tradities, rollen)
Kennis is relatief eenvoudig te toetsen, aan de hand van examens, overhoringen of andere toetsen (een verslag, een werkstuk). Dit wordt veelal gedaan in onderwijsinstellingen om te kunnen beoordelen of deelnemers (studenten) in staat zijn om de kennis te reproduceren of toe te passen. De vraag is vaak of het werkelijk om toetsing van intrinsieke kennis gaat of om een test van het kortetermijngeheugen.
Als aanvraagbeoordelaar heb ik veel projectvoorstellen beoordeeld waarbij de aanvrager doelen hadden geformuleerd die zich concentreerden op de verandering van houding. Die klonken als:
– ouderen hebben een positievere opvatting over jongeren
– christelijke bewoners kijken anders naar niet-gelovige medebewoners
– de mening over democratie is veranderd
Uit een praktijkvoorbeeld (dat ik op de cursusdag niet bij de hand had):
“Na deelname aan dit project hebben de jongeren:
- Inzicht in eigen kwaliteiten en competenties
- Ervaring met samenwerking en vrijwilligerswerk
- Leren omgaan met interculturele situaties en dit geoefend in de praktijk
- Inspiratie voor de toekomst (Rolmodellen, werkbezoeken, netwerkmeetings)
- Hun netwerk uitgebreid”
Dergelijke projectdoelen, zelfs al zouden ze SMART geformuleerd zijn, zijn moeilijk te verifiëren. Het meten van veranderde houding is vaak onderhevig aan sociaal wenselijke antwoorden, humeur, het moment van de dag of andere invloeden die een rol spelen bij de ondervraging van respondenten.
Als ik in gesprek ben met aanvragers pleit ik er daarom niet zelden voor om aanvragers te prikkelen hun projecten vooral te evalueren op basis van gedrag(spatronen), handelingen of gewoonten. Dat is tenminste zichtbaar en daarom ook (makkelijker) meetbaar.
Tijdens de workshop viel mijn bewering niet bij iedereen in goede aarde en werd tegensgesproken op grond van het feit dat er veel academisch onderzoek bestaat, aan de hand waarvan kan worden aangenomen dat verandering in houding heeft plaatsgevonden bij doelgroepen die aan bepaalde invloeden hebben blootgestaan. Ik was even van mijn à propos toen ik dit hoorde.
Mijn tegenwerping is dat het me niet zoveel schelen of mijn buurman wel of een hekel aan me heeft: zolang hij me netjes begroet als we elkaar tegenkomen, leef ik prettig met hem samen. Andersom geldt dat ook: ik hoef he niet aardig te vinden (houdingskwestie) om ook aardig tegen hem te doen (gedrag).
Nog een voorbeeld: een initiatiefnemer constateert dat de integratie van etnische minderheden in een buurt te wensen over laat. Er is weinig contact tussen verschillende groepen, nieuwkomers zitten vaak thuis achter de buis en leven een geïsoleerd leven. Om dat te doorbreken heeft hij een project opgezet, gericht op participatie van nieuwkomers. De initiatiefnemer heeft er weinig aan als hij zijn project evalueert op basis van veranderde mening van de deelnemers over zijn anders-etnische buren. Als deze buren echter gaan deelnemen aan het verenigingsleven als vrijwilliger, bestuurslid, een gesprekje met elkaar aanknopen, helpt bij het schoonvegen van de straat, terwijl zij dat voorheen niet deden dan denk ik dat het initiatief zijn intentie heeft bereikt. Er is een verschil gecreëerd.
Wat betreft het argument van academisch bewijsmateriaal denk ik dat academisch onderzoek voor het gros van de aanvragers niet ter beschikking staat. Het vergt betrokkenheid van een onderzoeksinstituut of een hogeschool om aan de slag te gaan dataverzameling en -analyse. Dit wordt wel gedaan, maar lenen alle projecten zich daarvoor? Hoe verstorend is de aanwezigheid van studenten voor de projectactiviteiten? Niet elk initiatief leent zich daarvoor.
En áls er dan onderzoek heeft plaatsgevonden: hoe begrijpelijk is dat voor de initiatiefnemers, of de financiers? Vooraf zal moeten worden gekeken naar de toepasbaarheid van onderzoeken op maaiveldniveau. En naar mijn idee vooral gekeken moeten worden naar veranderd gedrag bij deelnemers.
Onbesproken in dit stuk is een vierde evaluatienorm: de kwaliteit van leven. Misschien dat ik daar in de toekomst een blog aan wijd.