De Wegwijzer
×
De Wegwijzer
Meten

Voorbereiden van de meting

Waarom

Duurzame gedragsverandering is maatwerk. Ook interventies die op het eerste oog sterk lijken aan te sluiten bij de behoeftes van je doelgroep hoeven niet altijd effectief te zijn. Daarom is het belangrijk om op een systematische manier de effecten van je interventie(s) in kaart te brengen. Pas als je op een zuivere manier kunt aantonen dat je interventie(s) effectief zijn bij het veranderen van je gedrag kun je de juiste keuzes maken om de verandering te verankeren, te versterken of opnieuw te analyseren.

Met wie?

Hieronder zie je de functies die je in deze stap in het kernteam nodig hebt in oranje. De functies die optioneel zijn, zijn grijs gekleurd. Ook zie je welke rol zij hebben volgens VERI (Verantwoordelijk, Eindverantwoordelijk, Raadplegen, Informeren).

  • Kernteam
  • Optioneel
Verantwoordelijk

Projectleider

Eindverantwoordelijk

Bestuurder

Raadplegen

Security-officer

Zorgmedewerkers uit de dagelijkse praktijk

Functionaris gegevensbescherming

Applicatiebeheerder

Extern adviseur (optioneel)

Leidinggevende

Informeren

Communicatieadviseur

Opleidingsadviseur

Wat

In deze stap ga je bepalen op welke manier je de effecten van je interventie(s) op je doelgedrag gaat meten. Met deze meting wil je na de inzet van je interventie(s) kunnen vaststellen of deze effectief zijn geweest bij het veranderen van je gedrag. Daarbij is het belangrijk dat je op een systematische en onderbouwde manier werkt. Het meten van de effecten van je interventie(s) vereist tijd en middelen van je organisatie. Ook vraagt het vaak om samenwerking met collega’s van andere afdelingen en teams. Daarom is het belangrijk dat je vroegtijdig en ruim voor het uitrollen van je interventie begint met het voorbereiden van je meting. Gebruik hierbij het Werkblad Effectmeting.

Hoe

Het voorbereiden van de meting bestaat uit twee onderdelen. Als eerste ga je de meetmethode bepalen en daarna je onderzoeksontwerp. In de praktijk kun je veel tijd besparen door allereerst te inventariseren welke metingen al in je organisatie worden uitgevoerd. De middelen en ervaringen die voor bestaande metingen worden opgedaan, kun je namelijk vaak ook in je eigen traject toepassen en helpen je bij het uitwerken van de twee stappen. Bepaal in dit stadium welke frequentie van het doelgedrag jullie acceptabel vinden na het uitvoeren van de interventies. Het zal waarschijnlijk niet lukken om 100% te halen. Welk aantal is goed genoeg? Wanneer is de interventie voldoende succesvol?

Werkwijze

Bij het bepalen van je meetmethode breng je in kaart hoe je het doelgedrag van je traject zo objectief mogelijk meetbaar kunt maken. Je probeert idealiter per lid van je doelgroep meetbaar te maken hoe vaak ze het gewenste gedrag in een bepaalde periode uitvoeren. Dit kan bijvoorbeeld door het gedrag te observeren, door gegevens uit ICT-systemen uit te lezen, of door de doelgroep in een enquête te vragen of en hoe vaak ze het gedrag uitvoeren.
Op welke manier je gaat meten, is afhankelijk van je doelgedrag. Sommige gedragingen kun je direct observeren. Dit kan bijvoorbeeld bij gedragingen die in de openbare ruimte van je organisatie plaatsvinden, of gedragingen die in ICT-systemen worden vastgelegd. Andere gedragingen kun je niet direct observeren, maar wel indirect. Dan observeer je niet het gedrag zelf, maar meet je een indicatie voor het gedrag. Gedragingen die je niet direct en ook niet indirect kunt meten, meet je door de doelgroep zelf te benaderen. Daarbij maak je gebruik van vragenlijsten of gestructureerde interviews. In je vragenlijst of interview vraag je zo specifiek en zo duidelijk mogelijk naar de frequentie van het gewenste gedrag in een bepaalde tijdsperiode. In het overzicht onderaan deze pagina zie je de drie verschillende meetmethoden met een korte toelichting en een voorbeeld.

In het onderzoeksontwerp bepaal je hoe je de meting van het gedrag op een systematische manier gaat uitvoeren. Dit houdt in dat je bepaalt wanneer en bij wie je de interventie uitrolt en wanneer en bij wie je de meting(en) uitvoert.
Om de effecten van je interventie zuiver aan te kunnen tonen, is het belangrijk dat je niet zomaar iets gaat meten, maar op een systematische manier te werk gaat. Dit kun je bereiken door één of meerdere elementen van een gedegen onderzoeksontwerp toe te passen. Hieronder leggen we deze elementen uit.

Element 1: voor- en nameting
Een gebruikelijke manier om systematisch te meten, is om het gedrag voor het uitrollen van je interventie te meten en deze meting na afloop van de interventie te herhalen. Let erop dat je de interventie tijd geeft om te landen. Gebruikelijk is dat je de nameting op z’n vroegst één tot twee weken na het implementeren van je interventie afneemt. Bij gedragingen die minder frequent plaatsvinden, kun je de nameting ook op een later moment gaan afnemen. Door de resultaten van de twee metingen te vergelijken, kun je bepalen of het gedrag wel of niet is verbeterd. Het gebruik van meerdere meetmomenten werkt vooral goed op het moment dat de meting direct is of geen extra inspanning van je doelgroep vraagt. Het werken met een voor- en nameting is altijd een handige basis voor je meting. Let hierbij wel goed op andere zaken die naast je interventie een effect op je doelgedrag zouden kunnen hebben, zoals de uitrol van nieuwe software. Ook bij gedragingen die nieuw zijn voor je doelgroep moet je opletten met het toepassen van een voor- en een nameting. In deze gevallen is het vaak handiger om te werken met meerdere groepen.

Element 2: meerdere groepen
Als alternatief kun je gebruikmaken van twee groepen medewerkers, waarbij je de interventie alleen in een van de twee groepen uitrolt. Door vervolgens bij allebei de groepen een meting uit te voeren en de resultaten van de groepen met elkaar te vergelijken, kun je de effecten van je interventie met slechts één meetmoment bepalen. Daarbij is het belangrijk om met groepen te werken die sterk op elkaar lijken. Dit kun je bevorderen door de medewerkers willekeurig aan een van de twee groepen toe te wijzen. Het gebruik van meerdere groepen is handig om de effecten van je interventie specifiek in kaart te brengen. Een vereiste is wel dat je meerdere groepen hebt die vergelijkbaar zijn.

Je hoeft in je meting niet alle leden van je doelgroep mee te nemen. Probeer wel om een representatieve afspiegeling te krijgen van je doelgroep. Dit bereik je door 20-30% van je doelgroep mee te nemen in je meting. Bij het indelen van je doelgroep kun je element 3 toepassen: het willekeurig indelen van je medewerkers.

Element 3: willekeurig indelen
Zowel bij het meten met een voor- en een nameting als bij het meten met meerdere groepen is het handig om leden van je doelgroep willekeurig toe te wijzen aan een groep of meetmoment. Daarmee voorkom je dat verschillen in de resultaten ontstaan door verschillen in de gekozen groepen. Dit kan echter alleen bij interventies die op individueel niveau plaatsvinden, zoals communicatie via e-mail of persoonlijke gesprekken.

Overzicht van de drie meetmethodes

Hoe Wanneer Voorbeeld
Direct meten Je observeert of meet het gedrag zelf. Bij gedragingen die te observeren zijn doordat ze in de openbare ruimte plaatsvinden of een digitaal spoor nalaten. Via het EPD meten hoe vaak medewerkers gebruikmaken van de buitenautorisatie (noodprocedure). Over een afdeling lopen en turven hoeveel onbeheerde computers niet zijn vergrendeld.
Indirect meten Je observeert of meet een indicatie voor het gedrag. Bij gedragingen die niet te observeren zijn maar direct samenhangen met iets wat je wel kunt meten. Het papierverbruik als indicatie voor het op papier printen van informatie in plaats van digitaal te werken.
Gedrag uitvragen* Je vraagt aan de doelgroep in een vragenlijst of interview hoe vaak ze het gedrag uitvoeren. Bij gedragingen die je anders niet meetbaar kunt maken. Via een vragenlijst uitvragen of medewerkers bij het in gebruik nemen van een account een nieuw en veilig wachtwoord hebben aangemaakt. Via interviews uitvragen hoe vaak medewerkers via WhatsApp met familie van patiënten contact hebben gehad door hun WhatsApp-geschiedenis van de laatste week erbij te pakken.

* Bij het bevragen van je doelgroep over hun gedrag is het vaak wel duidelijk welk informatieveilig gedrag gewenst is. Dit kan er toe leiden dat je doelgroep dit gedrag noemt in plaats van het gedrag dat ze daadwerkelijk uitvoert. Om dit effect van sociaal wenselijke antwoorden te reduceren, is het belangrijk herhaaldelijk te benadrukken dat alle informatie die je doelgroep geeft vertrouwelijk wordt behandeld.

Downloads

Werkblad Effectmeting

Resultaat stap Voorbereiden van de meting

Je hebt een planning opgesteld voor het uitvoeren van je meting. Daarin heb je bepaald hoe je het doelgedrag objectief en herhaalbaar kunt meten en hoe je de meting op een systematische manier gaat uitvoeren.