WisFaq!

Statistische maatstaven bij census of kleine steekproef

Bij het bedrijf waar ik werk wordt de beoordeling van een medewerker mede bepaald op basis van de tevredenheid van de klanten van de afdeling waar die medewerker werkzaam is.
Als nulmeting zijn onlangs alle 445 klanten van mijn afdeling geenqueteerd (dus geen steekproef maar een census). Daarvan hebben er 182 gerespondeerd.
Van die 182 bleek dat er 81 (ca 45%)tevreden waren.
Over een half jaar vindt een tweede meting plaats.
Met hoeveel procent moet het aantal tevreden klanten stijgen om te kunnen spreken van een significante verbetering (95% betrouwbaarheid) van de klanttevredenheid?

Voorkomen moet worden dat de beoordeling van medewerkers gebaseerd wordt op een statistische aberratie i.p.v. op een daadwerkelijke verandering in de klanttevredenheid.

Jan van der Harst
5-7-2004

Antwoord

De vraag lijkt redelijk eenvoudig maar dat is schijn. Er zit namelijk een flinke adder onder het gras.

Allereerst is het van belang hoe tevredenheid gemeten wordt. Is dat op een 10-puntsschaal, een 5-puntsschaal (zeer ontevreden tot zeer tevreden) of een 2-puntsschaal (ontevreden-tevreden). Uit uw verhaal blijkt het laatste. Dat betekent dat we het hebben over percentages tevreden en ontevreden klanten. En de vraag is om te toetsen of er bij een vervolgmeting aangetoond kan worden dat tevredenheid significant (dus niet aan het toeval liggend) is toegenomen.

Bij dit soort toetsen is onafhankelijkheid van belang. Een standaardsituatie is de vraag of mensen naar het buitenland op vakantie gaan. Ik stel die vraag in Groningen en vervolgens stel ik dezelfde vraag in Limburg. Wanneer blijkt dat in de steekproef in Limburg een groter percentage op vakantie naar het buitenland vertrekt dan kan deze uitkomst twee oorzaken hebben:
1) Door het toeval heb ik in Groningen meer thuisblijvers ondervraagd terwijl ik door het toeval in Limburg net wat meer mensen heb ondervraagd die naar het buitenland zullen gaan (dit in vergelijking met de werkelijke percentages). Dat betekent dat de werkelijke percentages in Groningen of Limburg gelijk kunnen zijn.
2) In de populatie in Limburg gaat echt een groter percentage naar het buitenland op vakantie dan in Groningen.
Bij het toetsen gaat het om de vraag bij 2) waarbij ik de oorzaak 1 wil uitsluiten.
In dit soort gevallen betekent het overigens wel dat van een significant hoger percentage in Limburg gesproken mag worden wanneer het verschil in beide steekproeven zo ongeveer 8¹/₂% bedraagt. Dit bij steekproefgrootten van 182 personen.

Uw situatie verschil echter op twee belangrijke punten van de standaard situatie:
1) Uw populatie is eindig (455 klanten)
2) Uw vervolgmeting zal met zekerheid een steekproef betreffen die AFHANKELIJK is van de eerste steekproef.
Beide constateringen zorgen er nu voor dat u veel eerder van een toename van tevredenheid mag spreken dan bij een verschil van 8¹/₂%. Wat dat percentage dan wel moet zijn is echter niet uit te rekenen. Dat hangt oa. af van de overlap tussen de twee steekproeven (dwz het aantal mensen dat twee keer geantwoord heeft).
Wanneer namelijk precies dezelfde 182 mensen opnieuw gaan antwoorden heeft U in deze groep al een werkelijk verschil indien er één tevreden klant meer blijkt te zijn. Omdat het om exact dezelfde klanten gaat hoeft dit niet getoetst te worden. In werkelijkheid zal de overlap echter niet 100% zijn. Dus waar leggen we de grens: ergens tussen de één persoon meer en de 8¹/₂% meer?

Dat is natte vinger werk. Ik zou op basis van het bovenstaande verhaal gewoon een doel willen stellen: 3% (of misschien 4%) meer in de steekproef bij het vervolgonderzoek merken we aan als toename van de klanttevredenheid...... tja mits de respons weer in dezelfde orde van grootte zal liggen (150). Gezien het bovenstaande lijkt me dat geen gekke keuze.

Met vriendelijke groet

JaDeX

jadex
8-7-2004