Re: Re: Significantie berekenen over responsepercentages
Beste Jadex,
Je hebt me heel erg goed op weg geholpen, bedankt!!! Ik heb nu in Excel een tool gemaakt waar je kan zien welke versies significant verschillen t.o.v. elkaar. Dit doe ik door per versie de betrouwbaarheidsmarge uit te rekenen (met de formule +/- 1,96 ( p(100 - p)/ n-1 )1/2 ) en deze waarden grafisch onder elkaar weer te geven. Als de balken elkaar niet overlappen is er sprake van een significant verschil. Correct?
Om dit te controleren heb ik van jouw formule gebruik gemaakt, maar nu kan het voorkomen dat er verschillen ontstaan. Bijvoorbeeld:
N1 = 200.000, P1 = 0,15% N2 = 30.000, P2 = 0,2%
Als ik de betrouwbaarheidsmarge uitreken voor P1 kom ik op 0,15% +/- 0,02% (min. 0,13%, max 0,17%) Voor P2 is dat 0,2% +/- 0,05% (min. 0,15%, max. 0,25%). Omdat hier een overlap in zit zijn de verschillen m.i. niet significant.
Als ik echter deze gegevens in jouw formule invoer, krijg ik een gezamenlijke fractie van 0,001565, een verschil in fracties van 0,0005 en een maximale grens voor het verschil in fracties van 0,00048. In dit geval zijn de verschillen wel significant!
Wat is nu een juiste methode om van meerdere versies grafisch weer te geven of ze significant van elkaar verschillen? Het kan zijn dat het om de definitieve mailing gaat, het kan ook zijn dat het een test is (steekproef) voordat de definitieve mailing wordt verstuurd. Zit hier nog verschil in formules?
Nescio
Iets anders - dinsdag 30 december 2003
Antwoord
Wat jij in feite doet is het vergelijken van twee betrouwbaarheidsintervallen. Als die elkaar niet overlappen is er verschil. Ben ik het mee eens. Is er wel overlap dan is er geen verschil. Oke. In jouw geval geen verschil dus.
En nou voer je dezelfde gegevens in in mijn formule en er blijkt dan opeens wel verschil te zijn. Ra,ra (hoe) kan dat ??
De verklaring is de verschillende technieken die we gebruiken. Jij rekent twee betrouwbaarheidsintervallen uit en plakt die onder elkaar. Bij het overlappen tel je in feite als marge de beide aparte marges uit de betrouwbaarheidsintervallen op. Kijk je naar de marge bij de door mij genoemde toets dan is die marge kleiner als bij het "optellen" van jouw marges. Hierin zit hem het verschil. De toets zoals ik die gebruik is iets krachtiger dan het vergelijken van de twee betrouwbaarheidsintervallen zoals jij dat doet. Dat betekent hier dat je met die toets "echt maar net" een verschil kunt aantonen, en dat dat verschil dus met zekerheid in werkelijkheid niet al te groot zal zijn. Een grensgeval dus. De moraal is dat je moet kiezen voor een van beide technieken en verder niet meer achterom kijken. De toets is daarbij iets krachtiger, het vergelijken van betrouwbaarheidsintervallen is iets inzichtelijker. Aan jou de keus.
Dit is een reactie op vraag 17311 
