In 2011 hebben wij, in samenwerking met de Universiteit Utrecht, een onderzoek uitgevoerd waarbij twee verschillende vraagvormen met elkaar vergeleken werden op een aantal aspecten. Dezelfde vragen werden op een van deze manieren getoond: standaard matrix (zie afbeelding 1) of scrollmatrix (zie afbeelding 2). Bovendien hebben we onderzocht of de lengte bij deze vraagvormen ook invloed heeft. De vraagvormen hadden drie verschillende lengtes: 5 items (kort), 10 items (middel) of 15 items (lang). Panelleden werden willekeurig aan een van de zes condities toegewezen.
Afbeelding 1:
Afbeelding 2:
Onlangs hebben wij het onderzoek herhaald om te achterhalen of het gebruik van scrollmatrices nog steeds beter is dan het gebruik van standaard matrices. Ook waren we benieuwd of de perceptie van onze panelleden tegenover deze vraagvormen veranderd is of niet. Hieronder worden enkele resultaten gepresenteerd.
Respons en vroegtijdig afbreken
De invloed op de respons en dropout is vergelijkbaar met 2011. De respons is gemiddeld hoger bij scrollmatrix dan bij standaard matrix (58% vs. 55%). Als gekeken wordt naar de lengte van de matrices, dan is de respons het hoogst bij vragenlijsten met korte matrices (58%) en het laagst bij vragenlijsten met lange matrices (55%). De respons is het hoogst bij vragenlijsten met korte scrollmatrices (59%) en het laagst bij vragenlijsten met lange standaard matrices (53%).
In totaal heeft 91% van de respondenten die de vragenlijst geopend heeft, deze ook volledig ingevuld. Dat betekent dat 9% de vragenlijst heeft afgebroken. De drop-out is gemiddeld hoger bij vragenlijsten met standaard matrices (11%) dan bij vragenlijsten met scrollmatrices (7%). Dezelfde trend als bij respons is hier te zien: het percentage drop-out is het hoogst bij vragenlijsten met lange (standaard) matrices en het laagst bij vragenlijsten met korte (scroll)matrices.
Invultijd
De gemiddelde invultijd per item verschilt niet veel tussen de type matrices. In 2011 is er een tegenovergesteld resultaat naar voren gekomen. Mogelijk zijn de panelleden aan de scrollmatrix gewend en gaat het om die reden sneller. In 2011 was de scrollmatrix net geïntroduceerd.
Responsbias
We hebben ook gekeken naar de invloed van de vraagvormen en lengtes op vier vormen van responsstijlen. De resultaten zijn vergelijkbaar met 2011 m.u.v. de gevonden resultaten bij spreiding en straigthlining, waarbij geen duidelijk invloed te zien is als gekeken wordt naar de type matrix.
- Extreme responsstijl (antwoordoptie 1 of 7): hoe langer de matrix, des te vaker extreme antwoorden voorkomen. Vanaf middellange matrices geldt: bij standaard matrices meer extreme antwoorden dan bij scrollmatrices.
- Neutrale responsstijl (antwoordoptie 4): hoe langer de matrix, des te vaker neutrale antwoorden voorkomen. Neutrale antwoorden komen vaker voor bij standaard matrices dan bij scrollmatrices.
- Spreiding: hoe langer de matrix, hoe minder spreiding in de antwoorden. Het type matrix heeft echter geen invloed op de spreiding.
- Straightlining (overal hetzelfde antwoord): door het kleine aantal keren dat straightlining naar voren kwam, zijn de analyses voor straightlining niet getoetst. Bij de lengte van de matrix was wel de volgende trend te zien: hoe langer de matrix, des te vaker straightlining naar voren komt. Bij het type matrix was er geen trend te zien.
Panelleden die de vragen in de vorm van scrollmatrices kregen, vonden de vragenlijst prettiger, makkelijker, leuker, minder vermoeiend, minder irritant en sneller om in te vullen dan panelleden die de vragen in de vorm van standaard matrix kregen. Deze resultaten komen overeen met de resultaten in 2011. Verder hebben we panelleden gevraagd of ze een voorkeur hebben voor een van deze vraagvormen: 44% geeft hun voorkeur aan de scrollmatrix, 35% aan de standaard matrix en 21% heeft geen voorkeur.