De vragenlijst is een instrument dat menig bedrijf inzet voor het
verzamelen van data (informatie). Maar is de data verkregen met dit
instrument altijd wel te vertrouwen? Dit blog kaart drie struikelblokken
aan die ieder stof tot nadenken zullen bieden.

1. Verschil tussen denken en doen
Intenties lijken vaak een
goede voorspeller van toekomstig gedrag. Geven daarom vragen omtrent
bijvoorbeeld de koopintentie van een nieuw innovatief product een juiste
indicatie van toekomstig koopgedrag? Gaat een respondent daadwerkelijk
over tot de aanschaf van dit product als deze vooraf aangeeft het wel te
willen kopen?
Fishbein en Ajzen verwijzen in hun boek Predicting and changing behavior
(2010) naar tal van studies die ondermeer het verband onderzochten
tussen intentie en gedrag. Een van deze onderzoeken is een klassieker.
Dit onderzoek werd begin 1930 uitgevoerd door Richard LaPiere (professor
aan Stanford University van 1929 tot 1965). LaPiere reisde in die
jaren, vergezeld van twee metgezellen van het Chinese ras, door de
Verenigde Staten. Juist in die tijd overheersten in de Verenigde Staten
vooroordelen tegen Aziaten. Tijdens hun reis bezochten de drie zo’n 250
slaap- en eetgelegenheden. Ze werden vrijwel overal toegelaten voor onderdak of eten op slechts één gelegenheid
na. Na hun reis stuurde LaPiere alle bezochte gelegenheden een brief
met de vraag of ze mensen van het Chinese ras zouden toelaten. Van alle
128 respondenten gaf 92% aan dat ze mensen van dat ras zouden weigeren.
Het
onderzoek van LaPiere toonde met andere woorden aan dat intenties en
overeenkomstig gedrag niet zomaar in elkaars verlengde liggen. De studie
liet zien dat er een verschil kan bestaan tussen denken en doen. Evenzo
is het verband tussen bijvoorbeeld koopintentie en daadwerkelijke
aanschaf niet altijd even sterk (zie ondermeer Morwitz, Steckel, &
Gupta [2007]).
De aangegeven intentie van een respondent is helaas dus niet altijd een even goede voorspeller van overeenkomstig gedrag.

2. Tot hier en niet verder
“Waarom heeft u dit product
gekozen en niet dát alternatief?” Dit is een type introspectievraag die
een beslisser (klant) voorgelegd kan krijgen in een vragenlijst. Maar
hebben mensen wel toegang tot hun eigen cognitieve beslisproces waardoor
ze hun uiteindelijke keuze kunnen uitleggen?
Nisbett en Wilson
(1977) nemen een duidelijk standpunt in wat betreft het antwoord op deze
laatste vraag: Mensen hebben toegang tot de eindresultaten van hun
cognitieve processen, maar geen toegang tot deze
cognitieve processen zelf. Dit betekent bijvoorbeeld dat mensen wel
kunnen aangeven welk product ze kiezen, maar geen directe toegang hebben
tot het beslisproces dat leidde tot deze productkeuze. In het artikel
uit 1977, wat beschouwd kan worden als een klassieker, onderbouwden
Nisbett en Wilson hun standpunt aan de hand van verschillende
onderzoeken.
In één van deze onderzoeken werd 52 winkelbezoekers
gevraagd om te kiezen tussen vier paren sokken. Deze paren waren naast
elkaar (rijgewijs) uitgestald, en alle sokken waren identiek aan elkaar.

De keuzeresultaten toonden dat de meeste winkelbezoekers een
voorkeur hadden voor het uiterst rechtse paar in de rij. Omdat deze
keuze louter gebaseerd is op positie (meest rechtse paar) wordt dit
keuzeresultaat het positie-effect genoemd.
Nadat dezelfde
winkelbezoekers hun keuze bekend hadden gemaakt werd ze tevens gevraagd
hun keuze te onderbouwen met redenen. Opvallend was dat geen enkele
winkelbezoeker hierbij verwees naar de positie in de rij om hun keuze te
verantwoorden. In plaats daarvan haalden bezoekers redenen aan als
‘beter gehaakt’ of ‘betere elasticiteit’, terwijl alle paren sokken identiek waren.
Zelfs als ze achteraf op de hoogte werden gebracht van het
positie-effect, ontkenden ze vrijwel allemaal dat hun keuze iets te
maken had met positie.
Dit eenvoudige onderzoek lijkt te bevestigen
dat mensen geen toegang hebben tot hun cognitieve processen. In het
geval van de sokken werd het cognitieve beslisproces geconfronteerd met
alternatieven die gelijkwaardig waren (identieke paren sokken). Deze
moeilijke (of juist makkelijke?) keuze werd mogelijk opgelost door
eenvoudigweg het uiterst rechtse alternatief te kiezen.
Voor het
uitleggen van het ‘waarom’ van deze keuze hebben kiezers toegang nodig
tot hun cognitieve keuzeproces (bijvoorbeeld: indien de alternatieven
gelijkwaardig zijn, kies dan het meest rechtse alternatief). Maar het
probleem lijkt dat ze juist geen toegang hebben tot dit proces. Toch
komen ze op de proppen met overtuigende redenen (zoals ‘beter gehaakt’)
als het gaat om hun uiteindelijke keuze te verantwoorden. Deze redenen
wekken bovendien vaak de indruk alsof mensen daadwerkelijk toegang
zouden hebben tot hun eigen keuzeproces. Het bovenstaande onderzoek laat
echter zien dat de aangehaalde redenen onjuist en onzinnig kunnen zijn
en geen weerspiegeling vormen van het werkelijke keuzeproces.
Dus een
beroep doen op introspectievragen om inzicht te krijgen in een
cognitief proces (zoals menselijk keuzeproces) kan onbetrouwbare en
daardoor onbruikbare informatie opleveren.


3. Meten is weten?
Oké, antwoorden op intentie- en
introspectievragen zijn niet altijd even bruikbaar. Maar de antwoorden
zijn toch wel te vertrouwen als simpelweg gevraagd wordt naar hoeveel
uur televisie iemand kijkt?
In zijn artikel How questions shape the answers
beschrijft Schwarz (1999, pagina 97-98) een onderzoek waarin 132 mensen
gevraagd werd hoeveel uur televisie ze per dag keken. Deze mensen
werden willekeurig toegewezen aan één van twee groepen. Het verschil
tussen deze twee groepen zat hem in de indeling van de schaal waarop zij
hun antwoord gaven. In de tabel hieronder is te zien hoe de indeling
van de schaal (lage versus hoge frequentie) per groep verschilde. In de
tabel is ook het percentage weergegeven dat bij een specifieke schaal
koos voor een bepaald alternatief. Bijvoorbeeld, bij de groep met de
hoge frequentieschaal gaf 62.5% aan dat ze minder dan 2.5 uur televisie
keken.
Wat valt op bij deze onderzoeksresultaten? Bij de schaal met de lage
frequentie-alternatieven gaf 16.2% aan ‘meer dan 2.5 uur’ televisie te
kijken. Bij de hoge frequentieschaal gaven echter beduidend meer mensen
aan ‘meer dan 2.5 uur’ televisie te kijken, namelijk 37.5%
(=100%-62.5%).

Soortgelijke resultaten vonden ook Menon en collega’s
(1995) in hun onderzoek. Zij observeerden dat bij een hoge
frequentieschaal 54.5% aangaf ‘meer dan 7 keer’ per week te snacken. Dit
laatste percentage lag significant hoger dan de 17.8% die bij een lage
frequentieschaal aangaf ‘meer dan 7 keer’ per week te snacken.
Deze
twee onderzoeken laten dus zien dat de schaalindeling de resultaten kan
beïnvloeden. Bij het gebruik van dit soort schalen is meten dus niet
altijd zeker weten.

Bezint eer ge begint
Vragenlijsten worden dikwijls
ingezet om data te verzamelen. Hierboven zijn drie problemen beschreven
die van toepassing zijn op vragenlijsten (zie ondermeer Schwarz [1999]
voor andere struikelblokken). Door zulke problemen kan bepaalde
verzamelde data op zijn minst als dubieus bestempeld worden.
Denk dus na over hoe en welke vragen gesteld gaan worden voordat de vragenlijst wordt toegepast. Bezint eer ge begint…

Meer informatie?
De auteur begrijpt dat de inhoud van dit
blog reacties oproept bij sommige lezers. Deze lezers worden dan ook
graag uitgenodigd om hieronder te reageren.
Voor
mogelijke oplossingen betreffende de drie beschreven struikelblokken
hierboven kan ook contact worden opgenomen met de auteur via Datall
(tel: 06 413 00 472; email: info at datall-analyse.nl) of raadpleeg www.datall-analyse.nl.

dr.ing. Stefan Gelissen
data-analist & analyse-ontwikkelaar bij Datall

Voor lezers die geïnteresseerd zijn in het positie-effect van
Nisbett en Wilson (1977) is ook een duidelijke korte omschrijving van
het onderzoek met de sokken te vinden op
http://www.userfocus.co.uk/articles/askingwhy.html

Gebruikte literatuur

  • Fishbein, M., & Ajzen, I. (2010). Predicting and changing behavior: The reasoned action approach. New York: Psychology press.
  • Menon, G., Raghubir, P., & Schwarz, N. (1995). Behavioral frequency judgments: An accessibility-diagnosticity framework. Journal of consumer research, 22, 212-228.
  • Morwitz, V.G., Steckel, J., & Gupta, A. (2007). When do purchase intentions predict sales? International journal of forecasting, 23, 347-364.
  • Nisbett, R.E., & Wilson, T. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological review, 84, 231-259.
  • Schwarz, N. (1999). Self-reports: How the questions shape the answers. American psychologist, 54, 93-105.