Upålideligheden af selvrapporterede spørgeskemadata: Indsigter fra et eksperiment om COVID-19 hygiejneadfærd
Spørgeskemaer og selvrapporterede data: en undersøgelse af de bias, der påvirker svarene, samt forslag til metodiske strategier for at forbedre nøjagtighed og pålidelighed i adfærdsforskning.
Mennesker er vanedyr. Vores dage har en særlig rytme, og de adfærdsmønstre, vi udviser i dag, er generelt en indikation af, hvordan vi opførte os i går og vil opføre os i morgen. Men på trods af, hvor rutinepræget vores liv kan være, har adfærdsforskning de sidste 50 år vist, at folk render ind i store problemer, når de bliver bedt om at huske specifikke detaljer fra deres dagligdag.
Kan du for eksempel huske, hvor mange gange du tjekkede din e-mail i går, eller hvor mange glas vand du drak? Chancerne er høje for, at du faktisk tjekkede din e-mail og drak et par glas vand, men at huske tilbage på og tælle rutineprægede hændelser er nemmere sagt end gjort. Hvorfor? Fordi de typisk ikke bliver registreret i vores ‘episodiske hukommelse’.
Denne manglende evne til præcist at huske de ikke-fremtrædende dele af vores liv gør brugen af metoder som selvrapportering via spørgeskemaundersøgelser kompliceret. Selvfølgelig er spørgeskemaer en hurtig, billig og ikke-invasiv metode til at nå store dele af befolkningen og indsamle data. Men hvis de indsamlede data ikke præcist repræsenterer virkeligheden, gør det ofte spørgeskemaer ret meningsløse og vildledende. Det er derfor, vi regelmæssigt undersøger pålideligheden og validiteten af selvrapporterede spørgeskema-data hos iNudgeyou, samt offentliggør vores metodologiske indsigter fra dette arbejde i førende tidsskrifter. I dette Insights-indlæg ser vi nærmere på et fascinerende og afslørende eksperiment, der blev offentliggjort i det førende tidsskrift Behavioural Public Policy, og som er baseret på en strategi til at vurdere pålideligheden – eller manglen på samme – af selvrapporterede spørgeskema-data.
Nå nye højder
9.-11. DECEMBER 2024 | KØBENHAVN
KOM MED PÅ VORES MASTERCLASS
‘Hope-projektet’ gav en forskningsmulighed
Eksperimentet blev sat i gang, da COVID-19 pandemien hurtigt spredte sig i begyndelsen af 2020. Politikere verden over forsøgte at fastslå, hvor godt borgerne i deres respektive lande overholdt de adfærdsregulerende hygiejneforanstaltninger, som sundhedsmyndighederne anbefalede. Storskala spørgeskemaundersøgelser, som Aarhus Universitets HOPE-projekt, blev iværksat over hele verden, og de indsamlede data blev i sidste ende brugt til at informere de tiltag, regeringerne tog. Et tydeligt eksempel på dette var implementeringen af de langvarige nedlukninger i Danmark, efter data indikerede et fald i befolkningens overholdelse af regeringens anvisninger om god håndhygiejne og social distancering.
I lyset af den vigtige rolle, som spørgeskema-data spillede under COVID-19, besluttede vi i iNudgeyou at se nærmere på pålideligheden og validiteten af sådanne resultater gennem en adfærdsvidenskabelig linse ved at udfære en lille skala-version af HOPE-projektets spørgeskemaundersøgelser – med en tvist: I stedet for blot at bede et nationalt repræsentativt udsnit af deltagerne om at huske tilbage på og rapportere frekvensen af COVID-19 relevant adfærd fra hukommelsen, gav vi forankringspunkter, som svarene kunne vurderes ud fra.
Eksperimentel tilgang
I samarbejde med markedsføringsfirmaet Gallup spurgte vi 1.001 voksne danskere fra 9. juni til 12. juni 2020 med fokus på 2 centrale adfærdsmønstre; håndhygiejne og social afstand. Respondenterne blev stillet følgende spørgsmål, designet til nøje at efterligne de oprindelige spørgsmål fra HOPE-projektet:
1. Hvor mange gange vaskede/desinficerede du dine hænder i går?
2. Hvor mange gange var du inden for 2 meters afstand af en anden person i mere end 2 minutter i går?
Forud for hvert af disse spørgsmål blev deltagerne dog instrueret i at identificere, om hyppigheden af deres adfærd var over, under eller lig med en benchmarkværdi, eller “forankringspunkt”. For spørgsmålet om håndvask/desinficering anvendte vi 2 forskellige forankringspunkter: Plausible høje og lave frekvenser sat til 3 for den lave forankring og 30 for den høje. På lignende vis blev høje og lave forankringspunkter tildelt for spørgsmålet om social afstand, hvor 3 var vores lave forankring, og 15 var den høje.
The Anchoring(-and-Adjustment) Effect
One of the persistent effects that Kahneman and Tversky interpreted as resulting from a cognitive bias or heuristic was the influence of an initial, irrelevant value, called an anchor, on people’s subsequent estimates of a true value. In one version of their experiments on anchoring, participants were randomly ascribed to one of two groups. In one group participant spun a roulette wheel which was rigged so that it would stop at 10. In the other it was rigged so it would stop at 65. The two numbers provided the anchor. Participants were then asked whether the percentage of African nations in the UN was less or larger than the anchor and then asked for their estimate of the true value. The average estimate in the group with the low anchor was 25% which was significantly less than the 45% estimated in the group with the high anchor. This effect of an anchor on an estimate became known as ‘the anchoring effect’ where an initial, irrelevant anchor systematically influences the subsequent value-estimates of participants, see (Kahneman & Tversky, 1974). The reason why this effect may be considered as something more than a random curiosity is the systematic directedness or influence of the anchor as well as the fact that participants knew the roulette produced a random number, why it ought to provide no relevant information and have no influence on their estimates. – Hansen, 2025
References:
Hansen, P.G. (2025). Notes on Behavioural Insights – Theory, Methodology & Praxis, (forthcoming 2025).
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185, 1124-1131.
Resultater og fund
I betragtning af den eksisterende adfærdsvidenskabelige forskning, der viser, at spørgeskemaresultater er genstand for fejlrapporteringer og systematiske bias, er det måske ikke overraskende, at vores eksperiment bekræftede, hvordan forankringspunkter påvirker, hvordan spørgeskemadeltagere husker og rapporterer deres egen adfærd.
I tilfældet med social afstand rapporterede respondenter, der blev præsenteret for den lave forankringsværdi, et gennemsnit på 6,7 tætte interaktioner den foregående dag, mens gruppen med høj forankring havde et gennemsnit på 8,7 interaktioner, en stigning på 2. På samme måde havde respondenterne af den lave forankringsgruppe for håndhygiejne et gennemsnit på 10,9 håndvaske, mens gruppen med høj forankring rapporterede 18,1 gennemsnitlige håndvaske, en bemærkelsesværdig stigning på 7,2. (Se grafer over gennemsnittene nedenfor.)
Figur 1. Gennemsnitlig behandlingseffekt (%). Viser selvrapporterede data om tæt kontakt og håndvask, ved brug af høj og lav anker. N=1001
Både for social afstand- og håndhygiejne-scenarierne var ændringerne mellem de lave og høje forankringsgennemsnit statistisk signifikant. Det er især interessant, hvor dramatisk en effekt forankring havde på selv-rapporteringen af håndhygiejne.
Der er et fald på næsten 40% i hygiejneefterlevelsen, når den lave forankring blev brugt – eller en stigning på 66% for den høje forankring, om man vil! Vores hypotese angående årsagen til dette er, at forankring påvirker selvrapporterede svar mere, jo mindre svaret understøttes af hukommelsen. I tilfældet angående social distancering under COVID-19 bør det ikke være overraskende, at folk ville have en tendens til bedre at huske, hvis de mødtes og talte med nogen. Alligevel fører det høje forankringspunkt til en stigning på 30% i den selvrapporterede adfærd!
Implikationer
Hvad er så de vigtigste implikationer fra vores eksperiment? For det første har vi endnu engang vist, hvordan forankring kan påvirke udfaldet af spørgeskema-data, og det nogle gange i betydelig grad. Ud over dette er der dog de større implikationer ved at anerkende begrænsningerne ved spørgeskemaer:
1. Desuagtet om deltagerne har dårlig hukommelse, føler et samfundsmæssigt pres for at øge/formindske visse selvrapporterede data eller er tilbøjelige til suggestibilitet, er slutresultatet, at spørgeskemaer (i de fleste tilfælde) simpelthen ikke er en pålidelig metode til at indsamle præcise oplysninger om befolkningers rutinemæssige adfærd.
2. I stedet for at stole på selvrapporterede data, især i situationer, hvor fejlagtige resultater kan have en indvirkning på mange, bør rutinemæssige adfærdsmønstre observeres og måles i deres naturlige kontekst.
I sammenhæng med spørgeskemaer angående folkesundheden eller rutinemæssig adfærd, der er almindelige under kriser som COVID-19 pandemien, er det derfor afgørende, at beslutningstagere forstår begrænsningerne af disse data, før de bruger dem til at træffe beslutninger, der påvirker borgerne bredt.
I iNudgeyou er vi dedikeret til at integrere viden om menneskelig adfærd med indsamlingen af virkelige data for at hjælpe i netop sådanne situationer. Vi søger altid nye muligheder for at samarbejde med organisationer om lignende projekter, der kan gøre os alle klogere på, hvordan vi forstår og studerer menneskelig adfærd.
Det er derfor også vigtigt at bemærke, at vores eksperimenter om pålideligheden og gyldigheden af selvrapporterede spørgeskema-data som det, der er diskuteret her, ikke blot afslører, hvor upålidelig og non-valid indsamling af selvrapporteret adfærd via spørgeskema kan være, når man studerer rutinemæssig adfærd. Eksperimenterne angiver nemlig også forankring som en metodisk test til at evaluere og måle pålideligheden og – når de parres med virkelige data eller teoretiske overvejelser angående den menneskelig hukommelse – gyldigheden af indsamlede selvrapporterede spørgeskema-data.
Læs forskningsartiklen
Hansen, P., Larsen, E., & Gundersen, C. (2022). Reporting on one’s behavior: A survey experiment on the nonvalidity of self-reported COVID-19 hygiene-relevant routine behaviors. Behavioural Public Policy, 6(1), 34-51. doi: 10.1017/bpp.2021.13.
DEN 9.-11. DECEMBER 2024 | KØBENHAVN
KOM MED PÅ DEN NÆSTE MASTERCLASS