Statistisk modellering

Statistik inom psykologi handlar ofta om att försöka passa en matematisk modell till sina observationer. Joseph Lee Rodgers (2010) skriver om hur fokus successivt flyttats från den klassiska hypotesprövande statistiken till statistisk modellering. Centrum i den hypotesprövande statistiken är nollhypotesen, denna utsaga om verkligheten som vi, likt ett domstolsförfarande, oftast vill bevisa vara »oskyldig bortom allt rimligt tvivel«. Det finns fem stora problem med en traditionella statistiska hypotesprövningen:

1. Alla nollhypoteser kan avvisas bara stickprovet är tillräckligt stort. Eller för att använda sig av domstolsmetaforen: alla nollhypoteser kan befinnas oskyldiga bara vi har tillräckligt många vittnen – oavsett vad dessa vittnen säger.
2. Traditionell hypotesprövning bygger på att en alternativhypotes ställs mot nollhypotesen. Att avvisa nollhypotesen betyder inte att vi automatiskt får stöd för alternativhypotesen.
3. Att behålla nollhypotesen betyder inte att vi har bevisat att den är sann. Eller med andra ord, nollhypotesen kan aldrig befinnas »oskyldig bortom allt rimligt tvivel«.
4. Hela resonemanget vid statistisk hypotesprövning är bakvänt, eftersom vi undersöker sannolikheten att erhålla givna data förutsatt att nollhypotesen är sann – inte sannolikheten att nollhypotesen är sann förutsatt givna data, vilket vore mera rimligt.
5. Bara för att något är statistiskt signifikant behöver det inte betyda att det är relevant. Eller som Jacob Cohen uttryckte det: »The earth is round (p<0.05).«

Detta betyder dock inte att traditionell statistisk hypotesprövning är värdelös, men man måste ha det ovanstående i minnet när man tillämpar olika metoder för statistisk hypotesprövning – något som det är värre med bland såväl forskare som studenter. Den traditionella hypotesprövningen inbjuder till ett dikotomt antingen–eller-tänkande (signifikant eller icke-signifikant) som egentligen är främmande för vetenskapen. Dessutom sätts fokus på den i själva verket ointressanta nollhypotesen och det är lätt att glömma bort vad det var man egentligen hade för fråga när man väl sitter där med sitt beräknade p-värde.

Matematiska modeller är, precis som alla modeller, förenklade avbildningar av verkligheten som i vissa viktiga aspekter överensstämmer med denna. Ett modellflygplan, till exempel, kan utseendemässigt stämma in i minsta detalj med det verkliga flygplanet – men det kan inte flyga. Detsamma gäller för matematiska, statistiska modeller. De matematiska relationer som modellen uttrycker motsvarar i någon mening de verkliga fenomen som observerats, men utgör alltid mer eller mindre grova förenklingar av den verklighet som man vill beskriva.

Däremot kan man undersöka hur väl en modell passar jämfört med en annan modell. En mer komplex modell förklarar mer än en enkel modell, men en komplex modell är bara bättre än en enkel modell om den faktiskt passar verkligheten bättre, dvs. om en mer komplex modell bättre passar de observationer man gjort.

Rodgers (2010) argumenterar för att vi i stället för traditionell hypotesprövning bör tänka i termer av modeller och hur väl dessa passar våra observationer. Detta för tillbaka fokus till den fråga som i själva verket är intressant, nämligen hur väl våra hypoteser och teorier beskriver verkligheten – till skillnad från statistisk hypotesprövning där fokus alltså ligger på att behålla eller avvisa nollhypotesen.

Enkla medelvärdesjämförelser med exempelvis t-test kan beskrivas som matematiska modeller. Faktum är att såväl t-test som de olika varianterna av ANOVA kan betraktas som specialfall av linjär regression, eller om man så vill, generella linjära modeller (GLM). Även enkla begrepp såsom medelvärde och standardavvikelse kan betraktas som modeller.

Rodgers sätter ord på det jag själv tänkt en längre tid, nämligen att minska fokus på den traditionella hypotesprövningen och i stället fokusera den beskrivande statistiken, inklusive beskrivning av linjära samband (linjär regression). Att att undervisa statistik som en form av modellering av verkligheten tror jag underlättar såväl pedagogiken som förståelsen av statistiken.

Rodgers, J. L. (2010). The epistemology of mathematical and statistical modeling: A quiet methodological revolution. American Psychologist, 65(1), 1-12. doi: 10.1037/a0018326

Civilstånd som faktor

Inte sällan samlar man in information om civilstånd – ogift, gift, frånskild, änka/änkling, etc – i hopp om att kännedom om detta skall kunna bidra till förståelsen av exempelvis behandlingsutfall av psykoterapi. När sålunda blir dags för analys av resultatet, är det vanliga att lägga in civilstånd (i form av dummy-kodade variabler) i en linjär matematisk modell för att predicera utfallet av behandlingen, mätt med lämpligt psykometriskt instrument.

Hur meningsfullt detta är insåg man för mer än 20 år sedan:

Occurence represents the first and most basic property of a transition. In family surveys, we collect this information by merely asking the respondent whether they ever married, had a child, or divorced. Clearly, some potentially important facts are ignored by focusing solely on the occurence of an event. In the case of divorce, we do not know how long the person has been divorced, wheter it was the first or second divorce, or whether the event occured immediately after marriage or many years later. No information is collected on the context of the divorce, economic or otherwise. Despite this incomplete account, a number of studies continue to rely on it. (Elder, 1991, s. 33–34)

Elder, G. H. (1991). Family transitions, cycles, and social change. I P. A. Cowan & M. Hetherington (red.), Family transitions (s. 31–57). Hillsdale, NJ: Lawrence Erlbaum.

Ett dåligt exempel på användning av siffror

Lennart Sjöberg skriver om kvinnliga chefer och balans i livet. Utan att bestrida riktigheten i att kvinnliga chefer har svårare än män att finna balans i livet, är inlägget ett exempel på hur man inte skall göra med siffror.

För det första, vad betyder siffrorna? Sjöberg skriver att det är ”data som samlats in med UPP-testet”, men den genomsnittlige läsaren vet förmodligen inte vad det är (jag vet det exempelvis inte).

För det andra, skalan på stapeldiagrammet börjar på 2,5 i stället för 0. Det innebär att den relativa skillnaden mellan såväl chefer och icke-chefer som män och kvinnor överdrivs. Kvinnliga chefer ser ut att skatta ungefär en tredjedel av de manliga chefernas poäng på UPP-testet, medan det i själva verket rör sig om tre fjärdedelar. Förhållandet mellan manliga och kvinnliga chefers skattningar är alltså inte 3:1, som diagrammet vill påskina, utan 4:3.

Man kan tycka att en professor i psykologi skulle vara mer noggrann med siffror, även i populärvetenskapliga sammanhang.

Om att gå vilse bland siffror

Once upon a time, statisticans only explored. Then they learned to confirm exactly—to confirm a few things exactly, each under very specific circumstances. As they emphasized exact confirmation, their techniques with past insights became less flexible. The connection of the most used techniques with past insights was weakened. Anything to which a confirmatory procedure was not explicitly attached was decried as “mere descriptive statistics”, no matter how much we had learned from it.

(John Wilder Tukey, Explorative Data Analysis, 1977)