viste, at kun lidt over hver tredje forskningsresultat tåler en gentagelse.

Transkript

1 Af Berit Viuf, journalist Det gav genlyd i hele verden, da det hidtil største projekt om psykologiforsknings videnskabelige troværdighed viste, at kun lidt over hver tredje forskningsresultat tåler en gentagelse. 30 nr

2 Forskning K onklusionen i næsten ethvert forskningsprojekt er, at der bør laves mere forskning inden for området. Viden bevæger sig, og hvad vi troede var sandt i går, viser sig nogle gange at være forkert i dag. Det er et vilkår i forskningen. Alligevel vakte det opsigt, da Brian Nosek, professor i psykologi ved Virginia Universitet, USA, i august kunne præsentere resultaterne af et stort projekt, hvor 270 kollegaer havde replikeret 100 studier inden for psykologisk forskning. Studierne var udvalgt fra 2008-udgaverne af tre forskellige, anerkendte videnskabelige psykologitidskrifter og er det hidtil største replikationsforsøg inden for psykologi. Halvdelen af forsøgene drejede sig om socialpsykologiske forskningsresultater, halvdelen om kognitive psykologiske forskningsresultater. Projektet viste, at hele 75 procent af de socialpsykologiske forsøg ikke lod sig replikere (at forsøget ikke kunne gentages med samme resultat, red.), mens halvdelen af de kognitive forsøg heller ikke kunne tåle en reprise. Resultatet gik verden rundt i magasiner som det anerkendte, internationale videnskabelige tidsskrift Nature, men også i blogposts og på sociale medier. Nogle betegnede det som endnu et eksempel på det, der er blevet kaldt videnskabens værste metodologiske krise den såkaldte replication crisis har været diskuteret i flere år. Andre bed mærke i, at det var psykologisk forskning, det handlede om for netop psykologi, og i særdeleshed socialpsykologi, har ofte været i fokus i debatten om replikationer. Fælles projekt Vanskeligheden ved at reproducere forsøg i psykologi og videnskab generelt har således været til diskussion gennem mange år. Sager, hvor ældre og velestimerede forskningsresultater pludselig har vist sig problematiske, hvis forsøgsdesignet er blevet minimalt ændret, er dukket op med jævne mellemrum. Brian Nosek og hans kollegaer ønskede derfor en grundigere undersøgelse af dette. Hans projekt, der går under navnet Reproducibility Project: Psychology, er også en reaktion på en kontroversiel sag, der dukkede op i de videnskabelige medier for snart fire år siden. Her kunne man i tidsskriftet Journal of Personality and Social Psychology læse om et opsigtsvækkende forskningsresultat fra en anerkendt socialpsykolog, Daryl Bem, der ud fra ni studier konkluderede, at mennesker kan se ind i fremtiden. Et forskningsresultat, der brød mediemuren, men som også blev udfordret af forskerkollegaer. De replikerede forsøgene med et meget anderledes resultat, men blev kategorisk afvist af de videnskabelige tidsskrifter. Sagen satte gang i en diskussion ikke bare om publiceringspraksis, men også om psykologiforskning og replikation. Vi havde selv mange problemer med at reproducere individuelle fund. Det var tydeligt, at vi havde brug for en mere generel vurdering af reproducerbarheden af forskningsresultater, forklarer Nosek om baggrunden for studiet. Brian Nosek valgte en utraditionel løsning. Der var ingen anden mulighed end at gentage et stort antal af forsøg, hvis de skulle finde et sådant estimat. Det var en stor mundfuld. Vi havde ikke tiden til at gøre det hele selv, så vi besluttede at gøre det som et crowdsourceprojekt, fortæller Nosek til magasinet P. Nosek og hans team lagde en plan for studiet og annoncerede det som et fælles projekt. Det viste sig hurtigt, at de ikke var de eneste, der bekymrede sig om reproducerbarhed inden for psykologifaget. Frivillige forskere strømmede til. Over de følgende tre år blev 100 forsøg gentaget på laboratorier verden over. Det var et af disse projekter, som mange 2015 nr

3 Folk tror mange gange, at når de har lavet et ikke-signifikant resultat, så har de bevist, at der ingen effekt er. Men det er humbug. For det kan også bare være et udtryk for, at stikprøven ikke er stor nok. Jesper Wiborg Schneider, seniorforsker på Dansk Center for Forskningsanalyse, Aarhus Universitet. gerne ser gjort, men ingen kan gøre på egen hånd. Ved at designe det som et fælles projekt, blev det pludselig muligt, fortæller Nosek, der selv var overrasket over, hvor mange der meldte sig under fanerne. Som studiet skred frem, var det tydeligt, at det at reproducere forskning er knapt så ligetil. Skyldes det dårlig forskning? Forskere, der konkluderer for meget på for små datasæt, eller vrider deres resultater, så de kan bekræfte en hypotese? Eller er det bare et vilkår i vejen mod visdom? Humbug i statistikken Hvis et forskningsresultat skal få en plads i branchens spotlight, er den vigtigste vej en plads i de mest prestigefyldte videnskabelige tidskrifter. Og skal foden inden for på et anerkendt tidskrift, er det et krav, at resultaterne er pålidelige. Adgangsbilletten er almindeligvis, at forskningsresultaterne har statistisk signifikans. Det lyder simpelt. Forskeren skal opstille en hypotese, finde den optimale metode til at teste hypotesen, lave analysen og ud fra statistisk signifikans enten forkaste eller bekræfte hypotesen. For at sikre at resultaterne ikke bare er tilfældigheder, skal den såkaldte P-værdi være under 0,05 procent. Men P-værdien er et mangelfuldt alibi for den statistiske styrke, lyder det fra Jesper Wiborg Schneider, seniorforsker på Dansk Center for Forskningsanalyse, Aarhus Universitet. Det er på ingen måde den korrekte fortolkning af P-værdier, som folk anvender. Det er den omvendte verden, hvor man siger noget om hypotesen givet data og ikke data givet hypotesen, siger han. Når man udregner signifikansen, bruger man en nulhypotese som udgangspunkt. Nulhypotesen er et postulat om, at der ingen forskel er mellem to grupper i en population. Forskerens hypotese vil typisk være, at der er en forskel, og det kaldes alternativ-hypotesen. Hvis man fx vil undersøge, om der er en sammenhæng mellem IQ og karakterer i matematik, vil nulhypotesen være, at der ingen sammenhæng er. De data, man samler ind, skal så gerne vise, at nulhypotesen er usandsynlig, for så kan den alternative hypotese (som forskeren er ude efter) accepteres som forklaring. Ofte vil nulhypotesen 32 nr

4 dog være usandsynlig til at begynde med. Fx vil det være ulogisk, at IQ og matematikkarakterer ikke korrelerer overhovedet. Fordi nulhypotesen er en teoretisk situation en antagelse, der sjældent holder bliver P-værdien af testresultaterne ofte ligegyldige. Det er helt ude i skoven, men desværre ofte forskellen på, om man kan publicere sine resultater, uddyber Schneider. Forskere er interesserede i en sandsynlighed for deres (alternative) hypotese. Men P-værdierne giver det modsatte. De måler sandsynligheden for, at nulhypotesen er sand. Og der er stor forskel på sådanne sandsynligheder. Tænk på forskellen mellem sandsynligheden for at en mand er død, hvis han er blevet hængt, og sandsynligheden for at en mand er blevet hængt, hvis han er død. Og endnu værre: P-værdien er ingen garanti for, at den alternative hypotese er rigtig, for der kan være mange andre forklaringer på de observerede resultater. Derudover siger P-værdien intet om effekt og om, hvor betydningsfuld effekten er. Det kan være ligeså problematisk, hvis det ikke lykkes at få et signifikant resultat. Så må den alternative hypotese afvises. Folk tror mange gange, at når de har lavet et ikke-signifikant resultat, så har de bevist, at der ingen effekt er. Men det er humbug. For det kan også bare være et udtryk for, at stikprøven ikke er stor nok, siger Schneider Resultatet af P-værdiernes høje status bliver nemt, at det er opsigtvækkende, men ligegyldige eller direkte misvisende undersøgelser, der fylder tidsskrifterne. P-hacking Jagten på de lave P-værdier betyder også, at hvis en forsker leder efter en statistisk sammenhæng, kan han/hun sandsynligvis finde en. Nogle falder for fristelsen for at manipulere med data, så de når under den magiske P-værdi-grænse. Det kaldes populært 'P-hacking'. Men selv de mest samvittighedsfulde kan komme til ubevidst at pynte på resultaterne. Fordi forskning er kompliceret, og der er et væld af variabler, der skal til- eller fravælges. Psykolog Uri Simonsohn fra University of Pennsylvania, der har beskæftiget sig med dataanalyse og falsk-positive resultater, fortæller, at eftersom forskerne må tage mange subjektive beslutninger undervejs, kan de nemt komme til ubevidst at gå efter resultater, der bekræfter deres hypotese. Simonsohn siger til netmagasinet fivethirtyeight.com: "Du kan gøre det ubevidst. Jeg har gjort det ubevidst. Du tror så meget på din hypotese, og de data du får, og det er tvetydigt, hvordan de skal analyseres ( ) Alle har prøvet at P-hacke en lille smule." Videnskabeliggørelsen af psykologien Når P-værdien har fået så stor magt, skal det ses i et historisk perspektiv. I 1930'ere, begyndte netop psykologer at bruge statistik som en måde at måle forskningsresultater på samme måde som naturvidenskaben. Det var en reaktion på den kritik, humaniora blev udsat for, og et forsøg på at legitimere og videnskabeliggøre psykologien. P-værdien var nem at sætte på formel. I dag, hvor regneprogrammer er så tilgængeligt et værktøj, betyder det, at det er ganske let at plotte data ind i et statistikprogram uden at have den store forståelse for, hvordan statistikken virker, for derefter på magisk at have et stempel på pålideligheden. Det er der ikke ret mange, der ønsker at lave om på, fastslår Schneider, der dog i løbet af de otte år, han har beskæftiget sig med signifikanstests, aner en tendens til, at kritikken bliver taget mere seriøst. Blandt andet er der et par enkelte tidskrifter, der har smidt P-værdierne på porten. Schneider har adskillige forslag til, hvad der skal til, for at statistik bliver et brugbart redskab for forskerne. I øjeblikket er både studerende og forskere for dårligt uddannede. Det er typisk ikke-statistikkere, der underviser i statistik, og her kunne man med fordel hente folk ind, der kender statistiske 2015 nr

5 metoder og teorier til bunds. Som så meget andet er statistik også hængt op på antagelser, der kan være i strid med hinanden og omverdenen. Og så skal hele gatekeeper-ideen og publiceringspraksis ændres, siger han, og peger på to af de mest presserende problematikker, hvis man skal undgå statistiske fiflerier bevidste eller ubevidste i den akademiske verden. I stedet bør blikket vendes mod effektstørrelser, og hvilken betydning en stor eller lille effekt har i forhold til kontekst, mener han. Fx i eksemplet fra før: Om der er en distinkt korrelation mellem IQ og matematik-karakterer, eller om den er så utydelig, at den reelt ikke har nogen betydning. Og om effekten mon er stor, fordi stikprøven er lille. Tidsskrifternes rolle Hvorfor garderer forskerne sig ikke bedre mod at publicere (måske) falske resultater? En af grundene kan være, at det netop kræver en masse replikationsforsøg, og at det ikke er i lige så høj kurs som ny forskning. Institutleder på Institut på Psykologi på Københavns Universitet, Søren Kyllingsbæk, bekræfter, at det ofte halter med at replikere forsøg. Det er den måde, hele systemet fungerer på. Det er bygget op på en nyhedsværdi, og det er meget nemmere at publicere ny forskning, forklarer han. Nyhedsværdien har også en stor betydning, når der skal søges fondsmidler, påpeger Kyllingsbæk. Hvis man står med ti gode ansøgninger og kun kan give penge til ét, så er tendensen nok at vælge det, der giver mest ny viden. Det er meget menneskeligt. Vi giver jo også priserne til dem, der har fået en ny ide og ikke til dem, der viser det anden eller tredje gang, siger Kyllingsbæk. På instituttet har man ikke en fast politik for, at studierne skal replikeres. Det afgørende er, at forskerne publicerer de rigtige og gode steder, hvor studierne bliver set, læst og citeret. Og så er det op til tidsskrifterne hvilke kriterier, der skal opfyldes; om et studie skal udføres et, to eller gentagne gange, før det kan blive optaget. Da de fleste klassiske tidsskrifter er bygget op om ny viden, kan det have den indirekte effekt, at studierne vinkles mod at finde nye forskningsresultater i stedet for cementering af allerede kendte studier. Kyllingsbæk peger på, at der dog også findes tidsskrifter, fx det velestimerede og citerede PlosOne, der prioriterer den videnskabelige validitet højere end nyhedsværdien. Og som dermed også gerne publicerer resultater, der bare bekræfter allerede anerkendt viden, og ikke som sådan bidrager med noget nyt. Det er også et tidskrift, vi opfordrer vores folk til at publicere i, og jeg har selv publiceret der, fortæller Kyllingsbæk. Noseks undersøgelse er interessant, mener Kyllingsbæk, fordi den netop sætter fokus på, at nogle fænomener bør undersøges mere grundigt, inden man melder alt for skråsikkert ud om nye resultater. Det handler også om, hvordan forskning bliver brugt uden for videnskaben. Alle, der arbejder inden for forskning, ved godt, at det, vi finder, kun er foreløbig viden. Men hvis vi skal tages alvorligt uden for psykologien, er vi nødt til kigge på det her og være sikre på, at de ting, vi finder, faktisk også er der, siger han. Samme budskab kommer fra Nosek, der i lyset af det lidt pessimistiske resultat også kan se håb forude: Vi mener, at det er meget bedre at kende vores udfordringer med reproduktion end at ignorere dem. Med den viden kan vi arbejde hen imod en forskningskultur, der vil producere mere replikerbare resultater og fremme viden hurtigere og mere effektivt. Og man skal heller ikke tro, at replikationskrisen kun hører til den psykologiske videnskab. Kun seks procent af de højst profilerede 53 medicinske undersøgelser om kræft kan replikeres, fremgår det af tidsskriftet Nature. 34 nr

6 Hvis man står med ti gode ansøgninger og kun kan give penge til ét, så er tendensen nok at vælge det, der giver mest ny viden. Det er meget menneskeligt. Vi giver jo også priserne til dem, der har fået en ny ide og ikke til dem, der viser det anden eller tredje gang. Søren Kyllingsbæk, institutleder på Institut på Psykologi, Københavns Universitet nr