Repition 7. november 2011
Hvad skal vi bruge metodiske overvejelser og regler til?
Hvad er samfundsvidenskabelig metode? Forskningsmetoder, der benyttes til at indsamle viden om personers holdninger og adfærd Metodiske overvejelser og valg man skal gøre sig, når man designer en undersøgelse Vigtigt for at sikre en god undersøgelse og dermed indsamle korrekt og brugbar viden Også nyttig viden, når man forholder sig til andre undersøgelser
Metodiske overvejelser Hvad er det, jeg vil undersøge? Hvilke spørgsmål, skal undersøgelsen besvare? Hvad skal undersøgelsens resultater bruges til? Hvilke ressourcer har jeg til rådighed? Samlet: Hvordan udvikler jeg et undersøgelsesdesign, der indenfor de givne rammer, bedst muligt besvarer mine spørgsmål?
Undersøgelsesdesign Hvad vil jeg gerne vide? Hvilke ressourcer (tid, penge, data ol.) har jeg til rådighed? Hvad for data, vil vi arbejde med, og hvordan vil vi indsamle det? Hvad kan lade sig gøre? Og hvis man ikke har sit eget call-center? Det muliges kunst Vigtigt at være bevidst om, begrænsningerne Hvad kan jeg ikke sige noget om?
Kvalitativ og kvantitativ metode
Kvantitativ >< kvalitativ metode Hvad er forskellen på kvalitativ og kvantitativ metode? Hvad kan de to tilgange? Og hvad kan de ikke? Hvornår skal man vælge den ene eller den anden?
Kvalitativ metode Kvalitativ metode handler om at forstå de tanker, følelser og overvejelser, respondenterne gør sig. Hvordan de forstår forskellige begreber, og deres forklaringer på, hvorfor de gør, som de gør. Bagvedliggende antagelse: Menneskers handlinger, samfundselementer, sociale relation ol. får mening igennem vores fortolkning og forståelse af dem. Eks. Forklar ord som velfærdsstat, stress, ledelse osv. Kommer ud af en humanistisk/socialkonstruktivistisk tradition Kvalitativ data indsamles typisk vha. fokusgrupper og længere interviews.
Kvalitativ metode Oftest mere begrænset data-materiale med færre cases. Til gengæld mere i dybden med den enkelte case. Styrken: Detaljeret indsigt og forståelse Svaghed: Begrænsede muligheder for at generalisere.
Kvalitativ metode Man bruger åbne hv-spørgsmål. Hvordan?, hvorfor? Osv. Data vil ofte være i form af lange interviews/samtaler med en eller flere personer Databearbejdningen består af at fortolke og analysere Eksempel: Fokusgrupper med vælgere om, hvorfor de har stemt på et givent parti. Eller hvad de tænker om partiets valgmateriale/plakater.
Kvantitativ metode Handler ikke om at forstå, hvorfor folk mener eller gør, som de gør. Vi er groft sagt ligeglade med at forstå deres overvejelser. I stedet handler det om at observere og forklare folks holdninger og adfærd. Antagelse: Det er muligt at måle og afdække sammenhænge i folks adfærd og holdning kvantitativt. Afsæt i en mere positivistisk/naturvidenskabelig tradition.
Kvantitativ metode Oftest et større datamateriale end ved kvalitative undersøgelser Spørgeskemaundersøgelser med lukkede svarmuligheder, registerdata ol. F.eks. En meningsmåling med 1.000 respondenter De større datamængder giver større mulighed for at generalisere resultaterne
Kvantitativ metode Data vil ofte være i form af observationer eller besvarelser af såkaldte lukkede spørgsmål, hvor respondenterne har kunnet vælge mellem flere prædefinerede svarmuligheder. Hvad ville du stemme, hvis der var Folketingsvalg i dag? På en skala fra 0 til 10....
Kvantitativ metode I kvantitativ metode handler det om ved statistiske analyser at finde årsagssammenhænge og kausalitet og generalisere dem til resten af befolkningen. Det er styrken ved kvantitativ metode, at man kan det!
Kvantitativ >< kvalitativ metode Eksempel: Hvorfor stemmer folk, som de gør? Belyst kvalitativt: Dybdegående interviews eller fokusgrupper med enkelte vælgere. Hvad tænker du om politik? Hvilke mærkesager er vigtige for dig? Hvad tænker du om de forskellige politikere/partier? Resultat: En SF-vælger forklarer, at hun bestemte sig for at stemme på SF efter at have set Villy Søvndal i afslutningsdebatten på DR. Belyst kvantitativt: Spørgeskemaundersøgelse, hvor respondenternes partivalg sammenholdes med deres besvarelse af forskellige lukkede holdningsspørgsmål og baggrundsvariable. Eksempler på resultater: Offentligt ansatte stemmer mere venstreorienteret end privatansatte, Dansk Folkeparti s vælgere er mere skeptiske overfor flygtninge- og indvandrere end andre vælgere osv.
Kvantitativ >< kvalitativ metode I skal overveje: Hvilken problemstilling har jeg? Hvad vil jeg gerne sige noget om? Vil jeg gerne i dybden og forstå folks tanker og holdninger? Vil jeg gerne sige noget mere generelt om en større gruppe og finde sammenhænge i deres holdninger? Hvilke fordele og ulemper har de to tilgange i forhold til min problemstilling Hvad kan lade sig gøre med midler, jeg har til rådighed? Kunne det være en idé at lade de to tilgange supplere hinanden?
Kvantitativ metode
Hvad vil det sige at generalisere??
Kvantitativ metode Generalisere: På baggrund af en stikprøve siger man noget om en større population. Resultaterne fra en meningsmåling med 1.000 danskere bruges til at sige noget om alle danskere. For at man kan gøre det, skal undersøgelsen være af en vis kvalitet.
Hvordan vil I vurdere kvaliteten af en kvantitativ undersøgelse?
Kvalitet i kvantitative undersøgelser Validitet Reliabilitet
Validitet og reliabilitet Centrale begreber, når vi taler om en kvantitativ undersøgelses kvalitet. Kan være svære at adskille Det er begreber, der bruges, når man arbejder kvantitativt, ikke kvalitativt. Abonnerer på et positivistisk verdenssyn
Hvad er validitet? Hvad kan påvirke en undersøgelses validitet?
Validitet og reliabilitet Validitet: Måler vi det vi gerne vil måle? Eller er der systematiske fejl eller skævheder, der gør, at vi rammer skævt. F.eks. Problemer med spørgsmålsformuleringer, dataindsamlingen eller lignende.
Hvad er reliabilitet? Hvad kan påvirke en undersøgelses reliabilitet?
Validitet og reliabilitet Reliabilitet: Hvor præcise er vi til at måle det, vi gerne vil måle? Tilfældige fejl, f.eks. menneskelig påvirkning. Hvis vi skulle gentage undersøgelsen på præcis samme måde, ville vi så få det samme resultat? Hvis ikke: problemer med reliabiliteten.
Validitet og reliabilitet
Validitetsovervejelser i praksis
Validitetsovervejelser i praksis Er der noget i jeres undersøgelsesdesign, der vil generere systematiske fejl? Hvordan indsamler I f.eks. data i undersøgelsen? Gør I det på en måde, så I indsamler en repræsentativ stikprøve? Hvordan er spørgsmålene i spørgeskemaet formuleret? Spørger vi rigtigt?
Hvad er repræsentativitet? Hvad kendetegner en repræsentativ stikprøve?
Validitet og repræsentativitet Undersøgelsens stikprøven skal helst være en mindre version af populationen med samme karakteristika, fordelinger ol.
Validitet og repræsentativitet Hvordan indsamles data? Forskellige dataindsamlingsmetoder kan have forskellige problemer i forhold til forskellige målgrupper. Systematiske skævheder/problemer med repræsentativiteten Skævheder er ødelæggende for undersøgelsens brugbarhed. Vi kan ikke generalisere undersøgelsen.
Validitet og repræsentativitet Allerhelst vil vi gerne have, at respondenter i stikprøven er simpelt tilfældigt udvalgte. Meget vigtigt, at man er opmærksom på, om der er foregået selektion i udvælgelsen af svarpersonerne. Er der skævheder, der gør, at nogle grupper systematisk er blevet forhindret i at deltage?
Validitet og repræsentativitet I forhold til valg af dataindsamlingsmetode skal I overveje: Hvordan vil jeg indsamle data? Er der nogen problemer ved den tilgang, jeg har valgt? Tænk alle skridt igennem! Kan jeg forvente at indsamle en repræsentativ stikprøve? Er der nogen skævheder/grupper fra min population, jeg ikke får med? Og hvad kan jeg gøre ved det?
Undersøgelsens målgruppe Vigtigt, at I er helt skarpe på, hvem det er, undersøgelsen skal sige noget om. I skal have en helt præcist defineret målgruppe. Ellers kan I ikke lave en repræsentativ stikprøve, og I kan ikke sige noget om noget som helst.
Validitet og spørgsmålsformuleringer Validiteten er også vigtig at overveje i forhold til operationaliseringen og spørgsmålsformuleringen Spørger vi på den rigtige måde? Hvis vi spørger forkert, måler vi det forkerte.
Kun én dimension i ét spørgsmål Spørgsmål bør kun have én dimension. I det spørgsmål er der 3 dimensioner. Der må kun være ét udsagn i hvert spørgsmål. Ellers ved man ikke, hvad folk svarer på. Spørgsmålet er ledende: Lægger ord i munden på folk
Spørgsmål må ikke være ledende Det er meget vigtigt, at spørgsmålene er formuleret så neutralt som muligt. Undgå ladede ord Tænk nøje over de ord, I bruger! Ellers påvirker vi respondenterne til at svare noget bestemt Hvor enig er du i følgende udsagn
Klart sprog! Spørgsmålsformuleringer og svarmuligheder må ikke kunne misforstås Ellers er respondenterne ikke sikre på, hvad de svarer på Og fortolkningen af svarene bliver svær.
Klart sprog! I skal bruge ord, der ikke kan misforstås Formuleringerne skal være korte og præcise Skriv i øjenhøjde med respondenterne Lange spørgsmål er forvirrende og svære at svare på Undgå fagudtryk og indforståede begreber Undgå ord som f.eks. forfordele.
Dækkende svarmuligheder Svarmulighederne skal være dækkende Alle skal kunne finde en svarmulighed, som passer på dem. Ellers tvinger man folk til at svare noget, der måske ikke reelt dækker deres holdninger
Dækkende svarmuligheder Skal folk have mulighed for at svare Ved ikke? Folk skal have mulighed for ikke at have en holdning eller være uafklarede Der skal være en god grund til at tvinge folk til at tage stilling. F.eks. Ved baggrundsspørgsmål som køn, alder ol.
Symmetriske svarskalaer Man bør generelt benytte symmetriske svarskalaer Man bliver mere sikker på, at svarkategorierne er dækkende. Det bliver også lettere for respondenterne at aflæse, hvor de skal placere sig
Symmetriske svarskalaer Eksempelvis den såkaldte: Lickert-skala 5 punktsskala med netral midterkategori Helt enig, enig, hverken enig eller uenig, Helt uenig. Meget tilfreds, tilfreds, hverken tilfreds eller utilfreds, utilfreds, meget utilfreds. Osv.
Mere om svarmuligheder Sørg for, at de er tilstrækkeligt findelte og præcise Vi vil jo gerne have så meget information som muligt. Man kan altid slå svarkategorier sammen bagefter, men man kan ikke gå den anden vej. Spørg f.eks. til partivalg i stedet for blok. Dog må spørgsmålet heller ikke blive for langt og uoverskueligt Generelt max 7 svarmuligheder
Generelt om svarmuligheder De skal opleves som relevante og dækkende Betydningen skal være klar, og det skal være let for respondenten at placere sig selv Spørgsmålet skal være let for respondenten at overskue Skal være gensidigt udelukkende Husk også at overveje, om det kan være relevant at lade respondenterne vælge flere svarmuligheder
PAUSE!
Reliabilitetsovervejelser i praksis
Reliabilietsovervejelser Er der upræcisheder eller tilfældigheder i undersøgelsesdesignet, der kan påvirke resultatet? Hvis vi gentager undersøgelsen, vil vi så Hvis vi gentager undersøgelsen, vil vi så få det samme resultat?
Reliabilietsovervejelser Blev undersøgelsen f.eks. gennemført under omstændigheder, der kan have påvirket respondenternes besvarelser? Interagerede du med respondenterne? Interagerede de med hinanden? Skete, der noget i respondenternes miljø, der kan have påvirket deres besvarelser?
Databehandling og analyse Inden I starter databehandlingen og analyserne: Kast et kritisk blik på stikprøven. Er den af en tilfredsstillende kvalitet? Gør rede for jeres observationer og overvejelser
Hvad vil I forholde jer til, når I skal vurdere kvaliteten af en stikprøve?
Er der besvarelser nok i stikprøven? Har I nået det samlede, ønskede antal besvarelser? Har I nok besvarelser I hver af de undergrupper, som I gerne vil sige noget om? Husk: Jo større behov for at nedbryde resultaterne jo større stikprøve skal I bruge
Hvis stikprøven er for lille Usikkerheden stiger I bliver mindre sikre på resultaterne I kan måske ikke udtale jer, om enkelte undergrupper, som I ellers gerne ville sige noget om Man kan generelt blive bekymret for, om der er systematiske skævheder
Svarprocenten Hvor stor en andel af dem, man har inviteret til at deltage i undersøgelsen, har besvaret den? En lav svarprocent skaber bekymring om systematisk frafald En generel kvalitetsindikator Bør være mindst 50%
Er stikprøven repræsentativ? Er stikprøven et mini-univers af den population, I gerne vil sige noget om? Hvad ved I om populationen? Har I evt. noget data på populationen, som I kan holde stikprøven op imod? Er der skævheder i stikprøven?
Er stikprøven repræsentativ? Og hvis man ikke kender populationsfordelingerne? Svarprocenten er en god generel kvalitetsindikator Tænk undersøgelses-designet igennem: har jeg virkeligt tænkt på alt? Evt. input fra eksperter, der kender populationen. Ser stikprøven fornuftig ud?
Og hvis stikprøven er for lille Vil jo ofte skyldes en lav svarprocent Har I mulighed for at lave en rykkerunde? Det er en dårlig løsning bare at sende undersøgelsen ud til flere Alternativt: tag forbehold i fortolkningerne
Og hvis stikprøven ikke er repræsentativ Nogle grupper er overrepræsenterede og andre underrepræsenterede Hvor slemt er det? Systematisk frafald Hvis svarprocenten er lav rykkerrunde Ellers må der være noget galt med det undersøgelsesdesign, man bruger Overvej at skifte taktik Ellers: tag forbehold i konklusionerne
Kvalitative metoder
Hvad er forskellen på fokusgrupper og enkeltmandsinterview? Hvad kan de to tilgange? Hvornår bør man vælge den ene frem for den anden?
Fokusgrupper >< Enkeltmandsinterview Vil man arbejde med fokusgrupper eller enkeltmandsinterviews? Vigtig overvejelse Begge tilgange kan noget, som den anden tilgang ikke kan Giver forskellige resultater Enkeltmandsinterview: Genstandsfeltet er den enkelte persons tanker og holdninger Fokusgrupper: Genstandsfeltet er en gruppes forhandlen og interaktion omkring et emne. Hvad vil man opnå? En mulighed er at kombinere de to tilgange
Enkeltmandsinterview Kvalitative enkeltmandsinterviews: giver indsigt i den enkelte persons holdninger, tanker og følelser. Man kan gå i dybden med den enkelte får indblik i den enkeltes livsverden Den enkelte får tid til at forklare og man har tid til at spørge ind
Enkeltmandsinterview Ingen påvirkning fra andre (modsat fokusgruppen) Måske lettere for interviewpersonen at være åbne og ærlige Man kan måske lettere tale om lidt mere følsomme og personlige emner
Fokusgrupper En fokusgruppe er ikke bare flere enkeltmandsinterviews gennemført på samme tid Man får ikke det samme ud af den enkelte interviewperson som i et enkeltmandsinterview Med fokusgruppen kan man til gengæld afdække noget, som man ikke kan med enkeltmandsinterviews: Gruppedynamik
Fokusgrupper Med en fokusgruppe kan man afdække: Hvad kan en gruppe af mennesker blive enige om? Hvad kan de ikke blive enige om? Hvad er kontroversielt, og hvad er der konsensus om? Hvordan argumenterer og forhandler de med hinanden? Hvilke argumenter er gyldige? Hvad kan man sige?
Fokusgrupper >< Enkeltmandsinterview Kan sagtens bruges til at belyse det samme emne De to tilgange vil blot give viden om forskellige aspekter I nogle tilfælde er den ene tilgang dog mere velegnet end den anden (Nogle emner egner sig f.eks. ikke til at diskutere i grupper) Valget afhænger af, hvad I vil vide noget om: Hvad er jeres problemstilling Det kan også være en interessant mulighed at lade de to tilgange supplere hinanden
Hvordan vil i vurdere kvaliteten af en kvalitativ undersøgelse?
Ingen faste modeller Der findes ingen faste løsninger på analyse og fortolkning af kvalitative metoder Dog stadig nogle styrende principper.
Hvad skal man ikkegøre? Lade forskellige udsagn udligne hinanden Elendig hjemmeside eller fantastisk hjemmeside = OK hjemmeside Begge udsagn er interessante og kan bruges i analysen f.eks. om det skyldes alder, mangel på relevans, andet informationsbehov, etc. 70
Hvad skal man ikkegøre? Kvantificere data for meget: Husk at arbejde kvalitativt Det er ok at kvantificere besvarelserne i en vis grad Men det må ikke tage overhånd Og når man arbejder kvalitativt er udgangspunktet, at hvert interview skal fortolkes og forstås som noget unikt 71
Hvad skal man ikkegøre? Presse data i en bestemt retning: Man kan naturligvis have et teoretisk udgangspunkt eller nogle hypoteser, man gerne vil afprøve Men når man arbejder kvalitativt, er det vigtigt, at man så vidt muligt går til dataindsamlingen og fortolkningen med et åbent sind Man kan meget let komme til at påvirke både interviewet og den efterfølgende analyse i en bestemt retning Sagde han i virkeligheden ikke, at 72
Analysekontrol Samarbejde, diskussion med kollegaer --> intersubjektiv enighed eller fremstilling af flere parallelle forståelser. Redegørelse for procedurer i metodeafsnittet: Hvilke teknikker, hvilke begreber. Hvilke briller har du på, og hvor kigger du hen? Få ekspliciteret hvordan og på hvilken baggrund du foretager din fortolkning. Eksempelvis, hvad ens egne forforståelser til området er, og hvilke teoretiske vinkler man finder frugtbare.
Selvforståelse Steinar Kvales tre tolkningsniveauer Common Sense Teoretisk tolkning
Selvforståelse Interviewpersonens selvforståelse - Tolkeren af udsagnet forsøger at sammenfatte, hvad den interviewede sagde - Validitet: Man fremlægger resultaterne for den interviewede derfor forsøger fortolkeren at holde fortolkningerne inden for den interviewedes forståelseskontekst
Selvforståelse Begrænsning: Man er begrænset af den interviewedes selvbillede Hvad nu, hvis ens fortolkning tegner et usympatisk eller uflatterende billede af interviewpersonen? Hvor meget ved vi egentligt om, hvorfor vi gør, som vi gør eller mener, som vi gør? Egner sig måske bedst til at kontrollere mere faktuelle oplysninger fra interviewet
Common Sense Man tolker det, der siges mellem linierne samt tolker i en større forståelsesramme Validitet: At man kan argumentere og dokumentere for ens tolkninger At man kan fremvise en sammenhængende og velargumenteret analyse
Common Sense Begrænsning: Man må ikke trække en forventning om konsistens og sammenhæng ned over folks holdninger Folk er på ingen måde konsistente i det de gør eller mener
Teoretisk tolkning En teoretisk ramme for tolkningen, eks. en psykoanalytisk eller marxistisk teori om samfundet Validitet: Teoriens gyldighed Teorien er veltestet og har dokumenteret sin forklaringskraft
Teoretisk tolkning Begrænsning: Husk at lade det være en mulighed, at teorien bliver falsificeret Det er ikke ok at strække fortolkningen af resultaterne for at passe dem ned i en teoretisk ramme Hvis en arbejder forklarer, at han ikke stemmer på Socialdemokraterne, er det ikke ok at forklare det med falsk bevidsthed