Repitition. 25. november 2013

Transkript

1 Repitition 25. november 2013

2 Dagsorden Jeg stiller spørgsmål I svarer (forhåbentligt) Vi diskuterer.

3 Hvad skal vi bruge metodiske overvejelser og regler til?

4 Metodiske overvejelser Overvejelser og valg man gør, når man designer en undersøgelse. Hvad er det, jeg vil undersøge? Hvilke spørgsmål, skal undersøgelsen besvare? Hvad skal undersøgelsens resultater bruges til? Hvilke ressourcer har jeg til rådighed? Samlet: Hvordan udvikler jeg et undersøgelsesdesign, der indenfor de givne rammer, bedst muligt besvarer mine spørgsmål?

5 Hvordan kan man udforme en problemstilling?

6 Problemstillingen Kan formuleres bredt, som et tema eller et emne. Som et spørgsmål, der skal besvares. Eller som en hypotese, der skal testes. Formen afhænger typisk af, hvor meget man ved om problemstillingen på forhånd

7 Hvordan opbygger man en problemstilling?

8 Problemstillingen Består typisk af: Enheder: Undersøgelsesobjekter, som man vil sige noget om Variable: Egenskaber for enhederne. Værdier: De værdier variablene kan antage

9 Problemstillingen Begreberne i problemstillingen skal defineres. Hvad menes der f.eks. med jobtilfredshed, høj/lav løn osv.? Præcis, hvilke enheder kigger I på? Hvem skal vi spørge? Hvordan vil I måle det, I vil undersøge? Hvordan operationaliserer I de teoretiske begreber? Centrale overvejelser, der ligger her. Afgørende for undersøgelsens validitet og reliabilitet.

10 Kvantitativ >< kvalitativ metode Hvad er forskellen på kvalitativ og kvantitativ metode? Hvad kan de to tilgange? Og hvad kan de ikke? Hvornår skal man vælge den ene eller den anden?

11 Kvalitativ metode Kvalitativ metode handler om at forstå de tanker, følelser og overvejelser, respondenterne gør sig. Hvordan de forstår forskellige begreber, og deres forklaringer på, hvorfor de gør, som de gør. Bagvedliggende antagelse: Menneskers handlinger, samfundselementer, sociale relation ol. får mening igennem vores fortolkning og forståelse af dem. Eks. Forklar ord som velfærdsstat, stress, ledelse osv. Kommer ud af en humanistisk/socialkonstruktivistisk tradition Kvalitativ data indsamles typisk vha. fokusgrupper og længere interviews.

12 Kvalitativ metode Oftest mere begrænset data-materiale med færre cases. Til gengæld mere i dybden med den enkelte case. Begrænsede muligheder for at generalisere Ikke så formaliseret med regler, som kvantitativ metode Et håndværk Hellevik: Et intensivt oplæg med få enheder, men mange oplysninger om hver Usystematisk præsentation af stimuli og registrering af data

13 Kvantitativ metode Handler ikke om at forstå, hvorfor folk mener eller gør, som de gør. Vi er groft sagt ligeglade med at forstå deres overvejelser. I stedet handler det om at observere og forklare folks holdninger og adfærd. Antagelse: Det er muligt at måle og afdække sammenhænge i folks adfærd og holdning kvantitativt. Afsæt i en mere positivistisk/naturvidenskabelig tradition.

14 Kvantitativ metode Spørgeskemaundersøgelser med lukkede svarmuligheder, registerdata ol. Oftest et større datamateriale end ved kvalitative undersøgelser. F.eks. En meningsmåling med respondenter Hellevik: Et ekstensivt oplæg med mange enheder, men få oplysninger om hver Systematisk præsentation af stimuli og registrering af data

15 Kvantitativ metode Data vil ofte være i form af observationer eller besvarelser af såkaldte lukkede spørgsmål, hvor respondenterne har kunnet vælge mellem flere prædefinerede svarmuligheder. Hvad ville du stemme, hvis der var Folketingsvalg i dag? På en skala fra 0 til

16 Kvantitativ metode I kvantitativ metode handler det om ved statistiske analyser at finde årsagssammenhænge og kausalitet og generalisere dem til resten af befolkningen. Det er styrken ved kvantitativ metode, at man kan det!

17 Kvantitativ >< kvalitativ metode I skal overveje: Hvilken problemstilling har jeg? Hvad vil jeg gerne sige noget om? Vil jeg gerne i dybden og forstå folks tanker og holdninger? Vil jeg gerne sige noget mere generelt om en større gruppe og finde sammenhænge i deres holdninger? Hvilke fordele og ulemper har de to tilgange i forhold til min problemstilling Hvad kan lade sig gøre med midler, jeg har til rådighed? Kunne det være en idé at lade de to tilgange supplere hinanden?

18 Hvordan vil I vurdere kvaliteten af en kvantitativ undersøgelse?

19 Kvalitet i kvantitative undersøgelser Validitet Reliabilitet

20 Validitet og reliabilitet Centrale begreber, når vi taler om en kvantitativ undersøgelses kvalitet. Kan være svære at adskille Det er begreber, der især bruges, når man arbejder kvantitativt og i mindre grad kvalitativt. Abonnerer på et positivistisk verdenssyn

21 Hvad er validitet? Hvad kan påvirke en undersøgelses validitet?

22 Validitet og reliabilitet Validitet: Måler vi det vi gerne vil måle? Eller er der systematiske fejl eller skævheder, der gør, at vi rammer skævt. F.eks. Problemer med spørgsmålsformuleringer, dataindsamlingen eller lignende.

23 Hvad er reliabilitet? Hvad kan påvirke en undersøgelses reliabilitet?

24 Validitet og reliabilitet Reliabilitet: Hvor præcise er vi til at måle det, vi gerne vil måle? Tilfældige fejl, f.eks. menneskelig påvirkning. Hvis vi skulle gentage undersøgelsen på præcis samme måde, ville vi så få det samme resultat? Hvis ikke: problemer med reliabiliteten.

25 Validitet og reliabilitet

26 Hvad vil I lægge vægt på, når I skal sikre validiteten i et undersøgelsesdesign?

27 Validitetsovervejelser i praksis Er der noget i jeres undersøgelsesdesign, der vil generere systematiske fejl? Hvordan indsamler I f.eks. data i undersøgelsen? Gør I det på en måde, så I indsamler en repræsentativ stikprøve? Hvordan er spørgsmålene i spørgeskemaet formuleret? Spørger vi rigtigt?

28 Hvad er repræsentativitet? Hvad kendetegner en repræsentativ stikprøve?

29 Validitet og repræsentativitet Undersøgelsens stikprøven skal helst være en mindre version af populationen med samme karakteristika, fordelinger ol.

30 Validitet og repræsentativitet Hvordan indsamles data? Forskellige dataindsamlingsmetoder kan have forskellige problemer i forhold til forskellige målgrupper. Systematiske skævheder/problemer med repræsentativiteten Skævheder er ødelæggende for undersøgelsens brugbarhed. Vi kan ikke generalisere undersøgelsen.

31 Validitet og repræsentativitet Allerhelst vil vi gerne have, at respondenter i stikprøven er simpelt tilfældigt udvalgte eller, at de indgår med en kendt sandsynlighed Meget vigtigt, at man er opmærksom på, om der er foregået selektion i udvælgelsen af svarpersonerne. Er der skævheder, der gør, at nogle grupper systematisk er blevet forhindret i at deltage?

32 Sandsynlighedsudvælgelse Idealet er sandsynlighedsudvælgelse: Alle enheder i populationen har en kendt sandsynlighed for at blive udtrukket Fordel: Resultaterne kan generaliseres med en kendt statistisk sikkerhed Dette sikres gennem tilfældighed i udtrækningen af de enheder, der kommer med i stikprøven

33 Sandsynlighedsudvælgelse Simpel tilfældig udvælgelse: Alle enheder har lige stor sandsynlighed for at indgå i stikprøven Stratificeret udvælgelse og klyngeudvælgelse: enhederne kan have forskellige, men kendte sandsynligheder for at indgå i stikprøven.

34 Sandsynlighedsudvælgelse Foregår i praksis ved hjælp af en liste over populationen, f.eks. Et CPR-udtræk fra en kommune, en liste over medarbejdere fra en virksomhed. Herfra udvælges enhederne, der skal indgå i stikprøven: Det sker tilfældigt Evt. indenfor klynger eller strata.

35 Sandsynlighedsudvælgelse Kræver mange ressourcer Er ofte et uopnåeligt ideal mere end praktisk virkelighed Meget andet kan gå galt Så bare fordi man har sendt spørgeskemaer ud til et tilfældigt udtræk, er man ikke sikker på kvaliteten Systematisk bortfald kan f.eks. fjerne tilfældighedselementet

36 Ikke-sandsynlighedsudvælgelse Indsamling, hvor vi ikke kender den enkelte enheds sandsynlighed for at indgå i stikprøven Derfor kan vi ikke med kendt statistisk sikkerhed generalisere resultaterne Det behøver dog ikke være ødelæggende for generaliserbarheden af resultaterne (vi ved det bare ikke) Tilfældigheden i udvælgelsen er afgørende

37 Ikke-tilfældig udvælgelse Skønsmæssig udvælgelse: I udvælger de enheder, der skal indgå i stikprøven Selvselektion: Enhederne vælger selv, om de vil indgå i stikprøven Stor risiko for systematiske skævheder i stikprøven Over- og underrepræsentation af grupper

38 Validitet og spørgsmålsformuleringer Validiteten er også vigtig at overveje i forhold til operationaliseringen og spørgsmålsformuleringen Spørger vi på den rigtige måde? Hvis vi spørger forkert, måler vi det forkerte.

39 Hvad skal man være opmærksom på i udformningen af spørgsmål i et spørgeskema?

40 Kun én dimension i ét spørgsmål Spørgsmål bør kun have én dimension. I det spørgsmål er der 3 dimensioner. Der må kun være ét udsagn i hvert spørgsmål. Ellers ved man ikke, hvad folk svarer på. Spørgsmålet er ledende: Lægger ord i munden på folk

41 Spørgsmål må ikke være ledende Det er meget vigtigt, at spørgsmålene er formuleret så neutralt som muligt. Undgå ladede ord Tænk nøje over de ord, I bruger! Ellers påvirker vi respondenterne til at svare noget bestemt Hvor enig er du i følgende udsagn

42 Klart sprog! Spørgsmålsformuleringer og svarmuligheder må ikke kunne misforstås Ellers er respondenterne ikke sikre på, hvad de svarer på Og fortolkningen af svarene bliver svær.

43 Dækkende svarmuligheder Svarmulighederne skal være dækkende Alle skal kunne finde en svarmulighed, som passer på dem. Ellers tvinger man folk til at svare noget, der måske ikke reelt dækker deres holdninger

44 Generelt om svarmuligheder De skal opleves som relevante og dækkende Betydningen skal være klar, og det skal være let for respondenten at placere sig selv Spørgsmålet skal være let for respondenten at overskue Skal være gensidigt udelukkende Husk også at overveje, om det kan være relevant at lade respondenterne vælge flere svarmuligheder

45 PAUSE!

46 Hvad vil I lægge vægt på, når I skal sikre reliabiliteten i et undersøgelsesdesign?

47 Reliabilietsovervejelser Er der upræcisheder eller tilfældigheder i undersøgelsesdesignet, der kan påvirke resultatet? Hvis vi gentager undersøgelsen, vil vi så få det samme resultat?

48 Reliabilietsovervejelser Hvor præcist er variable og værdier defineret? Blev undersøgelsen f.eks. gennemført under omstændigheder, der kan have påvirket respondenternes besvarelser? Interagerede du med respondenterne? Interagerede de med hinanden? Skete, der noget i respondenternes miljø, der kan have påvirket deres besvarelser?

49 Hvordan kan validitets- og reliabilitetsovervejelser integreres i en kvalitativ undersøgelse?

50 Validitet, reliabilitet og kvalitative undersøgelser Den måde, som vi lige har brugt til at tale om validitet og reliabilitet, skal vi lægge på hylden, når vi arbejder kvalitativt Antager, at der er en objektiv målbar kerne af sandhed bullls eye I forhold til holdningsundersøgelser, vil det f.eks. sige, at respondenterne har en holdning, som man kan gå ind og afdække uden at påvirke (Kvales metafor : minearbejderen eller den rejsende) Positivistisk tankegang Ikke begreber, man bruger, når man arbejder kvalitativt

51 Validitet, reliabilitet og kvalitative undersøgelser Kvale forsøger at tillempe validitets- og reliabilitetsbegrebet til den kvalitative verden Han taler f.eks. om at validere interviewpersonernes udsagn Han kommer også med bud på, hvordan realibilitetsovervejelser kan integreres i en kvalitativ undersøgelse være flere om fortolkning af data Og han argumenterer også for, hvordan resultater af kvalitative undersøgelser kan generaliseres Kvales begreber afviger dog væsentligt fra den måde, man normalt forstår validitet, reliabilitet og generaliserbarhed

52 Validitet, reliabilitet og kvalitative undersøgelser Normalt vil man sige, at det ikke giver mening at tale om validitet, reliabilitet og generaliserbarhed i forhold til kvalitative undersøgelser. Det er vigtigt! Hvis I vil bruge Kvales begreber, skal I henvise specifikt til ham.

53 Hvad vil I forholde jer til, når I skal vurdere kvaliteten af en stikprøve?

54 Er der besvarelser nok i stikprøven? Har I nået det samlede, ønskede antal besvarelser? Har I nok besvarelser I hver af de undergrupper, som I gerne vil sige noget om? Husk: Jo større behov for at nedbryde resultaterne jo større stikprøve skal I bruge

55 Hvis stikprøven er for lille Usikkerheden stiger I bliver mindre sikre på resultaterne I kan måske ikke udtale jer, om enkelte undergrupper, som I ellers gerne ville sige noget om Man kan generelt blive bekymret for, om der er systematiske skævheder

56 Svarprocenten Hvor stor en andel af dem, man har inviteret til at deltage i undersøgelsen, har besvaret den? En lav svarprocent skaber bekymring om systematisk frafald En generel kvalitetsindikator Bør være mindst 50%

57 Er stikprøven repræsentativ? Er stikprøven et mini-univers af den population, I gerne vil sige noget om? Hvad ved I om populationen? Har I evt. noget data på populationen, som I kan holde stikprøven op imod? Er der skævheder i stikprøven?

58 Er stikprøven repræsentativ? Og hvis man ikke kender populationsfordelingerne? Svarprocenten er en god generel kvalitetsindikator Tænk undersøgelses-designet igennem: har jeg virkeligt tænkt på alt? Evt. input fra eksperter, der kender populationen. Ser stikprøven fornuftig ud?

59 Og hvis stikprøven ikke er repræsentativ Nogle grupper er overrepræsenterede og andre underrepræsenterede Hvor slemt er det? Systematisk frafald Hvis svarprocenten er lav rykkerrunde Ellers må der være noget galt med det undersøgelsesdesign, man bruger Overvej at skifte taktik Ellers: tag forbehold i konklusionerne

60 Hvilke tilgange kan I vælge, når I skal analysere kvantitativt data?

61 Analyse Hvor bredt udtaler man sig: Deskriptiv >< induktiv analyse

62 Deskriptiv statistik Man siger kun noget om stikprøven Forenkle og sammenfatte det foreliggende talmateriale Skabe orden i og overblik over den datamatrise, man har kodet. Kvalitetssikre den indsamlede stikprøve, inden man evt. går videre til næste niveau i analysen

63 Induktiv statistik Generaliserende statisk På baggrund af de resultater, man har fundet i sin stikprøve, siger man noget om den population, man har taget stikprøven fra. Stiller som tidligere nævnt en række krav til kvaliteten af den stikprøve, man har indsamlet

64 Hvordan kan man ellers sondre mellem forskellige typer af kvantitative analyser?

65 Analyse Hvor mange variable inddrager man i sin analyse?: Univariat Bivariat Multivariat analyse

66 Univariat analyse Siger noget om enhedernes fordeling på en enkelt variabel F.eks., hvor mange er hhv. enige og uenige i et udsagn Kan belyses ved hjælp af frekvensfordelinger, forskellige grafiske fremstillinger og statistiske mål for centraltendens og spredning

67 Univariat analyse Frekvensfordeling: Hvor mange gange forekommer de forskellige værdier for en variabel? Kan både opgøres i absolutte tal og i andele. Hvor mange er hhv. enige og uenige? Hvor stor en andel er hhv. enig og uenig? Afbilledes typisk ved hjælp af stolpediagrammer

68 Bivariat analyse Kigger på sammenhængene mellem to variable F.eks. en bivariat frekvenstabel/krydstabel, der viser om bestemte værdier på vore variable optræder sammen. Giver mulighed for at undersøge om der er sammenhæng mellem to variable

69 Bivariat analyse Sammenhænge: Vi undersøger, om fordelingen af enheder på en variabel er betinget af enhedernes værdier på en anden variabel Den første variabel er den afhængige Den anden variabel er den uafhængige Vi bruger den uafhængige variabel til at dele enhederne ind i grupper, og så undersøger vi, om fordelingen på den afhængige varierer på tværs af grupperne

70 Multivariat analyse Beskriver sammenhænge mellem tre variable eller flere. Giver f.eks. Mulighed for at kontrollere for påvirkning fra tredjevariabel Dekomponere en bivariat sammenhæng og undersøge, om der er tale om en direkte, medieret eller spuriøs sammenhæng.

71 Hvilke tilgange kan I vælge, når I skal analysere kvalitativt data?

72 5 tilgange til interviewanalyse Meningskondensering Meningskategorisering Narrativ meningsstrukturering Meningsfortolkning Ad hoc-analyse

73 Meningskondensering Ved meningskondensering sammenfattes essensen af betydningerne i de interviewedes udtalelser. Hvad er hovedpointerne? De mest betydningsfulde citater transskriberes evt. Denne metode kan benyttes til at analysere omfattende og ofte komplekse interviewtekster ved at se efter betydningsenheder og hovedtemaer

74 Meningskondensering Risiko: At I lader fortolkningen blive styret for meget af spørgeguiden/jeres problemstilling At I finder det, I vil finde At I kun får de store linier med og skærer betydningsfulde resultater væk Dette er en generel fare, når man arbejder kvalitativt Husk at være opmærksomme på de resultater, der modsiger jeres forventninger / falder udenfor spørgeguiden

75 Meningskategorisering Interviewet kodes i kategorier Denne analyse reducerer og strukturer omfattende tekster til nogle få tabeller og figurer. Meningskategorisering er en form for kvantificering af interviewteksten.

76 Meningskategorisering Risiko: At man går for langt i kvantificeringen og mister det, der er særligt ved kvalitative interviews Man kan let sætte sig mellem to stole Man må ikke glemme det fortolkende eller forsøge at tvinge kvalitative svar nede i kvantitative kasser

77 Narrativ meningsstrukturering Her fokuseres på de historier, der fortælles under interviewet Kan også bruges, hvis en enkelt historie skal forklare essensen Ex. bruge tidslinie-interviewet med børn for at afdække deres medie-vaner.

78 Narrativ meningsstrukturering Risiko: At analysen bliver for deskriptiv Og så sagde hun, og så gjorde han Man må ikke glemme det analyserende Husk at komme op i helikopteren og forhold jer analyserende til det, I finder

79 Meningsfortolkning Forskeren har et perspektiv på, hvad der undersøges og fortolker interviewene ud fra dette perspektiv et teoretisk udgangspunkt el. Fortolkeren går ud over, hvad der siges direkte med henblik på at udarbejde betydningsstrukturer og relationer, der ikke umiddelbart fremtræder i en given tekst

80 Meningsfortolkning Risiko: Igen er risikoen, at man trækker en forforståelse ned over interviewet Husk at gøre plads til de ting, der modsiger dine forventninger, eller som falder udenfor dit umiddelbare interessefelt

81 Ad hoc Anvendelse af forskellige metoder og teknikker til skabelse af mening. Eksempelvis til kreative metoder m.m.

82 Spørgsmål?