VMS Kvalitative og kvantitative dataindsamlingsmetoder www.plan.aau.dk/~mette mette@plan.aau.dk Institut for Samfundsudvikling og Planlægning, sektionen 3: Teknologi, Miljø og Samfund
Dagens emner Problemanalysestruktur (repetition) Faser i dataindsamlingen Sekundære datakilder - skrivebordsmodellen Primære datakilder - feltarbejde Interviewteknik
Projektstruktur med 3 faser #1: Kort analyse af et problemkompleks Der tages udgangspunkt i et træ med Valg af metoder Årsager -> Problemer > Konsekvenser xxx xxx Dårlig information om parkeringspladser For få p-pladser i.f.t. efterspørgsel Dårlig udnyttelse af parkeringspladser Svært at finde en parkeringsplads Unødvendig søgekørsel Stigende trafikproblemer Spild af tid = penge xxx xxx Ingen mulighed for reservation Usikkert om man kan finde en p-plads Spild af brændstof Stor CO2-udledning xxx xxx Stress Kort analyse af årsags-problem-konsekvens-sammenhænge Undersøgelse af forbedrings/løsnings-muligheder, der kan eliminere årsager eller reducere negative konsekvenser Udvælgelse af en produktidé (forbedrings/løsnings-mulighed), som ligger i et område, hvor Gruppen har mulighed for at bidrage. Interessentanalyse
Projektstruktur med 3 faser #2: Analyse af en produktidé, Dimsen Valg af metoder Denne analysefase kan besvare nogle af spørgsmålene: Hvilken overordnet funktion og hvilke egenskaber skal Dimsen have, for at afhjælpe årsager/problemer/konsekvenser? Er der uhensigtsmæssige egenskaber ved Dimsen? Hvilke krav stilles i love og regler til Dimsen og dens anvendelse? Hvem skal medvirke ved udvikling og produktion af Dimsen? Hvem vil støtte eller modarbejde udviklingen og brugen af Dimsen? Vil der være nogle, der vil købe et tilstrækkeligt antal af Dimsen til en tilstrækkeligt høj pris, så omkostningerne til udvikling og produktion af Dimsen kan dækkes ind og eventuelt give et overskud? Hvem skal betjene Dimsen og hvordan skal den betjenes? Et vigtigt resultat af denne analysefase er en opstilling af overordnede krav til Dimsen #3: Teknisk analyse/design af Dimsen Valg af metoder 1. Hvilke løsninger kan tænkes, og hvilken løsning skal vælges for bedst at kunne imødekomme kravene? 2. Er det muligt at lave Dimsen, og hvis ja, hvordan? Hvilke blokke skal Dimsen bestå af? Hvilke krav skal der stilles til hver blok? (Hvordan) kan man lave hver blok, så den kan opfylde kravene? Virker den samlede Dims? 3. Kan den valgte løsning for Dimsen bringes til at opfylde kravene til: Teknisk funktion Praktisk anvendelighed (brugssituation). (Økonomi, miljø, lovgivning, vekselvirkning med omgivelserne..)
Indledning - problemstilling Følgende krav til problemstillingen bør være opfyldt: Den skal tage udgangspunkt i en undren, et paradoks, en modsætning, et dilemma I skal alle finde den interessant og motiverende Jeres vejledere skal sige god for, at den er fagligt relevant, både teknisk og kontekstuelt Den skal være tilstrækkeligt snæver til, at I kan foretage fornuftig informationssøgning
Problemorientering Lad os se på hvad der er problemet i jeres projekter.
Problemstilling eksempler til diskussion af datatypebehov Er der behov for at forhindre kollision med gaffeltrucks på varelagre og hvordan kan det gøres? Er der behov for et Linuxbaseret program til direkte synkronisering mellem online kalender og en mobil enhed og hvilke krav stilles til sådan en applikation. Hvordan kan et attitudedeterminations- og kontrolsystem til en pico-satellit konstrueres? Vil en software implementering af L hombre have indflydelse på antallet af L hombrespillere?
Hvorfor er brugerne interessante? Hvilke produkter vil blive efterspurgt? Er forbrugerne tilfredse med det eksisterende produkt? Hvordan er konkurrencesituationen på markedet? Hvilke ønsker har brugerne til produktet?.. Eksempler: Lad os se på jeres projekter!
Primærdata i P1-projekt? Bruges som input til kravsspecifikationen Hvilket behov er der for det givne produkt? Hvilke krav stiller brugerne? Pris Funktionalitet Miljø Kvalitet Andet..?
Faser i dataindsamling og behandling Fase 1: Problemformulering Fase 2: Analysemålsætning Fase 3: Analysedesign Fase 4: Implementering (Andersen et al., 2000)
Fase 1 - Problemformulering Problemer og muligheder Problem: Computerejere er utilfredse med basgengivelsen fra multimediehøjtalerne. Mulighed: Mulighed for salg af bedre højtalere. Beslutningsalternativer Hvad skyldes problemet Fokus på pris, manglende fokus på basgengivelse... Brugere af undersøgelsen Marketing (løse markedsproblem) Udvikleren (Hvad er kravene til produktet)...
Fase 2 - Analysemålsætning Analysespørgsmål Hvilke spørgsmål skal analysen give svar på? Eks: Hvem er de potentielle brugere? Hvilke krav har brugerne til lydkvalitet? Er der interesse for produktet? Hvad må det koste?... Hypoteseopstilling Antagelse om sammenhænge Eks.: Brugerne er villige til at betale mere for højtalere med en bedre basgengivelse Afgrænsning Hvem skal analysen omfatte Hvem skal udføre analysen
Fase 3 - Analysedesign Analysetyper Eksplorativ: Formål, at konkretisere problemet eller muligheden Deskriptiv: Formål, at belyse omfanget af problemet eller muligheden Kausal: Formål, belyse årsagssammenhænge mellem variable Valg af informationsmetoder/kilder Udfra: analyseproblemet, omkostninger, pålidelighed og tidsforbrug Primære / sekundære Design af spørgeskema Behandles senere Stikprøveplan Repræsentativitet kontra pålidelighed og gyldighed (statistik) (Andersen et al., 2000)
Analysetyper Problem Eksplorativ analyse Mulige årsager til problemet/ muligheden Sandsynlige årsager til problemet/ muligheden Sandsynlige sammenhænge Deskriptiv analyse Kausal analyse (Andersen et al., 2000)
Fase 4 - Implementering Dataindsamling Primære kilder Sekundære kilder Dataanalyse Kontrol af indsamlede data Databearbejdning (uddybes om lidt) Anbefaling og rapportering Klart og tydeligt Formål, metode, resultater og anbefalinger (konklusion)
Dataindsamlingens mulige fejlkilder Interviewer error -uklart formuleret spørgsmål -tvetydighed i svaret -interviewer udfylder selv rubrik Population Respondent Interviewer Sampling error -forkert stikprøve Nonresponse error -ikke hjemme -nægter at svare Response error -tvetydigt svar -kan ikke formulere sig -vil ikke besvare -vil behage interviewer -lyver (Andersen et al., 2000)
Skrivebords analyse Bygger på sekundære datakilder: Definition: Data der, via desk research, er indsamlet til at belyse en anden problemstilling Overvejelser Kan sekundære datakilder besvare problemet? Skal analysen suppleres med primære datakilder?
Datakilder -sekundære Eksterne datakilder: Mundtlige Kollegaer, Kunder, Leverandører, Fagspecialister Skriftlige Officielle (statistikker, ministerier ) Officiøse (Branchestatistikker, bankstatistikker, regnskaber, forskningsresultater) Standardiserede (Paneler, Omnibusanalyser, TV-Metre) Færdige rapporter Databaser (Videndatabaser, faktadatabaser, Internettet)
Sekundære datakilder Fordele Billige at indsamle Hurtige at indsamle Let tilgængelige Nogle informationer kan kun fås fra sekundære kilder Kan give indsigt i en uklar problemstilling Kan give ideer til hvilke andre data, der skal indsamles som field research Ulemper Er indsamlet til andet formål Er ofte upræcise Analytiker har ingen kontrol med indsamlingen (Andersen et al., 2000)
Facts om virksomheder Let tilgængelige via hjemmesider mm. Nogle er objektive og dermed troværdige. Nogle viser ledelsens (de stærke aktørers) ønsker måske ikke det samme som praksis. Skal suppleres med andre kilder
Vær en kritisk analytiker! Forhold dig til: Relevansen Belyser kilden den aktuelle problemstilling? Sikkerheden Gyldigheden i en undersøgelse, måler vi det vi ønsker at måle, er konklusioner lavet på statistisk grundlag...? Pålidelighed udfra dataindsamling, databehandling, måleinstrumentet (Eks: er spørgeskemaet efterprøvet) Detaljeringsgraden Aktualitet Hvornår er resultaterne fra, er der sket ændringer siden...
Primære datakilder Definition: Data der, via feltundersøgelse, er indsamlet til at belyse den konkrete problemstilling Kan anvendes i såvel kvalitative og kvantitative undersøgelser, men så varierer dataindsamlingsmetoderne. (Andersen et al., 2000)
Primære datakilder Primære datakilder anvendes, når de sekundære ikke kan belyse en problemstilling og kan indhentes gennem: Kunder/interessenter/aktører Mellemhandlere Leverandører Konkurrenter
Primære datakilder Fordele Er indsamlet til det konkrete formål Er præcise Nogle informationer kan kun fås fra primære kilder Ulemper Er dyre at indsamle Tager lang tid at indsamle Analytiker skal kende specielle teknikker til indsamlingen (Andersen et al., 2000)
Kvantitative undersøgelse Indhentning af primære datakilder der belyser problemets omfang (deskriptiv analyse) Dataindsamlingsmetoder: Kvantitative interviews Postale interview Personlig interview Telefoninterview Eksperimenter Spørgeskemaer
Kvantitative interviews Kvantitative undersøgelser anvendes når emnet er i respondentens bevidsthed Respondenten kan og vil svare på emner som: Kendskab til et produkt Holdninger til et produkt Adfærd i forbindelse med køb af et produkt Kvantitative undersøgelser er repræsentative i forhold til stikprøvens population (Andersen et al., 2000)
Standardiseret / strukturerede interview Spørgsmålene er omhyggeligt formuleret på forhånd i et skema og stilles i samme rækkefølge hver gang Ingen fleksibilitet og spontanitet Interviewformen forudsætter godt forhåndskendskab til emnet Svarene kan ikke uddybes med supplerende spørgsmål Minder i form om spørgeskemaundersøgelse
Konstruktion af spørgeskema 1 Trin 1: Hvad skal måles? Problemformulering Trin 2: Begrebsanalyse Hvordan defineres begreberne der skal måles e.g. kundetilfredshed Trin 3: Operationalisering gennemtænk følgende: Éntydighed (fed kan betyde flere ting) Éndimentionale (kun ét spørgsmål I hvert spørgsmål) Vil og kan respondenterne svare på spørgsmålene Ledende eller ikke ledende spørgsmål Skal der stilles åbne spørgsmål Hvor mange svaralternativer skal der være Hvilken skala anvendes
Konstruktion af spørgeskema 2 Trin 4: Udformning af spørgeskema Antal spørgsmål Spørgsmålstyper Rækkefølge Formulering (Åbne, lukkede, venlige, bydende ) Trin 5: Test af spørgeskema Få respondenter Udvalgt udfra den egentlige population Introduktionsbrev: Skal informere: Hensigten med undersøgelsen, hvem står bag, anonymitet og responstid....og motivere
Skalaer (spørgeskemaer) Til en variabel er knyttet et bestemt måleniveau. Variable er de karakteristika der kan anvendes til at beskrive det i undersøger: Nominel skala (Måler kvalitativt forskellige størrelser (klassifikationsskala) f.eks. Liste over civilstatus, køn. Ordinær skala (Måler om værdierne er større eller lig med hinanden f.eks. Holdningsspørgsmål helt enig, delvis ) Intervalskala (Lineariseret rangorden skala lige stor afstand mellem værdier 50.000 99.999, 100.000 149.000, 150.000 199.999) Forholdstal-/ratioskala (ud over kendt afstand også et naturligt nulpunkt, hvorved man f.eks. Kan vurdere om noget er dobbelt så stort som noget andet)
Klassiske fejl i spørgeskema Ønsker du, at gågaden bliver overdækket, således at der er beskyttelse mod regn og slud? Hvor enig er du i? (man signalere, at det ikke er i orden at være uenig) Kilde: Hansen, Niels-Henrik M. m.fl. Spørgeskemaer i virkeligheden, Samfundslitteratur, 2008
Udvælgelse af stikprøver Sandsynlighedsmetoder Simpel tilfældig udvælgelse Stratificeret udvælgelse (udfra eks. indtægt) Ikke sandsynlighedsmetoder Bekvemmelighedsudvælgelse (bor tæt på) Strategisk udvælgelse Snow-ball udvælgelse
Præsentation af statistisk materiale Forskellige metoder til at præsentere materialet: Lagkagefigurer Tabeller Søjlediagrammer Grafer
Valg af kvantitativ metode Stikprøve Valg af metode Spørgsmålstype Omkostninger og tid Responsandel (Andersen et al., 2000)
Kvalitative undersøgelse Definition: Indhentning af primære data med det formål at vide mere om problemet (eksplorativ analyse) Kvalitative metoder: Standardiseret interview Dybdeinterview Fokusgruppeinterview Temainterview Observationer
Dybdeinterview Taler med én person af gangen Respondenten taler frit uden megen styring Metoden kan bruges på både konsument og producentmarkedet Ustruktureret samtale Interviewer har udarbejdet en spørgeramme, der sikrer fokus på emnet
Dybdeinterview Krav til interviewer Skal kunne skabe: kontakt tillid Fastholde emnet Følge op på interessante svar Én interviewer gennemfører alle interviews
Observation Fordele Respondenten ved ikke, at der observeres Observationer viser ikke atypisk adfærd Mere præcise målinger Ulemper Hvis respondenten observeres, kan han udvise atypisk adfærd Tidskrævende målinger Omkostningskrævende Man kan ikke observere respondentens tanker (Andersen et al., 2000)
Personligt interview Fordele Uklare spørgsmål kan forklares Der kan stilles forskellige spørgsmål til respondenterne Stor svarprocent Ulemper Tidskrævende at indsamle Tidskrævende pr. interview Kræver kvalificerede interviewere (Andersen et al., 2000)
Telefoninterview Fordele Hurtigt at indsamle Billigt at indsamle Stor svarprocent Interviewere kan lettere kontrolleres Ulemper Kun få spørgsmål kan stilles Kun lukkede spørgsmål bør stilles af hensyn til registreringen Let for respondent at afbryde interviewet (Andersen et al., 2000)
Kontroller dine spørgsmål Er spørgsmålet præcist? Hvad er du uddannet som? Er der indblandet følelser? Hvad synes du om jeres overambitiøse miljøpolitik? Er spørgsmålet ledende? Du tænker ikke på miljø i dagligdagen, vel? Er spørgsmålet entydigt? Synes du, at vi skal bruge flere penge på miljø/arbejdsmiljø? Kræver spørgsmålet, at svarpersonen er i besiddelse af bestemte kompetencer? Synes du, at virksomheden bruger de rette midler til implementering af miljøpolitikken? Indeholder spørgsmålet dobbeltnegation? Er du uenig i påstanden om, at miljøpolitikken ikke overholdes? Rækkefølgen er ikke ligegyldig Holdning til miljø kan varierer: Efter et spm. om klimaforandringer Efter et spm. om politikker der ikke er implementeret
Andre uønskede spørgsmålstyper Sandhedsproblemet Hvor ærlige er folk, hvis der er spurgt til ting de har svært ved at håndtere? F.eks. brud på regler, sort arbejde, uønskede udgifter, arbejdsulykker? Pas på vidensspørgsmålene Folk svarer på hvad som helst for ikke at virke uvidende: Holdning til ikke-eksisterende mål og politikker Holdning til ledelsens (manglende) prioriteringer Kan ikke besvares positivt eller negativt Skal miljøarbejdet tilrettelægges således, at den giver mulighed for, at medarbejdernes viden, kreativitet og evner kommer til udfoldelse? Kan man være uenig i det??
Guidelines for citater 1/2 Citater skal relateres til den generelle tekst/model Citater skal sættes i deres kontekstuelle korrekte sammenhæng Citater skal fortolkes i kontekst der skal være en balance imellem citater og tekst
Guidelines for citater 2/2 Citater skal være korte Brug kun de bedste citater Interview citater skal overleveres i skreven form (fx mimik m.v.) Der skal være et simpelt signatursystem (symboler) for citering af citater
Validitet og reliabilitet www.plan.aau.dk/~mette mette@plan.aau.dk Institut for Samfundsudvikling og Planlægning, sektionen 3: Teknologi, Miljø og Samfund
Validitet Validitet handler om at sikre sig, at man konkret undersøger det, som man sætter sig for at undersøge. (Bente Halkier 2001: "Fokusgrupper, s.109) Hvorvidt man måler det, man ønsker at måle Skal have overblik og klarhed over, hvilket fænomen/emne man undersøger Usikkerhed: Nye emner/erkendelser, der kan komme på i løbet af interviewet
Validitet i praksis Lav et systematisk stykke håndværk Gør det gennemskueligt for andre Fremlæg præmisserne for din bearbejdning Argumenter for dine resultater
Styrk validiteten ved Metodetriangulering At have nogle fornuftige udvælgelseskriterier "Når samfundsforskere nævner tre ting, der har betydning for validiteten burde de sige systematik, systematik, systematik" (Bente Halkier 2001: "Fokusgrupper, s.113)
Reliabilitet Det kan gentages hvor sikker er man på det, man måler Gentagelse er ikke muligt i interviews, men man kan gøre sig bevidst om usikkerhedsfaktorer Ledende spørgsmål? Reliabilitet i fht. analyse: Et omfattende, komplekst og lidet struktureret interviewmateriale kan læses, som Fanden læser Biblen (Steinar Kvale) Interviewudskrift og redegørelse for analysemetoder "I dag handler reliabilitet om at gøre sine måder at producere og bearbejde data eksplicitte og gennemskuelige for andre, så andre kan vurdere, om der er lavet et ordentligt stykke håndværk. (Bente Halkier 2001: "Fokusgrupper) (Henriette Lungholt, 2008)
Repræsentativitet Dvs., der bliver teorien (ens formodninger og hypoteser), der bestemmer, hvor man skal lede efter materiale. Og det handler ikke om at finde mange, men om at finde gode oplysninger gode i betydningen: repræsentative og relevante i forhold til problemet Vores generaliseringer bygger på den antagelse, at vi befinder os inde i samme fælles kultur, og at dette fortsat både i og med at vore spørgsmål bliver forstået, og at vi forstår svarene på dem (Jensen, Leif Becker og Mortensen, Arne Thing: Metodeovervejelser i forbindelse med en kvalitativ undersøgelse af viden og holdninger, kompendium RUC) Repræsentativt i forhold til de parametre, man har opstillet og i forhold til, hvilken kontekst de stilles i (Henriette Lungholt, 2008)
(Jette Fog 1994: "Med samtalen som udgangspunkt ) Repræsentativitet Typiske repræsentanter "Valget af de interviewpersoner, som man ønsker at tale med, beror på en kvalitativ vurdering af teoretisk og praktisk art. Jeg vælger "typiske repræsentanter" for en given sammenhæng og det er sammenhængen og den forskningsinteresse jeg har i den, som bestemmer, hvad der er typisk.
Pålidelighed og gyldighed, grafisk illustreret Gyldig og pålidelig Pålidelig, men ikke gyldig Ikke gyldig og ikke pålidelig Begrebet der skal indfanges Måling (der vises tre målinger) Riis, Ole (2005): Samfundsvidenskab i praksis, p. 38
Metodetriangulering Hentet fra søfarten, når man vil bruge flere udgangspunkter for at bestemme et objekts nøjagtige position En kombination af metodologier, der bruges ved undersøgelse af samme fænomen
Metodetriangulering Triangulering mellem kvalitative metoder kvalitative observationer kvalitative interviews Triangulering mellem kvantitative metoder spørgeskema kvantitativt struktureret interview
Interviewerens miniguide Forbered dig godt! Ved brug af optager - husk ekstra batterier Vær klar til at tage notater, hvis optageren svigter Pas på ikke at blive for familiær med respondenten - du laver videnskabelig arbejde
Interviewerens miniguide Ved kontakt med respondent - vær venlig og interesseret Overvej om respondenten er repræsentativ for undersøgelsen af jeres problem I jeres projekt skal respondenterne præsenteres med navn og titel Pas på overfortolkning af dine data - sig ikke mere end der er dokumentation for Vær nysgerrig!
Nogle relevante kilder Robert K Yin: Case study research Steinar Kvale: Interview