2 Stikprøvebegrebet 8. 3 Gruppering og frekvenstabeller Gruppering Frekvenstabeller Bargraf... 10

Transkript

1 Indhold 1 Dataformater, indlæsning og editering Data Indlæsning af tekstfil i Rcmdr Data typer Omkodning af variable Hjælpesider Stikprøvebegrebet 8 3 Gruppering og frekvenstabeller Gruppering Frekvenstabeller Bargraf Histogram - kvantitativ variabel Tæthedsfunktion Summarisk beskrivelse af kvantitative variable Centermål: Middelværdi og median Spredningsmål: rækkevidde, standardafvigelse og varians Percentiler Median, kvartiler og interquartile range Boxplot - kvantitativ variabel faktorer: Krydstabulering kvantitative variable: Scatterplot 18 9 Populationsparametre Gem din analyse 19 1

2 1 Dataformater, indlæsning og editering 1.1 Data Dataeksempel Description Thirty magazines were ranked by educational level of their readers. According to rank three magazines were randomly selected from the first ten(group 1 - highest educational level), the second ten(group 2 - medium educational level), and third ten magazines(group 3 - lowest educational level). Six advertisements were randomly selected from each of the nine selected magazines. The magazines were 1. Scientific American (GROUP 1). 2. Fortune (GROUP 1). 3. The New Yorker (GROUP 1). 4. Sports Illustrated (GROUP 2). 5. Newsweek (GROUP 2). 6. People (GROUP 2). 7. National Enquirer (GROUP 3). 8. Grit (GROUP 3). 9. True Confessions (GROUP 3). Dataeksempel Data For each advertisement (54 cases), the data below were observed. Variable Names: 1. WDS = number of words in advertisement copy 2. SEN = number of sentences in advertisement copy 2

3 3. 3SYL = number of 3+ syllable words in advertisement copy 4. MAG = magazine (1 through 9 as above) 5. GRP = educational level (as above) Tekstfil: magazineads.dat Data Import Data from text file or clipboard... Regneark Data Import Data from Excel,Access or dbase dataset... 3

4 1.2 Indlæsning af tekstfil i Rcmdr Indlæs magazineads.dat Data Import Data from text file or clipboard... giver en dialogboks 4

5 Vi skal angive navnet på den dataramme, som oprettes i R-sessionen. Derudover skal vi specificere dataformatet, fex at kolonnerne er adskilt af White space. Når vi klikker OK åbnes et vindue, hvor vi kan specificere stien til magazineads.dat. DataEditor Et klik på Edit Data set åbner vinduet Variabelnavne står i første linie. Bemærk at disse ikke må starte med et ciffer. R smækker et X foran 3SYL. 5

6 1.3 Data typer Data typer Kvantitative variable Mange data fremkommer på en af følgende måder Kontinuerte variable: målinger af fex ventetider i en kø, omsætning, aktiekurser, osv Diskrete variable: antalstællinger af fex ord i tekst, hits på en hjemmeside, antal ankomster til en kø i løbet af en time, osv Målingerne er knyttet til en veldefineret skala og kodes i R som typen numeric. Det er vigtigt at kunne skelne mellem diskrete tællevariable og kontinuerte variable, idet dette ofte er afgørende for, hvordan vi vælger at beskrive usikkerheden på en måling. Data typer Kategoriske/kvalitative data Målingen består i en klassifikation i forhold til et sæt givne kategorier, fex køn, hårfarve, socialgruppe, tilfredsheds-score, etc. Målingerne kodes normalt - hvilket jeg anbefaler - i R som datatypen factor. De mulige kategorierfex mand/kvinde - kaldes for faktorens niveauer(levels). Faktorer har to såkaldte skalaer. Nominal skala: Der er ingen naturlig ordning af faktorens niveauer - eksempelvis køn, virksomhedstype Ordinal skala: Der er naturlig ordning af faktorens niveauer - eksempelvis socialgruppe og tilfredsheds-score. En factor i R kan tildeles en såkaldt attribut, som fortæller om den er ordinal. 1.4 Omkodning af variable Numeric til factor Data Manage variables in active data set Recode variables... 6

7 hvor vi opnår at GROUP som før var af typen numeric bliver nu af typen factor, som har 3 niveauer. De numeriske værdier erstattes af mere informative labels, som angiver uddannelsesniveauet. 1.5 Hjælpesider Hjælpesider Hvis vi klikker på Help-knappen i Recode Variables vinduet fås en detaljeret beskrivelse af mulighederne for omkodning af variable. 7

8 2 Stikprøvebegrebet Stikprøve I det foregående eksempel udvalgtes i hvert magasin 6 annoncer. En yderst vigtig detalje er, at udvælgelsen foregår helt tilfældigt, dvs alle annoncer har lige stor chance for at blive udvalgt. I det følgende er det en helt grundliggende præmis, at dataindsamlingen respekterer dette tilfældighedsprincip og vi vil i så fald tale om en stikprøve. Mere formelt: Vi har en population af objekter - fex annoncer. Vi vælger helt tilfældigt n af disse objekter, og på det j te objekt foretager vi målingen y j, j = 1, 2,..., n. Målingerne y 1, y 2,..., y n kaldes da en stikprøve. Mere generelt: Populationen kan være uendelig stor. Hvis vi fex skal lave 4 vandkvalitetsmålinger på et år, så kan det være en dårlig ide, hvis man kun vil indsamle data i godt vejr. Valg af tidspunkt må ikke være influeret af faktorer, som kan have indflydelse på målingen. 8

9 3 Gruppering og frekvenstabeller 3.1 Gruppering Data Manage variables in active data set Bin numeric variable... Vi vælger 4 intervaller(bins). Den nye variabel er en factor, hvor niveauerne navngives med intervalendepunkterne. Punkterne vælges så de danner 4 naturlige klynger. 3.2 Frekvenstabeller Statistics Summaries Frequency Distributions... Vi vælger variablen stavgte3 og ønsker at se frekvenser(antal observationer) og relative frekvenser(procentuel andel) på factorens 4 niveauer. 9

10 Resultatet kan ses i Rcmdr s outputvindue, hvor man kan se at godt 40% af observationerne ligger mellem 8 og Bargraf Graphs Bar graph... I stedet for tabellen kan vi illustrere denne ved for hvert niveau af faktoren at tegne en kasse hvis højde er proportional med frekvensen. Frequency [0,8] (8,18] (18,29] (29,43] stav3gte 10

11 4 Histogram - kvantitativ variabel Indbygget dataramme Vi skal kigge på et datasæt som er indbygget i R. Vi vælger pakken car og datasættet Ericksen, som vi også giver navnet Ericksen. The Ericksen data frame has 66 rows and 9 columns. The observations are 16 large cities, the remaining parts of the states in which these cities are located, and the other U. S. states. Data Data in packages Read dataset from an attached package... Datarammen Ericksen This data frame contains the following columns: minority Percentage black or Hispanic. crime Rate of serious crimes per 1000 population. poverty Percentage poor. language Percentage having difficulty speaking or writing English. highschool Percentage age 25 or older who had not finished highschool. housing Percentage of housing in small, multiunit buildings. city A factor with levels: city, major city; state, state or state-remainder. conventional Percentage of households counted by conventional personal enumeration. undercount Preliminary estimate of percentage undercount. 11

12 Vi kigger på crime rates i USA. Graphs Histogram... frequency Ericksen$crime 1. Inddel intervallet fra Minimum til Maximum i et passende antal lige store delintervaller. 2. Tegn kasser over hvert delinterval med højde svarende til antal observationer i delintervallet. 4.1 Tæthedsfunktion Når observationsantallet vokser Når vi tegner et histogram, hvor arealet af hver kasse svarer til den relative frekvens, så vil det samlede areal være en. Når observationsantallet vokser, så kan vi forfine inddelingen og får et mere glat forløb. Histogram af 50 observationer Histogram af 500 observationer Histogram af population I teorien kan vi forestille os uendeligt mange observationer, som giver en pæn glat kurve, hvor arealet under kurven er 1. En funktion hvis graf fremkommer på denne måde kaldes en tæthedsfunktion. taethed taethed taethed varvalue varvalue varvalue 12

13 Former på tætheder Symmetrisk tæthed U formet Symmetrisk tæthed Klokkeformet tæhed tæthed x x Højreskæv tæthed Venstreskæv tæthed tæthed tæthed x x 5 Summarisk beskrivelse af kvantitative variable Dataeksempel Vi vender tilbage til eksemplet med annoncer. Statistics Summaries Numerical summaries... 13

14 Vi vælger en variabel af numerisk type og holder os ellers til default. Man kan også specificere andre typer af fraktiler(quantiles). 5.1 Centermål: Middelværdi og median De observerede værdier af variablen WDS er y 1 = 203, y 2 = 229,..., y n = 208, hvor der ialt er n = 54 værdier. Dette er som tidligere defineret en stikprøve. Centermål Mean= er gennemsnittet af stikprøven: n ȳ = 1 n i=1 y i En anden betegnelse er (empirisk) middelværdi. Median=95.5 er 50-percentilen, dvs den værdi som deler stikprøven i 2 lige store grupper. 14

15 5.2 Spredningsmål: rækkevidde, standardafvigelse og varians Spredningsmål Variansen er - praktisk talt - gennemsnittet af de kvadrerede afvigelser fra middelværdien og kaldes (empirisk) varians. s 2 = 1 n 1 n (y i ȳ) 2 sd=standard afvigelsen(deviance)=s = s 2 = kaldes på dansk også (empirisk) spredning. Ud over dette angives ofte rækkeviden(range), som er forskellen på største og mindste værdi. i=1 5.3 Percentiler p te percentil: Højst p% af populationen under denne værdi og højst (100-p)% af populationen over denne værdi Vi ordner data i stigende rækkefølge y (1) = 31, y (2) = 32, y (3) = 34,..., y (n) = 230 p te percentilen, når p=5 og n=54: Vi beregner obsnr = p (n + 1) = 2.75, dvs 5-percentilen skal svare til observation nummer og skal være et sted mellem observationerne x (k) = 32 og x (k+1) = 34, hvor k = 2 < obsnr < 3. Lad d = obsnr k = En af flere metoder til estimat af 5-percentilen: x (k) + d(x (k+1) x (k) ) = =

16 5.4 Median, kvartiler og interquartile range Median: 50-percentilen kaldes som sagt medianen og er et centralitetsmål. 0-percentilen=31 er den mindste værdi, dvs minimum. 25-percentilen=69 kaldes nedre kvartil. 75-percentilen=201.5 kaldes øvre kvartil. 100-percentilen=230 er den største værdi, dvs maximum. Interquartile Range(IQR): er et spredningsmål givet ved forskellen på øvre og nedre kvartil: = Boxplot - kvantitativ variabel Box plots with fences/whiskers 1. Beregn median, nedre og øvre kvartil. 2. Plot en linie ved medianen og tegn en kasse mellem øvre og nedre kvartil. 3. Beregn interquartile range og kald det IQR. Beregn følgende værdier: L1 = nedre kvartil - 1.5*IQR L2 = nedre kvartil - 3.0*IQR U1 = øvre kvartil + 1.5*IQR U2 = øvre kvartil + 3.0*IQR 4. Tegn en linie fra nedre kvartil til det mindste datapunkt, som er større end L1. Tilsvarende, Tegn en linie fra øvre kvartil til det største datapunkt, som er mindre end U1. 5. Datapunkter mellem L1 og L2/mellem U1 og U2 tegnes som cirkler. Datapunkter mindre end L2/større end U2 markeres med. 16

17 Data: Ericksen Graphs Boxplot... poverty Der er tilsyneladende mere udbredt fattigdom i byerne. En enkelt stat skiller sig markant ud med høj fattigdom. city state city 7 2 faktorer: Krydstabulering Statistics Contingency tables Two-way table... Vi vælger variablene stavgte3 og Group. Vi ønsker at se tabeller over frekvenser og relative frekvenser af antal observationer svarende til kombinationer af de 2 variable. 17

18 Vi har valgt relative frekvenser(column percentages) for hvert af uddannelsesniveauerne. Der er især påfaldende mange annoncer i lavgruppen, som har stavelsesord. 8 2 kvantitative variable: Scatterplot Scatterplot - 2 kvantitative variable Graphs Scatterplot... city city state poverty highschool 18

19 9 Populationsparametre Histogram af 50 observationer Histogram af 500 observationer Histogram af population taethed taethed taethed varvalue varvalue varvalue Når stikprøvestørrelsen vokser, så vil eksempelvis middelværdien efterhånden stabilisere sig omkring en fast værdi, som normalt er ukendt. Værdien kaldes populationens middelværdi. Tilsvarende vil stikprøvens standardafvigelse stabilisere sig om en fast værdi. Værdien kaldes populationens standardafvigelse. Notation: µ(my) betegner populationens middelværdi. σ(lille sigma) betegner populationens standardafvigelse. 10 Gem din analyse Gem dit projekt File Save script... Man kan gemme alle de kommandoer, som har genereret dataanalysen. Kommandoerne gemmes i en asciifil, som nemt kan redigeres og stort set intet fylder på computeren. Hvis man senere har behov for at gentage/videreudvikle dataanalysen, så er dette nemt med File Open script file... 19