Statistik med TI-Nspire CAS (Til version 1.6)

Transkript

1 Statistik med TI-Nspire CAS (Til version 1.6) Af Bjørn Felsager 2008

2

3 Indhold Forord Beskrivende statistik Grundlæggende TI-Nspire-teknikker... 5 Velkommen til TI-Nspire... 5 Oprettelse af et datasæt: Variable i TI-Nspire... 7 Oprettelse af grafer: Prikplot og histogram... 8 Oprettelse af grafer: Kvartilsæt og boksplot...11 Middelværdien versus medianen...15 Statistiske beregninger På opdagelse i data...19 Case: Rayleigh og densiteten for kvælstof...19 På jagt efter variabelsammenhænge Fraktiler...27 Opdeling af et datasæt i lige store dele...27 Fraktilplot Grupperede observationer...32 Gruppering af data: Hyppigheder og frekvenser...32 Søjlediagram som erstatning for histogram...33 Sumkurve som erstatning for fraktilplot...35 Teknisk bemærkning: Histogrammer/søjlediagrammer...36 Boksplot for grupperede observationer...39 Middelværdi for grupperede observationer Bekræftende statistik Introduktion til bekræftende statistik...41 Tilfældig variation: Eksperimentelle metoder...41 Case: Nedstyrtningen af et brintbombefly i Thule...43 Simulering af en tilfældig variation Simulering og usikkerhedsintervaller...52 Simulering af en opinionsundersøgelse...52 Usikkerheden for en opinionsundersøgelse...54 Teknisk bemærkning: Kanonisk skøn for en andel...60 Bootstrap og usikkerhed: Tyngdeaccelerationen...61 Teknisk bemærkning: Kanonisk skøn for en middelværdi Omrøring og hypotesetest...66 Challenger-ulykken...66 Beskrivende statistik: Hvem er skurken?...68 Bekræftende statistik: Omrøring og uafhængighed...71 Teknisk bemærkning: Kanonisk t-test Spørgeskemaanalyser og χ²-test...81 Gråzonekriminalitet: En spørgeskemaanalyse...81 Beskrivende statistik: Søjle- og blokdiagrammer...82 Bekræftende statistik: Krydstabeller og uafhængighed...85 Teknisk bemærkning: Kanonisk χ²-test...94 Indeks

4 Forord TI-Nspire er et dynamisk databehandlingsprogram, der egner sig til undervisning i databehandling på mange niveauer: folkeskolens ældste klasser, gymnasiet og de videregående uddannelser. Statistik med TI-Nspire er skrevet som introduktion til TI- Nspire til brug for undervisningen i matematik på det indledende niveau i gymnasiet, dvs. Mat C. Det kan benyttes uafhængigt af andre introduktionshæfter, men for at få et bedre kendskab til TI- Nspire kan det anbefales også at gennemarbejde et introducerende hæfte om variabelsammenhænge. Første del omhandler den beskrivende statistik: Hvordan trækker man information ud om et datasæt. I det indledende afsnit indføres de vigtigste graftyper og deskriptorer: prikplot, histogram og boksplot, kvartilsæt og middelværdi. Dernæst følger et afsnit, der kommer rundt om de vigtigste kendetegn ved en statistisk fordeling: niveauet, spredningen og formen. I det følgende afsnit gives der en introduktion til en generel opdeling af et datasæt i lige store dele ved hjælp af fraktiler. De fungerer dels som bindeled til de grupperede observationer, dels er de afgørende for kunne arbejde med metoder fra den bekræftende statistik. Da mange datasæt i praksis præsenteres som grupperede data (som også udgør et centralt emne i kernestoffet for MatC) afsluttes der med et længere afsnit om grupperede data med en gennemgang af de tilhørende graftyper og deskriptorer: søjlediagram, sumkurve og boksplot, kvartilsæt og middelværdi. Anden del omhandler den bekræftende statistik: Hvordan vurderer man en usikkerhed? Hvordan sandsynliggør man en hypotese? Der lægges vægt på eksperimentelle metoder, som i langt højere grad er tilgængelige for undervisningen på dette indledende niveau. I det første indledende afsnit indføres en række centrale begreber, som fx stikprøve og population. Det følgende afsnit omhandler de to vigtigste metoder til at skønne over usikkerhedsintervaller: simulering med tilfældighedsgeneratorer og bootstrap. Derefter følger et afsnit om hypotesetest med sammenligning af middelværdier for to numeriske variable via en omrøring af variable. Endelig giver det sidste afsnit en introduktion til spørgeskemaanalyser med vægten på krydstabeller og det eksperimentelle χ 2 -test for uafhængigheden af to kategoriserede variable. Dermed har også de elever, der kun har matematik på c-niveau mulighed for at stifte kvalificeret bekendtskab med de vigtigste typer hypotesetests, som de senere kan møde andre fag, fx samfundsfag eller biologi. De undervisningsforløb som hæftet lægger op til har været afprøvet i samarbejde med to inspirerende kolleger, Morten Birk Christensen (nu Oure Idrætsgymnasium) og Brian Olesen. Jeg er dem meget tak skyldig, men er naturligvis kun selv ansvarlig for de fejl og uhensigtsmæssigheder, der måtte have indsneget sig undervejs. Bjørn Felsager 4

5 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker 1. Beskrivende statistik 1.1 Grundlæggende TI-Nspire-teknikker Velkommen til TI-Nspire Når du åbner for TI-Nspire viser der et skærmbillede opdelt i en menubjælke, et dokumentvindue og et arbejdsområde. Arbejdsområdet kan opdeles i fire forskellige værksteder. I statistikken vil vi især benytte værkstederne Lister og Regneark og Data og Statistik: Værkstederne er tilknyttet deres egne menubjælker, der viser hvad man kan arbejde med i værkstedet: 5

6 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker I Lister og Regneark-værkstedet kan man arbejde med datatabeller, simuleringer og forskellige numeriske statistiske beregninger og målinger. I Data og Statistik-værkstedet kan man arbejde med grafiske fremstillinger af data og foretage forskellige simple grafiske analyser af data, herunder kan man arbejde med skydere (parametre), ligesom man kan indsætte tekstbokse. I Lister og Regneark-værkstedet finder man specielt i statistikmenuen rimeligt avancerede statistiske værktøjer til fx at udregne konfidensintervaller og efterprøve kanoniske statistiske hypoteser. Dem vil vi kun kort omtale i dette hæfte, da den fulde brug af disse teoretiske værktøjer kræver et indgående kendskab til statistisk teori. Begge værksteder kan kobles til et dataopsamlingskonsol, hvorfra man kan hente fysiske målinger ind i TI-Nspire-programmet ved at tilslutte sonder til PC'en via et USB-stik. Her er det illustreret med en opstilling til en temperaturmåling: Heller ikke dette vil vi imidlertid komme nærmere ind på her! De to værktøjer Lister og Regneark og Data og Statistik er uløseligt dynamisk forbundne: De fremviser blot to forskellige repræsentationer af de samme grundlæggende data. Ændrer man i data i regnearket følger graferne automatisk med, og hvis man omvendt trækker i datapunkterne i Data og Statistik-værkstedet følger cellerne i Lister og Regneark-værkstedet automatisk med. Men lad os komme i gang med et eksempel: Kernen i TI-Nspire er dets unikke evne til at håndtere variable, så lad os gøre nogle observationer og knytte variable til dem. Det kunne være om klassen, hvor vi kunne se på datasættet bestående af de enkelte elever karakteriseret ved forskellige egenskaber, såsom navn, køn, alder, højde osv. Det kan I imidlertid selv lege med. 6

7 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Oprettelse af et datasæt: Variable i TI-Nspire Her vil vi i stedet se på et eksempel, der også er så simpelt, at vi selv nemt kan taste data ind. FCK er en af topklubberne i dansk fodbold. I 1999 var lønningerne for spillerne på A-holdet givet ved den følgende tabel: Spiller Løn Christian Poulsen Thomas Røll Peter Hansen Heine Fernandez Thomas Thorninger Morten Bisgaard Christian Lønstrup Jacob Laursen Diego Tur Sibusiso Zuma Thomas Rytter I den ovenstående tabel er der to variable: Spilleren og hans løn. Vi åbner derfor for et Lister og Regneark-værksted og starter med at give et navn til den første variabel spillerens navn ved at klikke på titelfeltet A og skrive løs. Herefter skriver vi navne ind i de følgende celler, idet vi husker at der skal gåseøjne omkring navne (for at adskille dem fra variable): Alternativt kan man simpelthen kopiere data fra tabellen ind i TI- Nspire, hvis man fx har en elektronisk Wordudgave til rådighed. Den første variabel er nem nok at indtaste, da den bare består af en tekst. Sådanne tekstvariable kaldes også for kategoriserede variable, fordi de opdeler spillerne i forskellige kategorier, fx navn 7

8 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker eller hvilken funktion de har på holdet, fx forsvarsspiller eller angrebsspiller. Tekstvariable er venstrestillede, ligesom i et almindeligt regneark og er karakteriseret ved at de er omsluttet af gåseøjne. I det hele taget minder tabellen i sin struktur minder meget om et regneark med nummererede rækker, idet hver spiller har fået tildelt sit eget indeks, der angiver hans plads i tabellen. Læg også mærke til at søjlerne, dvs. de enkelte variable, alle er født med bogstavnavne A, B, C osv. som i et almindeligt regneark. Det gør det nemt også at referere til en enkelt celle. I TI-Nspire som er et dynamisk regneark kan vi selv vælge om vi vil arbejde med hele søjler/lister ad gangen, sådan som du måske også kender det fra din grafregner, eller om vi vil arbejde med enkeltceller, sådan som du kender det fra fx Excel. Den anden variabel, lønnen er en talvariabel. De kaldes også for numeriske variable. Talvariable er højrestillede, ligesom i et almindeligt regneark. Oprettelse af grafer: Prikplot og histogram Hvordan kan vi nu danne sig et overblik over disse tal? Det kan gøres på flere forskellige måder. Her vil vi nu først se på nogle grafiske metoder til at danne sig et overblik over numeriske variable (vi vil senere også se nærmere på graftyperne for de kategoriserede variable). Vi kan nu oprette en graf over lønningerne ved at markere søjlen for løn (klik på søjlenavnet B i titelfeltet) og vælge menupunktet Hurtiggraf i vis-menuen. Der oprettes da automatisk et Data og Statistikværksted med den ønskede graf: 8

9 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Man kan også selv oprette et data og statistik-værksted. Der åbnes da for en ustruktureret afbildning af datasættet med en tilfældig fordeling af datapunkterne svarende til den første kategoriserede variabel (hvis der er en og ellers den første numeriske variabel). Derefter kan man som vist klikke i variablen Løn på førsteaksen i grafrummet. Datapunkterne struktureres da i en glidende bevægelse efter værdien af variablen løn og slutresultatet er det samme som den ovenstående hurtig-graf. Herved fremkommer altså et prikplot, der giver en god fornemmelse for lønfordelingen, som er tydeligt højreskæv og har en central klump omkring kr. og en lang hale til højre med dels et par spillere omkring kr. og så den virkelige topscorer Sibusiso Zuma med kr. i årsløn. Læg mærke til at prikplottet er stakket, dvs. at prikkerne anbringes de oven på hinanden, så vi får en tydelig fornemmelse af fordelingens form. 9

10 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Selv om spillernes navne ikke optræder på prikplottet kan vi nemt finde ud af hvem der gemmer sig bag prikkerne. Hertil oprettes fx en ustruktureret graf. Klikker vi på et datapunkt, lyser det nemlig op i alle andre grafer. Klikker vi i den ustrukturerede graf fås endda en oplysningsseddel om værdierne for alle de variable, der er knyttet til datapunktet: Vi kan også skifte graftype ved at højreklikke og afsætte lønningerne i et histogram 1 : Histogrammet viser det samlede overordnede mønster som prikplottet. Vi kan nu selv tilpasse histogrammet ved at trække i histogramboksenes kanter eller ved at højreklikke i grafrummet og derved få adgang til menupunktet Søjleindstillinger. 1 Betegnelsen Tæl på den lodrette akse er en oversættelsesfejl af det engelske ord Count. Der burde stå Antal (eller hyppighed). 10

11 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Fx kan vi som vist sætte intervalbredden ned fra til og få lidt finere detaljer med. Tilsvarende kan vi regulere intervalstarten 2, dvs. placeringen af det første intervalendepunkt. Læg mærke til at hvert af intervallerne starter i det venstre endepunkt 3. Hvis vi fx som vist markerer typeintervallet, kan vi på statusbjælken for neden se at det drejer sig om fire spillere med lønninger fra kr. (inklusive) op til kr. (eksklusive). Læg også mærke til at intervallet angives med en lidt anden konvention end den danske, idet der både benyttes kantede og runde parenteser: kantet når parentesen er lukket og rund når parentesen er åben. Oprettelse af grafer: Kvartilsæt og boksplot Vi kan ordne lønningerne i rækkefølge ved at markere begge variablene Navn og Løn og højreklikke for at vælge kommandoen Sorter (herved sikres at de begge ordnes samtidigt). Herefter vælger vi dels at sortere efter kolonne b[] (dvs. i vores tilfælde variablen løn) og dels at sortere stigende. Samtidigt vil spillernes navne følge med, når vi rokerer rundt på lønningerne, fordi vi har markeret begge variable. 2 Betegnelsen Papirretning er en fejl. Dette menupunkt hører til i udskriftmenuen. 3 Der er tale om et tilfældigt valg. I andre undervisningstraditioner kan man derfor møde det modsatte valg, hvor det er højre endepunkt, der regnes med. 11

12 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Vi finder da: Vi kan nu aflæse den mindste lønning (Peter Hansen), dvs. minimum, den midterste lønning (Thomas Thorninger), dvs. medianen, samt den største lønning (Sibusiso Suma), dvs. maksimum Min = Med = Max = Medianen er den midterste observation. Hvis der er et lige antal observationer, vil der i stedet være to midterobservationer. Man har da vedtaget at medianen i dette tilfælde er gennemsnittet af de to midterste observationer 4. 4 Der findes forskellige traditioner for hvad man skal lægge vægt på, når man definerer statistiske deskriptorer. I ældre dansk undervisningstradition har man i stedet prioriteret højest, at medianen altid faldt sammen med en observation. Man har derfor vedtaget (tilfældigt!) at medianen skulle være den største af de to observationer. 12

13 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Medianen deler nu det ordnede datasæt i to halvdele. Vi kan derfor fortsætte med at fastlægge medianerne for hver af disse. De kaldes første og tredje kvartil Q 1 og Q 3 (jfr. ordet kvart, som står for en fjerdedel, idet kvartilerne deler datasættet i fjerdedele). Hvis der er et lige antal observationer er det oplagt, hvordan datasættet splittes i to halvdele. Med et ulige antal er det lidt mere indviklet, fordi man i princippet både kan medtage og udelukke den midterste observation i de to halvdele. I TI-Nspire har man nu vedtaget at man aldrig medtager medianen, dvs. de to halvdele består af de datapunkter, der går forud for medianen og de datapunkter der følger efter medianen: De to kvartiler udgør medianerne for de to halvdele af det ordnede datasæt. Hvis der i alt er et ulige antal observationer regnes midterobservationen ikke med til de to halvdele. De to halvdele ser derfor således ud: Q 1 Q 3 Første kvartil Q 1 er altså givet ved kr. i årsløn, mens tredje kvartil Q 3 er givet ved kr. i årsløn. Kvartilsættet bestående af den første kvartil, medianen og den tredje kvartil (hvor medianen kan opfattes som den anden kvartil) deler datasættet i fire dele, som hver for sig rummer (ca!) en fjerdedel af observationerne. Tilføjer vi ydermere minimum og maksimum (den nulte kvartil og den fjerde kvartil) til kvartilsættet kaldes det for det udvidede kvartilsæt eller de fem nøgletal. Vi samler ofte de fem nøgletal i et såkaldt boksplot, hvor boksens to ender angiver første og tredje kvartil, mens medianen markeres med en lodret streg inde i boksen. Boksen indeholder altså (mindst!) halvdelen af observationerne. Dertil føjer vi vandrette streger, der i princippet rækker helt ud til den mindste observation og den største observation. Men som udgangspunkt vil TI-Nspire i stedet vælge at skille de yderste observationer ud, hvis de ligger markant langt væk fra de øvrige. 13

14 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Flytter vi markøren hen over boksplottet kan vi aflæse alle de fem nøgletal 5 Boksplottet giver et klart indtryk af den skævhed der er i aflønningen af spillerne på A-holdet. Halvdelen af lønninger ligger i den venstre hale og den venstre halvdel af boksen, som begge er meget små i forhold til den højre halvdel og den meget lange højre hale. Boksplottet giver derimod ikke noget indtryk af hvordan de enkelte individuelle data fordeler sig. Skyldes den højre hale fx blot nogle få observationer eller er der tale om en hel stribe af observationer. Vælger vi menupunktet Vælg alle punkter fra Vis-menuen, ser vi at boksplottet er udspændt af 7 værdier (hvoraf en stor del af de mindre værdier optræder flere gange). 5 Betegnelsen Sp1 for den første kvartil (og tilsvarende Sp3 for den tredje kvartil) er fejloversættelser af Q1 og Q3, der i denne sammenhæng jo ikke står for Question, dvs. spørgsmål). 14

15 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Her kan vi nu få glæde af begrebet en atypisk eller perifer observation. En observation kaldes en afviger eller siges at være perifer, hvis den ligger usædvanligt langt ude i forhold til den centrale boks. Det er selvfølgelig et skøn, hvornår noget ligger så langt ude at det må betragtes som ekstremt. TI-Nspire benytter en tommelfingerregel opstillet af den amerikanske statistiker Tukey, der har vist sig i praksis at være yderst nyttig til at spotte afvigerne. Tukey tager udgangspunkt i boksens bredde, den såkaldte kvartilbredde, dvs. tallet Q 3 Q 1 : Tukeys regel: Hvis en observation ligger længere væk end halvanden kvartilbredde fra den centrale kasse, anses den for at være en afviger. Grænserne for linjestykkerne, dvs. nedre kvartil minus halvanden kvartilbredde og øvre kvartil plus halvanden kvartilbredde, kaldes Tukeys hegn. I vores tilfælde er kvartilbredden kr. (= ). Halvanden kvartilbredde er derfor kr. Trækker vi kr. fra den venstre kant, dvs. Q 1 = kr., fås en negativ løn. Dvs. vi skal ned på en negativ løn for at have en ekstrem lav løn. Det er der ingen, der har. Tilsvarende skal vi lægge kr. til den højre kant, dvs. Q 3 = kr. Vi skal altså op over en årsløn på kr. for at have en ekstremt høj løn. Det er der kun én, der har! Middelværdien versus medianen Inden vi forlader eksemplet med fodboldspillerne vil vi se på endnu en statistisk deskriptor som kan være af stor nytte til beskrivelse af data. Som et mål for den centrale eller typiske værdi har vi indtil videre benyttet medianen. Men i mange sammenhænge vil vi foretrække middelværdien eller gennemsnittet. I det ovenstående tilfælde skal vi altså finde den samlede lønsum og dividere den med antallet af spillere, dvs

16 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Grafisk tilføjer vi middelværdien ved at vælge menupunktet Plot værdi fra Analyser-menuen. Herefter indskriver vi formlen mean(løn) for at få tegnet middelværdien og formlen median(løn) for at få tegnet medianen) middelløn = = Gennemsnitslønnen i FCK er altså kr., hvilket ligger et godt stykke over medianen på kr. Det afspejler den uforholdsmæssige store indflydelse afvigeren har på gennemsnittet. Det er derfor det er godt også at have medianen til rådighed. Medianen ligger altid i den centrale klump. Ydermere er medianen robust dvs. påvirkes ikke af tilstedeværelsen af en enkelt eller nogle få afvigere. Medianen er derfor et bedre mål for den typiske spillerløn. For at undersøge den indflydelse den ekstreme spillerlønning har på middelværdien kan vi bare gribe fat i det perifere datapunkt og trække i det. Men kan da netop se, hvordan middellønnen hele tiden flytter sig, mens medianlønnen ligger stille indtil vi kører forbi den og selv da giver den kun et lille ryk: På samme måde rykker kvartilerne selvfølgelig også, når vi passerer dem. Læg dog mærke til, at vi ikke kan trække middellønnen forbi medianlønnen i det ovenstående eksempel. Fordelingen forbliver altså højreskæv. 16

17 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Bemærkning: En sådan dynamisk tilpasning af modellen er fin til at demonstrere, hvilken indflydelse udvalgte data har på modellen. Men vi kan også ved et uheld komme til at flytte rundt på datapunkterne. Sker uheldet alligevel må man fortryde et passende antal gange indtil den oprindelige værdi er genoprettet! Statistiske beregninger Til slut vil vi se lidt på mulighederne for at udføre simple statistiske beregninger. Vi kan da dels udnytte muligheden for at skrive formler i cellerne fra regnearket. Formler er karakteriseret ved at de starter med et lighedstegn =. Så for at udregne middelløn og medianløn benyter vi som vist formlerne C1: =mean(løn) og C2: =median(løn): Men det afgørende er da at vi holder os fri af de søjler vi har brugt til de variable. Dels kan vi som vist vælge menupunktet Stat beregning... > Statistik med én variabel fra Statistik-menuen. Dermed har vi adgang til alle de statistiske deskriptorer som vi har introduceret i det foregående. 17

18 1.1 Beskrivende statistik: Grundlæggende TI-Nspire-teknikker Her skal vi først og fremmest være opmærksomme på at vi både skal angive den liste, som vi vil udregne statistikken for, og den søjle som vi vil have resultaterne skrevet i (og hvor det er vores eget ansvar at den ikke overskriver andre resultater). De øvrige muligheder, frekvenslisten og kategorilisten giver mulighed for mere detaljerede statistiske beregninger. Hvis vi fx har indtastet en hyppighedstabel, så er det listen over hyppighederne, der skal noteres i frekvenslisten. Hvis vi ønsker at splitte resultaterne på kategorier, fx forsvarspillere og angrebsspillere, så kan det også lade sig gøre. Men her udregner vi bare statistikken for én samlet liste uden at tage hensyn til diverse filtre: Her har vi markeret de fem statistiske nøgletal (der ligger til grund for boksplottet). Vi ser også middelværdien (der noteres som ), samt de to spredningsmål, stikprøvespredningen sx og populationsspredningen σx. Endelig oplyses antallet af data, i dette tilfælde n =

19 1.2 På opdagelse i data Vi har nu fået en første fornemmelse for strukturen af et datasæt. Kernen i den beskrivende statistik er de grafiske fremstillinger af data. Øjet er vores bedste mønstergenkender, så når vi vil danne os et overblik over strukturen for et datasæt, dvs. fordelingen af de variable, er det langt det nemmeste, hvis vi begynder med at visualisere fordelingen før vi kigger dybt i tabeller og begynder at udføre indviklede beregninger. Det udtrykkes ofte med sloganet: 'Du skal tegne, før du kan regne'. Den mest grundlæggende graftype for en variabel hørende til et datasæt er prikplottet. Men dertil kommer så de supplerende graftyper: histogram, boksplot og normalfordelingsplot, som hver for sig er gode til at fremhæve forskellige sider af strukturen. Hvad er det så man kan hæfte sig ved, når man forsøger at danne sig et indtryk af strukturen for en variabel? Der er første og fremmest de følgende tre kendetegn: Form, niveau og spredning 1. Form: Ligger dataene jævnt fordelt ud over et interval eller er de fleste data samlet i en eller flere klumper? Ligger dataene symmetrisk eller ligger de skævt. Som hjælp til det sidste kan man også se på forskellen mellem middelværdien og medianen, der kan opfattes som et mål for skævheden. 2. Niveau: Hvad er den typiske værdi for variablen? Hvis dataene med tilnærmelse ligger symmetrisk, vil vi ofte foretrække middelværdien som den typiske værdi, men hvis dataene ligger skævt vil vi ofte foretrække medianen som den typiske værdi. 3. Spredning: Ligger dataene meget tæt på den typiske værdi eller spreder de sig ud over et stort område? For en jævn fordeling, vil vi ofte benytte variationsbredden (forskellen mellem den mindste og den største værdi) som et mål for spredningen. For en fordeling med en central pukkel og lange haler ud til siden vil vi ofte benytte kvartilbredden (tykkelsen af kvartilboksen) som et mål for spredningen. Men andre kendetegn kan også falde i øjnene: Er der fx typiske gab? Er der tydelige perifere/afvigende observationer osv. Case: Rayleigh og densiteten for nitrogen Som et typisk eksempel på en opdagelsesrejse i et datasæt vil vi se på et berømt historisk eksempel 6 : Rayleighs undersøgelse af densiteten for kvælstof N 2, som udgør den vigtigste komponent i atmosfærisk luft. Den næst vigtigste er ilt O 2. Ved at fjerne ilten fra atmosfærisk tør luft kunne han isolere kvælstoffet. Tilsvarende kunne han frembringe rent kvælstof ved at nedbryde forskellige simple kemiske forbindelser. Derved fandt han frem til følgende eksperimentelle data 6 Rayleighs egen beskrivelse findes fx på hjemmesiden 19

20 1.2 Beskrivende statistik: På opdagelse i data For at danne sig et indtryk af fordelingen for de målte vægte afbildes de i et prikdiagram henholdsvis et boksplot. Prøver vi først at se på boksplottet er boksen usædvanlig bred i forhold til de to haler. Samtidigt er fordelingen tydeligt højreskæv, idet den højre del af boksen er meget større end den venstre del; dette bekræftes yderligere af at middelværdien ligger langt inde i den højre del. Men der ud over er det svært at se på boksplottet, hvad det egentlig er, der gør fordelingen så usædvanlig. Kigger vi der i mod på prikplottet falder det tydeligt i øjnene at fordelingen er skilt ad i to (måske endda tre) klumper: En snæver klump omkring massen 2.310g og en bredere klump omkring 2.299g (og måske er der endda tegn på en tredje klump omkring 2.301g). 20

21 1.2 Beskrivende statistik: På opdagelse i data Hvad kan nu være årsagen til denne opsplitning af datasættet? Indkranser vi den snævre klump omkring 2.310g i prikplottet ses det tydeligt i tabellen, at den er koblet til alle målingerne, der stammer fra atmosfærisk luft. Der er altså tydeligvis en skjult variabel, der giver anledning til en systematisk forskel på den kvælstof, der isoleres fra den atmosfæriske luft og den kvælstof, der isoleres fra forskellige kemiske forbindelser. Det samme kan ses tydeligt på grafen, hvis vi benytter variablen kilde til at splitte prikplottet: 21

22 1.2 Beskrivende statistik: På opdagelse i data I virkeligheden er der altså tale om en sammenblanding af to adskilte datasæt. Det kan vi se endnu tydeligere, hvis vi indfører en sammensat variabel, Oprindelse, der skelner mellem de målinger, der stammer fra kemiske forbindelser og de målinger, der stammer fra atmosfærisk luft: Ved at indføre Oprindelse som uafhængig variabel og Vægt som afhængig får vi netop tydeligt adskilt de to grupper data: 22

23 1.2 Beskrivende statistik: På opdagelse i data Tilbage stod så bare at identificere den sande natur af den skjulte variabel: Hvorfor adskilte den kvælstof, der blev udskilt af atmosfærisk luft sig fra den kvælstof, der blev isoleret fra en kemisk forbindelse? Rayleigh gættede på at den atmosfæriske luft måske indeholdt et ukendt stof, der forstyrrede målingerne. I så fald repræsenterer målingerne fra de kemiske forbindelser den rene kvælstof, mens målingerne fra den atmosfæriske luft er 'forurenet' af det skjulte stof. Hvis dette skjulte stof havde en højere densitet end kvælstof, ville det netop kunne trække målingerne en anelse i vejret, så de kom til at ligge på et højere niveau. Rayleigh gik på jagt efter det ukendte stof, hvorved han netop opdagede den første ædelgas, argon, hvilket udløste en nobelpris. Bemærk i øvrigt hvordan hans opdagelse kun kunne lade sig gøre, fordi han dels målte meget præcist, dels benyttede flere af hinanden uafhængige metoder til fremstillingen af kvælstof. På jagt efter variabelsammenhænge Som et andet eksempel på hvordan man kan gå på opdagelse i data vil vi se på hvordan man kan analysere den information, der ligger gemt i en spørgeskemaundersøgelse. Her tager vi udgangspunkt i et udsnit af en stor tysk undersøgelse af gymnasieelevers fritidsvaner. Undersøgelsen rummer 140 forskellige variable, så der er nok at tage fat på. Her vil vi tage udgangspunkt i en forenklet version på dansk, Unges fritidsvaner. Her vil vi se nærmere på variablen Tid_TV, der registrerer de unges ugentlige timeforbrug til TV-kiggeri. Trækkes variablen ind i et grafrum kan vi dels kigge på et boksplot for det store overblik, dels supplere med et prikdiagram for de finere detaljer: 23

24 1.2 Beskrivende statistik: På opdagelse i data Boksplottet afslører at niveauet for de unges tv-kiggeri ligger på 10 timer om ugen (og der er ikke stor forskel på median og middelværdi i denne forbindelse). Faktisk viser 10 timer om ugen sig også at være typetallet. Spredningen kan angives via kvartilbredden på 9 timer, idet halvdelen af de unge ser tv mellem 5 og 14 timer om ugen. Ser vi til sidst på formen er der karakteristisk at der er en lang hale til højre, der ender i en række perifere observationer med unge 'tvnarkomaner', der ser tv mindst 30 timer om ugen. Man kunne så naturligt forvente at tv-kiggeriet var højreskævt, men faktisk ligger middelværdien en anelse til venstre for medianen. Den venstre halvdel af kvartilboksen er da også større end den højre halvdel, hvilket kompenserer for den lange hale. 24

25 1.2 Beskrivende statistik: På opdagelse i data Men detaljerne kan først rigtigt ses på prikdiagrammet, hvor det fx fremgår at mange unge er tilbøjelige til at opgive deres ugentlige tvforbrug i multipla af 5, idet der er tydelige toppe ved 5, 10, 15, 20, 25 og 30 timer. Andre går ud fra deres daglige forbrug, hvilket giver toppe ved 7, 14 og 21 timer om ugen. Vi går nu videre med at overveje nogle mulige sammenhænge hvilke variable kan tænkes at have indflydelse på tv-kiggeriet? hvilke variable kan tv-kiggeriet tænkes at have indflydelse på? Kunne det fx tænkes at kønnet spillede en rolle for tv-kiggeriet? Kigger piger mere tv end drenge? Er de fx mere afhængige af 'serier'? Det kan vi afklare, ved at trække variablen Køn ind som den uafhængige variabel på førsteaksen og variablen TidTV ind som den afhængige variabel på andenaksen. 25

26 1.2 Beskrivende statistik: På opdagelse i data Grafen viser da at niveauet for drengenes tv-kiggeri faktisk ligger en anelse højere end pigernes, både målt på middelværdi og median, idet drengen typisk kigger 12 timers mere tv om ugen. Og sjovt nok ligger middelværdien over medianen for begge køns vedkommende. Ellers er der ikke den store forskel på formen i de to fordelinger: Drengenes spredning er en anelse mindre end pigernes, mens pigernes fordeling er lidt mere skæv end drengenes. En anden interessant mulig sammenhæng er spørgsmålet om det spiller en rolle, om de unge har deres eget tv-apparat eller om de er 'tvunget' til at se tv på familiens apparat: Det kan vi afklare ved at trække variablen Eget_TV ind som den uafhængige variabel og variabel Tid_TV som den afhængige variabel. Denne gang er forskellen mere markant. Niveauet for tv-kiggeriet for de unge med eget tv-apparat ligger typisk 3 timer over niveauet for de unge uden eget tv-apparat. Tilsvarende er spredningen af tvkiggeriet større for de unge med eget tv, idet fx kvartilbredden for de unge med eget tv-apparat ligger to timer over kvartilbredden for de unge uden eget tv-apparat. Begge fordelinger har i øvrigt stort set samme form. Læg i øvrigt mærke til at årsagssammenhængen mellem to variable sjældent er entydig: Har man eget tv-apparat kan det friste til at se mere tv. men omvendt kan et stort behov for tv-kiggeri føre til et pres på familien for at man kan se det uden at forstyrre de andre. Sammenfattende kan man altså arbejde med at undersøge data på flere forskellige niveauer: ved at trække statistiske informationer ud om de enkelte variable ved at sammenholde statistiske informationer for flere variable ved at knytte de statistiske informationer sammen med den kontekst variablen indgår 26

27 1.3 Fraktiler Opdeling af et datasæt i lige store dele I det foregående har vi set hvordan vi dels ved hjælp af medianen kan dele et datasæt i to lige store halvdele, dels ved hjælp af kvartiler kan dele et datasæt i fire lige store fjerdele. Men der er selvfølgelig intet helligt ved halvdele og fjerdedele og vi kunne lige så godt dele et datasæt i ti lige store dele (ved hjælp af deciler), i hundrede lige store dele (ved hjælp af centiler) osv. I almindelighed bruger vi fraktiler til at dele et datasæt i et bestemt antal lige store dele. Den praktiske opdeling af datasættet i lige store brøkdele ved hjælp af fraktiler afhænger af datasættets størrelse, dvs. antallet af observationer n. Det er nemmest hvis antallet af observationer n kan deles med nævneren for brøkdelen. Lad os fx se på femtedele. Hvis 5 går op i antallet af observationer, fx n = 20, ordnes disse observationer i voksende rækkefølge, hvorefter de første fire observationer udgør den første femtedel, de næste fire observationer den anden osv. Som skillepunkter, dvs. kvintiler, bruger vi da gennemsnittet af de to nærmeste observationer. Se fx nedenstående eksempel, hvor vi har fundet kvintilerne for et datasæt bestående af vægtene for 20 amerikanske bjørne (målt i pund, dvs. lb): Nulte kvintil Første kvintil Anden kvintil Tredje kvintil Fjerde kvintil Femte kvintil 27

28 1.3 Beskrivende statistik: Fraktiler Men hvad gør vi så, hvis 5 ikke går op i antallet af observationer? Hvordan skal vi så håndtere resterne, dvs. hvordan definerer vi fraktiler helt generelt? 7 I så fald kan vi ikke fastlægge fraktilerne præcist, men ved hjælp af et såkaldt fraktilplot kan vi give et fornuftigt skøn over fraktilværdierne. Fraktilplot Det er nemmest at forklare opdelingen i fraktiler i almindelighed. Vi tænker os igen at vi har et datasæt med 20 observationer. Vi deler da intervallet fra 0 til 100% i 20 lige store dele, der altså hver omfatter 5% (se opdelingen af den lodrette akse i figuren): 7 Der findes forskellige definitioner af fraktiler. Fx benytter Excel en anden definition end den vi her skal gennemgå, ligesom der findes forskellige varianter i undervisningslitteraturen. Det er noget man må være opmærksom på, når man sammenligner resultater opnået med forskellige programmer eller stammende fra forskellige kilder. 28

29 1.3 Beskrivende statistik: Fraktiler Dette fraktilplot er oprettet som et punktplot ved at vi har tilføjet midtpunkterne for de 20 dele-intervaller som en liste kaldet fraktil. Den indføres som vist nemmest som en formel, der indskrives ved at vælge menupunktet Generer sekvens fra Data-menuen: Herefter oprettes et XY-Linjeplot for den uafhængige variabel vægt koblet til den afhængige variabel fraktil: Man kan nu aflæse tilnærmede værdier for de enkelte fraktiler ved at gå ind fra procent-aksenog se hvor man skærer fraktilplottet. I den bekræftende statistik er der typisk brug for 2½%-fraktilen og 97½%-fraktilen. De udregnes for datasæt der typisk består af 1000 målinger, dvs. 2½%-fraktilen skiller de første 25 målinger fra de resterende 975 målinger, ligesom 97½%-fraktilen skiller de sidste 25 målinger fra de 975 første målinger. Når først datasættet er ordnet er det altså ikke svært at aflæse 2½%-fraktilen og 97.5%-fraktilen i en tabel. Her ses et eksempel på fordelingen af 1000 simulerede målinger af forskellen mellem kondital for piger og drenge i 1g: 29

30 1.3 Beskrivende statistik: Fraktiler 30

31 1.3 Beskrivende statistik: Fraktiler Fraktilplot giver en anden måde at fremstille data på grafisk som supplement til de tidligere plottyper: Prikplot, boksplot og histogram. Men informationen er selvfølgelig i en vis forstand den samme. Men ser især efter tre ting i forbindelse med et fraktilplot 1. Vi kan nemt aflæse medianer, kvartiler og andre fraktiler på fraktilplottet, idet vi går vandret ind ved den ønskede fraktilprocent. Her følger fx en tilnærmet aflæsning af median og kvartiler: 2. Vi kan se hvor tætheden er størst, idet hældningen er størst, hvor afstanden mellem observationerne er mindst. I den ovenstående fordeling er fx to stejle partier: Lige i starten og lige efter medianen, hvilket i histogrammet viser sig som to toppe. Fordelingen er altså tydeligt to-puklet (bimodal). 3. Vi kan visuelt checke om en fordeling er jævn (ligefordelt), for i så fald følger fraktilplottet netop en ret linje. Det er fx tydeligvis ikke tilfældet i det ovenstående tilfælde, hvor fraktilplottet har to tydelige bugter. 31

32 1.4 Grupperede observationer Gruppering af data: Hyppigheder og frekvenser Når vi indsamler data, så er de indsamlede data, de rå data, den kilde som vi senere kan udvinde alle informationerne fra. De rå data udgør statistikkens hellige gral (på samme måde som de eksperimentelle data i naturvidenskaberne) og vi bør altid så vidt muligt arbejde direkte med de rå data, fordi de kan vendes og drejes og dermed ses fra alle synsvinkler, hvorved vi i et rigt datasæt kan blive ved med at gå på opdagelse og opdage nye sammenhænge. Men når man præsenterer sine konklusioner vil man ofte forenkle situationen og kun vise de forarbejdede data, der umiddelbart understøtter ens konklusioner. Typisk vil man gruppere data, dvs. slå dem samme i et mindre antal grupper, hvor man så ikke længere skelner mellem de individuelle data. Det kan være i form af et boksplot, hvor datasættet deles i fire lige store grupper efter størrelse, eller det kan være i form af et histogram, hvor man har valgt en passende intervalinddeling for at fremhæve nogle typiske træk ved fordelingen. Når man på denne måde grupperer sine data mister man altså information: De forarbejdede data repræsenterer halvfabrikata. Hvis vi kun har adgang til de grupperede data kan vi derfor ikke længere drage præcise konklusioner, men må nøjes med tilforladelige skøn. Vi kan sammenligne det med tilberedning af mad: Hvis vi har alle råvarerne til rådighed kan vi lave alle mulige varianter af retter, men hvis råvarerne først er hældt sammen i en stor gryde og kogt sammen til en grød er der ikke så meget mere at stille op, selvom der selvfølgelig stadigvæk kan tilføjes forskellige krydderier. Alligevel er det vigtigt at have kendskab til de vigtigste metoder til at trække informationer ud af grupperede data, da det ofte er på den form vi vil møde data i andres undersøgelser, når de fremlægges i fx avisartikler, og kun ved at kende til sådanne teknikker vil vi kunne forholde os kritisk til de påstande, der er knyttet til undersøgelsen. I det følgende afsnit ser vi derfor på i hvor høj grad det stadigvæk i forbindelse med grupperede data er muligt at skønne troværdigt over størrelsen af medianer, kvartiler, middelværdier osv., ligesom vi ser nærmere på hvilke graftyper vi kan tilnærme med grupperede data. Centralt for de grupperede data står hyppighedstabellerne, hvor observationerne er inddelt i passende intervaller, hvorefter man har talt op hvor mange observationer der falder i de enkelte observationsintervaller. Det er på basis af disse hyppighedstabeller vi skal forsøge at uddrage troværdige informationer. Da vi ikke kender de individuelle data i de enkelte intervaller gør vi nu følgende antagelse: 32 Grundantagelsen for grupperede data De individuelle data i et givet observationsinterval antages at være tilfældigt fordelt i intervallet og antages derfor at ligge jævnt fordelt indenfor intervallets grænser.

33 Det behøver selvfølgelig ikke være tilfældet i virkeligheden, men hvis ellers data er udvalgt rimeligt tilfældigt er det ret usandsynligt, hvis de fx systematisk alle ligger i den venstre halvdel af intervallet. I praksis opgiver man typisk frekvenser 8 i stedet for hyppigheder, idet frekvensen angiver hvor stor en procentdel af observationerne der falder indenfor et bestemt observationsinterval Hyppighed Frekvens = 100%. Samlet antal Læg mærke til at når vi arbejder med frekvenstabeller kender vi ikke nødvendigvis det samlede antal observationer. Søjlediagram som erstatning for histogram Eksempel: Danskernes kondital 1995 Følgende tabel viser fordelingen af kondital hos danskerne i 1995: Kondital Frekvens 2,5% 8,2% 22,0% 8,9% 23,3% 7,6% 7,5% For at kunne arbejde med de ovenstående oplysninger indtastes de i et regneark. Læg mærke til, at når vi indtaster et interval som 0-15 opfattes det som et regnestykke. Det regnes altså ud som en differens og opfattes som en numerisk variabel. Da vi ønsker, det skal opfattes som en kategoriseret variabel skal vi selv huske gåseøjne! Vi forsøger os nu først som vist med en graf, hvor vi afsætter Kondital som den uafhængige variabel og Frekvens som den afhængige variabel. Resultatet er et prikplot, der giver en vis fornemmelse for fordelingen, men da den uafhængige variabel Kondital er en kategoriseret variabel er der i virkeligheden tale om en serie af prikplots: én for 8 På engelsk betyder ordet 'frequency' desværre 'hyppighed', mens ordet 'frekvens' oversættes med 'relative frequency'. 33

34 hver kategori. Det kan vi se tydeligt, hvis vi forsøger at skifte til graftypen histogram. Vi kan stadigvæk godt få en fornemmelse af fordelingen, men der er tydeligvis kun tale om et interval med hyppigheden 1 svarende til hver kategori Som alternativ må vi derfor anvende et søjlediagram, men det kræver at vi har adgang til de rå data og ikke kun hyppighedstabellen. Vi benytter derfor en kommando FreqTable List(kategoriliste, hyppighedsliste), der omformer hyppighedstabellen til den oprindelige liste bestående af de rå data. Da hyppighedslisten kun må indeholde hele tal, ganger vi først frekvenserne med 10 (i stedet for procenter repræsenterer de nu altså promiller): 34 Søjlediagrammet er det bedste bud på et histogram, når vi arbejder med grupperede data.

35 Sumkurve som erstatning for fraktilplot Men hvis vi ikke rigtigt kan arbejde med histogrammer for grupperede observationer, hvilken graftype egner sig så bedre til de grupperede observationer? Det viser sig at være et tilnærmet fraktilplot. Da vi ikke har kendskab til de individuelle placeringer af observationerne i delintervallerne kan vi selvfølgelig ikke konstruere et præcist fraktilplot. Men vi kan konstruere en særdeles nyttig tilnærmelse, der kaldes en sumkurve. Den bygger altid på en tabel over de kumulerede (summerede) frekvenser, så hvis udgangspunktet er en tabel over hyppigheder, må denne først omdannes til en tabel over frekvenser. Til hvert intervalendepunkt, knytter vi nu den procentdel af observationerne, der går forud for endepunktet. Det er denne procentdel, der kaldes den kumulerede frekvens (kumulere = opsamle). Ofte betegnes den dog også den summerede frekvens, fordi den fremkommer ved at lægge alle de foregående frekvenser sammen. Vi starter derfor med at opbygge en tabel ud fra samtlige intervalendepunkter. Det giver et ekstra intervalendepunkt til at begynde med, der tildeles frekvensen 0%, idet der ikke ligger nogen observationer forud for det allerførste intervalendepunkt: Derefter lægges procenterne løbende sammen. Det kan gøres i hånden ved at lægge den nye procent til løbende. Eller det kan som vist gøres ved brug af formlen forrige(kumfrekvens) + frekvens, der netop hele tiden lægger den nye procent til den allerede opnåede kumulerede frekvens. Læg mærke til at den kumulerede frekvens altid starter med 0% og slutter med 100%. Med undtagelse af muligheden for en mindre afrundingsfejl (som højst må være %) er det afgørende, for det viser at vi har fået alle observationerne talt med. Vi kan nu tegne et XY-plot med Kondital som den uafhængige variabel og Kumfrekvens som den afhængige variabel (se næste side igen!): 35

36 Teknisk bemærkning: Histogrammer /søjlediagrammer Selv når vi benytter et søjlediagram til at tilnærme et histogram kan der stadigvæk opstå problemer, for søjlerne afsættes automatisk med den samme bredde. I praktisk forekommende tilfælde er det dog langt fra altid, at alle intervallerne er oplyst med samme bredde. I det ovenstående eksempel med danskernes kondital har det første interval således bredden 15, det sidste interval har bredden 20, mens de øvrige intervaller kun har bredden 5. Det første interval og det sidste interval er derfor fortegnet i søjlediagrammet, idet søjlerne dels er tegnet for smalle, dels for høje. De har godt nok det rigtige areal i forhold til de andre søjler, men hvis de skulle tegnes korrekt, skulle vi først opdele disse intervaller i samme bredde som de øvrige og dernæst fordele procenterne ligeligt på de derved opståede underintervaller. Det kan gøres ved at tilføje to nye observationsintervaller knyttet til det første delinterval og tre nye observationsintervaller knyttet til sidste delinterval og så fordele procenterne passende (i tabellen nedenunder er det gjort ved afrunding til én decimal, dvs. vi har tilnærmet 2.5%/3 med 0.8% og 7.5%/4 med 1.9%) Udvidet datasæt kondital 1995 Kondital Frekvens Udvidet datasæt kondital Søjlediagram Kondital Frekvens I sammenligning med det oprindelige søjlediagram har vi altså opdelt den første søjle vandret i tre lige store søjler og placeret dem ved siden af hinanden og tilsvarende har vi opdelt den sidste søjle vandret i fire lige store søjler og placeret dem ved siden af hinanden. Nu svarer kategoriaksen faktisk til en normal koordinatakse med en ækvidistant inddeling, og højderne af søjlerne afspejler tæthedsfordelingen for observationerne. Den lodrette skala er dog ikke korrekt justeret i forhold til tæthederne, idet det samlede areal er 5 100%. Når vi arbejder med grupperede data kan vi kun få en rimelig grafisk fremstilling af datasættet i form af et histogram, hvis det tegnes som et søjlediagram baseret på en opdeling i delintervaller (båse) med samme bredde. 36

37 Det er denne sumkurve, der giver en god tilnærmelse til fraktilplottet. Netop i kraft af vores grundlæggende antagelse om at observationerne ligger jævnt fordelt i hvert af delintervallerne, vil den kumulerede frekvens stige jævnt i hvert af delintervallerne, dvs. grafen for den kumulerede frekvens vil nødvendigvis være et ret linjestykke, der forbinder de kumulerede frekvenser i intervalendepunkterne. Sumkurven danner udgangspunkt for en lang række statistiske beregninger. Netop fordi dataene er grupperede kan vi ikke anvende de indbyggede statistiske værktøjer til at finde medianer, kvartiler osv. I stedet aflæser vi medianer, kvartiler (og andre fraktiler) fra sumkurven. Det gøres nemmest ved at tegne vandrette linjer svarende til 25%, 50% og 75% som grafer for de tilsvarende konstante funktioner, dvs. ved at højreklikke i grafrummet og vælge menupunktet Plot funktion: 37

38 Udfører vi en grafsporing langs grafen for fx f1(x) = 25 procent dukker der et grafpunkt op med koordinater, hvoraf det ses, at 25%-fraktilen (første kvartil) med tilnærmelse er givet ved konditallet Hvis vi vil aflæse det lidt mere præcist kan det betale sig at oprette en dublet af grafen og derefter spore skæringspunktet. Men husk at det under alle omstændigheder er et skøn over den første fraktil vi finder på denne måde, så det giver ingen mening at forsøge at trække en alt for præcis værdi ud af aflæsningen. På samme måde kan vi nemt finde median og tredje kvartil: På den måde har vi altså aflæst kvartilsættet til (Q 1 = 23.25, Median = 28.0, Q 3 = 32.9) Da mindste og største observation må skønnes at ligge i første og sidste intervalendepunkt, har vi endda opnået et rimeligt skøn over det udvidede kvartilsæt bestående af de fem statistiske nøgletal (Minimum=0, Q 1 =23.25, Median=28.0, Q 3 =32.9, Maksimum=60) 38

39 Boksplot for grupperede observationer Det åbner mulighed for at konstruere et tilnærmet boksplot. Vi kan ikke bruge selve datasættet med de forarbejdede grupperede data, men vi kan oprette en ny tabel med sit eget datasæt, hvor vi indskriver det udvidede datasæt. Vi er da nødt til at gentage medianen, da vi ellers ikke får splittet det komprimerede datasæt korrekt, så det gengiver de korrekte kvartilværdier! Trækkes variablen Kvartilværdi ind på førsteaksen som en uafhængig variabel kan vi dernæst få tegnet et boksplot, der netop bygger på disse fem nøgletal: Her kan vi selvfølgelig blive lidt skuffet over at minimum og maksimum bare afsættes som punkter og ikke forbindes med kvartilboksen med linjestykker, men kvartilboksen er så tynd, at de opfattes som perifere observationer, dvs. det er ret usædvanligt at have et kondital, der så lavt eller så stort. Halvdelen af danskernes kondital ligger mellem og Hvis vi vil konstruere et pænere boksplot for fordelingen kan vi bare højreklikke og tilføje linjestykker til kvartilboksen: 39

40 Middelværdien for grupperede observationer Vi mangler nu kun at kunne skønne over middelværdien for at have alle de sædvanlige deskriptorer til rådighed. For at skønne over middelværdien skal vi nu anvende et vægtet gennemsnit. Det første skridt består i at erstatte ethvert delinterval med dets midtpunkt. Det følger af vores grundlæggende antagelse at alle observationerne i et delinterval ligger jævnt fordelt i intervallet og vi kan derfor netop udregne deres bidrag til middelværdien ved at samle dem i midtpunktet for intervallet. Derefter vægter vi dem med frekvenserne, så de netop indgår med de relative vægte, der svarer til de antal/hyppigheder, der repræsenterer. Da der er langt flere observationer i fx delintervallet fra end i delintervallet fra 15-20, skal de første selvfølgelig også vægtes højere i udregningen af middeltallet: Her kan vi selvfølgelig nemt selv udregne midtpunkterne; det afgørende er blot at vi benytter formlen for et vægtet gennemsnit: sum( vægt variabel) = = sum( vægt) Det er derfor vi har to argumenter i kommandoen for middelværdien, først dataværdierne (midtpunkterne) og dernæst frekvenserne. Vi ser så i den sidste søjle at middeltallet er givet ved konditallet 28.7, hvor vi igen afrunder passende (da der jo under alle omstændigheder er tale om et skøn). Da middeltallet ligger en anelse højere end medianen er der tale om en (svag) højreskæv fordeling. Dette er i overensstemmelse med de grafiske fremstillinger, der viser at fordelingen nok med god tilnærmelse er symmetrisk, men at den højre hale er lidt længere og mere fyldig end den venstre hale. Det er også i overensstemmelse med at fordelingen har en naturlig nedre grænse, idet det ikke giver mening at have et negativt kondital, mens der ikke på samme måde findes en naturlig øvre grænse for konditallet, jfr. indkomstfordelinger, der ofte er højreskæve. 40

41 2. Bekræftende statistik 2.1 Introduktion til bekræftende statistik Den beskrivende statistik (exploratory data analysis) tager udgangspunkt i et konkret datamateriale og forsøger at afdække de strukturer, der findes i det konkrete materiale. Hvis det fx drejer sig om højderne i en klasse, udtaler den beskrivende statistik sig om forholdene i netop den klasse: Hvad er middelhøjden, den mindste højde, den største højde osv. Vi kan også inddrage flere variable, fx køn, og sammenligne højderne mellem de to køn osv. Ofte vil man nu være interesseret i at generalisere de fundne strukturer, så man kan drage konklusioner, der rækker ud over det pågældende datasæt. Fx kan man ønske at generalisere de fundne kønsforskelle i højderne til ikke bare at gælde den pågældende klasse, men alle unge i tilsvarende klasser. Man kunne også være interesseret i at skønne over middelhøjden for alle unge på basis af den fundne middelhøjde for klassen osv. Her til benyttes metoder fra den bekræftende statistik (confirmatory data analysis). Hovedformålet med bekræftende statistik er at kunne skelne mellem systematiske variationer og tilfældige variationer i et datasæt. Tilfældig variation: Eksperimentelle metoder Historisk set er mange metoder til at kunne håndtere tilfældige variationer først udviklet eksperimentelt, hvorefter der er udviklet en avanceret statistisk teori med formler til at automatisere udregningen af den tilfældige variation. Denne udvikling skyldes ikke blot ønsket om en bedre forståelse af metoderne, men også at de eksperimentelle metoder, så længe de måtte udføres med håndkraft, var besværlige og tidsrøvende. Med indførslen af computerne har det sidste aspekt imidlertid ændret sig radikalt, og i vore dage er de eksperimentelle metoder lige så tilgængelige som de teoretiske. Begge typer af tilgange understøttes af TI-Nspire, idet de teoretiske metoder typisk ligger i menuerne for test og konfidensintervaller, mens de eksperimentelle metoder især bygger på tilfældige stikprøver, dvs. kommandoen RandSamp(), såvel som muligheden for at udføre gentagne målinger ved hjælp af automatisk datafangst, dvs. kommandoen Capture(). Begge typer af tilgange har fordele og ulemper. Tilegnelsen af de teoretiske metoder kræver en indføring i vanskeligt tilgængelige teoretiske begreber, der nemt kan komme til at skygge for de mere principielle og grundlæggende træk ved den statistiske metode. Ydermere er mange grundlæggende problemstillinger principielt umulige at håndtere ved eksakte metoder, fordi der ikke findes færdige formler. 41

42 2.1 Bekræftende statistik: Introduktion I modsætning hertil er de eksperimentelle metoder mere fleksible. De kan ikke blot altid anvendes alene eller som supplement til de teoretiske metoder; De kan også anvendes på en langt større gruppe af problemstillinger end de enkelte teoretiske metoder. De teoretiske metoder er nemlig ofte skræddersyede til kun at kunne anvendes på en snæver gruppe af problemstillinger, der oven i købet ofte kræver specielle forudsætninger opfyldt før man fuldt ud kan stole på de opnåede resultater. Til gengæld er de eksperimentelle metoder ikke så præcise som de teoretiske, og de giver typisk kun resultater, der fortæller noget om det helt konkrete datasæt. Ændres der i datasættet må man derfor begynde helt forfra med undersøgelsen. I det følgende vil vi nu redegøre for de vigtigste eksperimentelle metoder til at simulere en tilfældig variation. Dermed bliver vi selv i stand til at løse simple opgaver indenfor den bekræftende statistik. 1. Tilfældighedsgeneratorer. Dette er den klassiske metode til at simulere tilfældighed. Ved hjælp af en tilfældighedsgenerator kan vi frembringe serier af tilfældige tal, der igen kan benyttes som udgangspunkt for tilfældige valg i et datasæt. Denne teknik har altid været til rådighed, idet man tidligere benyttede officielle tabeller over tilfældige tal til at frembringe de ønskede serier af tilfældige tal. Men i vore dage er de sådanne tabeller erstattet af simple funktioner på lommeregnere og i regneark. 2. Omrøring af variable. Dette er en ny og elegant metode til at simulere uafhængighed mellem to grupper af data, dvs. til at sikre at enhver forskel mellem de to grupper netop kun kan skyldes tilfældige variationer. Man fjerner altså ganske enkelt eventuelle systematiske variationer ved en omrøring. 3. Bootstrap. Dette er endnu en ny og elegant metode til at simulere den naturlige variation i et datasæt. I modsætning til omrøringen bevarer bootstrappet stadigvæk de systematiske variationer i datasættet. Men da man nu får overlejret de naturlige variationer, kan man direkte se hvor stor indflydelse de naturlige tilfældige variationer har på den systematiske variation. De enkelte metoder vil blive præsenteret gennem en række cases baseret på enten historiske data eller data opsamlet af en klasse. Men disse cases kan naturligvis modificeres til i stedet at omfatte de data, som man nu måtte være interesseret i at undersøge i den aktuelle undervisning. Før vi går i gang med disse cases vil det dog være godt at få indført nogle centrale begreber gennem en typisk dansk statistisk problemstilling, her præsenteret gennem et avisklip 9. Det drejer sig om den eneste større undersøgelse i Danmark af de mulige konsekvenser af at en stor gruppe danskere har været i berøring med radioaktivt materiale i forbindelse med nedstyrtningen af et amerikansk brintbombefly i Grønland tilbage i Uddrag af artikel fra Politikken 6. januar

43 2.1 Bekræftende statistik: Introduktion Nedstyrtningen af et brintbombefly i Thule Et styrt med uanet risiko for kræft Mange syge da amerikansk bombefly forulykkede i Thule Af Susanne Zehngraff Månen strålede klart på den sorte polarhimmel den eftermiddag på Thule-basen for næsten 20 år siden, da kimen til mange menneskelige omkostninger blev hvirvlet rundt i atmosfæren. Den 21. januar 1968 faldt et amerikansk B52- fly med fire brintbomber om bord ned på indlandsisen ca. 12 km vest for den amerikanske radar-base i Thule på den nordvestlige top af Grønland. En om bord omkom ved styrtet, der betød, at uanede mængder af radioaktive stoffer, som plutonium, tritium, der er radioaktivt brint, og måske også uran, blev sluppet løs i luften, i isen og, i havet. En bombe indeholdt sandsynligvis omkring fire kg plutonium, der er det farligste af alle radioaktive stoffer. Så formentlig blev i hvert fald omkring 16 kg bare af dette dødsensfarlige stof spredt. Umiddelbart efter styrtet blev der straks sendt hundeslæder og helikoptre ud fra basen, og i dagene efter ankom amerikanske specielt trænede atom-renovations-folk. Men også danskere, der arbejdede på basen, og 12 fangere fra Thule kommune deltog i slukningsarbejdet efter eksplosionen ved nedstyrtningen og i oprydningsarbejdet med at fjerne sne og vragdele.... Omkring 130 danske mænd var med i det umiddelbare oprydningsarbejde, men mange flere deltog senere i arbejdet og i alt 1202 danskere var ansat på basen i perioden fra nedstyrtningen og til oprydningen officielt sluttede i midten af september. Og mange af dem er i dag syge og flere frygter at blive det, fordi f.eks. leverkræft efter udsættelse for plutonium først viser sig tidligst efter 20 år.... Dansk Institut for Klinisk Epidemiologi, DI- KE, har undersøgt dødeligheden i den samme gruppe og kom i februar 1987 frem til, at der ikke var nogen forskel mellem Thulearbejdernes dødelighed og den danske normalbefolkning. For Thulearbejderne som helhed har en undersøgelse fra DIKE sidste efterår dog vist, at de har en overdødelighed i forhold til alle danskere især af lungekræft og selvmord. 40 pct. flere kræfttilfælde blev også fundet hos de arbejdere, der var ansat på basen i oprydningsperioden i forhold til andre ansatte på Thule-basen. Men denne forskel er 'dog ikke statistik sikker nok til, at forskerne kunne sige, at der var tale om en forskel, som man kan tillægge betydning', hedder det i en pressemeddelelse fra DIKE.... Undersøgelsen af de berørte arbejderes skæbne er siden blev fulgt op flere gange første gang i 1995 og anden gang i Den sidste officielle udredning kan hentes på hjemmesiden som en pdf-fil. 43

44 2.1 Bekræftende statistik: Introduktion Der er flere forhold af statistisk interesse i artiklen: For det første omtales flere grupper af mennesker i artiklen: 12 grønlandske fangere, der hjalp med ved slukningen ved branden og oprydningen efter uheldet. En kernegruppe på omkring 130 danske arbejdere, der også hjalp med ved selve oprydningen af uheldet. En gruppe på 1202 danskere arbejdere (inklusive kernegruppen), der arbejdede på Thulebasen, mens oprydningen foregik. Andre ansatte på Thulebasen (uden at vi får tallet oplyst) Den danske normalbefolkning. Den største af disse grupper er den danske normalbefolkning, der benyttes som sammenligningsgrundlag for at påvise en eventuel forskel i dødelighed blandt Thulearbejderne og den danske normalbefolkning. Dette er et eksempel på en stikprøve versus en population: Thulearbejderne udgør kun et mindre udsnit af den danske normalbefolkning. Et udsnit af en stor gruppe kaldes en stikprøve, mens hele den store gruppe, som stikprøven repræsenterer, kaldes populationen. Spørgsmålet er nu om stikprøven er repræsentativ, dvs. om vi med rimelighed kan forvente at stikprøven afspejler forholdene i hele populationen. Det er et kompliceret spørgsmål. I almindelighed kan vi kun være sikre på at en stikprøve er repræsentativ, når den udtages helt tilfældigt. Men Thulearbejderne udgør alt andet end et tilfældigt udsnit af den danske normalbefolkning: Den består jo netop af de danskere, der uheldigvis valgte at arbejde på Thulebasen, i den periode, hvor der blev ryddet op efter uheldet. Hvis mange af dem er blevet syge fordi de har været udsat for det ekstremt farlige stof plutonium, så er stikprøven jo netop ikke repræsentativ, idet vi i så fald må forvente en stor overdødelighed i denne gruppe sammenlignet med hvad man må forvente for dødeligheden i et tilfældigt udsnit af den danske normalbefolkning et udsnit, der vel at mærke i øvrigt ligner Thulearbejderne i sammensætning, dvs. samme alderssammensætning, samme skæve kønsfordeling osv. En sådan forskel har det dog i følge den officielle undersøgelse i 1987 ikke været muligt at påvise (og det samme resultat blev nået i de opfølgende undersøgelser i 1995 og 2005). Hvordan man kan påvise sådan noget i detaljer vender vi om lidt tilbage til. Foreløbig noterer vi os bare artiklens konklusion: Thulearbejderne ligner med hensyn til dødelighed et repræsentativt udsnit af den danske normalbefolkning. 44

45 2.1 Bekræftende statistik: Introduktion Bemærkning: Læg godt mærke til forbeholdet. Thulearbejderne skal sammenlignes med et udsnit af den danske normalbefolkning, der i øvrigt på alle andre måder ligner Thulearbejderne. Dette er et eksempel statistisk variabelkontrol. Hvis vi bare tager et tilfældigt udsnit af den danske normalbefolkning, vil det fx rumme mange børn, der af gode grunde overhovedet ikke har travlt med at dø osv. Der er mange andre variable indenfor en sådan befolkningsgruppe, der påvirker dødeligheden. Hvis udsnittet ikke ligner Thulearbejderne med hensyn til disse andre variable giver det jo på forhånd ingen mening at sammenligne disse to grupper. Den eneste variabel, der virkeligt må varieres mellem de to udsnit er derfor netop tilhørsforholdet til Thulebasen i den famøse periode. Det er klart at det er teknisk kompliceret at konstruere et udsnit af den danske befolkning, der i øvrigt ligner Thulearbejderne på alle andre områder. Artiklen peger da også på en anden mulighed for at afgøre spørgsmålet om en eventuel indvirkning af ulykken: Brugen af en kontrolgruppe, der med sikkerhed kan sammenlignes med den udsatte gruppe af de udsatte Thulearbejdere, der i denne sammenhæng kaldes studiegruppen. Udover de 1202 arbejdere var der jo mange arbejdere, der også søgte arbejde på Thulebasen før og efter oprydningsarbejdet. Det må formodes at denne restgruppe alt andet er lige er sammensat på nøjagtigt den samme måde som den gruppe Thulearbejdere, der arbejdede på basen under opholdet. En meget stor gruppe af disse arbejdere arbejdede faktisk kun på basen før uheldet indtraf og kan derfor umuligt være blevet påvirket af eventuelle stråleskader. Undersøgelsen giver dog samme resultater, hvad enten vi indskrænker kontrolgruppen til dem der blot var ansat forud for uheldet, eller vi både inddrager, dem der var ansat forud og dem, der var ansat efterfølgende. Hvis man i en bestemt gruppe individer, studiegruppen, ønsker at undersøge om en bestemt uafhængig variabel, den kritiske variabel, kan have indflydelse på udfaldet af en anden variabel, kan det gøres ved at sammenligne studiegruppen med en kontrolgruppe. Kontrolgruppen skal da være sammensat på en sådan måde at der ikke findes systematiske forskelle mellem de øvrige uafhængige variable i studiegruppen og kontrolgruppen. I mange tilfælde findes der en naturlig kontrolgruppe, men ellers må man selv sammensætte den. I medicinske afprøvninger af helbredende metoder/præparater, sker det på den måde at gruppen af patienter med den pågældende sygdom på tilfældig vis deles i to grupper. Den ene gruppe, studiegruppen, får det nye præparat, mens den anden gruppe, kontrolgruppen, fx får et placebo, dvs. et middel, der med sikkerhed ikke har nogen virkning. Det er da afgørende, at hverken patienterne, eller dem, der administrerer behandlingen, har nogen viden om hvilken af de to grupper den enkelte patient tilhører. 45

46 2.1 Bekræftende statistik: Introduktion Brugen af en sådan kontrolgruppe er igen et eksempel på statistisk variabelkontrol. Kontrolgruppen sammensættes netop, så den kun adskiller sig fra studiegruppen på ét eneste punkt, nemlig den kritiske variabel, der idet aktuelle tilfælde angiver om ansættelsesforholdet også dækkede oprydningsperioden. En eventuel systematisk forskel mellem studiegruppen og kontrolgruppen kan derfor kun tilskrives uheldet med nedstyrtningen af et brintbombefly og den efterfølgende oprydning af det radioaktive materiale. I det aktuelle tilfælde er der rent faktisk en forskel på de to grupper, idet der ifølge artiklen er 40% flere kræfttilfælde i studiegruppen i forhold til kontrolgruppen. Denne forskel er dog ikke statistisk sikker nok til, at den kunne tillægges en betydning, dvs. den kan godt tilskrives den naturlige tilfældige variation mellem de to grupper. Det kan synes overraskende at en så stor forskel udelukkende kan tilskrives tilfældigheder. Men for at vurdere dette spørgsmål er det nødvendigt at kende de faktiske detaljerede tal og disse fremgår desværre ikke af artiklen. Lad os prøve at illustrere problemstillingen ved hjælp af de faktiske tal. Ifølge den officielle redegørelse fra 2005 er det lykkedes at få kontakt med 1176 arbejdere, der arbejdede på Thulebasen i oprydningsperioden. Disse udgør altså studiegruppen. Tilsvarende er det lykkedes at få kontakt med 3025 arbejdere, der kun arbejdede på Thulebasen uden for oprydningsperioden. Disse udgør altså kontrolgruppen. Vi ser nu på de officielle statistikker 10 over kræftforekomster i perioden fra 1978 til 1989, idet de forholdsvis få kræfttilfælde, der dukkede op i de første 10 år efter ulykken erfaringsmæssigt ikke kan tilskrives den radioaktive bestråling, der jo har en meget lang latenstid, før kræften bryder ud. Tabellen viser at kræfttilfældene fordelte sig med 40 tilfælde i studiegruppen og 100 tilfælde i kontrolgruppen. Er dette nu problematisk? Vi må da inddrage lidt elementær procentregning % = 3.401% 100% = 3.306% De 40 kræfttilfælde i studiegruppen viser at andelen af kræfttilfælde i procent for studiegruppen er givet ved 3.401%, mens de 100 kræfttilfælde i kontrolgruppen viser at andelen af kræfttilfælde i procent for kontrolgruppen er givet ved 3.306%. Der er altså lidt større forekomst af kræfttilfælde i studiegruppen end i kontrolgruppen, men ikke noget der ligner et overskud på 40%. Faktisk er den procentiske stigning af antallet af kræfttilfælde i studiegruppen i forhold til kontrolgruppen kun 2.9% (3.401% 3.306%) 100% = 2.9% 3.306% Men denne beskedne stigning kunne i princippet stadig være kritisk, dvs. vanskelig at forklare som et resultat af tilfældige variationer. 10 Tabel 6 i den officielle rapport fra

47 2.1 Bekræftende statistik: Introduktion Simulering af en tilfældig variation For at vurdere størrelsen af en tilfældig variation i antallet af kræfttilfælde vil vi nu udføre en simpel simulation, hvor vi indledningsvis antager den såkaldte nulhypotese, dvs. at der ingen systematisk forskel er på studiegruppen og kontrolgruppen. Forskellen tilskrives altså alene den naturlige tilfældige variation i datasættet. Tilsammen består de af 4201 personer, hvoraf de 140 havde udviklet kræft. Hvis kræfttilfældene alene skyldtes tilfældigheder ville sandsynligheden for at få kræft i den samlede gruppe af Thulearbejdere derfor være givet ved brøkdelen gunstige 140 = mulige 4201 Vi åbner nu for TI-Nspire og opretter et datasæt bestående af 1176 personer svarende til studiegruppen i Lister og Regneark-værkstedet. Det gøres nemmest ved at oprette en variabel Kræft, der angiver om en person har udviklet kræft eller ej. Hvis dette alene skyldes tilfældigheder må sandsynligheden for at den enkelte person udvikler kræft netop givet ved den ovenstående brøk. Vi gentager derfor den følgende formel 140 iffn rand(),"ja","nej"

48 2.1 Bekræftende statistik: Introduktion Her vil funktionen rand() frembringe et tilfældigt tal mellem 0 og 1. Sandsynligheden for at dette tal ligger under 140/4201 er derfor netop givet ved brøkdelen 140/4201. Vi kan så tælle antallet af kræfttilfælde ved hjælp af celleformlen = countif(kræft,"ja) som vist. Hvis vi markerer regnearket kan vi nu gentage den tilfældige udtrækning af kræfttilfælde ved fx at taste CTRL-R. Vi ser da hvordan antallet af kræfttilfælde varierer ret voldsomt alene i kraft af den tilfældige udtrækning, dvs. alene som følge af en tilfældig variation. Men vi kan gå dybere ind i den tilfældige variation ved at oprette en måling. Vi gemmer da resultatet af optællingen af kræfttilfælde, dvs. indholdet af celle B1 som en variabel. Det sker ved at højreklikke på cellen og vælge variable-menuen: Herved kan variablen som vist navngives kræfttilfælde. Lige så snart indholdet af en celle er gemt som en variabel (hvorved den gråsværtes) er den tilgængelig for en måling. 48

49 2.1 Bekræftende statistik: Introduktion Det sker ved at oprette en ny liste, målinger, hvor vi vælger menupunktet automatisk datafangst fra data-menuen: Vi skal da blot anføre navnet på den variabel vi ønsker at måle på, altså i dette tilfælde kræfttilfælde. Når først vi har oprettet en måling kan vi nemt gentage målingen ved at trykke CTRL-R, idet simuleringen da gentages og målingen får en ny værdi. Hver eneste gang målingen får en ny værdi vil den nu registreres i listen over målinger 11. Ved at holde CTRL-R nede kan man nu hurtigt foretage rigtigt mange målinger. Det kan være bekvemt at følge med i antallet af målinger ved at oprette en celle B2 med værdien = dim(målinger). Ønsker vi fx at udføre 1000 målinger fortsætter vi bare til vi er forbi de 1000 målinger og sletter forsigtigt til sidst de overskydende målinger. Mens målingerne foretages kan det godt mærkes at programmet kommer på hårdt arbejde med gennemregningen af de 1000 tilfældigt frembragte studiegrupper. Antallet af målinger springer voldsomt med ujævne mellemrum og det kan godt kræve lidt tålmodighed at komme forbi de 1000 målinger. Vær også opmærksom på at målingerne fortsætter et stykke tid efter at man har sluttet CTRL-Rtasten! 11 Læg mærke til at der kun foretages en måling, når variablen, der måles på, skifter værdi. Hvis det er afgørende at foretage målingen for hver ny simulering uafhængigt af om variablen skifter værdi, kan man fx i stedet udføre en manuel måling. 49

50 2.1 Bekræftende statistik: Introduktion De overskydende målinger fjernest sikrest sikrest ved først at fjerne formlen fra Målinger helt, så målinger omdannes til en uafhængig variabel. Det er altid problematisk hvis man forsøger at pille ved værdierne for en afhængig variabel. Men til slut er de 1000 målingerne på plads og vi kan overføre målinger til en graf, hvor de giver anledning til følgende prikplot: Det er denne graf, der er nøglen til forståelsen af den naturlige variation af antallet af kræfttilfælde i studiegruppen. Den viser at antallet kan variere fra 21 og helt op til 60 kræfttilfælde. Men den viser også at fordelingen langtfra er jævn: Langt de fleste målinger ligger i en stor klump i midten, og jo længere væk fra midten vi kommer jo sjældnere bliver målingerne. De helt ekstreme målinger som 21 og 60 er altså meget usandsynlige og dermed meget utroværdige som eksempler på tilfældige variationer i antallet af kræfttilfælde. Vi kan også se at de observerede 40 kræfttilfælde ligger meget centralt i klumpen og derfor nemt kan forklares som et resultat af en tilfældig variation mellem studiegruppen og kontrolgruppen i overensstemmelse med konklusionen i den officielle rapport. Faktisk er der kutyme for at acceptere en variation som tilfældig, hvis den blot tilhører de 95% midterste målinger. Ved at sortere målingerne efter størrelse kan vi fastlæge 95% fraktilen og dermed kan vi se på grafen hvor langt ud vi skal før målingen bliver rigtigt skæv og dermed utroværdig. I vores tilfælde viser det sig da at vi skal over 49 kræfttilfælde i studiegruppen, før vi for alvor har et forklaringsproblem i forhold til Thulearbejderne, da forskellen da vil begynde at være meget utroværdig at forklare som et resultat af en tilfældig naturlig variation. 50

51 2.1 Bekræftende statistik: Introduktion Afslutningsvis bemærker vi at selve spørgsmålet om der kan påvises systematiske forskelle mellem studiegruppen og kontrolgruppen altså kan afgøres ved stringente statistiske metoder, som udgør en afgørende del af den naturvidenskabelige metode. Da der netop ikke kunne påvises sikre systematiske forskelle kunne de udsatte Thulearbejdere derfor ikke gøre sig håb om at vinde en egentlig retssag om erstatning. Men sagen er også politisk, med såvel psykologiske som politiske aspekter. Alene mistanken om at være blevet udsat for en øget risiko for kræftsygdomme som følge af en eventuel strålepåvirkning kan ændre afgørende på livskvaliteten. I 1995 besluttede folketinget derfor at lukke sagen politisk ved at tilkende hver af Thulearbejderne en erstatning på kr. pr kulance (dvs. de viste sig imødekommende overfor Thulearbejdernes krav, selvom disse ikke kunne føre sikre beviser for deres klagemål). Denne erstatning kan være givet af såvel medmenneskelige årsager som af rent politiske årsager for at få lukket en betændt politisk sag ulykken burde jo slet ikke kunne være forekommet eftersom der var forbud mod atomvåben på dansk grund, og den rippede derfor også op i politiske brudmønstre i holdningen til amerikansk udenrigspolitik. En sag som Thulesagen kan derfor kun undersøges til bunds ved anvendelser af metoder fra såvel naturvidenskab som samfundsvidenskab. 51

52 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller 2.2 Simulering og usikkerhedsintervaller Simulering af en opinionsundersøgelse Nøglepunktet i den bekræftende statistik er altså den naturlige variation, der er knyttet til enhver tilfældig proces. Hvis vi kan styre denne tilfældige variation, kan vi begynde at drage statistisk signifikante konklusioner. Vi starter med et simpelt eksempel hentet fra databogen til samfundsfag I en opinionsundersøgelse med 800 udspurgte om en afstemning for eller imod ØMU en stemmer 44% ja, 46% stemmer nej og 10% stemmer blankt. Hvilke konklusioner kan man drage? Her foreligger altså en stikprøve på 800 vælgere, hvor der er et flertal, der vil stemme mod den Økonomisk Monetære Union. Kan vi deraf slutte at hele populationen, dvs. den samlede danske vælgerbefolkning, så også er imod den økonomisk monetære union? Her må vi for det første gå ud fra at stikprøven er repræsentativ, dvs. at den ikke rummer systematiske afvigelser fra den danske vælgerskare i almindelighed. De 800 adspurgte bør altså enten være udvalgt helt tilfældigt blandt samtlige vælgere, eller i hvert fald på en sådan måde at man stadig kan være sikker på, at de afspejler holdningerne i den samlede vælgerbefolkning. Men selv om vi antager at stikprøven således ikke rummer systematiske afvigelser, der kan forstyrre den umiddelbare konklusion at der er et flertal mod ømu'en, må stikprøven nødvendigvis rumme tilfældige afvigelser. Hvis vi gentog opinionsundersøgelsen ville vi derfor næste gang få et resultat, der afviger en lille smule fra det ovenstående. Spørgsmålet er så blot om en sådan lille tilfældig afvigelse er stor nok til at rykke balancen mellem ja- og nej-sigere? Kan det med andre ord tænkes at der i virkeligheden er et flertal i befolkningen for ømu'en? For at undersøge dette vil vi simulere opinionsundersøgelsen. Det kan gøres på flere forskellige måder Brug af en tilfældighedsgenerator Brug af bootstrap Her vil denne gang prøve den anden metode til simulering af en sådan stikprøvetagning. Vi udnytter derfor, at 44% af de 800 adspurgte, dvs. 352, har stemt ja, mens 46% af de adspurgte, dvs. 368 har stemt nej, mens de resterende 10% af de 800 adspurgte, dvs. 80 har stemt blankt. Vi antager derfor at disse forhold også gælder hele populationen og vil undersøge i hvilket omfang nye stikprøver afspejler de samme procentfordelinger. For at konstruere den nye stikprøve opretter vi først en tabel med 800 ideelle observationer, idet vi højreklikker i tabellen ved hjælp af kommandoen freqtable List(kategoriliste, hyppighedsliste) 52

53 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Herefter er vi nu klar til at konstruere en variation af afstemningen ved at udtrlkke 800 stemmer med tilbagelægning, dvs. vi starter forfra hver gang. En sådan variation over den oprindelige afstemning kaldes en bootstrap. Den udføres ved hjælp af kommandoen randsamp(afstemning,800) I hver eneste udtrækning er der da netop 44% chance for at trække "JA", 46% for at trække Nej og 10% for at trække "VED IKKE". Vi kan da danne os et indtryk af den simulerede afstemning ved at overføre listen Simulering til et søjlediagram i et Data og Statistikværksted. Ved at taste CTRL-R i Lister og Regneark-værkstedet kan vi nu gentage simuleringen mange gange. Vi vil da hurtigt opdage at det bestemt ikke er i hver eneste simulering at Nej-siden har flertal. 53

54 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Det viser noget afgørende om nulhypotesens troværdighed: Hvis der rent faktisk var 46% af den samlede befolkning, der stemte nej og 44%, der stemte ja, så ville det ikke være svært at få en opinionsundersøgelse til at vise det modsatte! Men det svækker selvfølgelig samtidigt troværdigheden af den oprindelige opinionsundersøgelse. Af symmetrigrunde kunne den jo så også stamme fra en befolkning, der i virkeligheden havde et flertal for ja. Usikkerheden for en opinionsundersøgelse Men vi vil gerne have sat tal på troværdigheden. Det kan gøres ved at oprette en måling, der udregner forskellen mellem andelen for jastemmerne henholdsvis nej-stemmerne. Vi skal da først have oprettet en variabel, der angover denne forskel. Det gør vi ved at udregne værdien i cellen C1: 54

55 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Derefter gemmes værdien som vist i variablen udfald. Så længe denne variabel er negativ har nej-siden altså vundet. Vi er nu klar til at oprette en måling i en liste med navnet målinger. Hertil anvendes menupunktet Automatisk datafangst fra datamenuen: Her skal vi så blot fortælle, hvilken variabel, her udfald, som vi ønsker at foretage gentagne målinger på. Det sker som vist ved hjælp af kommandoen Capture(udfald,1) Når først vi har oprettet en måling kan vi nemt gentage målingen ved at trykke CTRL-R, idet simuleringen da gentages og målingen får en ny værdi. Hver eneste gang målingen får en ny værdi vil den nu registreres i listen over målinger. 55

56 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Ved at holde CTRL-R nede kan man nu hurtigt foretage rigtigt mange målinger. Det kan være bekvemt at følge med i antallet af målinger ved at oprette en celle C2 med værdien = dim(målinger). Ønsker vi fx at udføre 1000 målinger fortsætter vi bare til vi er forbi de 1000 målinger og sletter forsigtigt til sidst de overskydende målinger (ved først at tømme formelfeltet for målinger!). Mens målingerne foretages kan det godt mærkes at programmet kommer på hårdt arbejde med gennemregningen af de 1000 tilfældigt frembragte studiegrupper. Antallet af målinger springer voldsomt med ujævne mellemrum og det kan godt kræve lidt tålmodighed at komme forbi de 1000 målinger. Vær også opmærksom på at målingerne fortsætter et stykke tid efter at man har sluttet CTRL-R-tasten! Men når først målingerne er samlet ind kan vi afbilde resultaterne grafisk og udføre simple beregninger på dem: 56

57 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Vi ser et tydeligt overskud af negative målinger, idet middelforskellen er givet ved Men der er også mange målinger på den positive side, så igen er resultatet ret mudret. Faktisk kan vi nemt ved en simpel optælling i celle C3 finde antallet af positive målinger: Knap 30% af de simulerede opinionsundersøgelser ville altså have vist et flertal for ja-siden! Traditionelt har man hæftet sig ved usikkerheden i procentangivelserne for en opinionsundersøgelse. Vi kan altså også undersøge troværdigheden af opinionsundersøgelsen ved at finde ud af hvor meget tillid vi kan have til de enkelte procenter. Vi opretter da tilsvarende målinger for ja-procenten og nej-procenten: C4: C5: Når vi ser på prikplottene for 1000 målinger af variablene ja_udfald og nej_udfald, ser vi først at de begge har en middelværdi der ligger meget tæt på den forventede, dvs. 44% for variablen ja_andel og 46% for variablen nej_andel. Niveauet for variablen nej_andel er altså klart højere end niveauet for variablen ja_andel. Læg også mærke til fordelingernes form: De er klokkeformede med en stor central klump og lange tynde haler. Selv om fx ja-sigernes andel således går fra ca til ca er yderværdierne så usandsynlige, at vi ikke behøver tage dem med i en troværdig usikkerhedsangivelse. 57

58 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Der er i stedet tradition for at man opgiver usikkerhedsintervallet som det midterinterval, der rummer 95% af målingerne. Dette midterinterval finder man som vist ved at udregne 2.5%-fraktilen og 97.5%- fraktilen. Usikkerhedsintervallerne for de to andele er derfor givet ved 40.5% < ja-sigernes andel < 47.4% 42.3% < nej-sigernes andel < 49.8% Der er ydermere tradition for at opgive værdien på formen centrum ± radius, hvor centrum er middelværdien (eller gennemsnittet mellem de to fraktiler) og radius er den halve differens mellem de to middelværdier ja-sigernes andel = 44.0% ± 3.6% nej-sigernes andel = 46.0% ± 3.7% Men uanset hvad er usikkerheden på andelen væsentligt større end forskellen på niveauerne forde to andele, så der kan ikke drages troværdige konklusioner ud fra undersøgelsen. Forskellen er altså ikke statistisk signifikant på 95%-niveau. 58

59 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Den samme konklusion kan fås frem ved i stedet at kigge på boksplottene for de to andele, hvor de to bokse tydeligvis ikke er skarpt adskilte: 59

60 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Teknisk bemærkning: Kanonisk skøn for en andel TI-Nspire har et skøns-værktøj, der kan bruges til at skønne over usikkerheden for en andel (proportion), nemlig menupunktet Konfidensintervaller > 1-Prop z-interval under Statistik-menuen: ja-andel nej-andel Vi får da netop oplyst konfidensintervallerne, dvs. usikkerhedsintervallet, ved et signifikansniveau på 95% (som kan ændres til en anden værdi, hvis det ønskes). Konfidensintervallerne viser sig da fx at gå fra 40.6% til 47.4% for ja-andelen, hvilket ligger meget tæt på vores eget eksperimentelle skøn over usikkerhedsintervallet. ME står tilsvarende for Margin of Error, dvs. radius i usikkerhedsintervallet. 60

61 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Bootstrap og usikkerhed: Tyngdeaccelerationen Bootstrap er i mange tilfælde nemmere at anvende end en simulering med en tilfældighedsgenerator. Men den kræver at vi har kendskab til stikprøven som et datasæt. Vi viser den her med et eksempel, hvor vi konstruerer et usikkerhedsinterval for en klasses måling af tyngdeaccelerationen g. Det er ikke så afgørende hvilken metode vi bruger til at finde tyngdeaccelerationen, når blot vi får mange uafhængige bestemmelser af tyngdeaccelerationen. Her illustrerer vi det med ti målinger af tyngdeaccelerationen fastsat ud fra proportionaliteten mellem lodmassen og tyngdekraften målt med et dynamometer. Som det ses er der en vis spredning i resultaterne med en middelværdi på 9.85 N/kg. Hvor præcist kan man nu sige klassen har målt tyngdeaccelerationen? For nu at undersøge den naturlige variation hørende til de originale målinger af tyngdeaccelerationen, simulerer vi nu en gentagelse af forsøgsrækken baseret på præcis den samme fordeling som de originale data. Men det kan vi jo netop gøre ved at udtage en stikprøve fra det originale datasæt, med dels nøjagtigt det samme antal observationer, dels udført med tilbagelægning. Hver gang vi har trukket en ny observation, lægger vi den altså tilbage igen til det originale datasæt, som derfor ikke ændres under udtrækningen. Derved får alle de oprindelige observationer hele tiden samme sandsynlighed for at blive udtrukket. Læg også mærke til, at denne udtrækning giver mulighed for at nogle observationer kommer med flere gange i udtrækningen, mens andre helt udgår, og dermed skabes netop den naturlige variation. Vi opretter derfor en ny liste simulering og udnytter kommandoen randsamp(acceleration,10) til at udføre Bootstrappet. Så snart vi har udtaget stikprøven kan vi nu gentage simuleringen ved at taste CTRL-R i Lister og Regneark. Samtidigt kan vi illustrere simuleringen med en graf svarende til boksplottet for de originale målinger. 61

62 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller 62

63 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Vi ser da tydeligt at boksplottet som sådan blfrer meget mere end middelværdien. Så snart vi har bootstrappet os til den nye forsøgsrække, kan vi nu indføre 1000 statistiske målinger af middelværdien for stikprøven: Det sker som sædvanligt ved at udregne middelværdien med en celleformel = mean(simulering), og dernæst gemme den i variablen middel, som vi derefter kan lave automatisk datafangst på: Dermed når vi frem til at den 'virkelige' tyngdeacceleration med 95% troværdighed må formodes at ligge mellem 9.81N/kg og 9.90N/kg. 63

64 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller Bemærkning: Ordet bootstrap (dvs. støvlestrop) stammer fra Baron von Münchausens eventyr, hvor den løgnagtige baron fortæller, hvordan han reddede sig op af en sump ved at trække i støvlestropperne. I den klassiske illustration af Doré trækker han sig i stedet op af sumpen ved at hive sig i håret. I statistik benyttes det som kælenavn for en metode, hvor man genskaber den oprindelige population ud fra tilfældige udtrækninger i en repræsentativ stikprøve. Når stikprøven afspejler de væsentligste træk fra hele populationen kan man ved at trække fra stikprøven opnå tilnærmelsesvis de samme resultater som hvis man trak fra hele populationen. Teknisk Bemærkning: Kanonisk skøn for en middelværdi Også middelværdien har et professionelt skønsværktøj: t-interval. Man kan da vælge at tage udgangspunkt i de rå data eller i oplysningerne fra en enkeltvariabelstatistik. Her ser vi først på de rå data: Vi får da dels oplyst nedre og øvre intervalgrænse for 95%-konfidensintervallet, dels får vi oplyst niveauet (dvs. centrum for usikker- 64

65 2.2 Bekræftende statistik: Simulering og usikkerhedsintervaller hedsintervallet) og Margin of Error ME (dvs. radius for usikkerhedsintervallet), som altså kan angives som 9.85±0.06 i rimelig overensstemmelse med det tidligere eksperimentelle resultat. Endelig oplyses også antallet af frihedsgrader df, som er 9, fordi vi har mistet en frihedsgrad, der er brugt til at estimere spredningen ud fra stikprøven. Det er estimatet for spredningen, dvs. sx, der oplyses nedenunder. Hvis man i stedet for de rå data kun kendte antallet af målinger (her 10), gennemsnittet af målingerne (her 9.852) samt stikprøvespredningen (her ) kunne man stadigvæk have udregnet konfidensintervallet ved i stedet at basere det på deskriptorer: Ikke overraskende giver det samme resultat! 65

66 2.3 Bekræftende statistik: Omrøring og hypotesetest 2.3 Omrøring og hypotesetest Challenger-ulykken Challenger ulykken 12 er en af den nyere tids mest spektakulære teknologiske ulykker: Den 28. januar 1986 forulykkede rumfærgen Challenger kort efter starten på opsendelsen. Spørgsmålet er nu: Kunne ulykken være undgået? Havde NASA rent faktisk tilstrækkelig med forhåndsviden til at de burde have udsat flyvningen? I den konkrete flyvning samlede interessen sig hurtigt om de såkaldte O-ringe. Optagelser fra opsendelsen viste tydelige lække af brændende gasser, og de kunne klart være hovedårsagen til den kraftige eksplosion af hovedtanken. Lækken skulle være sket ved at gas strømmede forbi to O-ringe, fordi disse af en eller anden grund ikke havde sluttet helt tæt. Disse ringe var af gummi og skulle udvide sig hurtigt under opsendelsen: På grund af den kraftige varmeudvikling og de kraftige rystelser udvidede mellemrummet omkring O- ringene sig nemlig under opsendelsen. Tidligere flyvninger og test af sammenslutningerne havde vist at dette kunne føre til erosion af O- ringene. Men jo koldere ringene er jo mere stive er ringene, og dette kunne føre til en problematisk forsinkelse af deres udvidelse. Netop på ulykkesdagen den 28. januar var det betydeligt koldere (lige under frysepunktet) end ved nogen tidligere opsendelse. NASA havde siden 1977 været klar over at O-ringene var et ekstremt svagt led, og de havde derfor skærpet testrutinerne omkring deres samling gennem årene, men ingen havde for alvor testet temperaturafhængigheden. Man samlede derfor nu alle tilgængelige oplysninger om opsendelsestemperaturer og problemer omkring O- ringene fra tidligere flyvninger med rumfærger. I en berømt telefonsamtale mellem ingeniører fra firmaet Thiokol, der var ansvarlige for O-ringene, og Nasas ledelse aftenen før den fatale flyvning forsøgte ingeniørerne rent faktisk at stoppe flyvningen netop på grund af den mulige sammenhæng mellem den lave opsendelsestemperatur og så problemerne med O-ringene stabilitet. Men det lykkedes ikke for ingeniørerne at påvise en klar sammenhæng og Nasa afviste derfor at udsætte flyvningen. Episoden er senere blevet kendt som 'The Greatest Missed Opportunity in Statistiscs' 13. Det er denne historiske diskussion af problemerne med O-ringene vi vil prøve at belyse i det følgende. Vi åbner derfor for en fil med de originale data. 12 Den amerikanske rumfartsorganistation NASA selv har offentliggjort en stor mængde informativt materiale om ulykken på deres hjemmeside inklusive videoklip fra opsendelsen og selve ulykken, se fx 13 Se den også i andre henseender interessante hjemmeside Gallery of Data Visualization: 66

67 2.3 Bekræftende statistik: Omrøring og hypotesetest Tabellen rummer data fra de foregående 24 flyvninger med rumfærgerne ordnet kronologisk. Datasættet rummer 6 variable: Flyvning Temperatur Uheld Dato Rumfærge O_ringe Den tekniske betegnelse for den pågældende mission. Luftens gennemsnitstemperatur omkring rumfærgen under opsendelsen (målt i Fahrenheit!). Om der efterfølgende var konstateret alvorlige fejl på en eller flere af O_ringene. Datoen for opsendelsen i formatet: år-måned-dag. Hvilken af de fire rumfærger der var tale om. Antallet af O-ringe, hvor der efterfølgende blev konstateret alvorlige fejl. Med disse data til rådighed er vi nu klar til at frembringe diverse grafer for at belyse sammenhængene mellem de forskellige variable. Vi lægger ud med den beskrivende statistik for at danne os et første visuelt indtryk af datasættet: 67

68 2.3 Bekræftende statistik: Omrøring og hypotesetest Beskrivende statistik: Hvem er skurken? Et plot over antallet af O-ringe versus datoen viser ikke nogen klar sammenhæng mellem antallet af uheld og hvornår de er sendt op. Det ser ikke ud som om der bliver flere og flere ulykker i takt med at rumfærgerne nedslides: Tilsvarende er der heller ikke nogen tydelig sammenhæng mellem antallet af uheld og hvilken rumfærge der er involveret. Når Atlantis ikke har haft nogen uheld kunne det jo sagtens forklares med at den kun var blevet sendt op to gange: For de andre rumfærgers vedkommende ser det ud til at der sker uheld med O-ringene ca. hver tredje gang, jfr. søjlediagrammet, hvor vi har kombineret et søjlediagram for variablen uheld: 68

69 2.3 Bekræftende statistik: Omrøring og hypotesetest Vi kigger derfor nu på temperaturens indflydelse: 69

70 2.3 Bekræftende statistik: Omrøring og hypotesetest Grafen viser sammenhængen mellem antal O-ringe og temperaturen. Det værste uheld med tre ødelagte O-ringe ligger ved den laveste temperatur 53 F, men det næst værste uheld med to ødelagte O- ringe ligger ved den forholdsvise høje temperatur 75 F; Det var noget som NASA-administrationen ikke var sene til at påpege ved diskussionerne forud for opsendelsen. Ydermere begik man den afgørende fejl i diskussionen at man ignorerede de fejlfrie flyvninger. Det gør det endnu sværere at se en klar sammenhæng og var stærkt medvirkende til at det ikke lykkedes ingeniørerne at overbevise administrationen om at udsende opsendelsen på grund af den ekstremt lave temperatur ved opsendelsestidspunktet. Det gør det helle ikke meget mere overbevisende at tilføje en tendenslinje. Selv om den har negativ hældning, og derfor påpeger en mulig sammenhæng mellem mange uheld og lave temperaturer er forklaringsgraden helt ned på 32%, så det er bestemt tvivlsomt hvor stærk en sådan sammenhæng kan regnes for at være! Vi skifter derfor strategi og kigger i stedet på boksplottene for de to grupper af opsendelser, dem med fejl og dem uden fejl. Samtidigt med tilføjer vi middeltemperaturerne. Her synes der at være en langt tydeligere sammenhæng med temperaturen: Der er klart flest fejl, når temperaturen er lav. 70

71 2.3 Bekræftende statistik: Omrøring og hypotesetest Men igen er der er vist overlap, så hvor stærk er sammenhængen egentlig? Kan den motivere en udsættelse? Bekræftende statistik: Omrøring og uafhængighed Vi har nu ved hjælp af metoder fra den beskrivende statistik afdækket et muligt problem: Der synes at være en sammenhæng mellem fejl og temperatur, der viser sig som en tendens til at fejlene optræder hyppigere ved de lave temperaturer end ved de høje temperaturer. Men hvor troværdigt er det nu, at denne forskel ikke lige så godt kunne forklares som et udslag af tilfældige variationer? Vi skal med andre ord forsøge at vurdere hvor troværdig påstanden om en systematisk variation er, dvs. forskellen er så stor at den må anses for at være statistisk signifikant. Vi kommer da ikke udenom at foretage et hypotesetest for at vurdere styrken i den observerede forskel mellem fejlenes opførsel ved lave henholdsvis høje temperaturer. I den såkaldte retsagsmetafor for hypotesetest skal vi nu fælde dom i en sag om to påstande: 1. NASA's administration hævder at de observerede variationer i antallet af uheld ligeså godt kan tilskrives tilfældigheder, og at der derfor ikke er nogen grund til at udskyde opsættelsen (den såkaldte nulhypotese H 0, idet der ikke kan påvises nogen systematisk variation, dvs. der er ingen systematisk mellem antallet af fejl og temperaturen). 2. Ingeniørerne fra firmaet Thiokol hævder modsat at der er en systematisk sammenhæng mellem fejl og temperatur, og at man derfor skal være yderst varsom med at opsende rumfærgen ved kolde temperaturer på grund af den forøgede risiko for fejl (den såkaldt alternative hypotese H a ). Der er ikke noget fældende bevis i sagen (vi mangler 'den rygende pistol'), så afgørelsen skal alene træffes på grundlag af indicier, dvs. 71

72 2.3 Bekræftende statistik: Omrøring og hypotesetest vi skal foretage en vurdering af hvor overbevisende vores opdagelse af forskellen mellem antallet af fejl ved lave temperaturer og antallet af fejl ved høje temperaturer egentlig er. Begge parter kan altså i princippet have ret, og det eneste vi kan gøre er at forsøge at sandsynliggøre den ene hypotese frem for den anden. Vi skal da på forhånd blive enige om to forhold: 1. Hvilket signifikansniveau vil vi lægge til grund for domfældelsen (dvs. hvor stærke skal indicierne være)? 2. Hvilken teststørrelse vil vi benytte til at afgøre sagen, dvs. hvordan vil vi kvantificere, dvs. sætte tal på den observerede mulige systematiske forskel? Signifikansniveauet: Typisk vil man benytte et signifikansniveau på 5%. Hvis sandsynligheden for, at den observerede variation kan forklares med rene tilfældigheder, kommer under 5%, fremstår NASA's påstand om ren tilfældighed meget svagt, fordi det er svært at tro på at den observerede forskel er opstået rent tilfældigt, når sandsynligheden for dette er så lille. Omvendt virker ingeniørernes påstand om systematisk variation meget troværdig, og vi vil derfor følge ingeniørerne og dømme systematisk variation på grundlag af de fremlagte indicier. Hvis sandsynligheden for at forklare den observerede variation derimod kommer over 5% vil vi i stedet følge administrationens påstand og dømme tilfældig variation fordi indicierne ikke er stærke nok. Læg mærke til, at vi kun kan sandsynliggøre ingeniørernes påstand. Selv med en meget lille sandsynlighed vil der stadigvæk være en mulighed for at det hele alligevel kunne bero på tilfældigheder. I så fald har vi altså dømt en uskyldig og dermed begået et justitsmord (en såkaldt fejl af først art). Men med et signifikansniveau på 5% vil dette altså højest kunne forekomme i 5% af retssagerne, hvilket i mange tilfælde altså anses for at være acceptabelt. I særligt følsomme sager, fx om virkning af medicin overfor livstruende sygdomme, kan man dog ændre på signifikansniveauet og fx sætte signifikansniveauet ned til 1% og derved skærpe bevisbyrden, for at minimere risikoen for at man godkender en i virkeligheden virkningsløs medicin. Teststørrelsen: Her er der også et vist spillerum for hvordan vi kan sætte tal på den observerede forskel. Men igen skal vi altså blive enige på forhånd. Fx kunne vi kigge på middeltemperaturen i de to grupper af opsendelser med og uden fejl eller på medianen for temperaturen i de to grupper og så udregne deres forskel. Her vælger vi middeltemperaturen, for det vil give os mulighed for at sammenligne den eksperimentelle metode med den traditionelle teoretiske metode. Som teststørrelse vælger vi altså forskellen på middeltemperaturerne i de to grupper og vi starter derfor med at udregne denne. Det kan gøres på forskellige måder, men her hæfter vi os ved en teknik, der er nem at kombinere med omrøringen. 72

73 2.3 Bekræftende statistik: Omrøring og hypotesetest Vi ordner først datasættet efter den kategoriske variabel uheld Vi bemærker da at de første 7 flyvninger har fejl, mens de sidste 17 flyvninger er uden fejl. I enhver liste knyttet til datasættet kan vi derfor filtrere de første syv fejlbefængte flyvninger ud ved hjælp af kommandoen left(liste,7) og tilsvarende kan vi filtrere de sidste sytten fejlfrie flyvninger ud ved hjælp af kommandoen right(liste,17). Skal vi derfor udregne middelforskellen mellem temperaturerne for de fejlbefængte og de fejlfrie flyvninger sker det ved hjælp af formlen mean(left(temperatur,7)) mean(right(temperatur,17)) Hvis vi i stedet ønskede at fokusere på medianforskellen erstatter vi bare mean med median osv. G1: Middeltemperaturen for de fejlbefængte flyvninger ligger altså 8.9 F lavere end middeltemperaturen for de fejlfri flyvninger og vi skal nu finde sandsynligheden for at denne forskel kan tilskrives rene tilfældigheder (nulhypotesen). 73

74 2.3 Bekræftende statistik: Omrøring og hypotesetest Dette kan i princippet gøres ved hjælp af teoretiske udregninger, men de kræver både meget viden og megen erfaring, så i stedet vil vi finde sandsynligheden eksperimentelt ved at simulere nulhypotesen. Vi skal da først finde ud af hvordan man kan simulere uafhængigheden af de to variable Uheld og Temperatur. Vi kan nu bryde en eventuel sammenhæng mellem to variable, ved at foretage en tilfældig ombytning (permutation) af værdierne i den ene variabel. Man siger at man rører rundt i den ene variabel, hvorved værdierne bliver ombyttet så meget at de oprindelige sammenhænge, der måtte være mellem de to variable, fuldstændigt udviskes. Derved sikres det netop at de to variable bliver stokastisk uafhængige af hinanden. I princippet kan man foretage omrøringen i hånden ved at skrive de 24 temperaturer ned på 24 kort. Derefter blandes kortene godt og grundigt og de 7 første kort lægges fra til de fejlfyldte flyvninger, mens de 17 sidste kort lægges fra til de fejlfrie flyvninger. Der er nu ikke længere nogen sammenhæng mellem temperaturerne og fejlene og vi kan derfor for hver gruppe udregne middeltemperaturen og endelig deres forskel. I praksis er det dog nemmere at udføre omrøringen ved hjælp af TI-Nspire. Vi opretter da en ny liste for de omrørte temperaturer, der beregnes ved hjælp af kommandoen RandSamp(temperatur,24,1) hvor vi altså tager en stikprøve på 24 temperaturer, men uden tilbagelægning (hvilket forklarer den sidste parameter 1). Herved opnår vi netop at tømme listen over de oprindelige temperaturer i en vilkårlig rækkefølge. Syntaksen 14 for kommandoen kan slås op i kataloget (der er desværre pt. ikke nogen guide til rådighed for denne kommando) Herved frembringes netop den ønskede liste over de omrørte temperaturer, mens alle de øvrige lister jo forbliver uberørt af kommandoen: 14 Betegnelsen ejsvar er en fejloversættelse af den engelske forkortelse norep, der betyder noreplacement. På dansk ville vi også typisk kalde erstatning for tilbagelægning. Udelades slutparameteren fås altså stikprøvetagning med tilbagelægning. Sættes slutparameteren i stedet til 1 fås en stikprøvetagning uden tilbagelægning. 74

75 2.3 Bekræftende statistik: Omrøring og hypotesetest Bemærkning: Ligesom ved en almindelig variabelkontrol, hvor man kun ændrer én uafhængig variabel ad gangen for at se hvilken indflydelse den har på den afhængige variabel, er det karakteristisk for omrøringen, at man kun løsner én variabel ad gangen, dvs. gør den statistisk uafhængig af de øvrige variable, for at se hvilke sammenhænge med de øvrige variable, der derved brydes. Omrøringen fungerer altså som en form for statistisk variabelkontrol. Til illustration fremskaffer vi nu også et boksplot over variablen Temp_omrørt opdelt på de to værdier af variablen Uheld inklusive middelværdierne, der afsættes med Plot Værdi (se figur næste side). Ikke overraskende ligner de to grupper nu hinanden meget mere. Og oven i købet kan det denne gang som vist sagtens tænkes at det er middeltemperaturen for de fejlbefængte flyvninger, der ligger højest. Det vil nemlig indtræffe i halvdelen af omrøringerne, hvilket man kan forvisse sig om ved at gentage omrøringen (fx ved at vælge Lister og regneark-værkstedet og dernæst taste CTRL-R). Kopierer vi nu formlen for teststørrelsen over til en ny celle og erstatter vi temperatur med temp_omrørt, får vi nu beregnet middelforskellen i det omrørte datasæt: G2: Ved at gentage omrøringen kan man hurtigt få en fornemmelse for hvor nemt/svært det er at frembringe en forskel, der er mindst lige så lille (negativ!) som de observerede -8.9 F. Det viser sig at være rigtigt svært! Altså står nulhypotesen meget svagt med et signifikansniveau på 5% skulle vi få et mindst lige så skævt udfald indenfor noget, der ligner 20 forsøg, hvis nulhypotesen holder og dermed står den alternative hypotese om den uheldsvangre kobling mellem temperaturen og fejlene tilsvarende stærkt. 75

76 2.3 Bekræftende statistik: Omrøring og hypotesetest Men vi mangler stadigvæk en mere præcis vurdering af sandsynligheden for at tilfældige variationer kan frembringe et resultat, der er mindst lige så skævt som det observerede. Her til skal vi udføre gentagne målinger på det omrørte datasæt. Målinger i TI-Nspire foregår nu ved at gemme teststørrelsen i variablen middelforskel og så udføre en automatisk datafangst på teststørrelsen i listen målinger. Herefter gentages omrøringen idet vi holder CTRL-R tasten nede et passende antal gange. Man kan følge med i målingernes antal ved at oprette endnu en celle-formel: G3 = dim(målinger). Det tager herefter lidt tid at få udført de 1000 omrøringer med tilhørende målinger og dermed få udregnet de 1000 forskelle i middeltemperaturer for de to grupper under antagelsen af at de i virkeligheden er uafhængige (den såkaldte nulhypotese). Derefter kan vi få tegnet et prikdiagram over målingerne sammen med dels 5%-fraktilen på F, der afsnører det kritiske område til venstre i fordelingen, dels den rent faktisk observerede forskel i middeltemperaturer på F: 76

77 2.3 Bekræftende statistik: Omrøring og hypotesetest Prikplottet viser klart, hvor svært det er at frembringe en så stor forskel alene ud fra tilfældigheder. Den observerede forskel ligger et godt stykke inde i den kritiske røde zone afgrænset ved 5%-fraktilen, der slutter ved F. Vi kan også få udregnet den tilnærmede (eksperimentelle) sandsynlighed i procent for at få en forskel, der er mindst lige så skæv som den observerede. I TI-Nspire kan det fx gøres ved at tælle, hvor mange målinger der er mindst lige så skæve ved hjælp af den følgende celle-formel: G4: I dette tilfælde viser sig det sig altså at der kun er 4 ud af 1000 målinger, der ligger lige så langt eller længere ude, så sandsynligheden for at den observerede forskel skyldes rene tilfældigheder er altså under ½%. 77

78 2.3 Bekræftende statistik: Omrøring og hypotesetest Dermed har ingeniørerne altså vundet retssagen idet nulhypotesen er særdeles usandsynlig og den alternative hypotese dermed særdeles troværdig baseret som den er på en statistisk signifikant forskel men i den virkelige verden valgte NASA's administration altså at sidde deres advarsler overhørige, med katastrofale konsekvenser til følge, såvel menneskelige som økonomisk/administrative, idet rumfærge projektet blev sat adskillige år tilbage af ulykken, der senere skulle vise sig ikke at være den eneste, men det er en anden historie. Teknisk bemærkning: Kanonisk t-test I praksis benytter man sig ofte af en såkaldt kanonisk test. Vi viser til sidst hvordan det gøres i TI-Nspire, så man kan sammenligne med den ovenstående undersøgelse. Vi vælger derfor menupunktet Stat-test... > t-test med 2-prøver fra statistik-menuen, idet vi ønsker at sammenligne middeltemperaturen for de fejlbefængte flyvninger med middeltemperaturen for de fejlfrie flyvninger, for at kunne vurdere om den observerede forskel er statistisk signifikant: Vi kan da vælge mellem at tage udgangspunkt i de faktisk observerede rå data eller i dobbeltvariabelstatistikken for de to lister over temperaturer for flyvninger med fejl henholdsvis uden fejl. Vi viser først hvordan vi udnytter de rå data. NB! Det er nu afgørende at datasættet er ordnet efter uheld, så de første 7 flyvninger er dem med fejl og de sidste 17 flyvninger er dem uden fejl. Ellers skal vi først have oprettet særskilte lister for de to typer flyvninger! 78

79 2.3 Bekræftende statistik: Omrøring og hypotesetest Herefter kan vi udfylde dialogboksen som vist: Læg mærke til at vi også har sat mærke ved Plot data. Vi får derfor 79

80 2.3 Bekræftende statistik: Omrøring og hypotesetest også automatisk en grafisk fremstilling af testenl Såvel tabellen som grafen viser at hvis vi antager nulhypotesen, dvs. at uheld og temperatur er uafhængige, så er sandsynligheden for at få en middelforskel, der er mindst lige så skæv helt nede på 1.4%. Igen er nulhypotesen altså rimelig utroværdig! Men for at forstå testværktøjet fuldt ud skal man altså dels have et indgående kendskab til de mange begreber, der optræder i skemaet, såsom frihedsgrader, student's t og ukombinerede varianser, dels skal man være opmærksom på at der skal være en række forudsætninger opfyldt før man kan drage troværdige konklusioner af testen, forudsætninger som vi slet ikke har mulighed for at gøre rede for inden for rammerne af denne fremstilling. Vi afslutter diskussionen af den kanoniske test ved at vise, hvad der sker, hvis man kun har deskriptorerne til rådighed og ikke de faktiske rå data: Ud over middelværdi og antal skal vi da også kende stikprøvespredningen sx for de to lister, som vi ønsker at sammenligne middelværdierne for. Men herefter er resultatet af udregningerne numerisk og grafisk selvfølgelig nøjagtig de samme som før.. 80

81 Spørgeskemaanalyser og χ 2 -test Gråzonekriminalitet: En spørgeskemaanalyse Som et eksempel på anvendelse af kategoriserede data vil vi nu se nærmere på analysen af en spørgeskemaundersøgelse. Vi skal da have valgt et tema og en målgruppe. Her vil vi anvende et spørgeskema om gråzonekriminalitet udarbejdet til brug for et tværfagligt samarbejde mellem samfundsfag og matematik 15 Spørgsmål til gråzonekriminalitet: Køn Alder Har du uden tilladelse inden for det sidste år: Taget en cykel som ikke tilhørte dig selv Taget penge eller spiritus fra en jævnaldrende Taget penge eller spiritus fra forældre Taget noget i en forretning Har du indenfor det sidste år arbejdet sort Har du indenfor det sidste år ødelagt noget for sjov Har du inden for det sidste år ulovligt lavet graffiti Dette spørgeskema kan nu sendes rundt til fx alle eleverne i 1g på skolen. Jo flere elever man kan inddrage i spørgeskemaundersøgelsen jo bedre. På den med får man en stikprøve af den danske gymnasieungdom. Man bør så overveje i hvilket omfang den er repræsentativ. Den er jo i hvert fald ikke fremkommet ved at foretage et tilfældigt udvalg af danske gymnasieelever! Så hvis undersøgelsen stammer fra et provinsgymnasium er det et spørgsmål om den også dækker gymnasielever fra storbyerne. Stammer den fra et alment gymnasium er det et spørgsmål om den også dækker elever fra handelsgymnasier (hhx) og tekniske gymnasier (stx) osv. Her vil blot notere os at undersøgelsen må formodes at være repræsentativ for en langt større population end de faktisk adspurgte. For at kunne diskutere teknikker til at analysere spørgeskemaerne vil vi nu bruge resultaterne fra en autentisk undersøgelse i en 2gklasse. Det er en ret lille undersøgelse, der kun involverer 24 elever og derfor kun kan betragtes som en forsmag på en rigtig undersøgelse. Men den vil kunne bruges til at illustrere metoderne, som så kan anvendes på den rigtige undersøgelse foretaget på jeres egen skole! De anførte svar på den anonyme undersøgelse indtastes i TI- Nspire. Ved større undersøgelser gøres dette af flere omgange Det er da afgørende at man først opretter en fælles skabelon, så alle variablene får nøjagtigt de samme navne i de enkelte delundersøgelser. 15 Eksemplet er udarbejdet af Marianne Kesselhahn i forbindelse med det paradigmatiske eksempel 209: Kriminaliteten i tal et forløb i statistik. 81

82 Derefter kan man nemlig samle de enkelte delundersøgelser oprettet i hver sin TI-Nspire-fil til én samlet undersøgelse ved at kopiere resultaterne og indsætte dem i ét samlet datasæt. Man kan nemmest følge med i processen ved at vise data i en tabel Beskrivende statistik: Søjle- og blokdiagrammer Ovenfor ses nu resultatet af undersøgelsen. De to første variable, Køn og Alder, vil vi opfatte som uafhængige forklarende variable. De syv sidste variable, cykeltyv... grafitti, vil vi opfatte som afhængige responsvariable. Udover at kunne dokumentere omfanget af de forskellige former for gråzonekriminalitet er vi også interesserede i at undersøge om der kan konstateres en sammenhæng mellem køn og alder på den ene side og de forskellige typer gråzonekriminalitet på den anden side. Vi starter med de velkendte grafiske metoder fra den beskrivende statistik ('Vi skal tegne før vi kan regne'). Der er ingen, der har stjålet cykler eller tegnet graffiti 82

83 Der er et mindre, men stigende antal, der har stjålet fra forretninger, begået hærværk eller stjålet fra forældre henholdsvis jævnaldrende: Endelig er der rigtigt mange, der har haft sort arbejde: 83

84 Bemærkning: Læg mærke til at vi har brugt samme interval på hyppighedsaksen for alle syv grafer, så man umiddelbart kan sammenligne højderne. Vi kunne så umiddelbart tro at det er de samme fem elever, der både har stjålet fra jævnaldrende og fra forældrene, men hvis vi fx klikker i søjlen for dem, der har begået tyveri fra jævnaldrene, kan man umiddelbart se i alle de andre grafer, at det er ret tilfældigt om de også har begået andre typer af tyveri eller hærværk: Dermed er vi så småt begyndt at se på mulige sammenhænge mellem de forskellige variable, herunder om nogen af de forskellige former for gråzonekriminalitet afhænger af køn eller alder. Kigger vi fx på sammenhængen mellem sort arbejde og køn ses en svag tendens til at drenge arbejder mere sort end piger: 84

85 Kigger vi på sammenhængen mellem alder og sort_arbejde, tegner der sig der i mod en tydelig sammenhæng: Jo ældre eleverne bliver jo flere laver sort arbejde: For de 17-årige er det kun ca. en tredjedel, der laver sort arbejde. For de 18- og 19- årige er det ca. to tredjedele. Bekræftende statistik: Krydstabeller og uafhængighed Vi har nu ved hjælp af metoder fra den beskrivende statistik afdækket en mulig sammenhæng mellem alder og sort arbejde, der viser sig som en tendens til at ældre eleverne laver mere sort arbejde end yngre. Men hvor troværdigt er det, at denne forskel ikke lige så godt kunne forklares som et udslag af tilfældige variationer? Vi skal med andre ord forsøge at vurdere hvor troværdig påstanden om en systematisk variation er, dvs. om forskellen er så stor at den må anses for at være statistisk signifikant. Vi har trods alt kun kigget på en mindre stikprøve. Hvis vi undersøgte hele populationen af danske gymnasieelever kunne det jo være at forskellen forsvandt og at andelen der laver sort arbejde i virkeligheden er uafhængig af alderen. Hvis vi vil bakke vores hypotese op, kommer vi ikke udenom at foretage en hypotesetest for at kunne vurdere styrken i den observerede forskel mellem andelen, der laver sort arbejde for de yngste aldersgrupper og de ældste aldersgrupper. Vi starter da med at regne lidt på sammenhængen mellem alder og sort arbejde. Normalt sker det i form af en såkaldt krydstabel 16, der viser hyppighederne for de to variable. De kan beregnes ved hjælp af cellekommandoen B2 = sum(iffn(sortarbejde = $a2 and alder = b$1,1,0)) Læg mærke til dollartegnene $, der binder den første søjle a og den første række 1. De sikrer, at vi kan kopiere formlen rundt i krydstabellen. Søjletotaler, Rækketotaler og den Samlede total udregnes ved hjælp af sum-kommandoen anvendt på et celle-område: 16 I TI-Nspire svarer en sådan krydstabel til en matrix, men da lister og regneark-værkstedet ikke umiddelbart håndterer matricer vil vi udføre selve beregningerne på såkaldte krydslister, som vi vender tilbage til. 85

86 Vi får da dels optalt hyppighederne for de enkelte krydskategorier, fx at der er 3 elever, der er 17 år gamle og har sort arbejde, dels de såkaldte marginaler i form af søjletotaler, der angiver aldersfordelingen og rækketotaler, der angiver fordelingen for sort arbejde, og endelig den samlede total, dvs. at der er 24 observationer i alt. Ud fra krydstabellen skal vi derfor kunne aflæse om der synes at være en afhængighed mellem de to variable, dvs. om fordelingen af den ene variabel ændres afgørende, hvis vi indskrænker os til en bestemt værdi af den anden variabel. Fx ser vi, at der blandt de 17-årige er dobbelt så mange, der ikke har sort arbejde, mens samlet er der flest, der har sort arbejde. Vi starter undersøgelsen med to fundamentale bemærkninger: De to variable er karakteriseret ved deres fordelinger, der står i marginalerne, dvs. den yderste række og søjle. Disse marginalfordelinger må vi ikke røre ved. Men selve fordelingen inde i krydstabellen kan varieres på mangfoldige måder, idet der er stor frihed i hvordan vi udfylder de enkelte celler inde i krydstabellen. Her er det imidlertid vigtigt at være opmærksom på at det kun er nogle af cellerne, der giver stor frihed. Når vi fx har udfyldt den første celle i øverste venstre hjørne, så følger cellen lige nedenunder automatisk med, da summen af søjlen jo skal give 9: Udfylder vi derefter den næste celle følger resten automatisk: Hvis vi fx udfylder den første celle med 2 og den anden med 10 (idet summen af de to første celler skal ligge mellem 11 og 14) fås den 86

87 følgende krydstabel: Vi siger derfor at den ovenstående krydstabel har 2 frihedsgrader, fordi to af cellerne kan udfyldes frit, mens værdien af resten af cellerne derefter følger automatisk, idet summerne vandret og lodret er givet ved række og søjletotalerne. I almindelighed gælder der at en krydstabel med r rækker og s søjler har (r 1) (s 1) frihedsgrader. Den næste bemærkning er at vi forholdsvis nemt kan udfylde en ideel krydstabel under forudsætning af at de to variable er uafhængige (nulhypotesen!). Hvis antallet af elever der har sort arbejde er uafhængigt af alderen må det nemlig i hvert tilfælde udgøre 14/24 af det samlede antal. Tilsvarende må antallet af elever der aldrig har udført sort arbejde i hvert enkelt tilfælde udgøre 10/24 af det samlede antal. Da der fx er 9 elever med alderen 17 år må de derfor forventes at fordele sig med 14/24 9 der har haft sort arbejde og 10/24 9, der aldrig har haft sort arbejde. Det giver anledning til de følgende forventede antal i krydstabellen: Det forventede antal under forudsætning af at de to variable i en krydstabel er uafhængige er givet ved formlen Rækketotal Søjletotal Samlet total Vi har nu krydstabellen på plads og skal så blot forklare, hvordan det samme undersøges med krydslister! 87

88 Krydslister er direkte knyttet til tælletræer. De er mere fleksible end krydstabeller af flere årsager. For det første kan krydstabeller kun anvendes på tilfælde, hvor der er netop to faktorer på spil, mens krydslister kan benyttes til at undersøge sammenhænge mellem vilkårligt mange faktorer. For det andet er krydslister, som navnet viser, lister, og man kan derfor anvende alle de sædvanlige listeformler på dem. Krydslister anvendes derfor ofte i regneark som alternativ til krydstabeller. Det gælder fx også Danmarks Statistik, når man bestiller diverse sammenfatninger i Excel. I det ovenstående tilfælde skal vi kombinere variablen sortarbejde, der har to værdier, med variablen alder, der har tre værdier. Det giver i alt 6 kombinationer svarende til tælletræet: ja nej sort arbejde alder Når vi skal bygge det samme tælletræ op som lister, indfører vi derfor kategorilister, hvor vi gentager udfaldene passende som vist: hyppighed Derefter er det nemt at trække formlen L1 = sum(iffn(sortarbejde=j1 and alder=k1,1,0)) ned igennem en liste med de observerede hyppigheder. Tilsvarende trækker vi formlen sum(iffn( sortarbejde = j1)) sum(iffn( alder = k1)) M1 = 24. ned gennem en liste med de forventede hyppigheder. Vi har nu styr på alle faciliteterne fra krydstabellerne! 88

89 Dermed er vi klar til at forklare hypotesetesten, hvor vi altså skal fælde dom i en sag om to påstande: 1. Nulhypotesen H 0 hævder at de observerede variationer i antallet af sort arbejde ligeså godt kan tilskrives tilfældigheder, og at der derfor ikke er nogen grund til at tro på en sammenhæng mellem alder og sort arbejde. 2. Den alternative hypotese H a hævder modsat at der er en systematisk sammenhæng mellem sort arbejde og alder (der i dette tilfælde viser sig ved at jo ældre eleverne er, jo mere sort arbejde udfører de). Der er ikke noget fældende bevis i sagen (vi mangler 'den rygende pistol'), så afgørelsen skal alene træffes på grundlag af indicier, dvs. vi skal foretage en vurdering af hvor overbevisende forskellene mellem de observerede antal og de forventede antal egentlig er. Begge parter kan altså i princippet have ret, og det eneste vi kan gøre er at forsøge at sandsynliggøre den ene hypotese frem for den anden. Vi skal da på forhånd blive enige om to forhold: 3. Hvilket signifikansniveau vil vi lægge til grund for domfældelsen (dvs. hvor stærke skal indicierne være)? 4. Hvilken teststørrelse vil vi benytte til at afgøre sagen, dvs. hvordan vil vi kvantificere, dvs. sætte tal på den observerede mulige systematiske forskel? Signifikansniveauet: Her anvender vi det typiske niveau på 5%. Teststørrelsen: Her skal vi altså sætte tal på forskellen mellem de observerede antal og de forventede antal. Hvis nulhypotesen holder burde de observerede antal ligne de forventede antal, men i praksis, hvor vi jo kun arbejder med en beskeden stikprøve, må vi forvente nogle naturlige udsving. I dette tilfælde er de største udsving 2.25 (for 17-årige) og 2.00 (for 18-årige), mens udsvingene for de 19- årige er meget små. Er det så acceptabelt eller uacceptabelt? For at vurdere det indfører vi en teststørrelse, det såkaldte chi-kvadrat, χ 2, som udregnes ved hjælp af formlen ( ) 2 observeret antal forventet antal 2 χ = sum( ) forventet antal Her er det nemt nok at begrund tælleren, som jo blot på sædvanlig vis udregner den kvadratiske afstand - præcis som i mindste kvadraters metode. Det er sværere at begrunde nævneren, men den er taget med i formlen fordi det viser sig at den fører til en overraskende simpel middelværdi for teststørrelsen Dertil kommer et dybt teoretisk resultat, der siger at fordelingen af teststørrelsen asymptotisk opfører sig som en sum af kvadrater på normerede normalfordelinger! 89

90 Vi udregner altså chi-kvadrat ved hjælp af celleformlen: M1: χ 2 -testørrelsen er altså for vores krydstabel. Er det så foruroligende stort? Her kan vi støtte os til den følgende almene regel: Under forudsætning af at de to variable i en krydstabel er uafhængige er den forventede værdi for χ 2 -teststørrelsen netop givet ved antallet af frihedsgrader. I vores tilfælde er den forventede testværdi altså 2, mens den faktisk observerede testværdi er 3.77, hvilket jo er noget højere. Så den observerede krydstabel afviger mere end forventet. Men for virkeligt at kunne vurdere nulhypotesens troværdighed er vi nødt til at få en præcis vurdering af sandsynligheden for at testværdien er mindst under forudsætning af at variablene er uafhængige. Dette kan i princippet gøres ved hjælp af komplicerede teoretiske udregninger, men vi vil i stedet finde sandsynligheden eksperimentelt ved at simulere nulhypotesen, dvs. ved at simulere uafhængigheden af de to variable alder og sortarbejde. Vi bryder derfor en eventuel sammenhæng mellem de to variable, ved at foretage en tilfældig ombytning (permutation), dvs. omrøring, af værdierne i den ene variabel. Der er nu ikke længere nogen sammenhæng mellem elevernes alder og deres erfaring med sort arbejde og vi kan derfor udregne χ 2 -værdien for den tilsvarende 'omrørte' krydstabel. I dette tilfælde vælger vi at røre rundt i variablen sortarbejde og opretter derfor en liste omrøring og udfører en tilfældig permutation ved at trække en stikprøve af samme størrelse, men uden tilbagelægning ved hjælp af kommandoen Derefter kan vi oprette en ny hyppighedsliste for de omrørte data ved at trække den følgende formel ned gennem listen obsny: Ikke overraskende ligner de observerede antal nu de forventede antal. Denne gang ved vi jo med sikkerhed at eventuelle afvigelser udelukkende skyldes de tilfældige variationer i krydstabellen. 90

91 Men så er vejen jo banet for at udregne chi-kvadratet for det omrørte datasæt: N2: Prøver man derefter at gentage omrøringen (klik i Lister og regneark-værkstedet efterfulgt af gentagne tast med CTRL-R) kan man hurtigt få en fornemmelse for hvor nemt/svært det er at frembringe en χ 2 -testværdi, der er mindst lige så stor som den observerede Det er hverken helt svært eller helt nemt. Jeg brugte for eksempel 20 forsøg på bare at finde en enkelt krydstabel, der er præcis lige så slem. Det bliver altså nødvendigt med en mere præcis vurdering af sandsynligheden for at finde en testværdi, der er mindst lige så slem for at få truffet en afgørelse. Her til skal vi udføre gentagne målinger på det omrørte datasæt. Vi udnytter da at vi allerede har gemt den omrørte teststørrelse i variablen chi2test og opretter derfor en liste med navnet målinger, hvor vi udføre en automatisk datafangst af teststørrelsen. Tilsvarende tilføjer vi en celle N3 med formlen = dim(målinger) så vi kan holde øje med antallet af målinger. Det tager lidt tid at få udført de 1000 omrøringer med tilhørende målinger og dermed få udregnet de 1000 χ 2 -testværdier for de tilhørende krydstabeller under antagelsen af at de to variable fra krydstabellen i virkeligheden er uafhængige (nulhypotesen). Derefter kan vi få tegnet et prikplot over målingerne sammen med dels 95%-fraktilen på 5.6, der afsnører det kritiske område til højre i fordelingen, dels den rent faktisk observerede testværdi på : 91

92 92 N4: Prikplottet viser klart, hvor nemt det faktisk er at frembringe en testværdi, der er mindst lige så stor som den observerede værdi på Vi skal faktisk op på en testværdi, der er mindst 6.4, for at resultatet er statistisk signifikant og den alternative hypotese dermed troværdig. Vi kan også som vist få udregnet den tilnærmede (eksperimentelle) sandsynlighed for at få en forskel, der er mindst lige så skæv som den observerede. Det viser sig da at der er 203 ud af 1000 målinger, der ligger lige så langt eller længere ude end det rent faktisk observerede chi-kvadrat, så sandsynligheden for at den observerede forskel kan tilskrives rene tilfældigheder er altså helt oppe på ca. 20%. Når jeg måtte bruge 20 forsøg var det altså rent og skært uheld! Dermed tabte vi retssagen. Selv om vi har observeret en tydelig tendens i stikprøven til at det sorte arbejde er mest udbredt blandt de elever, der allerede er fyldt 18 år, kan vi altså ikke generalisere vores hypotese, dvs. udvide den til hele populationen af danske gymnasieelever. Den observerede forskel er ganske enkelt ikke statistisk signifikant, dvs. den er ikke stor nok. Det betyder selvfølgelig ikke at påstanden er helt forkert, men vores undersøgelse kan bare ikke bruges som dokumentation for påstanden, hvor rimelig den end måtte synes fra et samfundsfagligt synspunkt (der gælder fx helt forskellige lønningsregler for unge under 18 år og unge over 18 år, hvorfor mange unge gymnasieelever mister deres fritidsjob når de fylder 18...). Hvad kunne der nu være forkert ved undersøgelsen? Det alvorligste problem er nok stikprøvens størrelse. Den er ikke særligt stor og det gør det svært at finde en signifikant forskel. Hvis vi bare kunne rykke én elev blandt de 17-årige fra gruppen med sort arbejde til gruppen uden sort arbejde (og tilsvarende omplacere én elev blandt de 19- årige for at bevare marginalfordelingerne) havde resultatet være signifikant. Hvad kunne vi så have gjort bedre? Først og fremmest bør vi

93 skaffe os selv en større stikprøve ved at inddrage flere klasser. Hvis vi fx forestillede os at vi havde spurgt dobbelt så mange elever, dvs. 48, og at forholdene mellem dem der har sort arbejde, og dem der er uden sort arbejde i øvrigt var uændrede (dvs. vi fordobler alle hyppighederne), ville vi have frembragt en krydstabel med den dobbelte testværdi, dvs. χ 2 = 7.543, men antallet af frihedsgrader ville stadig kun være 2. Resultatet ville derfor denne gang være klart signifikant. Hvis man ønsker at dokumentere en hypotese ved en spørgeskemaundersøgelse skal man altså sørge for at dimensionere den passende! Vi slutter med nogle generelle bemærkninger om den χ 2 -test vi her har udført. Udover den observerede testværdi og 95%-fraktilen har vi også afsat den eksperimentelle middelværdi som viser sig at være 2.1. Den ligger netop rimeligt tæt på antallet af frihedsgrader. Vi har også set at prikplottet er rimeligt grynet. Der er jo kun et endeligt antal krydstabeller, fordi vi arbejder med heltallige værdier indenfor et snævert område. Men vi kan illustrere den asymptotiske fordeling ved at skifter over til et passende histogram og benytte skalaen densitet: Her kan vi så tilføje den teoretiske chi-kvadratfordeling med 2 frihedsgrader og tilsvarende som vist udregne den teoretiske 95%- fraktil. Som det ses passer det rimeligt godt med vores eksperimentelle undersøgelse af teststørrelsens fordeling. Læg i øvrigt mærke til at med så få frihedsgrader er fordelingen ikke klokkeformet! 93

94 Teknisk bemærkning: Kanonisk χ 2 -test I praksis benytter man sig ofte af en såkaldt kanonisk χ 2 -test. Vi viser nu hvordan det gøres i TI-Nspire, så man kan sammenligne med den ovenstående undersøgelse. Vi vælger derfor menupunktet Stat-Tests... > χ⁵ 2-vejstest fra statistik-menuen: For en gangs skyld får vi da ikke mulighed for valget mellem data og statistik! I stedet får vi besked på at angive en krydstabel i form af en matrix bestående af de observerede hyppigheder. Men vi har jo kun en krydsliste, som derfor først må konverteres til en matrix ved hjælp af kommandoen list mat(liste, antal søjler), dvs. her 3 søjler. Men da vi ikke kan arbejde med matricer direkte i Lister og Regneark-værkstedet må vi derfor for denne ene gangs skyld forlade Lister og Regneark-værkstedet og snige os ind i Grafregner-værkstedet: Derefter kørere resten i Lister og Regneark-værkstedet igen: Resultatet udskrives da på samme måde som de andre testresultater men denne gang rummer cellerne også matricer (indesluttet i gåseøjne, dvs. der er kun tale om tekst!). Vi får nu en vrimmel af oplysninger, men langt den vigtigste er den tredje PVal (Probability value), der netop fortæller os at sandsynligheden for at få en testværdi, der er mindst lige så stor som den faktisk observerede under forudsætning af at de to variable i virkeligheden er uafhængige (nulhypotesen, 94

95 dvs. den observerede forskel skyldes alene tilfældige variationer) er helt oppe på 15%. Da det ligger langt over signifikansniveauet på 5% er den observerede forskel altså ikke statistisk signifikant, i overensstemmelse med konklusionen i vores egen undersøgelse: De øvrige oplysninger er dels teststørrelsen χ 2 = , antallet af frihedsgrader df = 2 og den forventede matrix ExpMatrix. Endelig er der de enkelte matrixelementers bidrag til teststørrelsen. Vi kan også få vist en graf med det kritiske område som støtte for fortolkningen. Men denne gang skal vi selv oprette grafen. Det sker ved at tegne funktionen for chi-kvadrat-fordelingen med 2 frihedsgrader samt plotte værdien for teststørrelsen Derefter højreklikkes på grafen og man vælger skraver under graf og angiver dels venstre grænse som den plottede værdi , dels den højre grænse som +. Det sværtede område ude til højre har da netop arealet 15%: Men for at forstå testværktøjet fuldt ud skal man altså dels have et indgående kendskab til den teoretiske fordeling af teststørrelsen, der kun afhænger af antallet af frihedsgrader, dels være opmærksom på at der skal være en række forudsætninger opfyldt før man kan drage troværdige konklusioner af testen, forudsætninger som vi slet ikke har mulighed for at gøre rede for inden for rammerne af denne fremstilling. 95

96 Indeks χ² (chi-kvadrat) 73 afviger 13 alternativ hypotese Ha 58, 72 atypisk observation 13 bimodal 28 blokdiagram 67, 69 boksplot 11, 13 bootstrap 38, 46, Challengerulykken chi-kvadrat (χ²) 73 confirmatory data analysis 37 CTRL < (ulighedstegn ) 47 CTRL = (forskellig fra ) 15 CTRL-U (gentag simulering) 43, 48, 61, 75 de fem nøgletal 13 dublet (SKIFT-CTRL-D) 34 enheder 8-9 exploratory data analysis 37 FCK fejl af første art 58 fempunkts-oversigten 16 filter 15 form (fordeling) 17, 20, 22 forrige() 37 forskellig fra (CTRL =) 15 forventet antal (krydstabel) Forventet 72 fraktildefinition 25 fraktil fraktil() 26 fraktilplot frekvens 30 frihedsgrader (krydstabel) 71 første kvartil Q1 12 gentagne målinger 37, 62, 75 grundantagelsen for grupperede data 29 grupperede observationer gråzonekriminalitet H0 nulhypotese 58, 72 Ha alternativ hypotese 58, 72 hegn for boksplot 14 histogram 9, 10-11, 30, 32 hypotesetest 58, 70 hyppighed 29 højreskæv 10 indeks 8, 27 intervalbredde 10, 32 intervalstart for histogram 10 kanonisk χ²-test kanonisk skøn for en andel 51 kanonisk t-test kategoriserede variable 8, 9, 30 kontrolgruppe 41, 42 krydstabel 70 kumuleret frekvens kvartil 12, 13, 28 kvartilbredde 13, 17, 35 kvartildefinition 12 kvartiler (aflæst fra sumkurve) kvartilsæt kvartilsæt (grupperede observationer) 35 linjeplot 56 Lås data i grafvindue 15 maksimum 11, 35 median 11, 23, 28 median (aflæst fra sumkurve) 35 median() 14 mediandefinition 12 middel() 14 middelværdi (grupperede observationer) 37 middelværdi 14 minimum 11, 35 måling 43, 48 niveau (fordeling) 17, 20, 22 nulhypotese H0 43, 58, 62, 72 numeriske variable 8,9 observeret antal 72 ombyt() 46 omrøring af variable 37, 38, 58, 59, 60 opinionsundersøgelse 46 ordinære observationer 35 perifer observation 13 placebo 41 Plot funktion 34 Plot værdi 14, 61 population (definition) 40 prikdiagram 9-10 Q1 første kvartil 12 Q3 tredje kvartil 12 Rayleigh og densiteten for kvælstof relativ kvartilbredde 22 repræsentativ stikprøve 40, 66 retssagsmetafor 58 robust (median) 14 rækketotal 70 Rør rundt i en variabel 60, 73 samlet total 70 signifikans 58, 70 signifikansniveau 51, 58, 59, 72 simulere nulhypotese 59, 73 simulere tilfældighed 38, 43 simulering af opinionsundersøgelse SKIFT-CTRL-D (dublet) 34 skjult variabel 18 sort arbejde Sortér variabel 11 spredning 17, 20, 22 spørgeskemaanalyse 20-22, stakket prikdiagram 10 statistisk signifikans 77 statistisk variabelkontrol 41, 42, 61 stikprøve (definition) 40 stikprøve 66 stokastisk uafhængig 59 studiegruppe 41, 42 sum() 37 sumkurve (grupperede data) summeret frekvens 31 systematisk variation 37 søjlediagram (grupperede data) 30-31, 32 søjlediagram (kategoriseret variabel) 67 søjletotal 70 talvariabel 8 tekstvariable 8 test af to middelværdier 54 test af uafhængighed 78 teststørrelse (hypotesetest) 58, 59, 72 testværdi (ombytfunktion) 48 Thulesagen tilbagelægning (stikprøve) 52 tilfældig variation 37 tilfældig() 43, 47 tilfældighedsgenerator 38, 46 Tilføj nye data 46 topuklet (fordeling) 28 tredje kvartil Q3 12 troværdig 58, 70 Tukey 13 Tukeys regel 14, 35 Tuleys hegn 14 tyngdeacceleration typeinterval 11 typetal 16 tæl() 31 tæthed 28 uafhængighed 58 Udfør gentagne målinger 48, 62, 75 Udtag stikprøve 52 udvidet kvartilsæt (grupperede observationer) 35 udvidet kvartilsæt 13 ulighedstegn (CTRL <) 47 unges fritidsvaner usikkerhedsinterval 49 variabelkontrol 41, 42, 61 variationsbredde 17 Vis enheder 9 vægtet gennemsnit (s. 37) ØMU (Økonomisk Monetær

97 Union) 4 97