Aktivitetsmappe for introkurset til Naturvidenskabeligt grundforløb 2008

Transkript

1 Den eksperimentelle metode i statistik Den naturvidenskabelige metode er i fokus efter gymnasiereformen. Det starter med naturvidenskabeligt grundforløb: Aktivitetsmappe for introkurset til Naturvidenskabeligt grundforløb 2008 Velkommen til tre dage med Dataopsamling Databehandling Datafremlæggelse Som vignetten antyder er kan den naturvidenskabelige metode bl.a. struktureres efter tre stadier i arbejdet med data: Dataopsamling: Indsamling af data Databehandling: Bearbejdning og strukturering af data Datafremlæggelse: Formidling og fortolkning af data De samme tre stadier findes i den statistiske metode, som nok er den metode der kommer den naturvidenskabelige metode nærmest indenfor de matematiske fag: Også her er det helt centralt at indsamle statistiske data på forsvarlig vis, at kunne bearbejde de statistiske data med numeriske og grafiske metoder samt at kunne drage passende konklusioner af de statistiske data. Det er også karakteristisk for den statistiske metode at man kan arbejde med dataene på forskellige niveauer: Det beskrivende niveau: EDA (Explorative Data Analysis deskriptiv statistik) Det bekræftende niveau: Deduktive/induktive analyser (skøn/hypotesetest) På det laveste beskrivende niveau interesserer man sig alene for hvordan de rent faktisk indsamlede data opfører sig. Her benyttes først og fremmest forskellige grafiske fremstillinger suppleret med udregningen af de vigtigste deskriptorer. Man har altså indsamlet en stikprøve og undersøger med passen- 1

2 de grafiske og numeriske metoder hvordan den pågældende stikprøve er struktureret. Det er dette niveau vi underviser i på C-niveau. På det højeste bekræftende niveau går man nu et skridt videre og vurderer dels om stikprøven kan opfattes som en repræsentativ stikprøve for en større population, dels om hvilke af de fundne karakteristika, det i givet fald er rimeligt at udstrække til hele populationen. Det er langt mere kompliceret at holde styr på denne problemstilling, der bygger på en blanding af deduktive og induktive metoder, og det er dette niveau som resten af noten kommer til at beskæftige sig med. Det er dette niveau vi underviser i på B- og A-niveau. Men før vi kaster os over det bekræftende niveau er det vigtigt at gøre sig klart at det forudsætter en fortrolighed med det foregående beskrivende niveau, dvs. et rimeligt kendskab til simple deskriptorer som middelværdi, median og kvartiler, og en rimelig fortrolighed med brug af passende grafiske fremstillinger, som punktplot, histogrammer og boksplot. Først ser vi igen overordnet på den naturvidenskabelige metode. I bogen 'Naturvidenskabeligt grundforløb en introduktion til den naturvidenskabelig metodik' af Hans Marker, Lars Andersen, Carsten Ladegaard Pedersen og Steffen Samsøe (forlag Malling Beck nu L&R uddannelse) formuleres den naturvidenskabelige metode også kaldet den hypotetisk-deduktive metode således (se diagram næste side). Den naturvidenskabelige metode kan selvfølgelig formuleres på mange tilsvarende måder, men det afgørende er at man som udgangspunkt har en formodning om hvordan tingene hænger sammen, en såkaldt arbejdshypotese, og at man på basis af eksperimenter/observationer, når frem til et empirisk resultat. Det er dette resultat, der så skal sammenholdes med arbejdshypotesen. Her skal man derfor på basis af hypotesen foretage en udledning/deduktion af hypotesens konsekvenser, der efterfølgende kan sammenholdes med de empiriske resultater. Denne diskussion af overensstemmelsen mellem hypotese og resultater har så ideelt to mulige udfald: 1) Hypotesen bekræftes, idet der er en klar overensstemmelse mellem resultatet og hypotesen 2) Hypotesen forkastes, idet der er en klar modstrid mellem resultatet og hypotesen. I praksis kan diskussionen ofte vise sig at være mudret og sammenhængen mellem resultatet og hypotesen er derfor uklar. Processen må så gå om igen. Hvis hypotesen bekræftes tilstrækkeligt mange gange dvs. ved induktion - kan den til sidst ophøjes til en teori. Dette er et eksempel på anvendelsen af slutningsformen abduktion, hvor man slutter tilbage fra bekræftelsen af en påstands konsekvens til gyldigheden af selve påstanden. Som med induktionen er det ikke nogen sikker slutningsmetode (idet konsekvensen kunne være sand af andre årsager), men i praksis er det en særdeles anvendelig metode. Hvis hypotesen forkastes, må man i stedet opstille en ny hypotese, der så kan gøres til genstand for afprøvning osv. 2

3 Noter til DASG-kursuss i statistik den 4. september 2009 I den statistiske metode går man nu frem på tilsvarende vis: Vi observerer et stokastisk fænomen (fx ved at kaste med terninger eller ved at indsamle svar til en spørgeskemaundersøgelse osv. Det karakteristiske for ob- servationerne i et stokastisk fænomen er at de varierer tilfældigt for hver gangg eksperimentet/ indsamlingen gentages. Derefter sammenligner vi de observerede resultater med de forventedee resulta- ter fremkommet ud fra en arbejdshypotese (nul-hypotesen)observered de og forventede resultat er så lille at det med rimelighed kan tilskrivess tilfældigheder, eller om afvigelsen er så stor at det er mere rimeligt at tro på det er resultatet af en systematisk ten- dens, der bryder med nul-hypotesen. Det afgørende e spørgsmål er da m afvigelsen mellem det 3

4 Noter til DASG-kursus at vi har en standard for hvad det vil sige at afvi- i statistik den 4. september 2009 Det forudsætter selvfølgelig, gelsen er lille henholdsvis stor! I den statistiske metodee afgøres det ved hjælp af en teststørrelse, idet forskellen mellem det observere ede resultat benyttes som teststørrelse. Det er fordelingen af denne teststørrelse, der leverer standarden for hvornår afvigelsen er lille og hvornår den er stor. Eksperimentel simulering Nulhypotese Fordelingen af teststørrelsen Teoretisk deduktion Som det ses er der nu to principielt forskellige metoder vi kan benyttee til at fastlægge fordelingen af teststørrelsen. Begge metoder har fordele og ulemper: 1) I den eksperimentelle metode foretager man en simulering af nulhypo- tesen H 0 og på basis af simuleringen opstiller man et skøn over sandsyn- som ligheden for at man vil opnå et udfald, der er mindst lige så skævt det observerede. Det kræver et indgående kendskab til de metoder, man udnytter i simulering af stokastiske fænomener. 2) I den teoretiske metode opstiller man en sandsynlighedsteoretisk beman vil regning på basis af nulhypotesen H 0 af sandsynlighedenn for at opnå et udfald, der er mindst lige så skævt som det observerede. Det kæ- til ver et indgående kendskab til de sandsynlighedsfordelinger, der ligger grund for nulhypotesen. Den eksperimentellee metodee - er en fælles metode, der kan bruges for alle slags statistiske test. Den bygger på en vigtig modelleringskompetence: kom- petencen til at modellere et stokastisk fænomen. Den teoretiskee metodee - kræver et godt kendskab til et antal teo- normalfordelingen, t-fordelingen, χ2-for- 2 retiske fordelinger: Binomialfordelingen, delingen osv. Den underliggende metode har en tendens til at forsvinde i den vold- somme dosis teori. 4

5 - er kun praktisk mulig gennem brugen af computere. Den har nu opnået status som industristandard. Men der kræves en gennemregning af mange simuleringer ( ) for at kunne træffe en pålidelig slutning. - bygger på velkendte gennemprøvede eksakte matematiske metoder. Men resultatet af de teoretiske beregninger er ikke nødvendigvis mere præcist end resultatet af de eksperimentelle simuleringer. Den teoretiske metode bygger i praksis på adskillige tilnærmelser: de grundlæggende stokastiske variable er typisk kun approksimativt normalfordelte ligesom den teoretiske fordeling for teststørrelsen er ofte kun en asymptotisk fordeling. I undervisningsmæssig sammenhæng er det vigtigt at fastslå at der er fuldstændig valgfrihed mellem at bruge de forskellige metoder. Det er lærerens ansvar i samspil med klassen at udvælge undervisningsstrategien for den bekræftende statistik, og derved afgøre om den alene skal bygge på en af de ovennævnte metoder eller på en passende blanding af de to metoder. Susanne Christensens noter bygger på den teoretiske metode, mens den foreliggende note præsenterer den eksperimentelle metode. Også i eksamenssammenhæng er der fuldstændig valgfrihed om man vil løse opgaverne ude fra den eksperimentelle metode ved simulering af nulhypotesen eller ud fra en teoretisk beregning. 5

6 Hvad skal et program kunne for at kunne udføre en eksperimentel statistisk test? Med udgangspunkt i DataMeter vil vi nu diskutere, hvad det er for egenskaber ved et regneark, der er væsentlige for at man kan udføre en eksperimentel test. Da TI-Nspire CAS deler fælles teknologi med DataMeter (Fathom) gælder de samme betragtninger for TI-Nspire CAS. Ser vi på regnearket i DataMeter er der fire ingredienser, der er afgørende: 2. Gentag simulering: CTRL U Regnearket opdateres løbende, men tilfældige rutiner som tilfældig() osv. genberegnes kun hvis man vælger Gentag simulering! 3. Datafangst: Udfør gentagne målinger Hvis man har oprettet en måling kan man fange et ønsket antal værdier automatisk, idet målingens værdier opdateres under automatisk gentagne simuleringer. 1. Dynamisk stikprøve: Ved hjælp af menupunktet Udtag stikprøve kan man udtrække en tilfældig stikprøve fra en liste (populationen) med eller uden tilbagelægning. 4. Hurtig-graf: Hvis man trækker en enkelt eller to variable over i et grafrum kan man automatisk få oprettet et grafrum med et prikdiagram. 1) Det skal være muligt at udtage dynamiske stikprøver. I DataMeter er det et menupunkt for skattekisten/datasættet (Udtag stikprøve). Der udtages en sammenhængende stikprøve for alle variablene i datasættet. Stikprøven består som standard af 10 elementer, udtrukket med tilbagelægning, men disse parametre kan uden videre ændres efter behov. 2) Det skal være muligt at genberegne regnearket, så man får opdateret simuleringen, hvad enten den bygger på tilfældighedsgeneratorer eller tilfældige stikprøver. I DataMeter sker der det enten ved hjælp af menupunktet Gentag simulering (CTRL U). I DataMeter er det et menupunkt (Gentag simulering CTRL U) eller ved hjælp af en knap på skattekisten. 6

7 3) Det skal være muligt at samle målinger op for en valgt teststørrelse knyttet til simuleringen. I DataMeter skal man først oprette målingen inde i selve skattekisten/datasættet ved at åbne for inspektøren i skattekisten og vælge fanebladet måling. Derefter er det et menupunkt for skattekisten (Udtag gentagne målinger). 4) Hurtig graf: Det skal være simpelt at oprette grafer for de optagne målinger. De fleste regneark har indbygget simple rutiner, der tillader hurtig oprettelse af grafer for udvalgte grafer. I DataMeter sker det ved at trække målingen over i et grafrum. Med disse fire faciliteter til rådighed kan man bruge dynamiske stikprøver til at opbygge en simulering af nulhypotesen, genberegning af regnearket til at gentage simuleringen mange gang og opsamling af målinger til at samle teststørrelsen for de mange simuleringer i en særskilt liste, så man kan undersøge fordelingen af teststørrelsen nøjere, herunder vurdere p-værdien, og endelig udnytte hurtig-grafen til at danne sig et visuelt indtryk af fordelingen og derved få en første fornemmelse for hvor signifikant resultatet er. Resten er tekniske detaljer, hvor vi nu vil prøve at gennemarbejde et antal cases, der kan vise den statistiske metode i praksis og også illustrere nogle af faciliteter, der er i de dynamiske statistikprogrammer. Da det er nemmest at simulere en kendt fordeling starter vi med at se på goodness-of-fit testen. Den kan udføres på forskellig vis, men her gennemfører vi den i stor og grov detalje, så man kan se alle detaljerne så kan man senere hen skyde forskellige elegante genveje, der dog i første omgang har en tendens til at skjule detaljerne. Bagefter diskuterer vi så hvordan man kan simulere uafhængigheden for to stokastiske variable. Her følger vi så også i første omgang den samme lidt grove strategi fra goodness-of-fit testen, som viser tydeligt men lidt omstændeligt, hvad der foregår. Også her kan man så efterfølgende skyde forskellige elegante genveje, der tenderer til at skjule nogle af detaljerne. 7

8 Eksempel 1: Noter til DASG-kursus i statistik den 4. september 2009 I Susannes noter finder vi det følgende eksempel: Danmarks statistiks opgørelse af indkomstfordelingen for personer over 15 år i Danmark år 2007 viser følgende billede: I=Indkomst i 1000 kr. % af befolkning I<50 50 I< I< I< I< I< I< I En markedsanalytiker har foretaget en undersøgelse af 1000 personers kendskab til et særdeles kostbart fladskærmsprodukt, men efterfølgende er der opstået tvivl om udvælgelsen af stikprøven, der er forgået som interviewundersøgelse over et par dage i et lokalt supermarked. Det frygtes, at stikprøven har fået for mange respondenter med i de lavere indkomstklasser. Heldigvis er der blevet spurgt om folks indkomst, så man kan lave et test for, om indkomstfordelingen i stikprøven synes at komme fra et specielt segment af befolkningen og altså dermed ikke at have den samme fordeling som indkomstfordelingen i Danmark. Hvis det er tilfældet, kan man nemlig ikke generalisere undersøgelsens resultat til hele befolkningen. Indkomstfordelingen i stikprøven var: Observerede antal: I=Indkomst i 1000 kr. I<50 50 I< I< I< I< I< I< I Antal i stikprøven Denne tabel skal nu overføres til en variabel obs i DataMeter med 1000 data. Da der er tale om rigtigt mange observationer er det ikke helt nemt at oprette den tilhørende liste. Vi benytter derfor ombyt-funktionen som vist: Læg mærke til at kategorierne, dvs. indkomstintervallerne, indtastes med gåseøjne! Det sker for at de skal opfattes som tekststrenge og ikke som formler. Vi 8

9 har valgt af kalde dem kat1, kat8 for at forenkle indskrivningen. Det er også muligt at indskrive dem som intervaller, men så bliver det lidt sværere at holde styr på dem! Derefter er det simpelt at oprette en graf for de observerede værdier, ligesom det er trivielt at få optalt hyppighederne i en beregningsboks som vist, hvor vi har trukket variablen obs ind i beregningsboksen: Vi lægger nu ud med et mål for afvigelsen mellem de observerede og forventede hyppigheder. Som udgangspunkt er det naturligt at benytte summen af de kvadratiske afvigelser som et sådant mål: Det er jo det centrale mål for afvigelser i mindste kvadraters metode. Men som påpeget af Karl Pearson i 1900 er det smart at ændre udtrykket til den vægtede sum chi 2 Vi vil senere se på hvorfor det er smart at vægte de enkelte kvadratled på denne måde. VI får da brug for at kende de forventede hyppigheder, men de følger umiddelbart af opgaveteksten, idet vi i alt skal have 1000 værdier, hvorfor procenterne i tabellen skal ganges med 10! 9

10 Tilbage er der blot at få udregnet chi2-teststørrelsen. Det kan gøres på mange måder, men vi vil vælge en metode, der kan virke lidt besværlig i første omgang, men som er nem at anvende, når vi om lidt vil simulere nulhypotesen! VI opretter derfor en ny beregningsboksen og knytter den til datasættet observationer ved at trække datasættets titel ind i beregningsboksen. Derefter indskriver vi simpelthen formlen for teststørrelsen led for led som vist (idet vi gør flittig brug af kopier og indsæt undervejs, så vi kan genbruge det meste led for led!): Spørgsmålet er så blot om er en stor afvigelse, som er svær at forklare ud fra tilfældige fluktuationer i stikprøven, eller om det er en lille afvigelse, der sagtens kan tilskrives tilfældige udsving i stikprøven. Det kan man ikke umiddelbart sige noget om, da et tal i sig selv ikke har nogen absolut størrelse. Vi må først fastlægge en standard for den forventede størrelse af afvigelsen, hvis den kan tilskrives tilfældige udsving, dvs. vi må først simulere nul-hypotesen, før vi kan udtale os om hvorvidt teststørrelsen er stor eller lille. Denne simulering af nulhypotesen foregår nu ved at vi udtrækker stikprøver fra superpopulationen, dvs. fra den samlede danske befolkning. Heldigvis behøver vi ikke konstruere en superpopulation, der indeholder alle danskere. Vi skal bare konstruere en ideel population, der afspejler den danske befolkning i den forstand at de forskellige indkomstgrupper netop forekommer med de samme andele som i den samlede befolkning. Denne ideelle population kan vi så trække stikprøver fra. 10

11 Vi konstruere derfor nu et nyt datasæt hørende til simuleringen af nulhypotesen med en variabel ideel, hvis værdier netop afspejler den nationale statistik over indkomstfordelingen. Oprettelsen af denne liste sker på samme måde som ved observationerne, så det nemmeste er at kopiere den forrige formel og så rette tallene til: Denne superpopulation kan vi så afbilde som et søjlediagram: Men hvis vi nu trækker en tilfældig person fra denne ideelle liste så vil sandsynligheden for at vedkommende har en lav indkomst mellem 0 og 50 kilokroner jo netop være 6.4 % og tilsvarende for de andre indkomstkategorier. Hvis vi ydermere laver udtrækningen MED tilbagelægning, så vil hver eneste person være trukket med de rigtige sandsynligheder, og indkomsten for to forskellige personer vil være uafhængige af hinanden. Vi kan nu med andre ord simulere nul-hypotesen, ifølge hvilken indkomstfordelingen for de udtrukne følger landsfordelingen! 11

12 Vi udtager stikprøven ved hjælp af menupunktet Udtag stikprøven (højreklik på datasættet Simulering af nulhypotesen). Der udtages da automatisk en forsmag på stikprøven med parametrene: Da standarden netop foregår MED tilbagelægning kan vi bare ignorere denne parameter! Men vi skal have slået animationen fra, da de flyvende kugler ellers vil trække ud i det uendelige. Vi trækker nu 1000 tilfældige indkomstgrupper fra den ideelle fordelinger, idet vi jo skal matche de 1000 personer i den oprindelige interviewundersøgelse, dvs. vi retter antallet af data til Dermed simulerer vi netop nulhypotesen, dvs. vi kan nu afbilde stikprøven og se hvordan den opfører sig, når vi gentager stikprøven ved at taste CTRL-U mange gange med datasættet for stikprøver markeret! Hver gang blafrer søjlerne i stikprøven så op og ned som udtryk for den naturlige variation i en stikprøve! Det ændrer ikke på det overordnede mønster, men det er tydeligt at de enkelte hyppigheder varierer ganske pænt og at der derfor godt kan være en vis afstand til den ideelle fordeling repræsenteret af de forventede hyppigheder. Husk at lade krydset stå i Erstat de eksisterende målinger, da vi ellers får akkumuleret alle 'målingerne' i længere og længere stikprøver 12

13 Vi skal så have udregnet afvigelsen fra den forventede fordeling, dvs. chi2- teststørrelsen. Vi kopierer da formlen fra før og sætter den ind i en beregningsboks knyttet til datasættet Stikprøve fra simulering af nulhypotese, derefter udskifter vi som vist variablen obs med variablen ideel (hentet fra stikprøven!): 13

14 Vi kan nu køre simulationen et antal gange fx 20 og lægger mærke til, at der dukker chi2-tesstørrelser op i tyverne, men ikke i trediverne. Så det synes ikke helt nemt at fange en teststørrelse på ! Vi bygger nu endeligt fordelingen af teststørrelsen op. Det kræver at vi lagrer teststørrelsen som en måling. Vi dobbeltklikker altså i datasættet for Stikprøver for Simulering af nulhypotesen. Her opretter vi nu som vist målingen chi2_sim og indsætter formlen for teststørrelsen (som vi kopierer fra beregningsboksen). Derved er vejen åbnet for at udføre gentagne målinger på datasættet for Stikprøve for Simulering af nulhypotesen (fx ved at højreklikke på datasættet). Der fanges som standard fem målinger af gangen og det kan være udmærket til en første orientering om hvad der sker: Vi slår animationen fra, ligesom vi ikke har kryds i boksen Erstat de eksisterende målinger, da vi gerne vil have bygget flere og flere målinger op. Ved at tilføje en tabel og et grafrum kan vi nu få vist målingerne! Gentagne tryk på CTRL-U eller knappen med Ny målinger, viser da hvordan fordelingen af målingerne bygges stille og roligt op. Når vi har fået en god fornemmelse for hvad der sker kan vi så til sidst sætte antallet af målinger op så vi tager den resterende klump i et hug (men det tager til gengæld rimeligt lang tid, da vi hver gang skal håndtere en ny stikprøve på 1000 elementer). 14

15 Efter 1000 forsøg er det ikke lykkedes os en eneste gang at nå op til de og kun en gange er det lykkedes at nå op på 25. Det er altså meget svært at simulere sig til en værdi, der er lige så ekstrem som den observerede og nulhypotesen er derfor ikke troværdig! Den bør forkastes. Men inden vi forlader eksemplet vil vi lige illustrere nogle flere karakteristiske egenskaber ved fordelingen. Middelværdien 6.89 ligger meget tæt ved 7. Det er ikke noget tilfælde: Det vægtede gennemsnit i Pearsons teststørrelse er netop valgt, så fordelingen af teststørrelsen får en middelværdi, der ligger tæt på antallet af frihedsgrader (og som er lig med antallet af frihedsgrader, når vi regner på den forventede teoretiske fordeling af teststørrelsen). Antallet af frihedsgrader i en goodness-of-fit test svarer til antallet af hyppigheder, der kan vælges frit. I en stikprøve på 1000 elementer med 8 kategorier er der netop 7 frihedsgrader, for når vi har valgt 7 hyppigheder fastlægges den sidste af kravet om at summen af hyppighederne skal være Det giver en første fornemmelse for hvornår en observeret teststørrelse er lille eller stor. Den skal i hvert fald et stykke over middelværdien, dvs. antallet af frihedsgrader, før der kan blive tale om at den er stor! For nu at præcisere det har man truffet et valg af det såkaldte signifikansniveau, som typisk er 5% eller 1%. Her vil vi illustrere det med 1%. For at en teststørrelse kan regnes for stor og nulhypotesen dermed for utroværdig, skal den være mindst lige så stor om de største 1% i fordelingen af den simulerede teststørrelse. Eller sagt med andre ord: Sandsynligheden for at den er fremkommet ved et tilfælde ud fra nulhypotesen skal være mindre end 1% før vi forkaster nulhypotesen. Nu svarer 1% til 10 observationer ud af de 1000 målinger, så vi skal have fat i de 10 største målinger. Det kan man nemt finde ud af ved at ordne målingerne efter størrelse, men da målingerne er fremkommet ved en datafangstkommando skal den slettes først før vi får lov til at ordne målingerne! Det tager selvfølgelig et stykke tid at ordne de 1000 målinger efter aftagende størrelse, men til sidst falder det på plads: 15

16 Vi ser da at man skal over 17,6 før en teststørrelse kan karakteriseres som stor. Man kan også udregne den kritiske sandsynlighed, dvs. sandsynligheden for at simulere en teststørrelse, der er mindst lige så skæv som den observerede. Vi skal da tælle hvor mange af de simulerede teststørrelser, der er større end eller lig med den observerede. I vores tilfælde er der ingen, så vi kan vurdere den kritiske sandsynlighed p til at være mindre end 1/1000 = 0.1%, som ligger langt under signifikansniveauet, dvs. der er tale om en meget sjælden begivenhed, når man observerer , og dermed er nulhypotesen meget utroværdig. Men vi kan også kigge på den teoretiske fordeling af teststørrelsen. Vi vil da først omforme prikdiagrammet til et histogram med søjlebredden 1 og skalaen til densitet, dvs. der er tale om tæthedshistogram med det samlede areal 1: 16

17 Vi ser da netop den karakteristiske form af chi2-fordelingen med 7 frihedsgrader (den topper lidt før 7, men er til gengæld højreskæv!). Vi kan tegne den teoretiske fordeling ved at plotte funktionen chitæthed(x,7) Vi ser da at den følger tæthedshistogrammet meget nøje. Vi kan derfor i praksis godt erstatte den eksperimentelle simulering med den teoretiske fordelingskurve. Det vil give samme resultat! Hvis man først er blevet rigtig fortrolig med testen kan man endda regne direkte på den teoretiske fordeling i en beregningsboks: Her har vi først udregnet den kritiske sandsynlighed p ud fra den kumulerede fordeling chisummeret(). Derefter har vi udregnet den kritiske teststørrelse ved signifikansniveauet 1% ud fra den inverse chi-funktion chiinv(). Men går man først i gang med slige beregninger kan man såmænd lige så godt udføre testet som et indbygget test! 17

18 Kanonisk test af en fordeling: Vi trækker derfor testværktøjet ned og vælger menupunktet Test af en fordeling: Det åbner for den følgende dialogboks: Vi skal først og fremmest angive navnet på den variabel, der repræsenterer den observerede stikprøve. Vi kan nu gå frem på to forskellige måder. Vi kan trække variablen ind fra datasættet observationer (øverste linje), men vi kan også direkte indskrive de oplyste hyppigheder, hvilket selvfølgelig er langt nemmere! Vi anfører da at antallet af kategorier skal være 8 og at variabelnavnet skal være fx indkomster: 18

19 Vi kunne i princippet nu også gå ind og rette i navnene for kategorierne og fx indskrive indkomstintervallerne. Det vil gøre skemaet nemmere at tolke. Men som minimum skal vi nu indføre de observerede hyppigheder: 19

20 Her skal vi nu passe lidt på for som standard tester den observationerne mod en nulhypotese, der siger at alle sandsynlighederne er lige store. Og det er jo netop ikke tilfældet her! Vi skal derfor klikke i nulhypotesen, dvs. den blå tekst var lige sandsynlige: (Her kunne man selvfølgelig lige så godt klikke i teksten for den alternative hypotese!). Herefter er det bare at udfylde den forventede sandsynlighedsfordeling. Derefter gøres testen færdigt og vi finder netop dels den velkendte teststørrelse 33.88, dels en testsandsynlighed, der er under 0,0001, dvs. langt under et hvert rimeligt signifikansniveau, hvorfor den observerede stikprøve passer meget dårligt sammen med nulhypotesen, som derfor er ekstremt utroværdig. 20

21 Læg også mærke til at man kan få plottet data! Højreklik i testet og vælg menupunktet vis fordelingen af teststørrelsen: Området under grafen vil faktisk være skraveret, men det kan man i dette ekstreme tilfælde først se, når man har pillet ret så kraftigt ved begge skalaerne, så man dels får den observerede teststørrelse med ind på x-skalaen, dels får løftet gevaldigt på y-skalaen! 21

22 Bemærkning: Læg mærke til at når man højreklikker i testet får man også mulighed for at trække reulstaterne ud som målinger! Det er uinteressant for den observerede stikprøve (som giver det samme hele tiden), men det er interessant for den simulerede stikprøve. Her kan man trække variablen ideel ind i testets øverste linje og får så netop udregnet den simulerede teststørrelse (og faktisk også p-værdien). Trækkes de ud som målinger kan man derfor nu få opbygget fordelingen for tesstørrelsen såvel som for p-værdien (der er ligefordelt over intervallet [0;1], idet alle simuleringerne er lige sandsynlige!) 22

23 Et uafhængighedstest Som det sidste eksempel vil vi se på et uafhængighedstest, der samtidigt giver os mulighed for at demonstrere, hvordan man kan simulere uafhængighed af to stokastiske variable. Vi lægger ud med et fiktivt talmateriale 1 der skal forestille resultatet af en spørgeskemaundersøgelse, hvor man vil belyse en eventuel sammenhæng mellem unges tøjforbrug og deres køn: Adskiller kvinder og mænd sig i deres tøjforbrug? Her er et lavt forbrug sat til at udgøre højst 1500 kr. om måneden og et højt forbrug er sat til at udgøre mindst 1500 kr. om måneden. køn\forbrug lavt højt i alt kvinder mænd i alt Disse tal udgør altså vores observation. Som udgangspunkt vil vi nu teste nulhypotesen, der udsiger at der ingen sammenhæng er mellem køn og forbrug. Vi lægger da ud med at konstruere et datasæt ud fra de givne observationer. Det er dette datasæt, vi vil basere vores simulering af nulhypotesen på, men først skal det opbygges. Vi skal altså som i det foregående eksempel have konstrueret variable køn og forbrug, der afspejler de fundne hyppigheder. Det sker som i det foregående eksempel ved hjælp af en ombyt-kommando: Først skal vi have opbygget listen for køn, der altså skal bestå af 200 kvinder og 160 mænd (se søjletotalerne). Så det er nemt nok. Derefter skal vi have opbygget listerne for forbrug og det er mere kringlet: Først er der de 200 kvinder, hvoraf 98 har lavt forbrug og 102 har højt forbrug. Derefter er der de 160 mænd, hvoraf de 60 har lavt forbrug og de 100 har højt forbrug: 1 Hentet fra et udkast til noter om chi-i-anden fordelingen af E. Susanne Christensen. Lektor i statistik. Institut for Matematiske Fag. Aalborg Universitet. 23

24 Vi kan så passende checke i en beregningsboks, at det er den korrekte krydstabel vi har fået opbygget ved at trække køn og forbrug ned i hver sin række/søjle: Vi kan nu også checke rådata ved at oprette søjlediagrammer for køn splittet på forbrug (idet den anden variabel forbrug trækkes direkte ind i grafrummet!). I DataMeter kan vi endda få konverteret søjlediagrammet til et blokdiagram, hvor vi direkte kan sammenligne andelene: Hvis der var perfekt lige store andele, ville de to andele ligge lige højt, dvs. skillekurven ville være en vandret kurve. Men her ses det klart at det dyre tøjforbrug hos mænd (hvor det udgør 62,5%) ligger noget højere end det tilsvarende forbrug hos kvinder (hvor det udgør 51,0%): 24

25 Bortset fra at vi har fået byttet om på rækkefølgen af højt forbrug og lavt forbrug, har vi genskabt tabellen i grafisk form. Vi ser også at mænd har et noget højere forbrug end kvinder, men spørgsmålet er om det er nok til at være signifikant? For at afgøre det må vi først udregne teststørrelsen, dvs. forskellen mellem de observerede og forventede antal. Vi finder da først de forventede antal ved som forklaret i noterne at gange søjletotaler med rækketotaler og dividere med det samlede antal, dvs. her 360: 25

26 (Rækketotal og Søjletotal findes som specielle funktioner i bunden af lommeregneren. På grund af en oversættelsesfejl i datameter har vi desværre ikke adgang til den specielle funktion samlet total). Det er altså nemt finde de forventede antal og sammenligne dem med de observerede antal. Faktisk findes der en indbygget funktion Forventet, der udregner dem helt af sig selv! Men så kan vi jo finde teststørrelsen ved hjælp af samme teknik som ved Goodness-of_fit testen: Afvigelsen mellem de observerede og forventede antal fører altså til teststørrelsen 4,77353 og spørgsmålet er så som sædvanligt om det er et lille elle stort tal! For at undersøge det vil vi simulere uafhængigheden af de to variable (dvs. vi vil simulere nulhypotesen) ved at røre rundt i den ene variabel, dvs. permutere rækkefølgen helt tilfældigt, så vi bryder enhver sammenhæng mellem vær- 26

27 dien for køn og værdien for forbrug. Vi vælger at røre rundt i køn og benytter derfor menupunktet Rør rundt i en variabel hvorved vi får konstrueret et nyt datasæt, hvor der som udgangspunkt er rørt rundt i den første variabel. Men det er netop variablen køn! Læg mærke til hvordan der er dukket mænd op blandt de første 15 adspurgte! Vi kan nu udregne krydstabellen for de omrørte data, dvs. for simuleringen af nulhypotesen ved at trække de omrørte variable ned i en beregningsboks. Læg mærke til at randværdierne, dvs. rækketotalerne og søjletotalerne er de samme som i vores observationer. Det er kun kombinationerne, der skifter værdier. 27

28 Med udgangspunkt i simuleringen skal vi nu opbygge teststørrelsen, dvs. chikvadratet. Vi bruger da den samme formel som før, men denne gang indsættes den i en beregningsboks knyttet til de omrørte data Vi kan nu simulere nulhypotesen ved at markere datasættet for de omrørte data og taste CTRL-U (eller trække lidt i datasættet, så vi får adgang til knappen Ny omrøring): Vi ser da at det er ikke helt nemt at fange en teststørrelse, der er mindst lige så skæv som den observerede. Fx lykkedes det ikke for mig de første tyve gange. For nu at kvalificere afgørelsen går vi på datafangst. Det kræver at vi lagrer teststørrelsen som en måling. Vi dobbeltklikker altså i datasættet for Omrøring af Køn og tøjforbrug. Her opretter vi nu som vist målingen chi2_sim og indsætter formlen for teststørrelsen (som vi kopierer fra beregningsboksen). Derved er vejen åbnet for at udføre gentagne målinger på datasættet for Omrøring af Køn og tøjforbrug (fx ved at højreklikke på datasættet). Der fanges som standard fem målinger af gangen og det kan være udmærket til en første orientering om hvad der sker: 28

29 Vi slår animationen fra, ligesom vi ikke har kryds i boksen Erstat de eksisterende målinger, da vi gerne vil have bygget flere og flere målinger op. Ved at tilføje en tabel og et grafrum kan vi nu få vist målingerne! Gentagne tryk på CTRL-U eller knappen med Ny målinger, viser da hvordan fordelingen af målingerne bygges stille og roligt op. Når vi har fået en god fornemmelse for hvad der sker kan vi så til sidst sætte antallet af målinger op så vi tager den resterende klump i et hug. Sandsynligheden for at finde en simuleret observation, der er lige så skæv som den faktisk observerede (hvor vi har rundet ned for at være sikre på at få dem alle sammen med!) er altså 3.9% 2. Den er med andre ord forholdsvis sjælden, da p-værdien ligger under den kritiske grænse på 5% (signifikansniveauet) og vi afviser derfor nulhypotesen. Vi har med andre ord påvist en statistisk sammenhæng mellem køn og forbrug. Det behøver dog ikke være en kausal årsagssammenhæng, idet der kan være skjulte variable, vi ikke har inddraget, som i virkeligheden er ansvarlige for sammenhængen Her ser vi nu nærmere på fordelingen af teststørrelsen, hvor vi tilføjer middelværdien for teststørrelsen: 2 Det ligger en lille smule højt i forhold til den teoretiske værdi på 2.9%. Fortsætter man simuleringerne med yderligere 1000 målinger falder den til 3.55%. Og så er den teoretiske værdi jo kun en approksimativ værdi. 29

30 Som forventet ligger middelværdien 1,02312 meget tæt på 1, som netop er antallet af frihedsgrader for en 2 2 tabel. Ved at omdanne prikdiagrammet til et histogram kan vi til sidst sammenligne med den teoretiske fordeling. Vi benytter intervalbredden 0.5 og sætter skalaen til tæthed, dvs. der er tale om tæthedshistogram med det samlede areal 1: Vi ser da netop den karakteristiske form af chi2-fordelingen med 1 frihedsgrad. Vi kan tegne den teoretiske fordeling ved at plotte funktionen chitæthed(x,1) 30

31 Vi ser da at den følger tæthedshistogrammet meget nøje. Vi kan derfor i praksis godt erstatte den eksperimentelle simulering med den teoretiske fordelingskurve. Det vil give samme resultat! Hvis man først er blevet rigtig fortrolig med testen kan man endda regne direkte på den teoretiske fordeling i en beregningsboks: Her har vi først udregnet den kritiske sandsynlighed p = 2.89% ud fra den kumulerede fordeling chisummeret(). Derefter har vi udregnet den kritiske teststørrelse 3,84 ved signifikansniveauet 5% ud fra den inverse chi-funktion chiinv(). Men går man først i gang med slige beregninger kan man såmænd lige så godt udføre testet som et indbygget test! 31

32 En kanonisk chi2-test for uafhængighed Vi trækker derfor testværktøjet ned og vælger menupunktet Test af en fordeling: Det åbner for den følgende dialogboks: Vi skal først og fremmest angive navnene på de to variable, der repræsenterer den observerede stikprøve. Vi kan nu gå frem på to forskellige måder. Vi kan trække variablene ind fra datasættet Køn og tøjforbrug (øverste linje), men vi kan også direkte indskrive de oplyste hyppigheder, hvilket selvfølgelig er langt nemmere! Vi anfører da at antallet af kategorier skal være 2 for begge variabelnavnene og at variabelnavnene skal være køn og forbrug: 32

33 Læg mærke til at vi også kan gå ind og rette i navnene for kategorierne! Det vil gøre skemaet nemmere at tolke. Men som minimum skal vi nu indføre de observerede hyppigheder: Der ved gøres testen færdigt (inklusive beregning af de forventede værdier) og vi finder netop dels den velkendte teststørrelse 4,77, dels en testsandsynlighed, der er 2,9%, dvs. et stykke under signifikansniveauet på 5%, hvorfor den observerede stikprøve passer dårligt sammen med nulhypotesen, som derfor er utroværdig. 33

34 Læg også mærke til at man kan få plottet data! Højreklik i testet og vælg menupunktet vis fordelingen af teststørrelsen: Området under grafen vil da være skraveret, så man kan se det kritiske område: Bemærkning: Læg mærke til at når man højreklikker i testet får man også mulighed for at trække reulstaterne ud som målinger! Det er uinteressant for den observerede stikprøve (som giver det samme hele tiden), men det er interessant for den simulerede stikprøve, dvs. omrøringen af køn og tøjforbrug. Her kan man trække variablene køn og forbrug ind i testets øverste linje og får så netop udregnet den simulerede teststørrelse (og faktisk også p-værdien). Trækkes de ud som målinger kan man derfor nu få opbygget fordelingen for tesstørrelsen såvel som for p-værdien (der er ligefordelt over intervallet [0;1], idet alle simuleringerne er lige sandsynlige!). Her er resultatet af 1000 målinger af p-værdien: 34