Lineær regression lidt mere tekniske betragtninger om R^2 og et godt alternativ

Transkript

1 Dowloaded from orbt.dtu.dk o: Dec 0, 08 Leær regresso ldt mere tekske betragtger om R^ og et godt alteratv Brockhoff, Per B.; Ekstrøm, Claus Thor; Hase, Erst Publshed : LMFK-Bladet Publcato date: 07 Documet Verso Publsher's PDF, also kow as Verso of record Lk back to DTU Orbt Ctato (APA: Brockhoff, P. B., Ekstrøm, C. T., & Hase, E. (07. Leær regresso ldt mere tekske betragtger om R^ og et godt alteratv. LMFK-Bladet, 07(, Geeral rghts Copyrght ad moral rghts for the publcatos made accessble the publc portal are retaed by the authors ad/or other copyrght owers ad t s a codto of accessg publcatos that users recogse ad abde by the legal requremets assocated wth these rghts. Users may dowload ad prt oe copy of ay publcato from the publc portal for the purpose of prvate study or research. You may ot further dstrbute the materal or use t for ay proft-makg actvty or commercal ga You may freely dstrbute the URL detfyg the publcato the publc portal If you beleve that ths documet breaches copyrght please cotact us provdg detals, ad we wll remove access to the work mmedately ad vestgate your clam.

2 kedte og veluderbyggede modeller, og lade reste modelleres af mere emprsk baserede modeller for resterede struktur og varato. Så læge ma kke lader sg "teorforblæde" af modeller, der alee på grud af dverse hstorske årsager og begræset formato har tlkæmpet sg uretmæssge forskgsmæssge postoer. Det er vgtgt at fortælle de samme hstore Det vgtgste må være, at de studerede lærer oget, som de forstår hvad måler, og som de har kompetece tl at bruge (og vde, hvorår ma kke ka bruge. Det bør derfor tlstræbes, at de forskellge fagmljøer hvs ma fortsat vælger at bruge R som et led statstkudervsge gymaset fortæller de samme hstore omkrg R. Desværre fdes der kke e smpel, objektv måde at vurdere korrekthede af e statstsk model på, me det uderstreger blot vgtghede af, at alle faggrupper er stad tl at formdle alle de fordele og ulemper, der måtte være, ved de valgte metode. Referecer Ascombe, F. J Graphs Statstcal Aalyss. Amerca Statstca 7: 7. Box, G. E. P., ad N. R. Draper Emprcal Model-Buldg ad Respose Surfaces. Joh Wley; Sos. Brockhoff, Per Bruu, Claus Thor Ekstrøm, ad Erst Hase. 07. Leær Regresso: Ldt Mere Tekske Betragtger Om R Og et Godt Alteratv. LMFK bladet. Ekstrøm, Claus Thor, Erst Hase, ad Per Bruu Brockhoff. 07. Statstk I Gymaset. LMFK bladet. Leær regresso ldt mere tekske betragtger om R og et godt alteratv Per Bruu Brockhoff, DTU Compute, Claus Thor Ekstrøm, KU Bostatstk og Erst Hase, KU Matematk Dette ekstra llle otat om de såkaldte R værd, som ka bereges forbdelse med leær regresso, skal ses sammehæg med vores kke tekske otat om samme eme. Ud over at få deferet tgee matematsk præcst, vl v foreslå spredge σ som et godt alteratv. De to hæger ært samme, måler for så vdt det samme, R på e relatv måde og σ på e absolut måde. Spredge σ ka ses ret drekte sammehæg med uskkerhedsbetragtger mere geerelt, som v det store bllede meer er ret vgtge. Defto af R de smple leære regressosstuato Lad os lge mde om hvad v overhovedet taler om. De smpleste forekomst af R optræder de leære regressosmodel y α + βx + ε,,,. Tl hver målg y er der kyttet e kovarat x, og ma ka øske at udsøger om kovarate har e leær påvrkg af målge og gvet fald at kvatfcere og fortolke sammehæge og måske at beytte de tl at forudsge y værde for ye x værder. Parametree α og β er ukedte, og aalyse af regressosmodelle fokuserer ormalt på at estmere dem. De tlbageværede størrelser ε,..., ε er såkaldte støjvarable, der skal redde modelle fra at kollapse mødet med vrkelghede, hvor parree (x, y jo aldrg lgger præcs på e matematsk ret lje. De sædvalge atagelse om støjvarablee er, at de er uafhægge, og at de er ormalfordelte med mddelværd 0 og samme varas σ (edu e parameter modelle. I dee ramme deferes R ved formle R SSxy SS SS, ( hvor SS xy, SS og SS er ogle af de stadard bereggsstørrelser, ma allgevel ofte reger ud forbdelse med estmato af de tre parametre α, β og σ : β α hvor SSxy SS y βx SS ( x x SS ( y y SS ( x x y y xy ( (3 (4 (5 (6 LMFK-bladet /07 3 ( Dsse resultater er også velkedte fra mdste kvadraters metode, og gver modelles estmerede hældg og skærg (på baggrud af de tlgægelge data. Med de estmerede parametre ka v bruge modelle tl at udrege de forvetede værder, y, der beskrver, hvad v geemst forveter at observere for e gve x værd: y α + βx Matematk

3 Matematk Med dsse størrelser ka v estmere varase, der er baseret på forskelle mellem de reelle observatoer, y, og de forvetede observatoer (på baggrud af modelle og de tlhørede x er σ ( y y (7 R for mere komplcerede modeller Ovefor er R deferet det smple leære regressossetup, me R ka også beyttes for mere komplcerede modeller med flere forklarede varable, for eksempel P forklarede varable, dvs. x ( x,, x P, så læge ma stadg er de for klasse af leære modeller. E leær model refererer tl, at sammehæge mellem y og x ka skrves et leært lggssystem y α + β x + ε,,,, P p p p og vl derfor også dække specaltlfælde som eksempelvs polyomal regresso y α + β x + β x + ε,,,. Bemærk, at ma således godt ka modellere e kke leær relato mellem x og y med e leær model. Der fdes aturlgvs også egetlge kke lære modeller, me selvom R ka deferes for sådae kke leære regressosmodeller, så har de kke lægere s sædvalge fortolkg som forklargsgrad. Formle edefor gælder kke lægere, og summe af resdualere er kke lægere ul. Detaljere dsse yderlgere (kke lære udfordrger ved forståelse og bruge af R er kke berørt ærmere hverke her eller vores kke-tekske otat. Ldt flere detaljer om R for lære modeller R er også de kvadrerede korrelato mellem y værder og de forvetede y værder modelle for de x er ma har med, y værdere. Dee defto gælder også for de mere geerelle leære modeller med flere x varable. R er gvet ved y varatoer, og dem fdes der to/tre af to af dem summerer tl de tredje: hvor SST SSM + SSE SST SS ( y y SSM ( y y SSE ( y y Bemærk at SS(Total SST udtrykker y varatoe ude oge x dbladg, og bemærk, at hvs ma dvderer SST med, så har ma de klassske beregg af e stkprøvevaras avedt på y data. SSM er varatoe gvet ud fra x ere, og SSE er de såkaldte restvarato, der udtrykker forskelle mellem lje-værdere y og data y. Det er dee SSE værd ma har mmeret, år ma har fudet de bedste rette lje ved hjælp af mdste kvadraters metode de er så llle som det er mulgt med de data ma har. Nu ka ma så skrve præcst hvad R faktsk er på e ldt ade vs ed ovefor: R SST SSE ( SST SSE SST Så R er gvet ved forholdet mellem dsse to y varatoer: y varatoe, som de u egag kommer, og restvaratoe y, år ma har fjeret det, som x ka forklare geem lje (eller e mere geerelle model, hvs e såda er spl det gør ge forskel for udtrykkee her. Og heraf fortolkge: Forklargsgrad Heraf ka ma også lke tl teor omkrg varato og varaser/spredger: E matematker vl vde, at e varas (som teoretsk begrebsmæssgt er et tegral kke er trasformatosvarat: Aveder ma e kke leær trasformato af skala/data, vl dsse tal aturlgvs ædre sg på e kke smpel måde. Selvom det kke fremgår så drekte af oveståede, så afhæger R aturlgvs også af x værdere det er geem y værdere dee afhægghed ka ses. Hvs ete alle y værdere er es, så SST 0, og puktere lgger eksakt på e horsotal lje, eller alle x værdere er es, så er R kke deferet. Leær regresso ka have forskellge formål stkord Der ka være forskellge årsager tl, at ma laver leær regresso, og derfor ka fokus også ædre sg ldt. Formålet ka eksempelvs være at afdække om der er e sammehæg mellem to varable (hermed uderforstået, at v leder efter e leær sammehæg. Nogle vlle kalde dette for korrelatosaalyse, og fokusere på korrelatoe og kke på selve lje (og måske lave et hypotese test for om korrelato 0. I dee stuato der oftest blver brugt soco og samfudsfagssammehæge er ma udelukkede teresseret at vurdere, om der er e sammehæg, og derfor opfattes x ere og y ere modelle prcppet symmetrsk: hvs ma laver e tlsvarede leær regressosaalyse, hvor ma modellerer x som leær fukto af y, så opår ma samme resultat. kvatfcere de uderlggede leære relato mellem mddelværdere af y og x for fortolkges skyld eller evt. at kue terpolere, altså skøe/estmere eksempelvs mddelvægte for persoer af e højde ma kke lge fk med stkprøve (me stadg de for rage af data ma skal være varsom med at ekstrapolere. Her ka ma berege lje, og kombere med kofdestervaller (Bemærk: hypotese testet for hældg 0 er det samme som for korrelato 0. bruge modelle tl at prædktere ye cases, der kommer tl altså berege y y for e kokret x y værd (berege lje, og kombere med prædktostervaller, der også drekte volverer spredge. 3 LMFK-bladet /07

4 y 0 Fgur De absolutte vertkale afstade (de blå stplede ljer måler, hvor lagt de leære regressosmodel (de røde lje lgger fra de observerede data, og de har samme skala som y. Spredge σ udtrykker de geemstlge værd af dsse x Formålet ka/bør måske også ses e ldt større sammehæg som at besvare: Hvad er de rette model? Her vl målet være at fde de rette model, deræst kvatfcere elemetere dee model, og så ka v evt tl sdst ete estmere eller prædktere, hvs v øsker. Et alteratv tl R R er som vst et relatv mål for hvor tæt modelle lgger på data. Dette avedes ofte stuatoer, hvor skalae på varablere kke sg selv betyder så meget, fx samfudsfag, socolog, psykolog, etc., hvor det ka være forskellge spørgeskema skalaer, der er brug. Taler v om avedelser de for tekk og aturvdeskab, vl der ofte være ret kokrete skalaer for såvel x som y. I sådae tlfælde ka følgede alteratv være e god de. V gver heruder et forslag tl at beytte et absolut mål for afvgelse mellem model og data fremfor det relatve mål som R faktsk er. Me før dette bør ma gøre sg klart, at det lagt de fleste tlfælde er selve lje, der vl være det mest teressate e kokret sammehæg. Derfor er estmato/beregg af lje helt cetralt. Deræst vl det mest relevate være at kvatfcere uskkerhede bestemmelse af lje, oget v typsk vlle gøre ved at berege stkprøveuskkerhedere for afskærg og hældg, for derefter evt. at udtrykke dsse kofdestervaller for dsse to størrelser ( prakss er det oftest hældge, der udtrykker oget spædede. De cetrale størrelse der dgår formlere for dsse uskkerheder er etop det absolutte mål, der præseteres u (se Fgur. Hvs ma bruger SSE absolut set stedet for relatvt, SSE/SST, og bereger: SSE σ ( så har ma faktsk estmeret de uderlggede spredg for y værdere (for e fastholdt x værd, som desude er e parameter de klassske formelle statstske model, der ka lgge bagved: y α βx ε, ε N 0, σ + + ( Ma har således på dee vs kvatfceret de geemstlge afstad mellem y værder og lje drekte, og det vl være klart for de fleste med teksk/ aturvdeskabelg baggrud, at det er et tal, der kommer med de samme fysske ehed som y værde kommer med fra starte. På de vs blver fx skalaafhægghede meget drekte tydelg for ehver, og tallet har e rgtg god fortolkg. Det er klart, at da tallet her for e gve total y varato er ækvvalet med R værde, så er det hverke mere eller mdre rgtgt at berege ed R, og hvs ma forsøger at bruge σ tl at besvare de spørgsmål, v har aført ovefor, løber ma d samme problemer som med R. Me måske det for mage vl være et tal ma lettere ka forholde sg tl, og måske ma ldt mdre grad vl være frstet tl at drage forhastede koklusoer ud fra dette tal ed ma ka være med R. E llle krølle er følgede: Skulle ma u allgevel få take, at ma gere tllæg vl fortolke (resdualspredge relatvt tl de spredg, som y værdere har ude dbladg af x ere: y SS Altså tlbage tl de relatve fortolkg LMFK-bladet /07 33 Matematk

5 som R egetlg har, og fx berege σ, σ y så har ma faktsk bereget de såkaldte Adjusted R, som mage software-pakker helt stadard tllæg vl berege for sådae modeller, ellere rettere R adj : y ( ( ( SSE ( SST SSE / P SST / P ( P ( ( R R adj hvor P er atallet af x varabler modelle. Og på flere måder er de adjustede R faktsk at foretrække frem for de almdelge. For smple leære regressoer (P med stort, er der kke oge væsetlg forskel på de to, det / således vl være tæt på. ( ( Uskkerhedsbetragtger Et af de helt cetrale budskaber statstk som fagområde er, at alt v bereger på og uddrager af data er behæftet med e eller ade form for uskkerhed/ varato. Faktsk er dette mere cetralt ed det klassske hypotesetest, som ofte som metode ldt uhesgtsmæssgt ka blve syoym med statstk, se også Ekstrøm et al. (07. Dette gælder således lgeledes bereggsstørrelser regressossammehæge. De beregede spredg σ dgår cetralt de relevate uskkerhedsberegger for såvel afskærg α, hældg β og ljeberegger: x α σ + β SS SS ler at ma som gymaseelev Damark skal lære detaljere af dette. I mage såkaldte o calculus baserede statstkkurser på dledede uverstetsveau for mage studeretger verde over agves dsse og lgede formler lgeledes ude bevs. Det kræver dog kke adet ed ogle leære varas regeregler eller, om ma vl, leære fejlophobgsbetragtger. Alle dsse spredger kaldes også oge gage for stadard errors eller stkprøvespredger de udtrykker hvor meget e bereget størrelse forvetes at varere fra stkprøve tl stkprøve, altså hvor uskkert bestemt de egetlg er. V vser formlere her for at uderstrege de fudametale betydg af spredge, som dgår på samme måde alle formlere. Og alle uskkerhedsformlere er udvdede versoer af de samme og helt fudametale uskkerhedsformel for et smpelt stkprøvegeemst, fx udtrykt ved y: (ude dbladg af x y σ y σ y De fleste dledede statstkkurser vl troducere de grudlæggede statstske begreber som hypotesetests og kofdestervaller dette smpleste af alle setups. Kofdestervaller er det kokrete statstske redskab ma ka tage avedelse for at formalsere uskkerhedsbetragtger ved hjælp af sadsylghedsteor. Ige er det kke hesgte at gve e udtømmede geemgag her, me fx blver ( α kofdestervallere for α og β α β ± ± t t α / α / α β e avedes for alle uskkerhedsbereggere, det leære trasformatoer af ormalfordelger ge er ormalfordelger. I prakss vl dsse kofdestervalformler ofte tlærmelsesvs have forme: y ± σ y, altså hvor ma har et estmat for e parameter (her geemsttet plus/mus gage uskkerhede på estmatet. Ved at bruge ormalfordelge ka ma se, at dsse græser omtretlg vl svare tl 95 % kofdes, og dee fudametale relato ka være god at kommukere ud. Og som e sdste llle perspektverede gymasekrølle: Det er stadard metodk dledede statstkkurser, at ma uder vsse ormalfordelgsforudsætger ka kvatfcere uskkerhede spredgs og varasberegger sg selv ved brug af χ fordelge. Alstå de samme fordelg som avedes tl det klassske χ test. Det er e matematsk/sadsylghedsteoretsk kosekves af at kvadrere ormalfordelger. Og pudsgt ok er der ge global tradto for tlsvarede at kvatfcere uskkerhede e R beregg, selvom de, som sammehægee ovefor vser, på helt samme måde er behæftet med uskkerhed. Og dermed er der ude tvvl e større rsko for at dee uskkerhed blver glemt skydge, ed tlsvarede for σ. Matematk α+ x 0 β ( x0 x σ + SS x x σ α + x + + ( 0 + 0β 0 SS Det er aturlgvs hverke hesgte her at forklare og bevse alle dsse formler el- hvor t α/ er ( α/ fraktle for e t fordelg med frhedsgrader. t fordelge ka løst sges at være e verso af stadardormalfordelge, der tager højde for at varase, der dgår er estmeret fra data, og altså sg selv er behæftet med uskkerhed. Hvs de kke var det, vlle ormalfordelge ku- Referecer Brockho Per Bruu, Hase Erst, Ekstrm Claus Thor. Bruge af R gymaset, LMFK bladet. /07. Ekstrm Claus Thor, Hase Erst, Brockho Per Bruu. Statstk gymaset, LMFK bladet. / LMFK-bladet /07