I dag. Kursus Hvad er PCR? Eksempel, Data 1. Statistik. PCR: Principal component regression. Anna Helga Jónsdóttir. 25.

Transkript

1 I dag Kursus Statistik Anna Helga Jónsdóttir 25. november 2008 PCR: Principal component regression Motiverende eksempel Hvad er PCR? Hvordan går man? Splus Anna Helga Jónsdóttir Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Hvad er PCR? Eksempel, Data PCR = PCA + MLR x1 Regression teknik som kan klare mange x-variabler Situation: givet Y og X-data x2 Lav PCA på X-matricen x3 Definere nye variabler: de principale komponenter (scores) Brug nogle af disse nye variabler i MLR til at modellere/prediktere Y Y kan være univariat eller multivariat - i denne kurs kun univariat x4 y Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

2 MLR model: MLR model E[y i ] = b 0 + b 1 x i1 + b 2 x i2 + b 2 x i3 + b p x i4 Intercept x x x x Vi fjerner en variabel af gangen: Intercept x R 2 = , F Model = 1824 (p-value = ) R 2 = , F Model = 675 (p-value = ) Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Eksempel, Data 2 Eksempel, Data x1 x x x2 x3 x x x4 y y Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

3 MLR model, Data 2: MLR model, Data 2: E[y i ] = b 0 + b 1 x i1 + b 2 x i2 + b 2 x i3 + b p x i4 Intercept x x x x Vi fjerner en variabel af gangen: Intercept x R 2 = , F Model = (p-value = ) R 2 = , F Model = (p-value = ) Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 MLR med gennemsnit af de forklarende variable Vi laver en ny variabel, xmn som er gennemsnittet x variablerne. xmn PC1 for disse data: xmn = (x 1 + x 2 + x 3 + x 4 )/4 Data 1 Intercept xmn R 2 = , F Model = 1339 (p-value = ) Data 2 Intercept xmn R 2 = , F Model = (p-value = ) Prædiktioner Vi simulerer 7000 nye observationer Average squared prediction error Full MLR Average x3 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

4 PCR: hvad er det? PCR: hvor mange komponenter? Data situation: y = y 1 y 2.. y n, X = x 11 x 12 x 1p x 21 x 22 x 2p x n1 x n2 x ip Hvor mange komponenter (A) skal indgå i modellen? Bestem med Cross validation Vi laver MLR med A antal principale komponenter t 1,..., t A som forklarende variabler i stedet for alle (eller nogle) af x variablerne. Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Cross validation ( Full ) Udelad en af observationerne Fit modellen på de resterende (reduceret) data Prædiktér den udeladte observation ved brug af modellen: ŷ i,val Gentag for ALLE observationerne og beregn den samlede resultat for modellen: RMSEP = n (y i ŷ i,val ) 2 /n RMSEP = Root Mean Squared Error of Prediction i Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Cross Validation ( Full ) Til sidst: Lav cross-validation for ALLE mulige valg af antallet af komponenter (0, 1, 2,...,...) OG plot resultatet: RMSEP Validation results No components Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

5 Cross Validation ( Full ) Cross Validation/Jackknifing Vælg det optimale antal komponenter: Den med overordnede minimal fejl Den første lokale mininum En god praktisk tilgang: Del data op i TRAINING og TEST set Brug cross-validation på TRAINING data Til sidst: Kontroller modellens præstationer på test sættet Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Cross Validation - princippet Minimér den forventede prædiktions fejl (prediction error): Kvadreret prædiktion fejl = Bias 2 + Varians Ved at inkludere mange PC-komponenter: LAV bias, men HØJ varians Ved at inkludere få PC-komponenter: HØJ bias, men LAV varians Vælg det bedste kompromis! Bemærk: Inkluder ALLE komponenter = MLR (når n > p) Eksempel Vi har data som stemmer fra en syltetøjs undersøgelse. Vi har i alt 12 observationer af hindbær syltetøj hvor bærerne var plukket på fire forskellige steder (C1, C2, C3, C4) og høstet på tre forskellige tidspunkter (H1, H2, H3). Vores Y variabel er gennemsnit af præference score (fra 1-9) givet af 114 repræsentative forbrugere. Vores X variabler er såkaldte sensoriske variabler hvor trænede sensoriske paneldeltager har dømt 12 sensoriske variabler: 1) REDNESS redness 2) COLOUR color intensity 3) SHININES shiness 4) R.SMELL raspberry smell 5) R.FLAV raspberry flavor 6) SWEETNES redness 7) SOURNESS sourness 8) BITTERNE biterness 9) OFF.FLAV off-flavour 10) JUICINES juciness 11) THICKNES thikness 12) CHEW.RES chewing resistanse Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

6 Eksempel - Splus Scree plot # hent data: dat<-importdata("jam.txt") # gør efterfølgende plot lettere at forstå: dimnames(dat)[[1]]<-dat$c.h # lav PCA på x variablerne: pca.1<-princomp(~redness+colour+shinines+r.smell+ R.FLAV+SWEETNES+SOURNESS+BITTERNE+OFF.FLAV+JUICINES+ THICKNES+CHEW.RES,data=dat,cor=T) Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Biplot Barplot af loadings Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27

7 Cross validering Prædiktion fejl # maksimal anal PC er max.comp=min(dim(x)[1]-1,dim(x)[2]) # cross validering for(p in 2:10){ i=1 yhat = y yhat[] = NA for(i in 1:nrow(X)) { PCA = princomp(~., X[-i,], cor=t) # Evt. cor=f PCAsc = predict(pca) MLR = lm(y[-i] ~., as.data.frame(pcasc[,1:p])) newscores = as.data.frame(predict(pca, X[i,])) yhat[i] = predict(mlr, newscores[,1:p]) } prederr[p-1]<-sqrt(mean((y-yhat)^2)) # Et mål for prædiktionsevne } # bar plot barplot(prederr,names=as.character(2:(max.comp)),yplot= Prediction error ) Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27 PCA+MLR=PCR # PCR med 5 PC er scores<-predict(pca.1) fit1<-lm(dat$preferen ~., as.data.frame(scores[,1:5])) summary(fit1) Coefficients: Value Std. Error t value Pr(> t ) (Intercept) Comp Comp Comp Comp Comp Residual standard error: on 6 degrees of freedom Multiple R-Squared: Anna Helga Jónsdóttir (ahj@imm.dtu.dk) Kursus november / 27