Forsøgsplanlægning og Variansanalyse

Transkript

1 Om Forsøgsplanlægning og Variansanalyse Henrik Spliid IMM Informatik og Matematisk Modellering Danmarks Tekniske Universitet Maj

2 1 Problematik Måledata behæftede med meget større usikkerhed, end ventet, således, at man ikke kan udtale sig særligt præcist om, hvad forsøgene viser. Hvordan analyseres data? Er der en egnet model for, hvordan resultaterne og de forskellige forsøgsbetingelser naturligt knyttes sammen. Det variationsområde, man har benyttet for forsøgsbetingelserne, har ikke resulteret i særligt interessante data (ramt ved siden af!) Man har måske udført et meget større forsøg, end det egentlig var nødvendigt, eller der er måske behov for at udføre et meget større forsøg, end der er praktisk eller økonomisk mulighed for. Statistisk forsøgsplanlægning tilstræber at overkomme sådanne problemer. 2

3 2 Nogle begreber - set fra et eksempel Vi ønsker at bestemme hvorledes de to variable Temperatur (A) og Behandlingstid (B) influerer på Måleværdien (Y) fra en måling på en prøve med kendt koncentration. Temperatur og Behandlingstid er variable, man kan fastsætte, og det er deres indflydelse, man ønsker at bedømme. De kaldes under faktorer. Måleværdien er den egenskab eller det resultat, man er interesseret i at kunne bedømme, eventuelt i forbindelse med senere målinger udført på ukendte prøver. Den kaldes ofte for forsøgets respons eller afhængige variabel. Resultaterne fra det simplest tænkelige forsøg kunne se ud som følger: 3

4 Y=målt værdi: A=120 o C A=140 o C Ialt B=30 min B=60 min Ialt En model for sådanne data kunne være: Kaldes tosidet variansanalyse model. µ er niveau Y ijk = µ + α i + β j + αβ ij + E ijk (1) α i og β j er faktorernes hovedeffekter og αβ ij er vekselvirkningen (synergi eller hæmning). E ijk angiver forsøgsfejlen (usikkerheden). 4

5 B=30 minutter Respons B=60 minutter Temperatur Plottet viser data og de to linier angiver temperatureffekterne ved de to behandlingstider. 5

6 Variansanalyseskemaet benyttes til at vurdere modellen: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi A=temperatur B=behandlingstid AB=vekselvirkning (2 1)(2 1) Rest Total Hovedeffekterne for faktorerne A og B er signifikante, men vekselvirkningen er ikke. 6

7 Det sorte område er 5% F(4,15) fordeling for test i ANOVA Princip for test i variansanalyse (ANOVA) 7

8 2.1 Randomisering Antag rækkefølge, de enkelte målinger blev udført i, er som angivet i følgende tabel: Forsøgsrækkefølge A=120 o C A=140 o C B=30 min B=60 min Y ijk,t = θ φ(t)+µ+α i +β j +αβ ij + E ijk φ(t) er en (ukendt) funktion af forsøgstidspunktet, og θ er en konstant. φ(t) være et lille, men jævnt fald. 8

9 Løsning: Forsøget skal randomiseres. En randomiseret forsøgsplan kunne være: Randomiseret forsøgsplansplan Forsøgsrækkefølge A=120 o C A=140 o C B=30 min B=60 min Man udfører (A=140 o C, B=30min) først, derefter (A=140 o C, B=60min), osv. 9

10 Vi kan så formulere modellen for responset som: Y ijk,t = µ + α i + β j + αβ ij +(θ φ(t ijk )+Z ijk ) (2) hvor nu Z ijk repræsenterer rene forsøgsfejl. En god model for variansen af de samlede forsøgsfejl er så Var(E ijk )=Var(θ φ(t ijk )+Z ijk )=θ 2 Var(φ(T ijk )) + Var(Z ijk ) Hvis funktionen φ(t ijk ) varierer meget under forsøget, kan variansen af den samlede forsøgsfejl blive utilladeligt stor. 10

11 Eksempel: Analyse med kovariat = forbedret nøjagtighed Tungmetal i prøver inden rensningen (Raw soil) er (b 1 og b 2 ) Indholdet i de behandlede prøver (Processed soil) er (y 1 og y 2 ) Treatment 1 Treatment 2 Raw Soil Proc. soil Raw Soil Proc. soil b 1 y 1 b 2 y Sammenligning af to rensemetoder. b kaldes baseline. 11

12 14 12 o Content in processed soil o x o o x o x x x x o 2 x : Treatment 1 o : Treatment Content in raw soil = baseline Y i,j = µ + α i + β i b i,j + E i,j 12

13 Alternative modeller: Interessante modeller µ α 1 α 2 β 1 β 2 SSQ df s 2 1 Y i,j = µ + α i + β i b i,j + E i,j Y i,j = µ + α i + β b i,j + E i,j Y i,j = µ + β b i,j + E i,j Y i,j = µ + α i + E i,j Y i,j = µ + E i,j

14 Et variansanalyseskema for de viste data: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi β 1 β α 1 α Rest Total Konklusion: β 1 = β 2,menα 1 α 2, og man antager derfor model 2. Ser man bort fra kovariaten (baseline) får man variansanalysen: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi α 1 α Rest Total

15 2.2 Faktorforsøg og blokke Målinger over to dage Y=målt værdi A=120 o C A=140 o C B=30 min B=60 min Udføres Dag I Dag II En rimelig model for disse data kunne nu være: Y ijk = µ + D i + α i + β j + αβ ij + E ijk (3) Dage og temperatur er konfunderede (sammenblandede) = man kan ikke stole på temperatur estimatet. 15

16 Det rigtige alternativ Forsøg dag I Y=målt værdi A=120 o C A=140 o C B=30 min B=60 min Forsøg Dag II Y=målt værdi A=120 o C A=140 o C B=30 min B=60 min Y ijk = µ + D l + α i + β j + αβ ij + E ijk (4) hvor D l nu angiver afvigelsen fra middelniveauet µ på dag l. En forsøgsomstændighed som en dag i eksemplet kaldes en blok. 16

17 Variansanalyseskemaet for de viste data med den anførte model er: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi D=dage=blokke A=temperatur B=behandlingstid AB=vekselvirkning (2 1)(2 1) Rest Total For illustrationens skyld kan den viste variansanalyse sammenlignes med variansanalyseskemaet side 6. Man ser, at restvariationen (50.980) nu er opdelt i en variation mellem blokke ( med 1 frihedsgrad) og en ny restvariation inden for blokke (3.935 med 3 frihedsgrader). Den sidste repræsenterer usikkerheden i forsøget, som nu er meget mindre! 17

18 Forsøget er forudsat randomiseret inden for blokkene, f.eks. som vist i følgende plan: Forsøg dag I Randomisering A=120 o C A=140 o C B=30 min 3 2 B=60 min 1 4 Forsøg Dag II Randomisering A=120 o C A=140 o C B=30 min 4 2 B=60 min

19 3 Blokforsøg 3.1 Fuldstændige blokke Fire alternative behandlingsmetoder, C1, C2, C3, C4, og antag, at 4 behandlinger kan foretages i samme kørsel = en blok = en fuldstændig blok. Kørsel nr C1 C2 C3 C4 1 X 11 X 12 X 13 X 14 2 X 21 X 22 X 23 X 24 3 X 31 X 32 X 33 X 34 4 X 41 X 42 X 43 X 44 En matematisk model er en tosidet variansanalysemodel: X ij = µ + α i + β j + E ij (5) 19

20 3.2 Romersk Kvadratforsøg Ovn med plads til netop de 4 prøveemner, svarende til behandlingerne C1, C2, C3 og C4. De 4 fire pladser er 4 bestemte positioner i ovnen. Forsøget kan udføres i et romersk kvadrat: Forsøgs- Placering angivet plan ved I, II, III og IV Kørsel nr C1 C2 C3 C4 1 I II IV III 2 IV III II I 3 II I III IV 4 III IV I II X ijk = µ + α i + β j + γ k + E ijk (6) Begge de to blok-kriterier, kørsler og placering, repræsenterer fuldstændige blokke. 20

21 3.3 Ufuldstændige blokke 4 alternative behandlinger A1, A2, A4 og A3, men blokstørrelsen=2. Kaldes en ufuldstændig blok: Prøveemne nr A1 A2 A3 A4 1 X X 2 X X 3 X X 4 X X 5 X X 6 X X X ij = µ + α i + β j + E ij (7) Prøveemnerne må gerne være mere eller mindre forskellige (som i praksis). 21

22 Prøveemnerne har en overside (o) og en underside (u): Prøveemne nr A1 A2 A3 A4 1 o u 2 o u 3 u o 4 o u 5 o u 6 o u Alle behandlinger burde placeres lige ofte på en overside og på en underside. 22

23 To gange det samme forsøg med ombytning af o/u: Forsøgsplan med et ufuldstændigt blokforsøg gentaget 2 gange Forsøg d. 19/ Forsøg d. 24/ Prøveemne nr A1 A2 A3 A4 Prøveemne nr A1 A2 A3 A4 1 o u 12 u o 2 o u 8 u o 3 u o 10 o u 4 o u 7 u o 5 u o 11 o u 6 o u 9 u o Analyseres med en variansanalysemodel. 23

24 Følgende data er fra et svampe-dyrkningsforsøg, hvor 6 varianter af en ny stamme (A F) og den tidligere mest brugte stamme (STD) er dyrket på nogle bakker. Hver bakke har netop plads til 3 svampetyper og der er 3 dyrkningsområder (positioner) på én bakke, benævnt α, β og γ. De målte værdier angiver udbredelsesarealerne for vækstområderne for de pågældende svampe. Designet er som følger, og de fundne data ses i næste tabel. Svampetype Bakke STD A B C D E F 1 α β γ 2 β α γ 3 β γ α 4 α β γ 5 γ α β 6 α β γ 7 γ β α 24

25 Data Vækst arealer Bakke STD A B C D E F Sum Sum Q Totaler for positioner: T α = 379.1, T β = 384.1, T γ = Et balanceret ufuldstændigt blokforsøg, med yderligere en balanceret blokvariabel (positioner) (et Youden square). Når forskellige behandlinger er på samme bakke, bliver sammenligningen mellem dem nøjagtig (princippet ved blokning). Model : Y ijk = µ + τ i + Bakke j + Pos k +ɛ 25

26 Kilde SSQ d.f. s 2 F-værdi Bakker Svampetyper Positioner Rest Total F(6,6) 0.05 =4.28. Variation mellem bakker ser stor ud! Ny model Y ijk = µ + τ i + Bakke j + ɛ τ STD = Q STD k/(λ t) = /(1 7) = 4.46, σ 2 ɛ =( )/(2+6) = Kontrast = 6 Q STD (Q Q 6 )=6 ( 10.40) (10.40) = 72.8, SSQ= /(1 7(36 + 6)) = 54.08, d.f.=1. Stærkt signifikant. SSQ mellem τ 1,..., τ 6 = =3.89 med 6 1=5 frihedsgrader. Ikke signifikant. 26

27 4 Forsøg med mange faktorer Et ruggedness test er et forsøg, som har til formål at vurdere, om forskellige faktorer, f.eks. i en måleprocedure, har indflydelse på det endelige måleresultat. Man prøver altså at vurdere, om en iøvrigt uvedkommende faktor påvirker måleresultatet på en uhensigtsmæssig måde. En god og robust procedure vil være kendetegnet ved, at den eller de undersøgte faktorer ikke påvirker resultatet i væsentlig grad. Følgende eksempel er konstrueret, men realistisk. En måleproces omfatter bl.a., at der skal oparbejdes nogle prøver. Ved oparbejdelsen er der i eksemplet mulighed for at variere på følgende faktorer: 27

28 Faktor Lavt niveau -1: Højt niveau A: Temperatur ved ekstraktion -1: 20 o C +1: 24 o C B: Ph-justering af prøve -1: : 7.20 C: Ekstraktionsmiddel -1: Methylalkohol +1: Ethylalkohol D: Kolonne i apparat -1: Ny kolonne +1: Brugt kolonne E: Forfiltrering for urenheder -1: Ingen filtrering +1: Filtrering F: Ekstraktionstid -1: 1 time +1: 2 timer G: Bestråling af ampuller med prøve -1: nej +1: ja Man tror, at A, B, C og D (dem, man har valgt som de første) har mest betydning, I forsøget indgik, 7 faktorer, og målingerne blev udført på toråvarebatche af produktet ( -1 og 1 ). 28

29 Fractional factorial design and block confounding Batch= A B C D E=BCD F=ACD G=ABC ABCD Response Code (1) afg beg ab ef cefg ac e bc f abc g def ad eg bd fg abd cd g acd f bcd e abcd efg Ét af enkelt-forsøgene er angivet som : ace = A=24 o C, B=7.00, C=Ethylal., D= ny kol., E=filtr., F=1 time, G= ej bestr. Det viste forsøg (under ét) kaldes et faktorforsøg i 2 blokke (batchene). 29

30 Man tænker sig, at følgende begrebsmodel kan benyttes: Y = µ + A + B + AB + C + AC + BC + D + E + F + G + Batch + ɛ Modellen udmærker sig (i dette eksempel) ved, at man antager, at der ud over hovedvirkningerne højst er to-faktorvekselvirkninger og kun mellem faktorerne A, B og C. Beregning, eksempelvis for faktoren A: Kontrast = [A] = = Kvadratsum = SSQ A = [A] 2 /2 7 3 =

31 Term Contrast SSQ [ I ] [ A ] [ B ] [ AB ] [ C ] [ AC ] [ BC ] [ ABC = G ] [ D ] [ (AD) ] [ (BD) ] [ (ABD) ] [ (CD) ] [ ACD = F ] [ BCD = E ] [ ABCD = Batch ]

32 2 1.5 Normal probability plot Normal scores Normal probabilities Contrasts sorted Plottet peger på modellen Y = µ + A + B + AB + C + F + Batch + ɛ 32

33 ANOVA: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi ABCD=Batch A=temperatur (sign) B=pH juster (sign) AB=vekselv (sign) C=Ekstrakt.middel (sign) AC=vekselv BC=vekselv D=Kolonne E=Filtrering F=Ekstrakt.tid (sign) G=Bestråling Rest Total Kritisk værdi for F(1,4) (α =0.05) er

34 Reduceret ANOVA: Variations Kvadrataf Friheds F test kilde vigelsessum grader s 2 værdi ABCD=Batch A=temperatur B=pH juster AB=vekselv C=Ekstrakt.middel F=Ekstrakt.tid Rest Total Kritisk værdi for F(1,9) (α =0.05) er5.12. Forsøgsusikkerheden, hvis man kan kontrollere de fundne betydende variable, beregnes til s 2 =1.83 = , dvs at spredningen er

35 Eksemplet illustrerer de potentielle muligheder, der er for at behandle mange faktorer i reducerede forsøg og for at lægge enkeltforsøgene ud i mindre (og derved mere nøjagtige) blokke. Små blokke, alt andet lige, er mere homogene og dermed mere nøjagtige end store blokke. Det fuldstændige er på 2*2*2*2*2*2*2 = 128 enkeltmålinger, vi benytter kun 16. Det samme forsøg kan omfatte indtil 8 faktorer. 2 8 = 256 reduceres til kun 16 forsøg. Et meget godt og hyppigt anvendt design. 35

36 5 Taguchi metoder Omkring 1980 introducerede Genichi Taguchi en række ideer, hvor han benyttede forholdsvis traditionelle forsøgplaner til at forbedre kvaliteten, karakteriseret ved ensartetheden, af produktionsprocesser, målemetoder og produkter. Formålet var 1. Design af processer, så de er robuste overfor ydre (ikke kontrollerbare) betingelser (ruggedness). 2. Design og udvikling af produkter, så de er robuste overfor komponentvariation (f.eks. nye kolonner i målemetoder). 3. Nedsættelse af den tilfældige variation i forhold til den ønskede værdi (nøjagtighed eller kvalitetsegenskab). De tre aktiviteter kaldes under ét parameter design. 36

37 For en robust proces gælder, at faktorer, som er vanskelige at kontrollere, har lille indflydelse på det måleresultat eller den proces eller det produkt, man har for sig. Mange af Taguchi s idéer er grundlæggende gode, men en række af de nye statistiske metoder og de forsøgsplaner, han anbefaler er unødigt komplicerede, kræver mange data, eller er ineffektive. En central tanke er ønsket om reduktion af variabilitet i forhold til en target værdi. I forhold til de tre ovennævnte formål indfører Taguchi statistisk forsøgsplanlægning til punkt 2., hvor han generelt som respons benytter en tabsfunktion: L = k(y T ) 2,hvoryer produktegenskaben, T er target, og k er en faktor. Taguchi s metoder repræsenterer altså ikke nye forsøgsplaner eller mere effektive forsøgsplaner (mange mener tværtimod), men derimod en mere systematisk tænkemåde, der retter sig mod kvalitetsforbedring og forbedret produkt- og procesdesign. 37

38 5.1 En Taguchi forsøgsplan De betragtede faktorer opdeles i kontrollerbare og ikke kontrollerbare faktorer. Følgende liste kunne repræsentere et sådant problem for et produkt. For mange målemetoder kan man selvfølgelig opstille lignende lister. Faktorer og faktorniveauer for Taguchi forsøg Kontrollerbare faktorer niveauer A. Tykkelse af beskyttelsesfilm Lav Mellem Høj B. Tykkelse af samleplade Tynd Mellem Tyk C. Prægningsdybde Lille Mellem Stor D. Koncentration af adhæsiv i lim 5% 10% 15% Ukontrollerbare faktorer E. Hærdetid på lager 24 timer 48 timer F. Hærdetemperatur 18 grader 24 grader G. Fugtighed under hærdning 40% 80% 38

39 De 4 faktorer A D lægges i et 3 3 græsk-romersk kvadratforsøg, dvs en forsøgsplan med 9 observationer, som er konstrueret ud fra to romerske kvadrater, der lagt oven i hinanden. Denne plan er dybest set et (1/9) 3 4 faktorforsøg. De 3 faktorer E, F og G kan lægges i et faktorforsøg, som er et fuldstændigt 2 3 faktorforsøg. Dette sidste forsøg udføres for hver af de 9 kombinationer i det romerske kvadrat, hvilket i alt giver anledning til 9 8=72 enkeltforsøg. Designet kunne se ud som nedenstående. De 3 niveauer for faktorerne A - D benævnes 0, 1 og 2. Tilsvarende er niveauerne for faktorerne E, F og G benævnt 0 og 1. Det romerske kvadratforsøg med de kontrollerbare faktorer kaldes det indre array og 2 3 faktorforsøget kaldes det ydre array. 39

40 Taguchi design med et indre og et ydre array Ydre array E F Indre array G Run A B C D x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x Meningen med det ydre array er at fremprovokere variation. Den kombination af faktorer i det indre array, som giver anledning til mindst variation, er at foretrække. 40

41 Responsfunktion, er eksempelvis SN =10 log hvor ȳ angiver gennemsnittet af den målte egenskab i forsøgene, og S 2 angiver forsøgenes spredning. Forsøget vil, som sagt, omfatte i alt 9 8=72forsøg. Problemet med dette design er især, at det er helt uoverskueligt, hvorledes de kontrollerbare og de ikke kontrollerbare faktorer eventuelt vekselvirker. Dvs. at man risikerer at overse betydningsfulde muligheder for at finde det bedste produktdesign. ȳ S 2 41

42 Ydre array E F Indre array G Vurdering Run A B C D Eksperimentelle resultater Mean Std SN Kon = 11.10, A=[ ], B=[ ], C=[ ], D=[ ] Optimal SN = 29.91; Den bedste setting er : (1,1,1,0)= (Mellem film, Mellem samleplade, Mellem imp. dybde, Lav lim konc.) 42

43 I det konkrete eksempel kunne et forsøg, hvor alle 7 faktorer indgår i en bruden 2 7 forsøgsplan, være et enklere og måske bedre alternativ. Et (1/4) 2 7 faktorforsøg omfatter 32 målinger, og man kan heri opnå, at alle hovedeffekter kan vurderes uden indflydelse af to-faktor-vekselvirkninger, og at tofaktor-vekselvirkninger mellem kontrollerbare og ikke-kontrollerbare faktorer kan undersøges. Dette design vil være klart at foretrække for Taguchi s forslag. Et andet problem er Taguchi s statistiske analysemetoder, som i visse tilfælde giver mystiske resultater. For eksempel ses ovenstående responsfunktion at medføre en uheldig sammenblanding af target værdien (målt ved ȳ) og variabiliteten (målt ved S 2 ). Det vil være tilfældet, hvis de ukontrollérbare faktorer indfluerer både påprocessens middelværdi og spredning, hvilket bestemt ikke er ualmindeligt. Afslutningsvis kan Taguchi s metoder kritiseres for en række statistiske og tekniske problemer, men selve ideen om robust parameterdesign er god. 43