Empirisk Miniprojekt 2

Empirisk Miniprojekt 2 Michael Bejer-Andersen, Thomas Thulesen og Emil Holmegaard Gruppe 5 26. November 2010 Indhold 1 Introduktion 2 1.1 Bane og Robot..................................... 2 1.2 Counter Steer...................................... 2 2 Metode 3 2.1 Kausal model...................................... 3 2.2 Piloteksperimenter................................... 3 2.3 Design af forsøg..................................... 4 2.3.1 Spurious effects................................. 4 2.3.2 Biasing..................................... 4 2.3.3 Fremgangsmåde................................ 5 3 Eksperimenter 5 3.1 Hypotesetest...................................... 6 3.1.1 T-test...................................... 6 4 Konklusion 6 5 Litteratur 6 6 Arbejdsdeling 6 A Resultat af Piloteksperimenter 7 B Resultat af Eksperimenter 8 C R script 9 1

1 Introduktion Dette miniprojekt omhandler brugen af empiriske metoder. I forbindelse med udviklingen af en robot som kan følge en sort streg, er anvendt empiriske metoder med henblik på at fastslå om en teknik ved navn Counter Steer forbedrer robottens hastighed. 1.1 Bane og Robot Der er bygget en robot i LEGO Mindstorms, se figur 1(a). Robotten benytter tre lyssensorer til at detektere streger. Robotten har to motorer der driver hvert sit hjul, og robotten er programmeret til at styre motorene på baggrund af input fra lyssensorerne. Dermed er det muligt for robotten at følge en streg. Den anvendte bane er opbygget af A3-papir med to typer påtrykte sorte linjer. Disse er tapet sammen til én stor bane, se figur 1(b). Robotten er programmeret i Not exactly C (NXC). (a) Robotten. (b) Banen. Tuschen markerer målstregen. Figur 1: Bane og robot. De tre lyssensorer sidder på række, og målet er at kun den midterste sensor aktiveres. Hvis de yderste sensorer aktiveres, vil robotten dreje for at opnå målet om at kun midterste sensor aktiveres, og dermed følge stregen. 1.2 Counter Steer Teknikken Counter Steer bruges til at rette robotten op når den skal følge en lige streg efter et sving. Denne funktionalitet nedsætter de zig-zag bevægelser som robotten ellers vil lave når den kommer skævt ind på en lige strækning. I et vist tidsrum vil robotten rette op, ved at dreje kontra selvom kun den midterste sensor aktiveres (hvor den normalt ville fortsætte ligeud og resultere i kraftige zig-zag bevægelser). Counter Steer svarer til hvad man vil gøre i en bil for at køre ligeud efter et sving. Det er dog usikkert om Counter Steer vil have den ønskede effekt på robotten, nemlig at gøre robotten hurtigere. 2

2 Metode For at få overblik over hvilke faktorer der spiller ind på robottens opførsel i forbindelse med at følge den konstruerede bane, opstilles en kausal model over systemet. I forlængelse af denne kausale model foretages udforskende piloteksperimenter for at få en fornemmelse for i hvilken grad de forskellige faktorer påvirker succesraten og lap-time. 2.1 Kausal model Den foreløbige udgave af den kausale model kan ses i figur 2. Figur 2: Foreløbig udgave af kausal model. Målet er at opnå en høj succesrate og samtidig en kort lap-time. Bokse markeret med * er faktorer som direkte kan styres med parametre i programmet. Dog kan afladning af batteriet have indflydelse på hastigheden, som det fremgår af figuren. Zig-zag effekten betegner fænomenet hvor robotten ikke er i stand til at følge linien korrekt, men i stedet drejer skiftevis mellem de to yderpositioner. Zig-zag effekten har indflydelse på den tid det tager at gennemføre en runde. Counter Steer er netop beregnet til at reducere dette fænomen ved at dreje kontra når robotten kommer skævt ind på en linje. Det er desuden muligt at fintune en og hastigheden i sving for at reducere Zig-zag effekten. 2.2 Piloteksperimenter Der er foretaget udforskende piloteksperimenter for at finde en sammenhæng mellem de forskellige faktorers indflydelse på lap-time og succesrate. Der blev foretaget en kvalitativ vurdering af robottens adfærd rundt på banen for forskellige parameterværdier. Denne vurdering fokuserer på omfanget af Zig-zag effekt, hvor præcist robotten følger stregen og hvor hurtig robotten er om at gennemføre en runde. I appendix A ses de observationer der er gjort i forbindelse med piloteksperimenterne. Piloteksperimenterne resulterede i optimering af flere parametre. Counter Steer parametrene viste indflydelse på gennemførselstiden. Det ønskes derfor undersøgt om der er statistisk belæg for at Counter Steer faktisk forbedrer gennemførselstiden. Der blev foretaget piloteksperimenter med lyssensorenes følsomhed og placering. Da programmet er lavet så robotten kan kalibreres, viste disse piloteksperimenter at lysforholdene ikke havde stor betydning. Lysforholdene har dog betydning hvis der på banen er store forskelle i 3

belysning, for eksempel fuldstændig mørke på en del, og direkte sollys på en anden del af banen. Dette vil kræve at der laves et nyt threshold på flere forskellige steder på banen. 2.3 Design af forsøg Det er ønsket at sammenligne gennemførselstiden med og uden Counter Steer. Ved design af forsøg er det nødvendigt at være opmærksom på alle de faktorer der kan have indflydelse på resultatet. Herunder er både faktorer som kan kontrolleres samt faktorer der ikke er kontrollerbare. 2.3.1 Spurious effects Spurious effects er fejl i forsøg som kan lede til forkerte fortolkninger af resultater [Cohen, 1995, sec. 3.2]. En type af spurious effects er ceiling og flooring effekter. Et eksempel på flooring kan være hvis forsøget udføres på en bane som er så nem at begrænsningen ligger i de fysiske egenskaber for robotten fremfor i programmet. - Det kunne for eksempel værre hvis robotten allerede gennemfører banen med den hurtigst mulige gennemførselstid. Her vil det aldrig være muligt at forbedre tiden, og en sammenligning vil derfor ikke give mening. Modsat vil ceiling opstå hvis banen er så svær at robotten aldrig gennemfører den. Det blev observeret i piloteksperimenterne at robotten ikke kører den optimale rute, og derfor er flooring ikke et problem. Hvis robotten kører af sporet og ikke er i stand til at gennemføre en runde, indgår dette i måling af succesraten, mens det fejlede forsøg ikke indgår i målingen af gennemføringstiden. Dette gøres for at undgå ceiling effekten, da gennemsnittet ellers ville blive kunstigt højt og ødelægge sammenligningsgrundlaget. Regression er et fænomen skyldes tilfældigheder som kan forårsage at resultatet fejlfortolkes. For eksempel hvis der tilføjes ekstra kode i forbindelse med Counter Steer funktionaliteten. I afviklingen af denne kode kunne der tilfældigt opstå en resourcekonflikt således der opstår et midlertidigt delay i systemet. Dette kan betyde at den nye Counter Steer tager længere tid om at gennemføre banen. Der vil her kunne opstå regression. Derfor lægges der vægt på at der ændres så lidt som muligt i programmet, såvel som den fysiske opbygning. Ordering kan opstå hvis rækkefølgen hvormed eksperimenter udføres, har betydning for resultatet. For eksempel vil det være et problem hvis batteriet bliver kraftigt afladet i løbet af eksperimentet. Ved at oplade robotten mellem hver forsøgsrække er det forsøgt at undgå dette. Ordering kan også opstå hvis temperaturen eller lysindfald ændres betydeligt imens forsøgene udføres. Desuden vurderes det at slid på bane og robot ikke har nogen indvirkning på resultatet. 2.3.2 Biasing Biasing kan opstå hvis der er forskellige betingelser for de forsøgsrækker man ønsker at udføre [Cohen, 1995, sec. 3.3]. Derfor er det nødvendigt at sørge for at forsøgene med og uden Counter Steer udføres under nøjagtigt samme forhold. Det betyder at robotten skal benytte samme omløbsretning på den samme bane. Desuden anvendes løbende start, for at undgå at robotten starter et mere fordelagtigt sted ved en af forsøgsrækkerne. 4

2.3.3 Fremgangsmåde Forsøgene foretages med følgende fremgangsmåde. Fremgangsmåden tager højde for de nævnte designovervejelser. Oplad batteri. Programmer robot til at køre uden Counter Steer og et passende threshold for lyssensorer. Placer robot på banen så den får en halv omgangs løbende start. Mål tiden for hver omgang. Og lad robotten køre 30 runder. Hvis robotten ryger af banen, noteres runden som en fejl, og forsøget fortsættes igen med løbende start. Stop robotten efter 30 runder. Oplad robotten. Robotten programmeres til at benytte Counter Steer og samme threshold som før. Forsøget gentages. 3 Eksperimenter I appendix B ses resultatet af de målinger der blev foretaget med og uden Counter Steer. Ved hjælp af programmet R, er histogrammerne vist i figur 3 fundet. (a) Uden Counter Steer (b) Med Counter Steer Figur 3: Histogrammer for de to måleserier. Det blev forventet at resultaterne blev normalfordelte. Figuren viser en fordeling som tilnærmelsesvis kan ses som en normalfordeling. Der er foretaget 31 målinger både med og uden Counter Steer. Målingerne uden Counter Steer indeholder én måling som fejlede. Dette er imidlertid ikke nok til at konkludere at Counter Steer metoden er mere robust end hvis der ikke anvendes Counter Steer. Der ses bort fra denne ene måling. Gennemsnittet benyttes til sammenligning af de to grupper, og centralgrænseteoremet [Løvås, 2004, sec. 5.8] siger at gennemsnittet kan forventes at være normalfordelt når antallet af målinger bliver 20. 5

3.1 Hypotesetest Der ønsket undersøgt følgende hypoteser: H 0 der er ingen forskel på om der anvendes Counter Steer eller ej (µ ucs = µ mcs ). H 1 robotten gennemfører en bane hurtigere eller langsommere hvis der anvendes Counter Steer (µ ucs µ mcs ). 3.1.1 T-test T-test anvendes til hypotesetest. T-testen kan benyttes når antallet af samples er få (modsat Z-test) [Cohen, 1995, sec. 4.4]. T-test foretages ved hjælp af R, se script i appendix C. Resultatet af T-testen bliver: Welch Two Sample t-test data: withc$time and withoutc$time t = -11.2825, df = 40.529, p-value = 4.439e-14 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -18.81403-13.09955 sample estimates: mean of x mean of y 59.33977 75.29657 Her fås en p-værdi tæt på 0. Det betyder at sandsynligheden for at H 0 er korrekt er meget lille. Dermed kan det konkluderes at H 0 kan forkastes med stort signifikansniveau, og at Counter Steer derfor enten er hurtigere eller langsommere. Det ses at gennemsnittet er cirka 59 og 75 sekunder for henholdsvis med og uden Counter Steer. Det betyder at Counter Steer gør robotten hurtigere på den givne bane. Med 95% sandsynlighed er robotten mellem 13 og 19 sekunder hurtigere med Counter Steer. 4 Konklusion Eksperimenterne er forløbet som planlagt, og det er blevet vist at Counter Steer giver en signifikant forbedring af gennemførselstiden for en runde på den givne bane. Der er foretaget piloteksperimenter som har vist nogen sammenhænge mellem valg af parametre og performance for robotten. Dog kan disse parametre optimeres yderligere for at opnå en bedre performance. 5 Litteratur Poul R. Cohen. Empirical Methods for Artificial Intelligence. MIT Press, Cambridge, 1995. ISBN 978-0-262-03225-4. Gunnar G. Løvås. Statistikk for universiteter og høgskoler. Universitetsforlaget, Oslo, 2nd edition, 2004. ISBN 978-82-15-00224-8. 6 Arbejdsdeling Der har været lige arbejdsdeling mellem alle medlemmer af gruppen, da alle har bidraget til alle aktiviteter. 6

A Resultat af Piloteksperimenter Forsøg Hastighed i sving Hastighed ligeud Stor Lille Counter Steer Counter Steer tid (cycles) Vurdering 1 20 50 15 10 15 15 God, men langsom og kører af banen i sving. 2 30 50 15 10 15 15 God. 3 40 50 15 10 15 15 Dårlig, kører af banen i sving. 4 30 70 15 10 15 15 Nogenlunde. 5 30 70 20 10 15 15 Klarer sving rigtig godt. 6 30 70 20 15 15 15 Lidt værre. 7 30 70 25 10 15 15 Klarer sving rigtig godt, kører sjældent af sporet. 8 30 70 25 10 0 0 Nogenlunde. 9 30 70 25 10 30 15 Nogenlunde, men langsom. 10 30 70 25 10 10 15 God. 11 30 70 25 10 15 30 Rigtig god, stadig zig-zag på lige strækninger. 12 30 70 25 10 15 25 Samme. 13 30 70 25 10 15 20 Rigtig god. Tabel 1: Observationer gjort ved piloteksperimenter. Forsøg Hastighed i sving Hastighed ligeud Stor Lille Counter Steer Counter Steer tid (cycles) 14 30 70 25 10 15 15 3:12 15 30 70 25 10 0 0 3:48 Tabel 2: Piloteksperimenter med og uden Counter Steer. Der er målt over 3 runder. Kørselstid 7

B Resultat af Eksperimenter Forsøg Tid uden Counter Steer [s] Tid med Counter Steer [s] 1 65.197 56.911 2 78.975 57.186 3 67.974 60.357 4 76.172 56.727 5 82.129 58.497 6 77.021 61.350 7 NA 57.286 8 67.076 64.378 9 65.705 55.934 10 70.131 65.025 11 67.842 55.194 12 74.309 56.028 13 67.049 59.292 14 79.152 53.527 15 81.329 58.839 16 74.042 60.183 17 78.579 62.591 18 77.953 58.200 19 71.633 57.144 20 87.895 57.473 21 74.506 64.805 22 69.041 63.274 23 81.835 58.684 24 79.457 60.503 25 62.704 56.986 26 79.356 57.538 27 86.043 62.400 28 70.852 56.323 29 89.835 67.102 30 73.204 61.130 31 81.901 58.666 Tabel 3: Målinger. NA betyder at runden ikke blev gennemført. 8

C R script withc<-read.csv("with_time_seconds.txt",header=t) withoutc<-read.csv("without_time_seconds.txt",header=t) # Remove the failed sample withoutcnona = rep(0,30); withoutcnona[1:6] = withoutc$time[1:6]; withoutcnona[7:30] = withoutc$time[8:31]; hist(withc$time,freq=t,main="",xlab="tid [s]",ylab="frekvens", breaks=c(50,50.8,52.3,53.8,55.3,56.8,58.3,59.8,61.3,62.8,64.3,65.8,67.3,68.8,70)) hist(withc$time,freq=t,main="",xlab="tid [s]",ylab="frekvens", breaks=c(50,50.65,52.3,53.95,55.6,57.25,58.9,60.55,62.2,63.85,65.5,67.15,68.8,70)) hist(withoutcnona,freq=t,main="",xlab="tid [s]",ylab="frekvens", breaks=c(56.5,60,63.5,67,70.5,74,77.5,81,84.5,88,91.5,95)) t.test(withc$time,withoutc$time) 9