Case: Evaluering af projekter + tag-hjem-eksamen

Case: Evaluering af projekter + tag-hjem-eksamen Case udarbejdet på baggrund af projekt fra Thomas Mejer Hansen Kurset geostatistik afholdtes første gang på Niels Bohr Institutet (NBI) i Blok 3, foråret 2005. Da kurset er helt nyt, har der ikke været andre krav til undervisningen end de generelle krav som fysisk studienævn udstikker for kurser ved NBI. Da undertegnede alene er ansvarlig for planlægningen og forløbet af kurset, giver det gode muligheder for at afprøve mange af de aspekter som er behandlet under KNUD kursusforløbet. Dette notat er en relativ kort sammenfatning af overvejelser med hensyn til planlægning, gennemførsel og evaluering af geostatistik kurset. Jeg har valgt at fokusere på projekt orienteret undervisning og evaluerings former dels fordi jeg fandt begge emner meget interessante under KNUD forløbet, og dels fordi jeg mener faget geostatistik lægger op til projekt orienteret undervisning, og ligeledes lægger op til mere alternative evaluerings former. Undervisnings betingelser Kurset kunne planlægges indenfor rammerne udstukket af fysik studienævnet : Kurset skulle ligge i blok3 (forår 2005), skemalagt til Tirsdage fra kl. 9-12,13-16 og Fredage 9-12. Kurset skulle forløbe over 7 uger hvis eksamen blev anvendt som evaluerings form, og over 9 uger hvis løbende evaluering anvendtes. Derudover skulle kurset have et pensum, som svarede til 7.5 ECTS point, hvilket skulle godkendes af studienævnet inden kursus start. Pensum blev valgt som en store del af Pierre Goovaerts bog Geostatistics for natural resources evalutaion. 10 var tilmeldt kurset, 2 faldt fra den første dag, og to kom til den anden undervisningsdag. Alt i alt gik 10 studerende til eksamen. Kurset var et kursus for 2. dels studerende (det vil sige på 3.-4. studie år). Kompetence beskrivelse Et vigtigt redskab jeg har fået ud af KNUD kurset har været udviklingen af et kompetencemål. Formuleringen af kompetencemål i start fasen af planlægningen af undervisningen, gjorde at målet med kurset hele tiden har været klart. Både i planlægnings fasen og under selve undervisnings forløbet har jeg flere gange brugt kompetence målet som en styrepind hvis jeg var i tvivl om retningen. Det er jeg nok selv lidt overrakset over idet kompetence beskrivelsen er relativ simpel. Min formodning er at kurset er kørt mere stramt og med bedre styring end hvis der ikke havde været defineret et kompetence mål. Kompetencemål som blev brugt ved geostatistik kurset var/er: Kompetencebeskrivelse : Efter deltagelse i kurset bør de studerende kunne identificere problemstillinger hvori geostatistiske metoder kan anvendes, for derefter at kunne anvende geostatistiske metoder p å problemet. Endvidere bør de kritisk kunne evaluere resultater som er genereret ved brug af geostatistiske metoder. Centrale elementer Geostatistik er en løs betegnelse for en række metoder der alle går ud på at bygge en stokastisk/statistisk model af målinger i rum (f.ex. mængden af olie i undergrunden). Det er en meget praktisk orienteret metode i den forstand at man stort set alle fremskidt indenfor faget er opnået i et samspil mellem teori og praksis. Den allermest udbredte form for geostatistik bygger på et begreb der hedder kriging. Der findes et utal af metoder der bygger på kriging. Alle disse metoder hører under begrebet geostatistisk estimering og kan betegnes som interpolations metoder. En anden type af geostatiske metoder går ud på direkte at simulere en antal realisationer af en stokastisk model. Disse metoder er meget anvendelige til at modellere statistiske egenskaber af meget komplicerede stokastiske funktion. Derfor har jeg udvalgt følgende begreber som fundamentelle centrale begreber : stokastisk funktion, kriging, estimering og simulering. Det centrale element stokastisk funktion er teoretisk meget vigtig, men man kan anvende geostatistiske

metoder (op til et vist niveau) uden at have en dyb forståelse af stokastiske funktioner. Det er baggrunden for at dette centrale element ikke indgår som en del af kompetence beskrivelse. For at kurset skal opfylde kompetence beskrivelsen skal de studerende gerne ende med at have kompetencer i forhold til at forstå og anvende begreberne (de centrale elementer) kriging, estimering og simulering. Eksemplarer Et metode til at opnå de ovenfor beskrevne kompetencer er at benytte eksemplarer, som er eksempler på de centrale elementer. Ved at de studerende selv arbejder med disse eksemplarer er det målet at de opnår en kompetence til selv at kunne abstrahere til andre anvendelser af de centraler elementer. For at de studerende får det rigtige ud af eksemplarerne, skal de være generelle nok til at de kan se at de kan anvende de centrale begreber mere generelt, og specifikke nok til at de forstår dem. Da geostatistik er meget anvendelses orienteret vil et eksemplar typisk være et data set. Man kan vælge at generere syntetiske data til sådanne eksemplarer. Så er man helt sikker på hvad hovedpointen er. Det har den svaghed at eksemplaret kan blive for specifikt, så det bliver svært at abstrahere. Istedet har jeg valgt at finde to rigtige data set, med rigtige problemer. Eksemplar 1 : Brug af kriging på geofysiske data over et grundvands reservoir : Et eksemplarisk data sæt fra grundvands undersøgelser der indeholder mange problemer der kan angribes med kriging estimering. Eksemplar 2 : Brug af simulering til at bestemme størrelsen af olie reserver i et kalk felt : Et eksemplarisk data sæt fra olie indutstrien der indeholder eksempler på både kriging estimering og simulering For begge eksemplarer gælder det at der er mindst eet problem, som er så reelt at henholdsvis Hydro Geofysik Gruppen i Arhus og Mærsk Olie og Gas (som hver især har leveret data til de to eksemplarer) var interesserede i resultaterne, og fandt det prisværdigt at disse problemer blev belyst. Umiddelbart bør det være en motivations faktor at det er rigtige data der arbejdes med. Men, det er også mere krævende for de studerende. Der er en risiko for at det relevante problem drukner i tekniske vanskeligheder (som f.ex. data behandling) eller at de studerende kommer frem til helt andre (og måske forkerte) pointer end de tilsigtede. Undervisningsform Jeg valgte at dele undervisingen op i to paralle forløb : 1) En relativ traditionel blanding af forlæsninger og øvelser, og 2) Selvstændige projekt arbejder. Det traditionelle forløb optog langt den støre del af konfrontations tiden, som var planlagt til at være forelæsninger, øvelser og introduktion til geostatistik software (GSTAT) og Matlab. Det var tanken at de studerende arbejdede med projekterne for sig selv. Hele Tirsdag blev afsat til konfrontations timer, mens Fredag var afsat til projekt arbejde, hvor jeg ikke var tilstede fysisk, men var tilgængelig online. Lektioner og Øvelser. Formidlingen af pensum er sket i form af en blanding af lektioner og øvelser. Til hver af de 7 -konfrontations dage- blev et program over dagens emner og pensum annonceret på kursus hjemme siden, med link til PDF versioner af de præsentations slide jeg havde planlagt at gennemgå samt information om dagens øvelser. En lektion varede aldrig mere end 45 minutter, og blev altid fulgt op af praktiske øvelser. Både forlæsning og øvelser tog udgangspunkt i lærebogen, som indeholder en lang række eksemplarer i form af en lang række figurer der viser meget specifikke egenskaber ved de forskellig metoder. Øvelserne bestod i at implementere kode til at generere stort set alle disse figurer fra lærebogen I Matlab. Håbet var at forståelsen for lærebogen kom op på et højere niveau ved at de studerende selv arbejdede med bogens figurer i stedet for blot at betragte dem. Projekt orienteret undervisning Hvert af de beskrevne eksemplariske data sæt blev formuleret som to selvstændige projekter (A og B). Parallelt med forlæsning/øvelser arbejdede de studerende det meste af tiden med et projekt i selvvalgte 2-

personers grupper. De havde cirka 3 uger til at lave hvert projekt. Indholdet af projekterne var forsøgt afstemt med øvelser/forelæsning. I den uge de studerende fik udleveret projektet kunne de ikke løse alle problemere i projektet, men det skulle de gerne kunne i slutningen af det 3 ugers forløb. Målet var at de studerende skulle have problemerne fra projektet i hovedet under forelæsninger/øvelser. Appendix A og B indeholder selve projektbeskrivelserne til de to projekter. Eksamens form Efter afslutningen af kurset har jeg fundet ud af at man fysik studienævnet enten tillader løbende evaluering (hvor der så afsættes 9 uger til undervisning) eller evaluering ved eksamen (hvor der afsættes 7 uger til undervisning). Jeg valgte en blanding af de to evaluerings former. Den endelig karakter for kurset bestod i et vægtet gennemsnit af karakterer for projekt A, projekt B og afsluttende eksamens karakter, med henholdsvis 20%, 30% og 50% vægt. Grunden til jeg valgte løbende evaluering var at jeg på KNUD kurset havde hørt flere foredrag hvori det fremgik at de studerende generelt arbejder meget med projekter, og specielt med projekter der evalueres. Jeg valgte at have en afsluttende eksamen for at give de studerende lov til individuelt (modsat gruppe arbejdet) at arbejde med et geostatistisk problem, og derved få muligheden for at selv at påvirke sin karakter. Den praktiske gennemførelse af den afsluttende eksamen, inspireret af et relateret kursus (inverse metoder), bestod af en 2 dages tag hjem opgave. Selve eksamens opgaven var som et projekt i lighed med projekt A og B, dog med langt mindre data mængde og mere afgrænsede spørgsmål. Igen havde jeg fundet rigtige /relevante data (fra Rambøll), i forbindelse med en undersøgelse af grundvands beskyttelse. Disse data var også særdeles eksemplariske i det indeholdt een meget vigtig point (som kunne bruges til at vurdere i hvor høj grad de studerende havde forstået de centrale elementer) og fordi data lagde op til forskellige løsnings muligheder. Jeg vil mene at denne eksamens form i meget høj grad testede det som de studerende var blevet undervist i, og som de havde arbejdet med i projekter, og det som var beskrevet i kompetencemålet. De 10 eksamens besvarelser viste tilsammen stort set alle de måder at angribe problemet på, som jeg kunne forstille mig, hvilket jeg var positivt overrasket over, og hvilket også viste mig at der næppe havde fundet snyd sted ved at studerende havde hjulpet hinanden. Dertil var besvarelserne for forskellige De studerendes evaluering Alle fandt alle problem stillingerne relevante, og alle foretrak den projekt orienterede form frem for traditionelle øvelser. Generelt var der meget stor tilfredshed med at det var reelle problemer der blev arbejdet med, hvilket fremgår af flere af kommentarerne. Næsten alle fik meget ud af at arbejde med projekterne. Generelt kan der altså spores en vis tilfredshed med brugen af projekter. De fleste studerende brugte rigtig meget tid på projekterne, og specielt i forbindelse med projekt mærkede jeg den frustration på mangel af tid/projektets størrelse, som flere studernede også giver udtryk for i deres kommentarer. Alle foretrak gruppe arbejde frem for at arbejde alene om projektet. Generelt fik de studerende meget ud af at arbejde med projekterne. Inden sidste kursus gang udleverede jeg et evaluerings skema til de studerende. På trods af den frustration der var for nogle over at skulle lære at anvende Matlab (og et andet program GSTAT) fandt stort set alle at de havde fået noget ud af at lære programmerne at kende. Omfanget af kurset er generelt fundet for højt. Det tolker jeg som at projekterne fyldte meget, for de studerende har faktisk ikke læst ret meget i lærebogen, hvilket måske er årsagen til at kun 4 studerende finder at lærebogen er decideret god. To skriver at de ingenting fik ud af øvelser/lektioner, og det er selvfølgelig et problem, for får man ikke noget ud af øvelser og lektioner, er det meget svært overhovedet at kommer i gang med projekterne. Der er bred enighed om at de valgte problem stillinger var relevante, og at kurset som helhed er relevant for deres studie, hvilket er opmuntrende.

Alt i alt virker det til at de studerende, med få undtagelser, var tilfreds med kurset, men at omfanget var for stort, og der tror jeg primært det er størrelsen af projekt B der har givet anledning til frustration. Endvidere har flere studerende efterspurgt et egentlig Matlab introduktions kursus, så de kan koncentrere sig om geostatistik og ikke Matlab. Generel vurdering af kursus forløbet Ved gennemgang af eksamens opgaverne vil jeg mene at de studerende generelt set har fået det ud af kurset jeg havde tænkt mig. De har vist sig at være i stand til at løse konkrete geostatistiske problems stillinger, og de fleste af du studerende har nået en relativ dyb forståelse af de centrale elementer. Brugen af projekterne med relevante problemstillinger gjorde at jeg følte jeg havde meget engagerede studerende. Nogle af de studerende havde dog en rigelig stor arbejds byrde da de skulle sætte sig ind i et hjælpe program helt fra bunden, og måske brugte mere tid på det, end på geostatistik. Jeg har talt med andre undervisere der benytter Matlab, om at lave en separat Matlab introduktion. Generelt har specielt projekt B nok været for omfattende. Selv meget seriøse studerende kunne ikke nå at svare på alle problemstilinger, hvilket skabte en del frustration. Det skal helt klart rettes. Jeg mærkede til forelæsning/øvelser markant bedre studerende under projekt B forløbet, men de udløste generelt ikke højere karaktere for projekt B end for projekt A, hvilket også har været frustrerende på baggrund af den store arbejdsindsats. Det endte dog med at de fleste gjorde det markant bedre til eksamen end til projekterne. Igennem snit var karakteren mere end 1 højere til eksamen end ved projekterne. Jeg mener ikke at det er fordi eksamens sættet var markant lettere end projekterne. Det er næppe heller fordi de har læst voldsomt til eksamen (der var stort set ingen tid til det) men, tror jeg, fordi begreberne har fået lov at falde en smule på plads. Som flere studerende har bemærket har det været uhensigtsmæssigt at lægge alle konfrontations timer på een dag. Det skete da heller ikke med en faglig begrundelse, men ud fra praktiske/personlige forhold. Kurset kørte over 7 uger, men kunne, hvis den afsluttende eksamen blev skippet, køre over 9 uger, og det virker måske som den rigtige beslutning, da det vil give noget mere luft i forløbet, og plads til mere reflektion. En tid til reflektion som de studerende nok først fik lige omkring eksamens tid. Refleksion Som nævnt er det første gang kurset afholdes, og første gang jeg selv afholder et helt kursus, og jeg kan se forberedninger på stort set alle punkter i undervisningen til en eventuel næste gang. Og dog er jeg grundlæggende tilfreds med kursus forløbet fordi de studerende fik lært noget og geostatistik, og specifikt syntes jeg de har opnået de kompetencer der er beskrevet i kompetence målet. Anvendelse af projekt orienteret arbejde har været en succes, på trods af at omfanget af projekterne skal justeres. Jeg har mødt meget engagerede studerende, hvis største frustration har været at de ikke kunne nå at lave det hele. Det er selvfølgelig en fejl fra min side at omfanget har været for stort, men også et sundheds tegn at de studerende faktisk meget gerne ville lave det hele. Både evaluerings skemaer, skriftlige og mundtlige kommentarer har vist at de studerende har været meget glade for både projekterne, de relevante problem stillinger i projekterne, og gruppe arbejdet i forbindelse med projekterne. Ud over at de studerende generelt virkede motiverede, har projektet øget motivationen betydeligt. Den valgte eksamens form evaluerer i høj grad det de studerende har arbejdet med, og det der st år i kompetencemålet. Alligevel vil jeg overveje at ændre kurset til kun at bruge løbende evaluering. De studerende har arbejdet så seriøst med projekterne at de godt kan evalueres udelukkende ud fra projekter, og en ændring til kun at bruge løbende evaluering gør at kurset kan forløbe over 9 uger og ikke kun 7 uger som virkede meget presset. Eventuelt kunne eksamens opgaven indgå som et kort sidste individuelt projekt. Lektioner/øvelser skal ændres til at involvere de studerende i større grad. Lektionerne har mest forløbet som envejs kommunikation, og det selvom det flere gange har været oplagt med små summe møder og konkrete eksempler. Jeg har nok ventet for kort tid på at de studerende gik i gang med at summe, og så

blot selv forklaret pointen. Øvelserne havde meget præg at Matlab undervisning, og flere af de ting jeg havde tænkt mig de studerende skulle implementere, måtte jeg gøre da nogle ikke havde forudsætningerne for at gøre det. Dem der havde forudsætninger, kom til at kede sig en del af tiden. Derfor er det vigtigt at sikre de studerende mulighed for at få forudsætningerne i orden inden kurset. Studerendes evaluering af dem selv og hinanden var meget nyttig i det omfang det blev anvendt, da mange grupper løste problemerne på forskellig vis. Det bør dog sættes mere i fokus, da det er langt bedre at de studrende samtaler sig hen til en forståelse for hinandens løsninger frem for at jeg som underviser blot gennemgår det. Det vil også øge fokus på kompetence målet om at være i stand til kritisk at bedømme andres arbejde. En sidste ting jeg er meget glad for er at de studerende ser kurset som relevant for deres studie. Geostatistik kurset blev nemlig til på trods af fysisk studienævn, som ikke mente det var en god ide at holde kurset, men som ikke ville forhindre mig i at køre det. Det selvom studerende netop havde udtrykt ønske om mere anvendelses orienterede fag. Derfor er jeg meget tilfreds med at de studerende alle sammen syntes at kurset passer godt ind i deres studie forløb. Hvordan er sammenhængen mellem evaluering og kompetencemål? Kan man undvære sluteksamen? Hvorfor/hvorfor ikke? Hvordan kunne man lave en eksamen (s- og undervisningsform), der uden at gå på kompromis med kompetencemålet, er knap så omfattende for de studerende eller i hvert fald sigter på at fordele studerendes arbejdsbyrde hensigtsmæssigt?