Dekanernes Undervisningsseminar November 2010 Formulering af læringsmål for kandidatspecialer en opgave for de studerende? Claus Thorp Hansen & Pernille Hammar Andersson 1. Motivation 2. Muligheder 3. En metode til formulering af læringsmål 4. De studerendes udbytte 5. Refleksion og diskussion DTU Management & LearningLab DTU Vi vil gerne diskutere læringsmål i kandidatspecialer Hvordan formuleres læringsmålene? Hvem skal formulere dem og hvornår i kandidatspecialet? Hvilken rolle spiller læringsmålene for den studerendes læring? Hvilke styrker og svagheder kan der være ved at inddrage den studerende i at formulere læringsmål for eget speciale? De formulerede læringsmål bliver til bedømmelseskriterier, så hvordan kan man sikre en retfærdig og rimelig bedømmelse af specialet i forhold til andre specialer inden for - fagområdet, - kandidatuddannelsen, - instituttet og - på tværs af DTU s institutter? 2 DTU Management & LearningLab DTU 1
1. Motivation Hvorfor overveje læringsmål? Læringsmål for kandidatspecialet indgår som en del af vejledningen. [DTU s studiehåndbog] Det har været DTU s politik, at der ikke formuleres læringsmål for specialer centralt. Specialer er så forskellige, at et sæt centralt formulerede læringsmål vil være uanvendeligt i praksis. Vi havde et tilfælde for et par år siden på DTU Management, hvor vejleder og censor ikke kunne blive enige om bedømmelseskriterier og bedømmelse. Hvad gør man så? 3 DTU Management & LearningLab DTU 2. Muligheder 1. AUS formulerer et sæt generiske læringsmål for kandidatspecialer. 2. Hvert institut formulerer et eller et par sæt af standardlæringsmål, og vejlederen vælger det relevante sæt til specialet. 3. Hver vejleder har sit sæt af læringsmål, som udleveres til den studerende. 4. Læringsmål er implicitte inden for hvert fagområde. 5. Den studerende og vejlederen udarbejder i dialog et sæt læringsmål for specialet. 6. 4 DTU Management & LearningLab DTU 2
Kandidatspecialer på DTU Management udbydes på en bred palette: Matematik/naturvidenskab, teknik/ingeniørvidenskab, socio-teknik/ samfundsvidenskab. Analyse-, syntese-, metode- og forskningsprojekter. Uden/med rekvirent. Rekvirent: Industrivirksomhed, offentlig institution, interesseorganisation. Mange kombinationsmuligheder! Det er næppe muligt for institutstudienævnet, at formulere læringsmål for et lille antal projekttyper, hvis læringsmålene skal kunne benyttes i praksis. Vi kan måske udarbejde en folder til de studerende (samt vejledere og censorer) Aflevering af kandidatspecialer, der kan inspirere og hjælpe de studerende i de vigtige overvejelser vedr. læringen gennem specialet. 5 DTU Management & LearningLab DTU 3. En metode til formulering af læringsmål Vi har udarbejdet to dokumenter Et inspirationsnotat Et censorbrev 6 DTU Management & LearningLab DTU 3
Inspirationsnotatet (1) Inspirationsnotatets indhold: Indledning 1. Du skal formulere læringsmål for dit kandidatspeciale 2. Et kandidatspeciales forskellige mål og interessenter 3. Hvad er gode læringsmål? 4. Eksempler på læringsmål 5. Bedømmelse af kandidatspecialer 6. Slutord Bilag 1. Bloom s taksonomi Bilag 2. Fortegnelse over aktive verber Bilag 3. Bedømmelseskriterier for censorer 7 DTU Management & LearningLab DTU Inspirationsnotatet (2) Indledning Betydningen af at formulere præcise og anvendelige læringsmål: Finde en fornuftig fremgangsmåde i projektet. Beskrive bedømmelsesgrundlaget. Beskrive hvad den studerende har lært. Notatet er ment som et hjælpemiddel. Afsnit 1. Det er den studerendes opgave i samarbejde med vejlederen at formulere et sæt læringsmål for sit kandidatspeciale. 8 DTU Management & LearningLab DTU 4
Inspirationsnotatet (3) Afsnit 2. Mål og interessenter To formål: Det faglige samt dokumentation for akademisk arbejde. Forskellige typer af mål: Læringsmål, resultatmål, fremgangsmåde-mål samt præsentations- og formidlingsmål. Forskellige interessenter: Den studerende - spændende og lærerigt projekt. Rekvirent/samarbejdspartner - godhed og realiserbarhed af løsning. Vejleder - interesse i løsningen og/eller ingeniørmæssigt kvalificeret. Censor - ingeniørmæssigt kvalificeret. 9 DTU Management & LearningLab DTU Inspirationsnotatet (4) Afsnit 3. Gode læringsmål (1) Korrekt formulering: På DTU benyttes en modificeret udgave af Blooms taksonomi for at udtrykke progression i læring. Progression i læring Vurdering Kompleksitet i læringsmål Analyse og syntese Forståelse Anvendelse Viden Liste over aktive verber. 10 DTU Management & LearningLab DTU 5
Inspirationsnotatet (5) Afsnit 3. Gode læringsmål (2) Fire kriterier for gode læringsmål: Operationelle: De skal hjælpe de studerende i at erkende projektets læringsdimension. Entydige og klare: De må ikke skabe forvirring og uenighed mellem de studerende og vejleder om bedømmelses-grundlag. Målelige: Vejleder og censor skal kunne vurdere det afleverede på grundlag af de formulerede mål. Komplette og relevante: Måle det hele og det rigtige. For et DTU kursus gælder: Der skal formuleres 8-12 læringsmål. Et læringsmål er på max. 250 karakterer. 11 DTU Management & LearningLab DTU Inspirationsnotatet (6) Afsnit 4. Eksempler på læringsmål Et kandidatspeciale kunne som ramme have følgende sæt af læringsmål med fokus på den røde tråd gennem projektet: 1. Identificere sin egen problemstilling/projektformulering. 2. Forfølge og besvare sin problemstilling gennem rapporten. 3. Finde og beskrive relevant litteratur inden for problemstillingen. 4. Argumentere for valg af teori og metode. 5. Anvende teori og metode på problemstillingen. 6. Forholde sig kritisk til teori og metode. 7. Diskutere, konkludere og perspektivere resultaterne i forhold til teori og empiri. 8. Rapportere de opnåede resultater struktureret, fyldestgørende, kortfattet, klart, kritisk vurderende/konkluderende, og i øvrigt i overensstemmelse med god skik for skriftlig fremstilling inden for fagområdet (f.eks. således at eksperimenter kan gentages af andre). 9. Besvare kandidatspecialets specifikke problemstilling (formuler selv): 12 DTU Management & LearningLab DTU 6
Inspirationsnotatet (7) Afsnit 5. Nyttige husketing vedr. bedømmelse Bedømmelsesgrundlag er rapport, mundtlige fremlæggelse og forsvar. Censor og vejleder skal kende de opstillede læringsmål for at kunne tage dem i betragtning. Institutstudienævnet har udarbejdet 9 generelle bedømmelseskriterier, som censor og vejleder ofte benytter sammen med læringsmålene. En kandidatspecialerapport skal have et resumé på dansk og engelsk. Individuel bedømmelse for 2-mands specialer. DTU honorerer censor 5 timer og 10 minutter pr. studerende til bedømmelse af et kandidatspeciale. 13 DTU Management & LearningLab DTU Inspirationsnotatet (8) Afsnit 6. Slutord Husk projektplanlægning og rapportskrivning. God fornøjelse med dit kandidatspeciale! Bilag 1. Bloom s taksonomi Bilag 2. Fortegnelse over aktive verber Bilag 3. Bedømmelseskriterier for censorer 14 DTU Management & LearningLab DTU 7
4. De studerendes udbytte Vi vil gerne undersøge effekterne af den nye metode til formulering af læringsmål for kandidatspecialer. Først med fokus på de studerende og deres læring. Hvilke effekter kan vi forestille os? Positive effekter: At den studerende bliver bevidst om egen læring i specialet. At den studerende oplever double-loop learning At den studerende bliver mere sikker på opnået specialeresultat samt bedømmelsen af det. Negative effekter: At læringsmålene hegner specialet ind. At den studerende hakker læringsmålene af et efter et og tror, at det er godt nok for perfekt resultat. At den studerende formulerer uambitiøse læringsmål. At den studerende mister fokus på projektets problemstilling. Vi har interviewet 3 hold kandidatspecialestuderende, som har benyttet den nye metode. 15 DTU Management & LearningLab DTU De studerendes udbytte (1) Læringsmål som en del af vejledningen De synes at processen at formulere læringsmål kunne have blevet brugt mere aktivt i vejledningen. De ønsker mere diskussion om hvad der er vigtigt og hvad der er muligt. De synes de har udviklet den kompetence selv. De fik folderen om læringsmål af deres vejledere. Allerede inden havde de tænkt over hvad de ville lære og de kompetencer de gerne ville udvikle i sit projekt. De havde overvejet hvad de ville få ud af det. De brugte formuleringen af læringsmålene i starten til at gøre dette end mere klart. De diskuterede med vejlederen i starten af arbejdet og fik dermed et indblik og forståelse for hvordan læringsmålene fungerer og deres rolle i forhold til opgave- og projektformuleringen. De synes de har fået god feedback fra deres vejleder. De havde forberedt det første udkast til læringsmål og diskuterede det med vejlederen. De synes, igen, at deres selvstændige arbejde med læringsmålene er et godt værktøj i vejledningen af projektet og at det skulle bruges mere. Det er noget de har fået vænne sig til at bruge dem og forstå funktionen af dem. Igen, mener de at det ville være til en stor hjælp at bruge dette også i bachelorprojektet. Læringsmål som en hjælp til fokusering De har ikke så meget arbejdet efter læringsmålene og ser dem som et rigtigt vigtigt værktøj til at få en god problem-formulering. Det ser de som det vigtigste mål. Denne måde var til stor hjælp for dem at fra starten virkelig at gennemgå projektet. Læringsmålene har gjort det klart for dem hvad de skal arbejde med i projektet og hvad de skal fokusere på. En anden stor fordel de beskriver, er at de kom tidligt i gang med sit projektet for det læringsmålene hjalp dem at tidligt i processen fokusere og at prioritere. Når de fik startet på det er deres oplevelse at læringsmålene var til en stor i hjælp i at holde fokus på det der var væsentligt i projektet. De beskriver at arbejdet med læringsmålene gav dem inspiration i starten af projektet i det de gav dem tilfælde at laborere med hvad projektet kunne indeholde og hvad de faktisk kan gøre i projektet. Arbejdet med at formulere læringsmålene gav dem lejlighed til virkelig undersøge indholdet i projektet og synliggøre det. Det synes de gav dem i en god start på projektet. 16 DTU Management & LearningLab DTU 8
De studerendes udbytte (2) At formulere læringsmål Hvordan har de gjort? 1) De har læst folderen. 2) De har gennemgået alle kurser de har haft i deres uddannelse og læst læringsmål og kursusbeskrivelser. Denne proces har gjort at de har fået øje på hvad de faktisk har lært sig og hvilke kompetencer og viden de har udviklet. 3) De har overvejet hvad de gerne vil efter endt uddannelse. 4) De har analyseret hvordan dette hænger sammen for dem. Dette har været vigtigt for dem og afspejlet sig i deres proces også efter læringsmålene var på plads. At anvende inspirationsnotatet Det de særligt kan lige ved folderen er at den indeholder eksempler fra forskellige fagområder. I starten synes de at det var svært at formulere læringsmål. Eksemplerne i folderen har de brugt når de har arbejdet med deres egen læringsmål. De synes at folderen er virkelig god og især at eksemplerne er meget pædagogiske. Når de skulle formulere læringsmålene brugte de folderen, fremmest eksemplerne og retningslinjerne. De har prøvet at formulere sine læringsmål tydeligt med hjælp af eksemplerne. Hvad synes de om Bloom s taksonomi? Den er helt OK at bruge. Det er fint med ord der beskriver forskellige niveauer og gør dem observante på at de ikke skal være på de nederste niveauer i det de arbejder med og laver. De oplever også at mange ord kommer igen på forskellige niveauer og at det er lidt forvirrende. Når de arbejdede med at formulere læringsmålene brugte de først ordene i taksonomien og stemte dem af mod eksemplerne i folderen og mod modellen. De kan især virkeligt godt lige bilag 3 i folderen der giver dem information om hvordan de bliver bedømte og på hvad. De giver dem en oplevelse af at de er i kontrol af sin egen proces. Det er fint at få information om vilkår for censoren. I formuleringen af læringsmål har de ikke brugt Bloom s taksonomi særligt meget. Det er eksemplerne de har arbejdet med. Igen siger de at de synes det var svært i starten. De beskriver at de implicit har brugt taksonomien og at de har hold øje med at de været hele taksonomien gennem i projektet og dækket alle niveauer i den. De beskriver at det har været en AHA-oplevelse for dem at få en større forståelse for progression i vidensopbygning. De kan virkelig anbefale at bruge læringsmål mere aktivt på denne måde i undervisning på DTU. 17 DTU Management & LearningLab DTU De studerendes udbytte (3) At skabe struktur i arbejdet De synes at folderen er rigtigt god og at den mindsket deres stress i arbejdet med læringsmålene og projektet: Bidraget til struktur og været en god guide. Som opsummering siger de at arbejde med læringsmål på denne vis er virkelig godt. Det giver struktur og check points i projektet der er til stor hjælp. Det var rigtigt godt at få læringsmålene på plads i starten af projektet. Det gav en struktur der blandt andet tydeliggjorde tidsforbrug og gjort deres planering meget nemmere. Det de synes har været mest svært er at afgrænse og fokusere projektet, de forskellige faserne og hvilken type af projekt det skulle være. Igen kommer de tilbage til at læringsmålene her har været til god støtte og hjælp til at få struktur på projektet. Arbejdet med læringsmålene har givet dem noget at hænge det op på. Dynamik og kontrol i specialeforløbet Læringsmålene har de brugt meget som tjekliste undervejs i projektet og det har hjulpet dem at holde sig på den rigtige vej hen mod målet. Hele processen har været til stor hjælp for dem at kunne styre sig selv og sit arbejde. Absolut skal de tage dem op igen i slutfasen af projektet når de skal skrive rapporten. De har revideret læringsmålene undervejs i projektet og beskriver at det har været en god og hjælpsom proces at gennemgå læringsmålene flere gange. Den kontinuerlige revideringsproces af læringsmålene har gjort dem til et godt værktøj til refleksion, i sær i slutningen af projektet. De har opteret med forskellige læringsmål i forskellige faser af projektet og det har bidraget til at de lært sig hvordan læringsmål fungerer. Det har været til en stor hjælp når det efterfølgende har set på forskellige kursers læringsmål. De beskriver at de kontinuerligt i projektet har tænkt på læringsmålene og brugt dem aktivt til at afstemme progressionen i projektet og at de arbejdede med de relevante områder. De brugte arbejdet med læringsmålene meget i den første del af projektet når de arbejdede med analysen i projektet. Nu har de dem gemt i en skuffe men kommer nu i samtalen i tanker om at de nok skal hænge dem op. De har arbejdet med dem undervejs i projektet og revideret dem. De kunne ikke dække alt fra starten. De er meget tilfreds med de læringsmål de har formuleret og de synes det er fint at det har været muligt at ændre i dem undervejs i projektet. 18 DTU Management & LearningLab DTU 9
De studerendes udbytte (4) Læringsmål og bedømmelse Det er stadigt vigtigt med vejledning og vejlederen er vigtigt som hjælp når det drejer sig om hvordan de fx skal vise at de opnået læringsmålene. Deres arbejde med læringsmålene har tydeliggjort vurderingsniveauet til eksamen og gjorde dem glade for det de tror de bliver bedømt på det de selv vil og er gode til. De har en fornemmelse at de er meget afklarede til at gå op til eksamen. De tror at de kommer at få kredit for det som er væsentligt i eksamen og de synes det er en god oplevelse at de selv har fået tage ansvar for at formulere hvad de vil blive bedømt på og få kredit for. De gør at de føler sig trygge og glade inden eksamen. Deres arbejde med læringsmålene har hjulpet dem at afgrænse sit projekt og at de har prøvet processen at kill your darlings og de synes de har været nyttigt. De kan især virkeligt godt lige bilag 3 i folderen der giver dem information om hvordan de bliver bedømte og på hvad. De giver dem en oplevelse af at de er i kontrol af sin egen proces. Det er fint at få information om vilkår for censoren Ejerskab til eget speciale Igen kommer de tilbage til at de nu tydeligt kan formulere deres kompetencer og at arbejdet med læringsmålene ligesom har åbnet noget op, der ellers har været skjult når de skal beskrive hvad de faktisk kan. Det de virkeligt godt kan lige med at arbejde med læringsmål på denne måde er at de selv kan definere hvad de skal blive bedømt på til eksamen. De kan vise frem det de selv vil. I og med at de selv stiller sine læringsmål op bliver de ikke til en spændetrøje der hindrer dem. Tværtimod oplever de at det har været en dynamisk proces. Hvis nogen anden skriver læringsmål for deres projekt kan de forstille sig at bliver noget der hindrer dem. Nu har det været et virkeligt godt værktøj til styring. 19 DTU Management & LearningLab DTU Double loop learning Hvad har de lært sig? 1) En systematisk tilgang til projektarbejdet og til deres speciale. 2) Guideline for fremtiden. 3) Deres egen læringsproces er blevet tydeligere. De synes den har fået en anden dimension og at de har fået nye tanker. 4) De kan nu formulere det de kan mere tydeligt og klart. 5) Det er super til deres CV som ikke er så langt nu når de er unge. De kan bedre beskrive nogle kompetencer de har tilegnet sig og udviklet under deres uddannelse. 6) De forstår sin uddannelse bedre. Vi kan noget! 1) Har lært sig sætte ord på det de kan. 2) Forholde sig mere åben. 3) Tvunget dem at tænke længere i projektet. 4) Tvunget dem at forholde sig til evalueringen af specialet. At artikulere egne kompetencer De oplever at de gennem arbejdet med læringsmålene har fået mulighed at sætte ord på deres kompetencer og at de nu virkelig kan beskrive det de kan. Det ser de som en virkelig stor fordel når de nu skal ud og søge arbejde. De oplever at de har udviklet kompetencer under deres uddannelse at bruge læringsmål som et værktøj. De mener at arbejdet med læringsmål også har givet dem en større forståelse for hvordan de kan bruge deres speciale når de nu snart skal ud og søge arbejde. Læringsmålene er nemme og gode at bruge når de skal beskrive hvad de kan. De har overvejet meget hvad det faktisk er de kan og synes det er rigtigt god at få det skrevet ned i punktform og at gøre det selv. Igen kommer de tilbage til at de nu tydeligt kan formulere sine kompetencer og at arbejdet med læringsmålene ligesom har åbnet op noget der ellers har været skjult når de skal beskrive hvad de faktisk kan. 20 DTU Management & LearningLab DTU Refleksion De kan med hjælp af læringsmålene mærke og se sin egen udvikling gennem projektet. Først i projektforløbet havde de fokus på små detaljer i projektet. Efter det startede de at overveje hvad de kan siden tidligere. Her kunne de mærke at de skiftede perspektiv og at de kunne se sin udvikling gennem uddannelsen. De startede at reflektere over sine kompetencer og blev mere beviste over hvad de kan. De beskriver at de oplever at deres proces i projektet og at de reflekteret mere over sin læring og blevet mere bevidste. De forstår nu også Bloom s taxonomi med udgangspunkt i deres eget arbejde med læringsmål. De synes generelt at den proces de været gennem har hævet deres kompetencer. Generelt synes de arbejdet med at stille læringsmål op har været godt til at få alt klargjort. Det har taget passende mængde med tid og været til stor hjælp i projektet. De gør den vurdering at deres arbejde med læringsmål har gjort projektet og deres viden mere reel. De har tænkt sig at bruge de refleksioner de har gjort sig i deres speciale. 10
De studerendes udbytte (5) Anbefaling af metoden De kan virkeligt godt lige arbejde på denne måde med læringsmål. De synes godt om denne måde at arbejde på og vil anbefalede at det indføres på bachelor-projektet også. Det ville gøre at det fik endnu større effekt i kandidatspecialet fordi det tog lidt tid at forstå hvordan de skulle arbejde med læringsmålene. De syntes det var lidt svært i starten at håndtere læringsmålene. Kan de gennemføre projektet med godt resultat uden læringsmål? Ja, men de tror ikke de ville være så beviste over deres arbejde og proces. De tror det havde krævet meget mere vejledning. De synes generelt at de studerende selv stiller læringsmål op er rigtigt godt i alle store projekter i uddannelserne på DTU. De synes at det har været en rigtigt god oplevelse og et godt læringsværktøj at opstille læringsmål og havde gerne set at det også blev brugt i bachelorprojektet. De havde givet en god bevidsthed over deres progression i deres uddannelse. Som opsummering vender de tilbage til folderen som de synes er særligt god og de synes den kan bruges mere generelt i uddannelsen. I deres arbejde med læringsmål på denne måde oplever de dem slet ikke som en spændetrøje. De synes de har været til stor hjælp i deres projekt og givet dem ledetråde til hvad de skulle arbejde med i forskellige faser. Læringsmålene og arbejdet med dem har været en god vejledning gennem projektet. En idé de har til forbedring er at tydeliggøre eksemplerne i forhold til Bloom s taksonomi. 21 DTU Management & LearningLab DTU Good teaching with effect on student learning Factors which have positive impact on student learning, based on an investigation by Meyer 2004: Clear structure of the teaching activities, lessons and courses Positive, learning-oriented atmosphere Clarity of the contents and of the learning objectives Dialogue with and among the students, oriented towards understanding of the topics. Frequent feedback. Variation in teaching methods as well as in how the topics are presented Individualized demands upon the students Relevant exercises or training linked to the learning objectives Clear and explicitly expressed expectations to the students Thoroughly considered learning environment L Moos, J Krejsler, K Hjort, P Fibæk Laursen, K Bønløkke Braad Evidens i uddannelse? 2006 22 DTU Management & LearningLab DTU 11
De mest centrale principper for at understøtte effektiv læring (1) De studerende får og tager ansvar selv for deres egen læring De tager ansvar for deres udvikling og deres kompetencer Projektet bliver deres De studerende er sat i centrum J Bowden & F Marton "The University of Learning" 1998 23 DTU Management & LearningLab DTU De mest centrale principper for at understøtte effektiv læring (2) De studerende får og tager ansvar selv for deres egen læring De tager ansvar for deres udvikling og deres kompetencer Projektet bliver deres De studerende er sat i centrum J Bowden & F Marton "The University of Learning" 1998 24 DTU Management & LearningLab DTU 12
5. Refleksion og diskussion Ud fra jeres erfaringer som vejledere og/eller censorer vil vi gerne diskutere formulering af læringsmål for kandidatspecialer. Hvordan formuleres læringsmålene? Hvem skal formulere dem og hvornår i kandidatspecialet? Hvilken rolle spiller læringsmålene for den studerendes læring? Hvilke styrker og svagheder kan der være ved at inddrage den studerende i at formulere læringsmål for eget speciale? De formulerede læringsmål bliver til bedømmelseskriterier, så hvordan kan man sikre en retfærdig og rimelig bedømmelse af specialet i forhold til andre specialer inden for - fagområdet, - kandidatuddannelsen, - instituttet og - på tværs af DTU s institutter? 25 DTU Management & LearningLab DTU 13