Ekstern evalueringsrapport 9/1 Niels Bohr Instituttet, Københavns Universitet Contents 1 Oversigt 1 Elektronisk kursus evaluering 1.1 svar % er................................................. 1. spørgsmål og søjlediagrammer.......................................3 gruppering af svar efter kriterier...................... beståelses % er.................................... 3 Kategorisering 3 3.1 Kurser i kategori A............................................ Evalueringsstrategi for 1/11.1 evalueringsredskaber................................ initiativer...................................................1 kurser i kategori C.......................................... første studieår.................................. 5 Figurer 5 5.1 Figur 1: svar% til elektronisk kursusevaluering over årene...................... 5 5. Figur : Eksempel på elektronisk evaluering: Astronomi...................... 5 5.3 Figur 3: Søjlediagrammer for grupper af spørgsmål....... 5 5. Figur : beståelses- gennemførelses- og deltagelses % er....................... 5 1 Oversigt Denne rapport omhandler alle skemalagte kurser udbudt i studieåret 9/1 af Niels Bohr Instituttet (NBI) ved Københavns Universitet. Rapporten er udarbejdet af et underudvalg til NBI s undervisningsudvalg (UU), med viceinstitutlederen for undervisning som formand. De essentielle konklusioner har været fremlagt for det samlede UU på mødet i September. Undervisningsudvalgets initiativer til forbedringer af undervisningen tager ofte udgangspunkt i besvarelserne af den elektroniske kursusevaluering. Et vigtigt perspektiv i udvalgets arbejde med kvalitetssikring er at undervisningen er forskningsbaseret. Det gælder på den ene side det enkelte kursus, hvor underviserne refererertilaktuelleforskningsemneroghenter eksempler frem fra deres egen forskning. Og det gælder på den andensidealmenetiltagtilforbedringafundervisningen, som støtter sig til didaktiske forskningsresultater. Parallelt hermed tager lærerstaben løbende intitiativer som forbedrer det enkelte kursus. 9/1 kan man specielt notere sig: For studieåret -Mangeprojekterpåblok3førstestudieårharhaftsigtemod aktuelle emner, blandt andet helt nye LHC data -Derergennemførtniveauopdelingafregneøvelserinogleafdestoreobligatoriskekurser,Fysik,5og. Oplægget og diskussionen af resultaterne er gennemført i samarbejde med Institut for Naturfagenes Didaktik. Niveauopdelingen motiveres af den almene didaktiske viden at en studerende ikke lærer noget ved at påhøre gennemgang af løsning af en opgave, som hun eller han ikke har tænkt lidt over i forvejen. Alt efter sin forberedelse kan de studerende fra uge til uge vælge at deltage i øvelserne på grønt, blåt eller rødt hold - angivet i rækkefølge af stigende forberedelse og overblik. Det medfører at de forberedte studerende får ekstra mulighed for at komme i dybden og bredden med problemerne, og at de knapt så velforberedte kommer i gang 1
med selvstændigt at arbejde med problemerne. Men det kan indebære en fare for blåstempling af det at møde uforberedt. -Iflereafdestoreobligatoriskekurserbenyttesvedforelæsningerne clickers, som ved svar på multiple choice spørgsmål får de studerende til på stedet i forelæsningerne at få deres faglige viden og deres fantasi i sving. Et umiddelbart feedback som viser fordelingen af svar inspirerertilatdestuderendetilismågrupper at diskuterere de forskellige løsninger. Elektronisk kursus evaluering I det akademiske år 9/1 er der gennemført systematiske elektroniske evalueringer af alle skemalagte kurser..1 svar % er Svar % en (antal svar i procent af antal holdsatte) fremgår af følgende skema Blok 1 3 svarprocent bachelor 5 5 svarprocent kandidat 3 5 Typisk responderer 5% af de holdsatte på et kursus på kursusevalueringen. Når det sammenholdes med at typisk 7% af de holdsatte følger kurserne frem til eksamen, betyder det at evalueringen får deltagelse fra cirka 5% af de aktive studerende. Studieåret 9-1 har væretførstestudieårmed Absalon tilkursusevaluering, og man kan se af figur 1, at de aktuelle svar% er følger systematikken fra de tidligere år. Man kan håbe på at det på længere sigt kan føre til en forbedring af svar % erne at evalueringen nu mere eksplicit ligger på den samme hjemmeside hvor de studerende henter oplysninger om kurser, afleverer opgaver m.m.. spørgsmål og søjlediagrammer NBI s spørgeskema indeholder 15 spørgsmål, som inkluderer Fakultetets standardspørgsmål,medekstraspørgsmål tilføjet for at opnå et mere komplet billede. Et underudvalg underundervisningsudvalgetharudarbejdet spørgsmålene, i samarbejde med Insitutlederen. Disse spørgsmål giver de studerende mulighed for direkte at bedømme undervisernes indsats, og vi finder det også nyttigtatvidehvorstorendelafdenskemalagteundervisning de studerende møder frem til. For hver undervisnings-blok udarbejdes søjlediagrammer over besvarelsernes fordeling, suppleret med karakterfordelingen. Det giver undervisningsudvalget mulighed for hurtigt at tage temperaturen på de enkelte kurser. Et typisk diagram - fra kurset Astronomi er vedhæftet denne rapport. -Figur. Desuden bedes de studerende i spørgeskemaet om at fremhæve positive og negative aspekter ved kurserne: Nævn to ting, der er positive ved kurset - gerne med kommentarer Nævn to ting, der er negative ved kurset - gerne med kommentarer Det ser vi som et fremskridt i forhold til tidligere udgaver af spørgeskemaerne,hvordestuderendeblotblev bedt om generelt at skrive kommentarer som supplement til deres svar på de mere specifikke spørgsmål. Selvom vi anser studenterevalueringerne for værdifulde, både i detaljen og som et middel til at få et generelt billede, er det vigtigt at tage visse forbehold. Der skal være plads til at eksperimentere med undervisningen, og til variation i forskellige underviseres tilgang til undervisningen. I evalueringerne ses mange eksempler på at den undervisning som inspirerer den ene studerende, slet ikke vinder genklang hos den næste. Og man kan også ind i mellem blive lidt i tvivl om vurderingen af det faglige niveau. Det er dog dog ingen tvivl om at entydigt positive eller entydigt negative evalueringer af et kursus giver klare signaler..3 gruppering af svar efter kriterier Det er vigtigt at holde øje med forskellige overordnede træk ved besvarelserne, således at man kan følge udviklingen over tid, og også sammenligne evalueringsresultater ved de forskellige institutter ved Fakultetet. Det
er vedtaget i Science Fakultetet at føre statistik over bestå e l s e s % e n i k u r s e r n e o g a t s a m m e n f a t t e s v a r e n e i grupper af spørgsmål. Disse kriterier danner også grundlag for at definere minimumskrav til de enkelte kurser. Hvis et kursus kommer under et sådant minumumskrav på et af de fire kriterier placeres det i den lave kategori C. De fire kriterier er: I Beståelsesprocent i forhold til fremmødte til eksamen II Planlægning og organisering af kurset -spm.{15, 7, } inbi sspørgeskema. III Støtte og feedback til de studerendes studieindsats på NBI -spm.{, 1, } inbi sspørgeskema. IV Oplæg til de studerendes selvstændige studium -måltudfradetfagligeniveauiforholdtildestuderendes forudsætninger, samt den studieindsats der henholdsvis kræves og ydes af de studerende - spm. {11, 1, 13} inbi sspørgeskema. Figur 3 viser de grupperede svar på de udvalgte spørgsmål fra spørgeskemaet, opdelt efter bachelorkurser og kandidatkurser.. beståelses % er Udover beståelses% en er det også af interesse at følge med ihvormangestuderendederkommergennem kurserne i forhold til antal holdsatte. Det udtrykkes samlet ved: (i) beståelsesprocenten -antalbeståedei forhold til fremmødte til eksamen, (ii) gennemførelsesprocenten -antalbeståedeiforholdtilholdsatte,(iii) deltagelsesprocenten -antalfremmødtetileksameniforholdtilholdsatte. Figur viser diagrammer over fordelingen af disse % er, for bachelor og kandidat-kurser separat. Speciel interesse knytter sig til de store obligatoriske kurser på bacheloruddannelsens første og andet år. Typiske beståelses, gennemførelses og deltagelses% er på disse kurser er %, % og %, med signifikante fluktuationer mellem kurserne. Første års kurserne har en ret høj deltagelsesprocent, omkring 9%, hvilket viser at de studerende i høj grad holder ved kurserne og gennemfører de obligatoriske øvelser, projekter eller lignende, frem til eksamen. Men ved selve eksamen har beståelsesprocenten varieret signifikant fra kursus til kursus. 3 Kategorisering Af Universitetet og Fakultetet er vi blevet bedt om at vedhæfte bogstaverne A, B og C på kurserne, udfra almene overvejelser: A: Kurset har en høj kvalitet alment, eller det indeholder interessante initiativer, som det er værd at anerkende og sprede kendskabet til, så det kan inspirere undervisere på andre kurser. C: Kurset indeholder alvorlige problemer, som bør rettes op. Det kan have med informationen til de studerende at gøre eller manglende koordinering mellem forskellige undervisningsere i kurserne. Et kursus placeres derudover i kategori C hvis det scorer lavt i forhold tilkriteriernei-ivovenfor. Specifikthvis beståelses % en kommer under 7. For disse kursers vedkommende tager NBI s Undervisningsudvalg kontakt med lærerne og planlægger forbedringer. På denne basis er NBI s UU nået frem til følgende antal kurser i de forskellige kategorier: kategori A B C antal bachelorkurser 5 7 antal kandidatkurser 3 3
3.1 Kurser i kategori A UU er nået frem til at følgende kurser får tildelt kategori A, med fremhævelse af de områder hvor de har været særligt vellykkede: Eksperimentel Røntgenfysik: underviserne, koordination teori-eksperiment Elementarpartikelfysik: underviserne, disponering af studiearbejde Fysik 1: forelæsningerne, disponering af studiearbejde Fysik : underviserne, disponering af studiearbejde Fysik : underviserne, vellykkede laboratorieøvelser Kvanteinformation: engageret undervisning på højt plan, inddragelse af aktuel litteratur Matematik F: engageret undervisning, disponering af studiearbejde Videregående kosmologi: engageret undervisning på højt plan, inddragelse af aktuelle data, god struktur og disponering af studeiarbejde. Evalueringsstrategi for 1/11.1 evalueringsredskaber Undervisningsadministrationen ved NBI vil fortsætte med påmindelser til lærere og studerende ved igangsæt - ningen af den elektroniske kursusevaluering i hver blok, og hen mod sidste frist for svar. UU vil forsøge at inddrage specialer og bachelorprojekter i den elektroniske kursusevaluering. passende ske i samarbejde med Fakultetets andre institutter. Det kunne UU vil nedsætte et udvalg, som forbereder evalueringsredskaber, som NBI endnu ikke har taget i brug - peer review og fokus gruppe interviews.. initiativer..1 kurser i kategori C For hvert kursus rettes en henvendelse, hvor den kursusansvarlige lærer bliver bedt om at udarbejde en plan for forbedring af kurset, med specifikke angivelser af hvilke initiativer skal der tages. Derefter er der en løbende kontakt mellem UU og de kursusansvarlige lærere om implementeringen af disse initiativer... første studieår IetPhDprojektundersøgesstudiestarten-hvordanvoresstuderende kommer i gang med at studere, og hvordan deres forudsætninger, studieadfærd og studieindsats korrelerer med studieresultaterne. Målet vil være at kortlægge de væsentligste forudsætninger for en vellykket studiestart.
5 Figurer 5.1 Figur 1: svar% til elektronisk kursusevaluering over årene Antal svar i forhold til antal holdsatte er vist for alle år fra indførelsen af blok-kurser. 5. Figur : Eksempel på elektronisk evaluering: Astronomi Figuren viser spørgsmålene og deres rækkefølge på NBI s skema til elektronisk kursusevaluering. Svarene for Astronomi er vist som søjlediagram. 5.3 Figur 3: Søjlediagrammer for grupper af spørgsmål Figuren viser den overordnede opdeling af svar på kursusevaluering, grupperet efter: Venstre kolonne: Planlægning og organisering af kurset -spm. {15, 7, } inbi sspørgeskema.-positivbedømmelsefradestuderendes side er søjlen længst til venstre. Midterste kolonne: Støtte og feedback til de studerendes studieindsats på NBI -spm. {, 1, } inbi sspørgeskema. -Positiv bedømmelse fra de studerendes side er søjlen længst til venstre. Højre kolonne: Oplæg til de studerendes selvstændige studium -måltudfradetfagligeniveauiforholdtildestuderendesforudsætninger, samt den studieindsats der henholdsvis kræves og ydesafdestuderende-spm. {11, 1, 13} inbi s spørgeskema. - Positiv bedømmelse fra de studerendes side er søjlenimidten. 5. Figur : beståelses- gennemførelses- og deltagelses % er Med fed streg er for hvert diagram angivet medianen, og boksens afgrænsning er 5% og 75% fraktiler. De stilpede error bars går ud til ekstremerne. Da der er cirka 9kurserihvertdatasætfremkommerderretstore fluktuationer. 5
7 Svar % ved NBI s elektroniske kursusevaluering 5 alle bachelor % 3 kandidat 1 5 7 9 1 NBI september 1
Astronomi, Blok, 9 Svar: 1 af ( %), Bestået: af 3 ( %) 1. Jeg oplever at kurset er relevant i forhold til mine mål med uddannelsen.. Jeg mener at kursets undervisningsmateriale er klart, forståeligt og inspirerende. 3. Jeg mener at formidlingen til forelæsningerne er klar, forståelig og inspirerende.. Jeg mener at formidlingen til regneøvelser er klar, forståelig og inspirerende 1 1 1 1 5. Jeg mener, at kursets laboratorieøvelser er inspirerende og giver mig relevante kompetencer. Jeg mener at den praktiske afvikling af kurset fungerer godt. 7. Jeg oplever en god sammenhæng mellem de forskellige elementer, der indgår i kurset. Jeg har fået tilstrækkelig feedback på mine spørgsmål, afleveringer, rapporter m.m. 9. Af de skemalagte forelæsninger til kurset har jeg deltaget i: 1. Af de skemalagte klassetimer og/eller regneøvelsestimer til kurset har jeg deltaget i: 11. I forhold til mine egne forudsætninger oplever jeg, at kursets faglige niveau er: 1. Jeg har i gennemsnit haft en arbejdsindsats på dette kursus om ugen på: 15 1 % % % % 1% % % % % 1% 5 Alt for lavt For lavt For højt Alt for højt < 1 t 1 15 t 15 t 5 t > 5 t 13. Jeg oplever, at den mængde studiearbejde, der kræves for at opfylde kursets målsætning er 1. Jeg har fået et stort fagligt udbytte af kurset 15. Jeg oplever god overensstem melse mellem undervisningen og kompetencemålene for kurset Karakterfordeling 15 1 5 Alt for lille For lille For stor Alt for stor 1 1 1 1 ub 3 7 1 1
Samlede besvarelser i Blok 1, 9 1 for De Fysiske Fag Bachelor sp. {1,3,} Bachelor sp. {,,5} Bachelor sp. {7,,9} 15 15 1 1 1 5 5 5 Alt for lavt For lavt For højt Alt for højt Kandidat sp. {1,3,} Kandidat sp. {,,5} Kandidat sp. {7,,9} 5 5 3 3 1 1 Alt for lavt For lavt For højt Alt for højt Samlet sp. {1,3,} Samlet sp. {,,5} Samlet sp. {7,,9} 15 15 15 1 1 1 5 5 5 Alt for lavt For lavt For højt Alt for højt
De Fysiske fag, blok 1 år 9/1 Beståelsesprocent Bachelor blok 1 Gennemførelsesprocent Bachelor blok 1 Deltagelsesprocent Bachelor blok 1 1 1 1 B1 B B3 B B1 B B3 B B1 B B3 B Beståelsesprocent Kandidat blok 1 Gennemførelsesprocent Kandidat blok 1 Deltagelsesprocent Kandidat blok 1 1 1 1 B1 B B3 B B1 B B3 B B1 B B3 B