K Ø B E N H A V N S U N I V E R S I T ET E V A L U E R I N G S R A P P O R T 2 0 1 2 13. JANUAR 2014 Vedr.: Sagsbehandler: Evaluering af undervisningen på bachelor- og kandidatuddannelsen i informationsvidenskab og kulturformidling i Aalborg og København, 2012 Den Pædagogiske Enhed Procedure for undervisningsevaluering Undervisningen på Det Informationsvidenskabelige Akademi (IVA) evalueres hvert semester. Midtvejs i et undervisningsforløb foretages en mundtlig (eller skriftlig) midtvejsevaluering på hvert enkelt hold eller kursus. Sidst i et undervisningsforløb foretages en skriftlig slutevaluering på hvert hold, som følges op af en afsluttende mundtlig evaluering. Begge evalueringer skemalægges. Resultatet af slutevalueringen drøftes med studerende samt med kolleger i de relevante team. Efter hvert semester laver hvert underviserteam for et givent semester på bachelor- og kandidatuddannelsen en kort skriftlig opsamling på evalueringen af det konkrete semester. Drøftelsen og den efterfølgende opsamling skal forholde sig til 6 gennemgående evalueringsdimensioner: 1. Læringsmålenes klarhed og relevans 2. Hensigtsmæssigheden i undervisningsforløbenes organisering og gennemførelse 3. Pensums/litteraturens relevans og anvendelighed som undervisningsgrundlag 4. De valgte undervisningsformers og aktiviteters hensigtsmæssighed og praktisering. 5. Omfang og kvaliteten af de studerendes læringsindsats 6. Deltagernes udbytte alt i alt af deltagelsen i undervisningsforløbet Teamets opsamling skal konkret svare på følgende spørgsmål: Hvad er gået godt (eller særlig godt) på et modul eller på tværs af moduler? Hvad skal der arbejdes videre med af positive eller negative erfaringer?
Hvad er absolut nødvendigt at få ændret? Præcisér gerne fra hvilke(t) niveau(-er): på fag, i team, uddannelsesledelse? Hvilke erfaringer (positive/negative) kan viderebringes mhp. at understøtte et godt undervisningsforløb generelt? SIDE 2 AF 7 Opsamlingen videreformidles til studienævn og uddannelsesledelse til videre behandling og opfølgning. Rapporten er baseret på data indsamlet i forår og efterår 2012. Til indsamling af de studerendes evalueringer er anvendt elektroniske spørgeskemaer som er genereret i itslearning. Underviserne har anvendt enten et kvantitativt eller kvalitativt spørgeskema, men fælles for skemaerne har været de ovenfor beskrevne evalueringsområder. I rapporten fremgår også et aggregeret nøgletal for de studerendes udsagn om den generelle tilfredshed med undervisningen jf. den 6. evalueringsdimension. Den generelle tilfredshed på kurserne fremgår af Bilag 1. Forår 2012 Generelt om evalueringerne og evalueringsprocessen Evalueringsordningen med ny politik og procedure for evaluering, herunder de særlige skemaer for midtvejs- og slutevalueringer, blev implementeret i foråret 2012. Resultatet af midtvejsevalueringer på de enkelte moduler og hold blev drøftet i de enkelte underviserteams. Resultatet af de skriftlige slutevalueringer på moduler og hold blev først drøftet med de studerende på holdene og dernæst i de enkelte underviserteams. Underviserne har oplyst nøgletallet for de studerendes oplevede udbytte af undervisningen til studieledelsen. Nøgletallene er herefter blevet ført til den fælles statistik, som fremgår af Bilag 1. Under det første gennemløb af den nye evalueringsprocedure og -form blev der identificeret en række tekniske og formidlingsmæssige problemer. Det førte til flere justeringer mhp. næste evalueringsrunde: Forenkling af evalueringsskemaer med mulighed for fleksibel tilpasning af spørgsmålene afhængig af modulers konkrete læringsmål og/eller anvendte undervisningsformer. Fjernelse af en ekstra dimension i spørgeskemaerne der vedrørte eksamensformen (da det på evalueringstidspunktet ikke er muligt at evaluere på eksamen). Denne dimension vil blive evalueret i en anden form. Den konkrete løsning vedtages i samråd med SN i forbindelse med efterårets undervisningsevaluering.
Udarbejdelse af et skema til opsamling i de enkelte underviserteams der i højere grad sikrer ensartet tilbagemelding til studieledelse og SN. SIDE 3 AF 7 Justering af de elektroniske evalueringsskemaer i itslearning, herunder grundig instruktion til alle undervisere. Specifikke forhold Undervisernes konkrete kommentarer til de studerendes besvarelser viser, at den fælles opsamling i teams har bidraget til at synliggøre specifikke positive og negative forhold. I det følgende er disse forhold beskrevet på et generelt niveau. Positive erfaringer De skriftlige opsamlinger fra de enkelte underviserteams gør det muligt at tegne et generelt billede af hvilke elementer i undervisningen, der har været oplevet som positive og udbytterige for de studerendes læreproces. Opsummeringen af disse elementer kan også tjene som anbefaling til fortsat udvikling af undervisningen. Variation i undervisningsformen (fx forholdet mellem gruppearbejde og undervisning) Bevidsthed om anden underviserrolle (vejleder) i forbindelse med at give de studerende ansvar for at lægge kursusmateriale på itslearning og på egen hånd, stå for forberedelse og tilrettelæggelse af lektioner. Tydelig forventningsafstemning og formidling af relationen mellem læringsmål og eksamensform. Grundige læsevejledninger Samarbejde mellem undervisere kan styrke tilrettelæggelsen af udadvendte aktiviteter med studerende uden for IVA, samt udsendelsen af studerende på selvstændige opgaver uden for IVA. Give projektarbejdet tilstrækkelig plads på semesteret ved at stille krav om og tilrettelægge projektarbejde-aktiviteter og vejledning tidligt i semesteret. Portfolio-eksamen er god til at understøtte undervisning om internettet (NetKultur).
Negative erfaringer De skriftlige opsamlinger fra de enkelte underviserteams beskriver elementer i undervisningen, der har været oplevet som uhensigtsmæssige for de studerendes læreproces. Opsummeringen af disse elementer peger på, hvad der skal arbejdes videre med i undervisningen SIDE 4 AF 7 Undervisningsforløbenes organisering Af konkrete kritiske forhold foreslår undervisere på modulet Videnskabsteori og metode, at teorien knyttes tættere til projektforløbet. Tværgående analyser På 2. semester tilkendegiver underviserne, at det er vanskeligt for de studerende at arbejde analytisk på tværs af informationsvidenskab og kulturformidling. Det skinner igennem i deres opgaver, hvor der er tendens til at opgaver har fokus på enten informationsvidenskab eller kulturformidling. Samlet bedømmelse ved portfolio-eksamen Delafleveringer i mundtlig form i forbindelse med portfolio-eksamen har været vanskelige i forhold til at give en samlet bedømmelse (6. semester). Sammenhæng mellem læringsmål og prøveform Det er en generel opfattelse hos underviserne, at de studerende kan have vanskeligt ved at se og forstå sammenhængen mellem læringsmålene på et givent modul og den valgte eksamensform. Deltagernes udbytte alt i alt af undervisningsforløbet Tilskyndelsen til og forpligtelsen på at deltage i og forberede sig til samtlige undervisningsgange synes at være kritisk lav på de første semestre. I foråret etablerede uddannelseschefen et udvalg med det formål at belyse deltagelse og frafald på bacheloruddannelsen. En række initiativer er blevet formuleret med henblik på at styrke studiemiljø og understøtte deltagelsen i undervisningen. Initiativerne er blevet behandlet i studienævnet. I samarbejde med Studievejledningen har uddannelsesledelsen drøftet implementering af opfølgende studiesamtaler med studerende, der udviser lav deltagelse i undervisningen. Nøgletal Opsamlingen på de studerendes samlede udbytte af undervisningen i forårssemestret 2012 er baseret på indberetningen af nøgletal fra 26 ud af 59 hold på både IVA Øst og IVA Vest. På 21 hold er gennemsnitsresultatet Udbytterigt, mens resultatet på 3 hold har været Meget Udbytterigt, og på et enkelt hold Hverken, eller. Se detaljeret oversigt over modulernes evaluering i Bilag 1.
EFTERÅR 2012 SIDE 5 AF 7 Generelt om evalueringerne og evalueringsprocessen Opsamlingerne fra de enkelte underviserteams er meget forskelligartede, trods skabelon. Nogle er næsten for kortfattede andre udtrykker i højere grad underviserteamets holdninger, end en egentlig evaluering med afsæt i den gennemførte slutevaluering. Spørgsmålet om læringsmålenes klarhed og relevans i det kvantitative evalueringsskema bør også indarbejdes i det kvalitative evalueringsskema. Beregning af svarprocenten via itslearning skal kvalificeres teknisk inden næste evalueringsrunde, så den kun beregnes på baggrund af antal studerende på et givent kursus, og ikke alle der er oprettet som brugere af kurset, herunder også administrativt personale. Angående belysning af kritiske forhold generelt. Studienævnet har drøftet hvordan der kan ske en fyldestgørende belysning af målene for evaluering af IVAs undervisning: Understøtte institutionens ønske om at sikre, fremme og formidle kvaliteten af IVAs uddannelse og undervisning Understøtte brugen af evaluering som pædagogisk redskab i udvikling af undervisning og til fremme af de studerendes læringsudbytte Studienævnet ønsker mere viden om effekten af undervisningen for at kunne vurdere kvaliteten af undervisningen og sammenholde det med evalueringsresultaterne. I den sammenhæng ønsker studienævnet, at der fremover tages højde for følgende forhold som kan have effekt på undervisningskvaliteten: Kan det fx påvises at de studerende ikke består deres eksaminer? Kan de ikke følge undervisningens teoretiske niveau? Specifikke forhold Undervisernes konkrete kommentarer til de studerendes besvarelser viser, at den fælles opsamling i teams har bidraget til at synliggøre specifikke positive og negative forhold. I det følgende gennemgås studienævnets opsamling på semesterevalueringerne på hhv. bachelor- og kandidatuddannelsen. Bacheloruddannelsen 1. semester Studienævnet mener, at arbejdstid / arbejdsindsats på 1. semester må være et opmærksomhedspunkt. Mange studerende beskriver deres arbejdsindsats som tilfredsstillende, med en arbejdstid, som underviserne finder al for beskeden.
I Aalborg efterlyser de studerende en bedre sammenhæng mellem de tre moduler på 1. semester. Det bør der følges op på. SIDE 6 AF 7 Der skal arbejdes videre med koordineringen af opgavernes afleveringstidspunkter hen over semesteret og den endelige eksamen. Både studerende og undervisere oplever sammenfald og at undervisningen påvirkes i andre fag, fx når der er portfolio-aflevering. Generelt er de studerende glade for studiegrupperne, men efterlyser, at de bliver brugt aktivt af alle undervisere. Grupperne må ikke være for store, det hæmmer muligheden for at mødes. Der er utilfredshed over det tvungne skift ved efterårsferien. De studerende i studienævnet foreslog at inddrage et par studenterrepræsentanter fra hvert hold til sammensætningen af nye grupper. 3. semester Der er ikke mange besvarelser i København. Besvarelserne tyder imidlertid på, at der mangler feedback / tid til at afrunde den afsluttende portfolio-aflevering i Bibliotek og samfund. Studienævnet kunne ikke læse ud af besvarelserne, om problemet skyldtes manglende koordinering, dvs. at der havde været for mange opgaver, der skulle afleveres på samme tid, eller om det skyldtes uklare krav og manglende feedback. Det bør undersøges nærmere. Baseret på kommentarer til modulet Bibliotek og samfund, mente studienævnet det ville være relevant med en generel diskussion af biblioteket som fremtidig referenceramme for modulet. Det fremgår at de studerendes opfattelse af egen arbejdsindsats står i stærk modsætning til undervisernes opfattelse af samme. Størstedelen af de studerende, der har besvaret skemaerne, mener, at deres arbejdsindsats er passende (mindre end 30 timer om ugen). Nogle undervisere henviser til, at ét ECTS svarer til en studenterindsats på ca. 26 arbejdstimer. Det er en problematik, der bør arbejdes videre med på alle årgange. 5. semester På dette semester giver de studerende selv udtryk for, at de kunne være mere aktive; dog med den modifikation at de oplever egen indsats tilfredsstillende, mens deres medstuderende burde have været mere aktive. De studerende i studienævnet peger på brugen af differentierede prøveformer, herunder prøveformer der fordrer aktiv undervisningsdeltagelse som en mulighed for at få flere studerende til at deltage i undervisningen. Teamet i København ønsker en debat af feedback som vejledningsform. I København er der endvidere peget på, at de studerendes forståelse af modulet Vidensstyring er præget af store forskelle. Der bør arbejdes med at skabe en bedre
sammenhæng i faget, samt at få formidlet faget som relevant for kulturfagene og i sammenhæng med kulturinstitutioner. SIDE 7 AF 7 Der bør følges op på brugen af studiegrupper gennem studiet. Kandidatuddannelsen Det bemærkes at der er stor forskel på omfanget af kommentarer fra Aalborg og København (flest fra Aalborg). Det er vigtigt at få fulgt op på og sikre, at itslearning er tilgængelig for alle studerende tidligt og ikke kun 5 dage før studiestart. Det bør drøftes hvor tidligt det er muligt og ønskeligt. Vedrørende semesterevalueringen fra København ønskede studienævnet at få uddybet kommentarerne vedr. de studerendes studieegnethed; som det fremstår i opsamlingen fra underviserteamet forekommer udsagnet at basere sig på en subjektiv vurdering fra teamet. Hvis det er kristik at få ændret, må der en anden form for dokumentation og belæg til.
Bilag 1: De studerendes generelle udbytte af undervisningen 2012 Semester Kursus Tilmeldte 5* 4* 3* 2* 1* Median Svarpr. (%) KA, konst. Knowledge Organization Systems and Processes 17 2 3 Hverken eller 29 KA, konst. Kommunikation 20 0 KA, konst. Kommunikation 17 0 KA, konst. Vidensmedier i kultur og samfund 19 2 5 Udbytterigt 26 KA, konst. Informationsadfærd og systemdesign i organisationer 6 0 KA, konst. Aa., Videns- og oplevelsessamfundets.. 25 2 9 5 Udbytterigt 64 KA, frit BobCatsss 8/18 2 10 1 3 Udbytterigt 89 KA, frit Citation Analysis an Research Evaluation 17 0 KA, frit Ekspressiv Kulturformidling 5 2 3 Udbytterigt 100 KA, frit Interaction design 22 0 KA, frit Kulturel velfærd 11 0 KA, frit Strategisk Kommunikation i kulturformidlingen 17 0 KA, frit Info. kompetenceog undervisning på danske forskningsbib. 4 2 Meget udbytterigt 50 KA, frit praksisforskning og vidensskabelse 633 1 1 Udbytterigt 33 KA, frit Kulturarv: digitalisering 14 0 BA, 6. sem. Digitale bibliioteker og web 2.0 3 0 Netkultur 27 1 10 8 1 Udbytterigt 70 Litteraturens steder, medier og paratekster 15 6 4 Udbytterigt 40 Organisationskultur og info. Kultur 20 0 Bobcatsss 10/18 Se u. kand. Web Content Management i organisationer 21 4 5 Udbytterigt 43 Informationsvidenskabens teorier og metoder 5 0 BA, 4. sem. Videnskabsteori, hold 4 30 3 11 5 4 1 Udbytterigt 80 Videnskabsteori, hold 1 21 7 2 1 Udbytterigt 48 Videnskabsteori, hold 2 13 1 6 Udbytterigt 54 Videnskabsteori, hold 3 22 1 6 7 Udbytterigt 64 Videnskabsteori, hold 5 30 1 10 8 Udbytterigt 64 Videnskabsteori, hold Aa. 40 0 Bibliometri 20 3 6 1 Udbytterigt 45 Brugerinddragelse? Formidlingsprocesser 18 0 Bypolitik, kulturplanlægning 7 0 Børnekultur og børns kultur?... 13 0 E-materialernes læringspotentiale 15 0 Digitale bibliioteker 23 3 4 4 1 Udbytterigt 52 Kultur som forbrug og formidling 1 29 0 Kultur som forbrug og formidling 2 27 0 BA 2. sem. Det 21. århundredes informations og kulturformidlere 18 2 3 Udbytterigt 28 Litteratur, æstetisk viden og formidling 18 3 6 1 Udbytterigt 56 Computerspilanalyse 14 8 2 Meget udbytterigt 71 Formidling af faglig viden? Om at forstå 8 1 1 Udbytterigt 25 Aa., IAS 1 20 1 1 Udbytterigt 10 Aa., IAS 2 22 0 Kbh. IAS 1 21 0 Kbh. IAS 2 13 0 Kbh. IAS 3 22 0 Kbh. IAS 4 30 0 Kbh. IAS 5 30 0 business intelligence 19 0 strategisk kommunikation og formidling 1 18 0 strategisk kommunikation og formidling 2 19 0 Vidensformidlende institutioner 14 0 Visuel kommunikation og kultur- 1 18 0 Visuel kommunikation og kultur- 2 19 0 BA 1. sem. Vidensformer, 3 kbh 12 5 5 1 Udbytterigt 91 Vidensformer, 4 kbh 17 6 4 Meget udbytterigt 59 *5. Meget udbytterigt; 4. Udbytterigt; 3. Hverken eller; 2. Mindre udbytterigt; 1. Slet ikke udbytterigt