TEK ha ndbog for evaluering af undervisningsaktiviteter Det Tekniske Fakultet, Syddansk Universitet Alle undervisningsaktiviteter på Det Tekniske Fakultet (TEK) evalueres løbende. De primære formål bag evaluering af undervisning er forventningsafstemning, udvikling og monitorering (i relation til opdateret beslutningsgrundlag for relevante aktører omkring undervisningen). Endvidere skal evalueringen af undervisningsaktiviteter sikrer og understøtte en kontinuerlig og konstruktiv kvalitetsfokuseret dialog mellem studerende, undervisere, administration og ledelse i relation til at sikrer, det bedst mulige undervisningsmiljø. Evaluering af undervisningsaktiviteter på TEK sker med udgangspunkt i fakultetets pædagogiske model Den Syddanske Model for Ingeniøruddannelser (DSMI), Syddansk Universitets kvalitetspolitik (standard 6.3.2) og universitetets principper for undervisningsevalueringer samt Universitetsloven 8a, stk. 3 samt 18, stk. 4 og Lov om gennemsigtighed 2. Alle undervisningsaktiviteter på fakultetet evalueres som beskrevet i denne håndbog, hvor der anvendes både kvalitative og kvantitative metoder. Systemet for evaluering af undervisningsaktiviteter på TEK Genstandsfelt og organisatorisk forankring På Det Tekniske Fakultet evalueres alle undervisningsaktiviteter, hvor der er tilknyttet en underviser (gæsteforelæsere og DVIP med under tre undervisningslektioner undtaget). Et fag med èn underviser evalueres således en gang. Et fag bestående af flere fagligheder med flere undervisere tilknyttet evalueres en gang for hver tilknyttet underviser. Derudover evalueres første til fjerde semester på alle diplomingeniør- og civilingeniør (bachelordel) uddannelser. Ansvarlig for evalueringen af undervisningen påhviler den enkelte underviser og semesterkoordinator. En uddannelses uddannelsesadministrator er overfor uddannelsens uddannelsesudvalg ansvarlig for evalueringen af uddannelsens undervisningsaktiviteter med udgangspunkt i fakultetets håndbog for evaluering af undervisningsaktiviteter. 1
Fakultetets uddannelseskvalitetsgruppe (TEK KVAL) er over for fakultetets ansvarlig for, at opsummeringer af de enkelte uddannelsers undervisningsevalueringer drøftes dels i fakultetets studienævn samt ved hver uddannelses årlige statusmøde. Overordnet ansvarlig for undervisningsevalueringer og uddannelsens kvalitet på fakultetet er uddannelsesdirektøren. Overblik over evalueringssystemet for undervisningsevalueringer på TEK Systemet for kontinuerlig evaluering af undervisningsaktiviteter på Det Tekniske Fakultet ses herunder: Formål Navn Metode Sekundære formål Tidspunkt Forventningsafstemning Midtvejsevaluering for undervisningsaktiviteter (gælder ikke for semestre) Kvalitativ med udgangspunkt i TEKs evalueringshåndbog Udvikling Talerør for studerende Studerendes refleksion over egen indsats En tredjedel gennem undervisningsforløbet Monitorering Fagevaluering Semester-evaluering (1. 4- semester) Kvantitativ med udgangspunkt i TEKs evalueringshåndbog Kvantitativ med udgangspunkt i TEKs evalueringshåndbog Studerendes refleksion over egen indsats Grundlag for slutevalueringen Grundlag for slutevalueringen Valgfrit hvis intet vælges så 15. november / 5. maj Valgfrit hvis intet vælges så 15. november / 5. maj Udvikling Slutevaluering for undervisningsaktiviteter Kvalitativ med udgangspunkt i TEKs evalueringshåndbog Studerendes refleksion over egen indsats Sidste undervisningsgang Slutevaluering for semester (1. 4- semester) Kvalitativ med udgangspunkt i TEKs evalueringshåndbog Studerendes refleksion over egen indsats Sidst i semesteret De enkelte dele af systemet for evaluering af undervisningsaktiviteter beskrives nærmere i denne håndbog. 2
Opfølgning på systemet for evaluering af undervisningsaktiviteter Systemet for evaluering af undervisningsaktiviteter på TEK er forankret i både uddannelsernes ledelsesstruktur og i fakultetets system for uddannelseskvalitet. Hensigten er dels at skabe et enkelt og overskueligt overblik for de forskellige ledelsesniveauer (uddannelse, sektion / institut og fakultet); dels at understøtte et decentralt ansvar, der samtidig retter ledelsesniveauers opmærksomhed mod relevante udviklingsmuligheder. De kvantitative fag- og semesterevalueringer opsummeres digitalt for hver uddannelse og tilknyttes nøgleindikatorer, der retter fokus mod de evalueringer, der viser behov for opfølgning. Data forelægges for uddannelsesudvalg, studienævn og til uddannelsens statusmøde. De kvalitative slutevalueringer opsummeres (og samkøres med de kvantitative evalueringer) af uddannelsesadministrator (og evt. uddannelseskoordinator) ud fra fastlagt skabelon (bilag 1). Opsummeringen forelægges de relevante uddannelsesudvalg (herunder uddannelseskoordinator) og studienævnet. Opsummeringen kan også efter behov indgå i en uddannelses statusmøde. Evaluering Output Opfølgning Midtvejsevaluering (kvalitativ) Referat Internt på holdet Slutevalueringer (kvalitative for både semester (1-4) samt fagligheder) Referat Opsummeres uddannelsesvis af UA er UUV Studienævn (Evt. statusmødet) Fagevalueringer (kvantitative) Data og nøgletalsindikatorer UUV Studienævn Statusmødet Semesterevalueringer (1.- 4.) (kvantitative) Data og nøgletalsindikatorer UUV Studienævn Statusmødet 3
Offentliggørelse af evalueringsresultaterne Det Tekniske Fakultet offentliggør resultaterne af undervisningsevalueringerne for at skabe gennemsigtighed og synlighed i relation til arbejdet med uddannelseskvalitet. Data fra de kvantitative fag- og semesterevalueringer offentliggøres på fag- og semesterniveau fakultetets hjemmeside. Titler på undervisningsaktiviteten samt svarprocent offentliggøres navne på undervisere offentliggøres ikke idet det ikke er underviseren, men undervisningen der evalueres. Eventuelle kommentarer offentliggøres ikke. Endvidere sker offentliggørelse kun såfremt evalueringen indeholder minimum fem besvarelser. Opsummeringerne på de kvalitative slutevalueringer (på uddannelsesniveau) offentliggøres til studerende og ansatte via BlackBoard. Opsummeringerne kan endvidere udleveres ved henvendelse til en uddannelses uddannelsesadministrator. Kvantitative fagevalueringer Hver undervisningsaktivitet på Det Tekniske Fakultet evalueres kvantitativt. En undervisningsaktivitet defineres som en aktivitet, hvor der er en underviser tilknyttet og som forløber over minimum tre undervisningslektioner (af 45 min.). Formålet med evalueringen er primært at afdække de studerendes oplevelser i forhold til ledelsesinformation; sekundært at kunne danne afsæt for den kvalitative slutevaluering. Evalueringen foregår digitalt gennem systemet TEK.UE. Nedenstående spørgsmål udsendes henholdsvis 10. november (evaluering af efterårets undervisningsaktiviteter) og 5. maj (evaluering af forårets undervisningsaktiviteter) medmindre andre udsendelsesdatoer vælges af uddannelsesadministratoren: Fagevaluering Uddannelse: [indsæt] Kursets titel: [indsæt] Jeg har i gennemsnit forberedt mig [tekstfelt] timer pr. undervisningsblok Mit faglige udbytte har været så højt, at jeg kan anbefale faget til andre Enig (4 point) Delvis enig (3 point) Delvis uenig (2 point) Uenig (1 point) Fagets titel og underviser [indsæt] [indsæt] Uddyb gerne din vurdering [kontekstafhængigt tekstfelt, hvor spørgsmålsformuleringen variere alt efter besvarelsen af spørgsmål 2] Har du mere pænt at sige? Hvad har fungeret godt og hvad kan forbedres? Hvad kan forbedres og hvad har fungeret godt? Hvorfor har faget ikke fungeret godt for dig? Underviseren får adgang til evalueringsresultatet for dennes faglighed gennem TEK.UE. 4
Resultatet fra fagevalueringerne samles uddannelses- og fakultetsvis. I den forbindelse tilknyttes nedenstående nøgleindikatorer: Point Indikator Konsekvens 1 1,99 2 2, 74 Faget drøftes i uddannelsesudvalg og til uddannelsens statusmøde Faget drøftes i uddannelsesudvalg. Ved gul indikatorer tre evalueringsperioder i træk drøftes faget til uddannelsens statusmøde 2,75 4 Ingen konsekvens Evalueringens spørgsmål et og to offentliggøres på fakultetets hjemmeside. Kommentarer samt nøgleindikatorer offentliggøres ikke. Kvantitative semesterevalueringer Første til fjerde semester på alle diplom- og civilingeniør (bachelordel) uddannelser på Det Tekniske Fakultet evalueres kvantitativt. Formålet med evalueringen er primært at afdække de studerende oplevelser med semesteret i forhold til ledelsesinformation; sekundært at kunne danne afsæt for den kvalitative slutevaluering af semesteret. Evalueringen sker digitalt gennem systemet TEK.UE. Nedenstående spørgsmål udsendes henholdsvis 10. november (evaluering af efterårets undervisningsaktiviteter) og 5. maj (evaluering af forårets undervisningsaktiviteter): Semesterevaluering 1-4 semester Min uddannelse er: Mit semester er: [DropDown menu med alle TEKs uddannelser] [DropDown menu med 1. 4. semester] Jeg har udviklet mig fagligt i løbet af semesteret (indgår i nøgleindikator) Nedenstående aktiviteter har udviklet mig fagligt i løbet af semesteret: Enig (4 point) Delvis enig (3 point) Delvis uenig (2 point) Uenig (1 point) Ikke relevant Projektarbejdet Faglige diskussioner med medstuderende Faglige diskussioner med undervisere 5
Undervisning af medstuderende Praktiske øvelser og forsøg Andet: [Fritekstfelt] Når jeg reflekterer over min egen indsats så har jeg: Været aktiv i undervisningen Deltaget aktivt i projektgruppearbejdet Forberedt mig forud for undervisningen Forberedt mig forud for projektgruppearbejdet Jeg har modtaget tilstrækkelig praktisk information om semesterets aktiviteter? Jeg er blevet fagligt udfordret i løbet af semesteret (indgår i nøgleindikator) Den anvendte litteratur har understøttet min læring Semesterprojektet har inddraget semesterets fag Jeg modtog den forventede vejledning til semesterprojektet Har du noget du vil fremhæve positivt? [Fritekstfelt] Har du forslag til forbedringer? [Fritekstfelt] Semesterevalueringen samles med de kvantitative fagevalueringer i et spørgeskema. Underviseren får adgang til evalueringsresultatet for dennes faglighed gennem TEK.UE. Resultatet fra semesterevalueringens to første fagrelaterede spørgsmål samles uddannelses- og fakultetsvis. I den forbindelse tilknyttes nedenstående nøgleindikatorer: Point Indikator Konsekvens 1 1,99 2 2, 74 Faget drøftes i uddannelsesudvalg og til uddannelsens statusmøde Faget drøftes i uddannelsesudvalg. Ved gul indikatorer tre evalueringsperioder i træk drøftes faget til uddannelsens statusmøde 2,75 4 Ingen konsekvens 6
Evalueringens spørgsmål offentliggøres på fakultetets hjemmeside. Kommentarer samt nøgleindikatorer offentliggøres ikke. Kvalitative midtvejs- og slutevalueringer Hver undervisningsaktivitet samt semester 1 4 på alle diplom- og civilingeniør (bachelordel) uddannelser evalueres kvalitativt. For hvert fag foregår der en midtvejsevaluering cirka en tredjedel gennem undervisningsforløbet; for både fag og semester (1. 4. semester) gennemføres endvidere en kvalitativ slutevaluering ved aktivitetens slutning. Det er undervisers ansvar at midtvejs- og slutevaluering sker og der skal afsættes undervisningstid til begge evalueringer. Aktiviteten skal i begge tilfælde dokumenteres af et referat udført af en af de tilstedeværende studerende. Der er ingen formkrav til referatet udover at dato og titel på aktivitet skal fremgå. Referatet sendes digitalt til uddannelsens uddannelsesadministrator, som opsummerer alle kvalitative slutevalueringer i en uddannelsesrapport. Der er delvis metodefrihed i forhold til de kvalitative midtvejs- og slutevalueringer dog må kvantitative metoder (spørgeskemaer) ikke anvendes! Med udgangspunkt i undervisningsformen (DSMI) samt den pædagogiske forskning i relation til kvalitative undervisningsevalueringer anbefaler fakultetet, at en eller flere af nedenstående metoder anvendes. Delphi metoden Fordele: Hver studerende (eller udvalgte studerende) noterer tre gode ting og tre ting, der bør forbedres på et stykke papir. Papirerne cirkulerer derefter mellem cirka 20. studerende, der sætter kryds ud for de ting, som de er enige i. Med udgangspunkt i de studerendes angivelser drøftes undervisningen i plenum. Mindre hold på op til 40 studerende Studerende sætter dagsordenen og alle kommer til orde Underviser får ikke nødvendigvis feedback på det ønskede Interview metoden Studerende sættes sammen parvis. Den ene studerende interviewer den anden i forhold til gode og dårlige oplevelser i løbet af undervisningen. Intervieweren opsummerer interviewet enten mundtligt (ved små hold) eller i form af en væg avis, hvor post it med opsummeringen hænges op. Underviser og studerende reflekterer efterfølgende i plenum. Mindre hold på op til 40 studerende 7
Fordele: Refleksiv gevinst i interview metoden Potentielt tidskrævende Post It metoden Fordele: Der anvendes to farver post it en for gode ting og en for ting der kan forbedres. Hver studerende får tre af hver og de samles efterfølgende på tavlen og danner udgangspunkt for en diskussion i plenum. Mindre hold på op til 40 studerende Studerende sætter dagsordenen, alle kommer til orde og alle aktiveres Underviser får ikke nødvendigvis feedback på det ønskede og det kan være vanskeligt, at overskue for mange post it. Referencegruppe metoden Fordele: Fra undervisningens start vælges en gruppe studerende, der er repræsentative for holdet. Øvrige studerende kan give deres feedback til denne gruppe, der mødes med underviseren efter behov. Større hold Metoder som Delphi og Post It kan med fordel anvendes i referencegruppen. Fordrer ofte en god dialog. Alle studerende kommer ikke nødvendigvis til orde eller får feedback på deres kritik. Kollegavejledning metoden Fordele: En eller flere kollegaer superviser underviseren. Efter underviseren er der dialog mellem supervisor og underviser om, hvordan supervisor oplevede undervisningen. Superviser kan vejlede i det omfang, som underviser ønsker. Alle holdstørrelser Underviser sætter dagsordenen og kan få feedback på emner, som studerende ikke kan kommentere på. Tidskrævende, logistisk udfordrende og studerende kommer ikke til orde. 8
Plenum metoden Fordele: Blandt de studerende vælges en dirigent og en referent. Holdet opdeles i grupper af 3-5 studerende og hver gruppe vælger en talsmand. Efter en indledende diskussion opsummerer talsmændene og dirigenten de forskellige input på tavlen. Afsluttes med fri debat, hvor alle kan deltage Alle holdstørrelser Studerende sætter dagsordenen og alle kommer til orde Underviser får ikke nødvendigvis feedback på det ønskede Poll Everywhere metoden Fordele: SDU afstemningssystem Poll Everywhere er et Student Response System (SRS), som giver studerende mulighed for at deltage aktivt i timerne bl.a. via multiple-choice spørgsmål, fritekstsvar, Q/A sessioner, samt klikbare billeder. Systemet kan anvendes som et simpelt afstemningsværktøj, hvor underviseren hurtigt kan indsamle studerendes svar på faglige problemstillinger og få svarene vist direkte i et slideshow eller via systemets webside. Kontakt SDU Universitetspædagogik for mere information eller anvendelse af Poll Everywhere. Alle holdstørrelser Studerende finder metoden interessant og den kan anvendes løbende gennem undervisningen Kræver oprettelse af underviser til at kunne anvende systemet fuldt ud. Den organisatoriske forankring af undervisningsevalueringer Drift, monitorering og udvikling af Det Tekniske Fakultets arbejde med undervisningsevalueringer forankres i fakultetets uddannelseskvalitetsgruppe (TEK KVAL). TEK KVAL nedsætter en følgegruppe, der løbende monitorer og kommer med forslag til tilpasning af systemet for undervisningsevalueringer samt It understøttelsen af området. TEK.UE TEK.UE er It systemet, der understøtter evaluering af undervisningssituationer på Det Tekniske Fakultet. TEK.UE genererer et overblik over hver uddannelses fag og giver mulighed for manuelt at tilknytte undervisere eller udelade evaluering af et fag. Systemet: 9
Udsender autonomt undervisningsevalueringer og rykkere henholdsvis 10. november og 5. maj. Systemet Generere autonomt visning af de valgte evalueringsresultater på fakultetets hjemmeside Generere resultats visning i systemet, som undervisere kan tilgå ved SDU login Generere uddannelsesvis og fakultetsvis overblik og tilknytter nøgleindikatorer. 10
Bilag 1: Uddannelsesrapport for undervisningsevalueringer Uddannelsesrapport for undervisningsevalueringer Det Tekniske Fakultet, Syddansk Universitet Alle fag / fagligheder med en underviser tilknyttet samt 1. 4. semester på diplom- og civilingeniør (BA) uddannelser gennemfører en kvalitativ slutevaluering ved slutningen af forløbet. Evalueringen dokumenteres som et referat, der sendes til uddannelsens uddannelsesadministrator. Referaterne (suppleret af kvantitativt data fra fag- og semesterevalueringerne) behandles i uddannelsens uddannelsesudvalg, hvorefter der udarbejdes nedenstående samlede uddannelsesrapport for hele uddannelsen. Uddannelsens navn Periode (F.eks. F2017) Navn på UA Generelle opmærksomhedspunkter fra indeværende runde evalueringer? 11
Fag / semester Kvantitativt evalueringsresultat Uddybning med udgangspunkt i den kvalitative slutevaluering Fremadrettet handlingsplan Uddybning af kvantitative fag- og semesterevalueringer med gule eller røde indikatorer Er der eksempler på undervisningspraksis, der fungerer godt og som kan udbredes til andre uddannelser på TEK? 12