Bedre evaluering af undervisning Inspirationsoplæg med spørgeramme og koncept til skolernes arbejde med undervisningsevaluering Som en del af Uddannelsesbenchmark og ESB-netværket s samarbejde etablerede netværkene i foråret 2014 en arbejdsgruppe bestående af en række repræsentanter fra medlemsskolerne med henblik på udvikling af et fælles inspirationsoplæg med spørgeramme og koncept til skolernes arbejde med undervisningsevaluering. Dette er inspirationsoplægget. 30-10-2014
Som en del af Uddannelsesbenchmark og ESB-netværket s samarbejde etablerede netværkene i foråret 2014 en arbejdsgruppe bestående af en række repræsentanter 1 fra medlemsskolerne med henblik på udvikling af et fælles inspirationsoplæg med spørgeramme og forskellige koncepter til skolernes arbejde med undervisningsevaluering. Dette er inspirationsoplægget. 1. Inspirationsspørgeramme til surveyundersøgelse Arbejdsgruppen har produceret en inspirationsspørgeramme baseret på evidensbaseret forskning, aktuelle uddannelsespolitiske mål og praktiske erfaringer fra skolerne. De evidensbaserede input til spørgerammen er især baseret på John Hattie, Andreas Helmke og Hilbert Meyers mest anerkendte forskning om, hvilke undervisningsmetoder, der gennemsnitligt giver bedst mulig effekt på undervisningsdeltageres læring. De aktuelle uddannelsespolitiske mål omkring undervisningsdifferentiering og læringsaktiviteter med udfordringer til deltagerne, så de lærer mest muligt er forsøgt integreret i spørgerammen. Desuden har arbejdsgruppens deltagere på møder den 5. maj, 30. juni og 30. september 2014 givet input på baggrund af skolernes praktiske erfaringer med undervisningsevaluering. Og til sidst har netværkenes samarbejdspartnere Aspekt R&D og Enova vurderet og kommenteret inspirationsspørgerammen. Man kan i det første spørgsmål med den overordnede vurdering af undervisningen overveje at vælge en anden svarskala end til de øvrige underliggende spørgsmål. Arbejdsgruppen anbefaler at man til de underliggende udsagn i spørgerammen anvender én af følgende skalaer: 10-trinsskala (gående fra uenig - enig). 5-trinsskala (gående fra uenig - enig). Helt uenig - delvis uenig delvis enig helt enig. Spørgerammen bør i øvrigt afsluttes med et åbent (eller eventuelt to åbne) spørgsmål. Aspekt R&D vil i skoleåret 2014-15 gennemføre en pilottest af spørgerammen. I den forbindelse analyseres den statistiske sammenhæng mellem svarene på de underliggende spørgsmål og elevernes overordnede vurdering af undervisningen. Dette vil give den enkelte skole mulighed for at vælge et veltilpasset antal spørgsmål ud fra en prioriteret liste, der vil ligge klar i 2015. Inspirationsspørgerammen er konkret udformet sådan: Overordnet Hvordan vil du alt i alt bedømme undervisningen? Egen indsats Jeg møder forberedt til timerne. Jeg afleverer mine opgaver til tiden. 1 Gruppen har bestået af følgende deltagere: Ann-Sophie Irmgard Pagh Gadegaard (VUC Vestegnen), Britta Veje (Haderslev Handelsskole/Det blå gymnasium), Ebbe Hargbøl (ESB-netværket), Eva Lie Rosenfeldt Bendixen (Selandia CEU), Ida Konggaard (Handelsskolen Silkeborg Business College), Jan Christensen (Uddannelsesbenchmark), Lajla Pedersen (ESB-netværket), Lone Juul Bilde (Kold College), Maj Britt Rosenmeyer Olsen (Svendborg Erhvervsskole), Peter Madsen (SOPU). Side 1 af 7
Jeg deltager aktivt i undervisningen. Jeg møder til tiden. Jeg er med til at skabe arbejdsro i klassen. Jeg bidrager til en positiv stemning i klassen. Læreren Min lærer skaber et godt læringsmiljø i klassen. ( Min lærer kan evt. erstattes med den enkelte lærers navn) Min lærer er engageret i sit fag. Min lærer overholder aftaler. Min lærer skaber arbejdsro. Min lærer er god til at lytte til os. Min lærer skaber en god stemning i klassen. Undervisningen Min lærer er god til at forklare planen for undervisningsforløbet. Min lærer sætter tydelige mål for, hvad vi skal lære hver time/lektion/modul/fra gang til gang. Min lærer er god til at forklare tingene, så jeg forstår dem. Min lærer er god til at inddrage mig i undervisningen. Min lærer stiller passende faglige krav. Min lærer varierer sin undervisning. Min lærer anvender praktiske eksempler fra hverdagen/erhvervslivet. Hvordan lærer du bedst? Vælg op til 3 svar! Når jeg arbejder alene. (spørgsmålene foreslås at blandes teknisk) Når vi arbejder i grupper, vi selv har valgt. Når vi arbejder i grupper, som læreren har lavet. Når jeg skal fremlægge for andre. Når læreren underviser. Når jeg arbejder med praktiske opgaver på skolen. Når vi har projektarbejde. Når jeg er i praktik. Andet. (åben mulighed) Tilbagemelding Jeg ved, hvad min lærer forventer fagligt af mig. Min lærer er god til at give tilbagemeldinger på min indsats. Min lærers tilbagemeldinger hjælper mig til at gøre mit skolearbejde bedre. Åbne spørgsmål Hvilke 3 ting har især været gode i undervisningen? Nævn op til 3 ting, der kan forbedre undervisningen? Side 2 af 7
2. Koncepter for undervisningsevaluering Det er forskningsmæssigt veldokumenteret, at surveyundersøgelser som systematisk værktøj for generering af viden både har styrker og svagheder. Styrkerne ved anvendelse af surveyundersøgelse i undervisningsevaluering er først og fremmest, at data kan danne udgangspunkt for generaliserbar viden, at det er muligt at få sammenlignelige vurderinger af undervisningen (ligeligt fordelt) fra alle elever, og at det er muligt at sammenligne klassens resultater i faget med andre klasser og andre fag. Data kan bruges som indikatorer på elevernes oplevelse af kvaliteterne ved undervisningen, og i forlængelse heraf identificere god praksis, der kan danne udgangspunkt for videndeling på tværs af klasser og fag. Svaghederne ved anvendelse af surveyundersøgelse i undervisningsevalueringer relateres her til metodens gyldighed og pålidelighed. Gyldigheden er især betinget af, at spørgerammen er udformet, så den er dækkende for de kvaliteter ved undervisningen, man ønsker at undersøge, mens pålideligheden især er betinget af elevernes (forskellige) opfattelser, deres sproglige forståelse af spørgsmålene og af deres hukommelse omkring aktiviteterne i undervisningen. Den tyske professor i pædagogisk psykologi, Andreas Helmke, påpeger i sin bog Undervisningskvalitet og lærerprofessionalitet (2014:24-25), at den variabelcentrerede tilgang i spørgeskemaundersøgelserne bør suppleres (ikke erstattes) af en såkaldt personcentreret tilgang. Han giver blandt andet følgende anbefalinger i den forbindelse: Ægte interesse fra lærernes side og overbevisningen om, at det kan lade sig gøre at forandre undervisningen på grundlag af tilbagemeldingerne, er grundforudsætninger. Eleverne skal gøres fortrolige med meningen og nytten af foretagendet. Giv tid til feedbacksamtaler og overenskomster om, hvad der skal ske: Det centrale i fremgangsmåden er refleksion over resultaterne i form af feedbacksamtaler og de foranstaltninger, der skal knytte sig til dem. Her skal læreren give sig god tid. Det er godt at prioritere data fra tilbagemeldingen. Det kan gøres af læreren alene eller i fællesskab med eleverne. Derved tager man brodden af det problem, at tilbagemeldingens data kan forekomme uoverskuelige. Analysér resultaterne intensivt i mindre grupper. Læreren opstiller nogle ledespørgsmål for at fremme en produktiv drøftelse af resultaterne. Efterprøv om aftalerne lykkes: En gentagelsesmåling giver oplysning om de faktiske ændringer. Ideelt set vil eleverne konstatere, at deres feedback har en positiv virkning og oplever det som en succes Andreas Helmke (2014:229-231): Undervisningskvalitet og lærerprofessionalitet. Dafolo. Arbejdsgruppen har med udgangspunkt i ovenstående anbefalinger udarbejdet 7 eksempler på, hvordan suveyundersøgelse og mere kvalitativt orienterede metoder 2 kan kombineres i forskellige koncepter for undervisningsevaluering. Vi har valgt at betegne dem som Mixed Methods i undervisningsevaluering, og håber, det kan inspirere arbejdet ude på skolerne. 2 De 7 kvalitativt orienterede metoder er en del af hæftet 9 metoder til undervisningsevaluering (Center for undervisningsudvikling, Humaniora og teologi, AU). Side 3 af 7
Forventningspapir og surveyundersøgelse Inden starten på undervisningsforløbet informeres eleverne om, at der som en del af midtvejsevalueringen vil blive gennemført en undervisningsevaluering som en surveyundersøgelse. Eleverne orienteres om hele evalueringsforløbet og -processen. I begyndelsen af undervisningsforløbet skriver eleverne så kort deres forventninger til forløbet på et stykke papir. Forventningerne kan/skal tage udgangspunkt i undervisningsplanen, i lærerens fremlæggelse af formålet med undervisningen, i elevernes kompetenceudvikling i forbindelse med uddannelsen generelt, eller de kan tage et fagspecifikt udgangspunkt i elevernes overvejelser og tilkendegivelser af forventninger til forløbet. Der skal skrives navn på papiret. Læreren indsamler forventningspapirerne og beholder dem til midtvejsevalueringen. Midtvejs i undervisningsforløbet gennemføres surveyundersøgelsen. Når resultatet af surveyundersøgelsen foreligger får eleven resultatet af sin egen og af klassen besvarelser og kan samstemme disse med forventningspapiret som udgangspunkt for deres evaluering af forløbet. Sammenligningen mellem de tidlige forventninger og det nuværende standpunkt (surveyundersøgelsen) vil give mening mht. om forløbet er velfungerende og hvordan den studerende har udviklet sig fagligt og måske også personligt. Kontrakt og surveyundersøgelse Ved undervisningsforløbets start har læreren og eleverne en dialog med henblik på at udarbejde en kontrakt om gensidige forventninger. Læreren har med udgangspunkt i surveyundersøgelsens spørgeramme en række forslag til de punkter, der skal indgå i kontrakten, og eleverne kan supplere med yderligere punkter. Derefter udarbejdes kontrakten. Midtvejs i undervisningsforløbet gennemføres surveyundersøgelsen. Når læreren modtager resultaterne fra surveyundersøgelsen, bør vedkommende have særligt fokus på de punkter, der indgår i kontrakten man må huske, at kontrakten er gensidig, altså at alle parter har forpligtet sig. Læreren gennemgår resultaterne fra undersøgelsen med eleverne, sammenholder resultaterne med kontrakten, og der kan efterfølgende justeres, evt. udarbejdes ny kontrakt for den resterende del af undervisningsforløbet. Side 4 af 7
Interview, vægavis og surveyundersøgelse Forløbet starter med at læreren viser eleverne, hvordan de har vurderet undervisningen i faget i den seneste surveyundersøgelse omkring evaluering af undervisningen. Eleverne interviewer derefter hinanden to og to, eller tre og tre ud fra et eller flere særligt udvalgte spørgsmål, der ønskes uddybet (gerne et bredt spørgsmål) fx "Min lærers tilbagemeldninger hjælper mig til at gøre mit skolearbejde bedre" eller "Min lærer skaber en god stemning i klassen" Lever det op til dine forventninger, hvorfor/hvorfor ikke? Hvad kan gøres bedre? Hver gruppe laver en vægavis med korte formuleringer. Til slut læser alle vægaviserne og lærer og elever reflekterer over det samlede billede og forsøger i fællesskab at uddybe og diskutere dette. Læreren samler punkterne på vægaviserne i dialog med eleverne til en handleplan/ fokus/ opmærksomhedspunkter for klassen. Det er en mulighed at lade grupperne arbejde med forskellige spørgsmål. Dialog mellem underviser og referencegruppe med udgangspunkt i surveyundersøgelse I undervisningsforløbets start nedsættes blandt eleverne en særlig referencegruppe. De øvrige elever opfordres til at give deres feedback til referencegruppen som viderebringer denne. Referencegruppen kan sammensættes vilkårligt fx ud fra elevernes fødselsdage. Midtvejs i undervisningsforløbet gennemføres surveyundersøgelsen, og læreren viser i forlængelse heraf eleverne, hvordan de har vurderet undervisningen. Herefter arbejder referencegruppen videre med at analysere resultaterne fra surveyundersøgelsen og udarbejder udkast til en handlingsplan til forbedring af undervisningen. Der afsættes en halv time med den pågældende lærer sammen med klassen/holdet, hvor referencegruppen fremlægger deres perspektiv på vurderingen, hvorefter den går i dialog med underviseren. Der kan eventuelt indgås en aftale om at foretage en status efter en eller to måneder, hvor referencegruppen kan vurdere om aftalen er overholdt fra henholdsvis elevernes og lærerens side. Der følges op med en afsluttende evaluering af undervisningen i faget. Side 5 af 7
Dialog mellem underviser og udvalgte studerende Forløbet starter med at læreren viser holdet, hvordan holdet har vurderet undervisningen med læreren/faget i den seneste surveyundersøgelse. Efter undervisningen udvælges 2-3 elever til at give læreren en spontan og uformel tilbagemelding på undervisningen. Evalueringen kan ske i pausen eller efter timerne. De studerende kan være tilfældigt valgte eller være valgt bevidst, så de repræsenterer elevgruppens diversitet. Surveyundersøgelsen er anonym, så det er en vigtig pointe at være tydelig omkring, hvilke kriterier eleverne vælges ud fra, hvis de vælges bevidst. Læreren formidler derefter til klassen i det omfang det er muligt, hvilke pædagogiske indsatsområder i undervisningen, der er i særlig fokus: For skolen på strategisk niveau For lærerteamet/faggruppen For læreren (på baggrund af MUS, forrige undervisningsevaluering og eventuel planlagt kompetenceudvikling) Survey kombineret med 1-minutspapir Undervisningsforløb med 1-minutspapirsevalueringer er karakteristisk ved, at der jævnligt gennemføres en evaluering med 1-minutspapir. I de sidste minutter af den enkelte undervisningsenhed skriver eleverne deres umiddelbare og spontane reaktion på undervisningen. Metoden kan bruges systematisk efter hver undervisningsgang eller ind imellem efter behov. Læreren kan fx bede eleverne om at skrive det, der kan være nyttigt for læreren at få at vide, fx om eleverne kan se forbindelsen mellem den gennemførte lektion og fagets målsætning? Er formidlingen af stoffet velfungerende? Er der passende deltageraktivitet? Er der uafklarede spørgsmål? Underviseren får på den måde en umiddelbar tilkendegivelse fra eleverne om undervisningen. Er der spørgsmål eller problemer kan de tages op ved starten af næste lektion. Eleverne vil herved se sammenhængen mellem lektionerne, og eventuelle misforståelser vil hurtigt kunne forebygges. Læreren samler løbende op på de forslag og kommentarer som eleverne skriver. Cirka midtvejs i undervisningsforløbet gennemføres en surveyundersøgelse som gennemgås og diskuteres med eleverne, når resultaterne foreligger. Læreren inddrager de relevante elementer, som der forud for surveyundersøgelsen har været emner i 1-minutspapiret. Læreren udfylder et opfølgningsdokument, hvor der noteres hvilke emner, der er diskuteret med eleverne samt hvilke aftaler der er indgået. I perioden efter midtvejsevalueringen og frem til en eventuel slutevaluering anvendes 1- minutspapir metoden igen med særligt fokus på de indgåede aftaler ved midtvejsevalueringen. Side 6 af 7
Survey kombineret med Delphi-metoden Forløbet starter med at læreren viser holdet, hvordan holdet har vurderet undervisningen med læreren/faget i den seneste undervisningsevaluering (surveyundersøgelsen). På et stykke papir skriver eleverne derefter hver for sig 3 gode ting ved undervisningsforløbet og 3 ting der kan forbedres. Papirerne cirkulerer alle simultant i samme retning indtil de kommer tilbage til ophavsmanden. Hver gang den enkelte elev modtager et papir, læser vedkommende udtalelserne og sætter en streg ved dem, vedkommende er enig i. Når skemaerne har været hele vejen rundt er resultatet en samling udsagn om undervisningen, og tilkendegivelse af hvor mange, der er enige i det enkelte udsagn. Vælg de udsagn der har fået flest tilkendegivelser indenfor den gode og den mindre gode kategori og drøft dem. Ikke alle udsagn vil på denne måde blive drøftet og afslut derfor med at spørge om der er nogen der har andre emner de ønsker at kommentere. Hvis holdet er over 20 elever kan det deles op i to grupper der hver cirkulerer deres papirer. Det vil spare tid. Læreren formidler derefter til klassen i det omfang det er muligt, hvilke pædagogiske indsatsområder i undervisningen der er i særlig fokus: For skolen på strategisk niveau For lærerteamet/faggruppen For læreren (på baggrund af MUS og forrige undervisningsevaluering) Herefter diskuterer og reflekterer hold og underviser i fællesskab over, hvordan resultaterne fra henholdsvis (den kvantitativt orienterede) surveyundersøgelse og (den kvalitativt orienterede papir-runde ) hænger sammen med de pædagogiske indsatsområder. Fordel: En stor fordel er at de studerende er med til at sætte dagsordenen med deres udsagn og at alle tager stilling til alle udsagn. Hvis underviseren indsamler alle skemaerne vil der være tale om et evalueringsmateriale, som kan give et godt indblik i såvel den enkelte studerendes opfattelse som i tendenser på holdet. Side 7 af 7