Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter? Lars Ulriksen, Christine Holm, Aase B. Ebbensgaard På mødet for skolekoordinatorerne den 8.april rejste flere deltagere spørgsmålet om, hvordan vi skal måle, dokumentere og evaluere de forskellige projekters eksperiementer og initiativer. Ud over de almindelige vanskeligheder der er med at måle effekten af pædagogiske metoder, fordi der er så mange forskellige faktorer i spil i undervisningen, er der i vores fælles projekt det problem, at vi skal samle op på erfaringerne allerede efter et halvt skoleår. Man kunne med nogen ret hævde at vi ikke kan sige noget om effekten af initiativerne før de pågældende årgange har forladt skolen, for inden da ved vi ikke om de gymnasiefremmede klarer sig bedre end tidligere. Det er imidlertid ikke muligt inden for dette projekts rammer. På den anden side skal vi i projektet gennemføre en analyse og erfaringsopsamling af erfaringerne fra de forskellige projekter. Vi vil i dette papir give nogle ideer til, hvordan vi alligevel kan etablere et grundlag at måle, dokumentere og evaluere projekterne på. Papiret skal diskuteres på netværkskoordinatormødet den 25.maj, derefter revideres og endelig sendes ud til alle deltagere. Det er ikke meningen at alle projekter skal bruge alle metoder. Papiret er tænkt som et inspirationspapir, hvor de enkelte projekter skal vælge de metoder, som egner sig bedst til den problemformulering og de eksperimenter, man arbejder med. Vi foreslår dog, at alle projekter gennemfører en indledende undersøgelse for at fastlægge elevsammensætningen med hensyn til gymnasiefremmedhed. Gymnasiefremmedhed henviser i dette projekt til hvorvidt elevernes forældre har en gymnasial uddannelse eller ej, og i næste række om de har gennemført en mellemlang eller lang videregående uddannelse. Helt overordnet kan det være idé at anskue evalueringen som en portfolioevaluering. Det vil sige at projekterne skal samle dokumenter, eksempler og refleksioner undervejs, og til sidst foretage en samlet refleksion og vurdering af det billede, som samlingen af dokumentation tegner. Både af hvad projektet har haft af betydning for eleverne, og hvad I som projektdeltagere har lært af forløbet. Før projekterne Formulering af mål Inden projekterne går i gang skal I sikre jer, at I har brugt tid på at diskutere, hvad I selv vurderer som succesmålene for jeres eksperiment. Det kan være en fordel at formulere et overskueligt antal kompetencemål for forløbet, dvs. at I skriver ned, hvad I sigter mod, eleverne skal kunne når eksperimentet er gennemført. Hvis jeres projekt fortsætter ud over det tidspunkt, hvor I afrapporterer til os, så må I supplere med hvad de skal kunne til december 2010. Formuler for eksempel en række sætninger, som begynder med Eleven skal kunne... ( Eleven skal kunne give bedømme en kammerats arbejde, og begrunde sin bedømmelse, Eleven skal kunne udarbejde en arbejdsplan for afleveringsopgaver ). Det kan også være nogle konkrete tiltag, som for eksempel at der skal være dannet lektielæsningsgrupper, som fungerer i undervisningen, eller Der skal ikke være forskel på det skriftlige fravær for gymnasiefremmede og gymnasiekendte elever. 1
Det afgørende er at - projektgruppen selv har formuleret nogle eksplicitte mål, og derigennem har gjort sig klart, hvad de har i fokus i elevernes læring og udvikling - målene har en karakter, som gør det muligt at forholde sig til, i hvilken grad og på hvilken måde målene er blevet nået - målene har en karakter, så de knytter sig til, hvad eleverne kan eller har fået ud af det, snarere end hvad læreren, gruppen eller skolen har gjort. Dokumentation af overvejelser I forbindelse med møder i gruppen er det vigtigt med referater, som ikke alene fortæller, hvad der er besluttet, og hvem som skal gøre hvad (selv om det også er vigtigt), men også referater som i stikord eller i løbende tekst fastholder de overvejelser, gruppen har gjort sig. Det kan være bekymringer med hensyn til, hvad der kan gå galt, hvor vanskelighederne vil opstå; eller det kan være forventninger til, hvordan eleverne vil reagere, hvad de vil synes er interessant osv. En anden måde at dokumentere overvejelser er, at hver deltagende lærer skriver sine forestillinger, forhåbninger og bekymringer ned, før forløbet sættes i gang. Det vil sige: Hvad tror jeg, vil ske? Hvad håber jeg, vil ske? Hvad frygter jeg, vil ske? Disse skriftlige overvejelser kan eventuelt indgå i en læringslog eller læringsdagbog (jf. nedenfor). En tredje måde kan være at lærerne interviewer hinanden om de samme spørgsmål, og at intervieweren (eller en tredje) i stikord fastholder interviewet. Det kan både gøres før hele projektet sættes i værk, og det kan gøres før enkelte elementer eventuelt før enkelttimer. I sidstnævnte tilfælde kan man aftale at to lærere fra projektet taler sammen i frikvarteret før timen (f.eks. helt kort om hvad man har fokus på, og hvad man har af forventninger til hvad der skal ske). Det kan så følges op af et efter-timen lyninterview. Fælles spørgeskema Udviklingsprojekterne sigter alle mod at forbedre gymnasiefremmede elevers muligheder for at gennemføre gymnasiet, og gøre det med et godt resultat. Selv om en række af initiativerne givetvis også vil være gode for ikke-gymnasiefremmede, er det vigtigt at det i hvert af projekterne er muligt at undersøge, hvilket udbytte gymnasiefremmede har af initiativet. Det er derfor nødvendigt at finde ud af, hvilke elever som kommer fra en gymnasiefremmed baggrund. Alle involverede klasser skal derfor udfylde et spørgeskema, hvor der er nogle få spørgsmål. Derudover kan hvert projekt tilføje spørgsmål af relevans for det enkelte projekt, hvis man ønsker det, men det er ikke et krav. Projekterne må også selv bestemme, hvordan skemaet skal uddeles (papir eller elektronisk), men det skal rumme følgende spørgsmål (de konkrete formuleringer kan justeres): - Navn - Køn (dreng, pige) - Har din mor en studentereksamen (enten fra det almene gymnasium, fra hhx, fra hf eller fra htx)? - Har din far en studentereksamen (enten fra det almene gymnasium, fra hhx, fra hf eller fra htx)? - Har din mor en videregående boglig uddannelse (f.eks. fra et universitet, som lærer, sygeplejerske, pædagog, ingeniør eller lignende?) 2
- Har din far en videregående boglig uddannelse (f.eks. fra et universitet, som lærer, sygeplejerske, pædagog, ingeniør eller lignende?) - Er der noget ved gymnasiet, som du undrer dig over? - Er der noget du gerne vil blive bedre til i forhold til at gå i gymnasiet? Det er nødvendigt at spørge om navnet, fordi det ellers ikke er muligt at bruge svarene til at evaluere projektet. Det er ikke afgørende at denne undersøgelse sker i starten af projektforløbet, selvom det nok vil være interessant for de medvirkende hurtigt at få en fornemmelse af elevsammensætningen. Find gerne et tidspunkt hvor det naturligt kan integreres, fx i forbindelse med et undervisningsforløb. Hvis man allerede har foretaget en spørgeskemaundersøgelse med lidt andre spørgsmål, skal man ikke foretage endnu én blot for at få eventuelt manglende spørgsmål dækket ind. Men overvej om der evt. kan spørges ind til disse ved en senere lejlighed. Før-test I nogle tilfælde kan det give mening at gennemføre en før-test og efter-test, hvor man sammenligner elevernes besvarelser før og efter et forløb. Det vil eksempelvis kunne være i tilfælde, hvor målet er at eleverne skal have en mere klar forståelse af evalueringskriterier eller af mål og begrundelser med bestemte undervisningselementer. I SYNERGI-projektet, hvor det drejer sig om bestemte fags legitimitet, som er i fokus, kunne én måde at få indblik i, hvilken forandring der måtte være hen gennem forløbet, være at bede eleverne besvare to spørgsmål før og efter forløbet: Hvorfor tror de, at Undervisningsministeriet mener, de skal lære dansk? Hvilken grund, mener de selv, der kunne være til, at de skal lære dansk? Efter forløbet kunne man bede eleverne besvare de samme spørgsmål igen. Elevernes besvarelser af førtesten kan i øvrigt i sig selv danne grundlag for tilrettelæggelsen af undervisningen. En anden måde kunne være at sammenligne elevernes løsning af opgaver, f.eks. den måde de bedømmer hinandens arbejde: Man kunne lade dem gennemføre kammeratevaluering (peer assessment) eller bedømmelse af eget arbejde før og efter et eksperiment med at udvikle elevernes indsigt i og forståelse af evaluerings- og bedømmelseskriterier. Undervejs Dokumentation Det er vigtigt undervejs at samle dokumentation for forløbet. Det er foruden planlægningsdokumenter (f.eks. undervisningsplaner, formål med undervisningsforløb osv.) også eksempler på elevarbejder, elevevalueringer, observationer fra andre lærere (se nedenfor). Elevprodukter og -evalueringer Man kan undervejs give eleverne opgaver, som giver indblik i deres udbytte og oplevelse af forløbet. Det kan være tests som dem, der er nævnt i afsnittet før forløbet, eller det kan være besvarelser af opgaver undervejs, som f.eks. giver indblik i elevernes tænkning. Det kan også være mere umiddelbare evalueringer af typen Hvordan har jeg det med forløbet nu?, Det vigtigste jeg har lært i dag er..., To ting jeg synes er godt ved forløbet nu, og to ting jeg kunne ønske mig anderledes. Det er evalueringsformer, som kan gennemføres meget hurtigt i slutningen af en lektion, ved at eleverne skriver deres umiddelbart tanker på et stykke papir. 3
Læringslogbog Det vil være en stor styrke hvis de involverede lærere fører en læringslogbog eller læringsdagbog, hvor læreren hen gennem projektet fastholder indtryk, overvejelser og ideer efterhånden som de opstår. Vanskeligheden består i at få det gjort, og det kan derfor være en idé at forsøge at skabe en ramme om skrivningen. En mulighed er at afsætte 10-15 minutter (men et afgrænset tidsrum) i slutningen af den dag, hvor man har gennemført aktiviteter i projektet, til at skrive umiddelbare tanker og indfald. Det skal ikke være konkluderende eller teoretiserende, men tænkeskrivning, hvor umiddelbare oplevelser, indfald og eftertanker bliver fastholdt, mens forløbet er i frisk erindring. Det kan også gøres som en mail-bekendelse, hvor I aftaler, at I skal skrive en mail til en anden efter hver undervisningsgang, hvor I reflekterer hvad der er sket. Kollegainterview En anden variant er at hver deltager aftaler med en anden deltager fra skolen, at I f.eks. en gang om ugen eller (hvis I kan få det til tidsmæssigt at hænge sammen) efter de enkelte undervisningsgange, kort interviewer hinanden om, hvad der er sket. Igen kan det være en idé at afsætte et afgrænset tidsrum (f.eks. 15 minutter), hvor den ene interviewer den anden, og tager noter, som skal have en form, så andre kan få noget ud af dem. Hvis det praktisk kan lade sig gøre, kan I bruge trekantsinterviewet, hvor en spørger, en fortæller og en refererer undervejs. Kollegasupervision Kollegasupervision består i at en lærer (her kaldet observatør) overværer en anden lærers undervisning (her kaldet underviser), og at de to sammen reflekterer over undervisningen. Et format for kollegasupervisonen kan være det følgende, som i store træk følger en model udviklet af Per Lauvås og Gunnar Handal fra Universitetet i Oslo (se også Lauvås & Rump): 1. Førmøde: underviser og observatør mødes. Underviser har udarbejdet et kort observationsgrundlag (det behøver ikke være mere end nogle linier). I observationsgrundlag skriver underviseren, hvilke punkter i undervisningen hun ønsker at fokusere på i refleksionen, og hvilke overvejelser hun har gjort sig i den anledning. Det kan være et særligt aspekt af undervisningen (f.eks. igangsættelsen af en elevaktivitet, vejledning undervejs, opsamling) eller særlige grupper af elevers deltagelse hen gennem lektionen. Fokuspunkterne bør vælges så de bidrager til dokumentation og evaluering af udviklingsprojektet. Observatøren spørger underviseren om hendes overvejelser med henblik på at underviseren får tydeliggjort de udfordringer og handlemuligheder hun har. Spørgsmålene kan også udfordre underviserens antagelser om, hvad der er muligt, nødvendigt osv. Observatør og underviser aftaler, hvad observatøren skal have særligt fokus på i obersvationen. 2. Observation: Underviseren gennemfører undervisningen som planlagt. Observatøren placerer sig i rummet, så det giver mest mening i forhold til det, som skal være i fokus. Det vil ofte være en idé at sættes sig, så man kan se elevernes ansigter og reaktioner dvs. ikke helt bagest, men heller ikke med ryggen til eleverne. Observatøren blander sig ikke i undervisningen, men betragter og noterer. Hovedvægten skal lægges på de punkter, som blev aftalt ved førmødet, men dukker andre punkter op, kan det naturligvis også noteres. 3. Eftermøde. a) Underviser og observatør mødes kort efter undervisningen. Der bør ikke gå for mange dage, fordi både erindring og fornemmelse af undervisningen svækkes. Omvendt behøver det heller ikke være umiddelbart efter undervisningen, hvis det ikke kan lade sig gøre. Eftermødet indledes med at underviseren fortæller, hvordan hun oplevede forløbet, og 4
hvordan hun synes det gik i forhold til planen, og til de fokuspunkter som blev aftalt ved førmødet. Derefter spørger observatøren ind. Observatøren skal ikke bedømme eller evaluere undervisningen. Observatøren skal spørge for at få underviseren til at reflektere yderligere over forløbet, og derigennem få en dybere forståelse af, hvad der er foregået. b) Underviser og observatør sammenfatter sammen erfaringerne med eksperimenterne og fokuspunkterne i forhold til udviklingsprojektets problemformulering. Denne sammenfatning skrives ned i en form, så andre kan forstå den ved at læse papiret. Ved slutningen af projektperioden En række af de teknikker, som er nævnt ovenfor, kan bruges ved slutningen af projektperioden til at dokumentere hvad der er kommet ud af projektet, og efterfølgende indføjes i en samlet portfolio for projektet. Det gælder mest oplagt: - Efter-test - Lærerens egen slutrefleksion i læringslogbogen, herunder hvad læreren selv har lært af projektet. - Kollegainterview - Elevprodukter fra opgaver, som har fokus på udviklingsprojektets problemformulering - Andre former for evaluering af elevernes faglige kompetencer inden for de områder, som er i fokus i projektet. - Elevernes evalueringer af forløbet som undervisningsforløb og læreproces. Den nærmere udformning af elevprodukter og af evalueringer af elevernes faglige kompetencer vil afhænge af projektets mål. Ideer til evalueringer af elevernes oplevelse af forløbene kan vi vende tilbage til i efteråret. De enkelte projektgrupper har muligvis allerede på skolerne evalueringsskemaer de bruger i andre sammenhænge, og som de synes fungerer. De vil kunne fungere som inspiration. Vi vil også kunne bidrage med ideer. Derudover kan det være en idé at holde et projektgruppemøde både på den enkelte skole og for de øvrige skoler man er i netværk med, hvor de forskellige erfaringsopsamlende produkter præsenteres og diskuteres, og denne diskussion fastholdes i et referat. Dette referat kan fungere som den samlende refleksion i en portfolio. Henvisning Lauvås, Per & Rump, Camilla (2001): Vor fælles viden. Kollegavejledning til udvikling af undervisningen ved højere læreanstalter. Frederiksberg: Samfundslitteratur. Revideret 28.maj 2010 5