Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter?

Transkript

1 Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter? Lars Ulriksen, Christine Holm, Aase B. Ebbensgaard Hvordan vi skal måle, dokumentere og evaluere de forskellige projekters eksperimenter og initiativer? Ud over de almindelige vanskeligheder der er med at måle effekten af pædagogiske metoder, fordi der er så mange forskellige faktorer i spil i undervisningen, er der i projekterne om gymnasiefremmede yderlige en udfordring i, at vi skal samle op på erfaringerne allerede efter et enkelt skoleår. Man kunne med nogen ret hævde at vi ikke kan sige noget om effekten af initiativerne før de pågældende årgange har forladt skolen, for inden da ved vi ikke om de gymnasiefremmede klarer sig bedre end tidligere. Det er imidlertid ikke muligt inden for dette projekts rammer. På den anden side skal vi i projektet gennemføre en analyse og erfaringsopsamling af erfaringerne fra de forskellige projekter. Vi vil i dette papir give nogle ideer til, hvordan vi alligevel kan etablere et grundlag at måle, dokumentere og evaluere projekterne på. Det er ikke meningen at alle projekter skal bruge alle metoder. Papiret er tænkt som et inspirationspapir, hvor de enkelte projekter skal vælge de metoder, som egner sig bedst til den problemformulering og de eksperimenter, man arbejder med. Vi foreslår dog, at alle projekter gennemfører en indledende undersøgelse for at fastlægge elevsammensætningen med hensyn til gymnasiefremmedhed. Gymnasiefremmedhed henviser i dette projekt til hvorvidt elevernes forældre har en gymnasial uddannelse eller ej, og i næste række om de har gennemført en mellemlang eller lang videregående uddannelse. Helt overordnet kan det være idé at anskue evalueringen som en portfolioevaluering. Det vil sige at projekterne skal samle dokumenter, eksempler og refleksioner undervejs, og til sidst foretage en samlet refleksion og vurdering af det billede, som samlingen af dokumentation tegner. Før projekterne Formulering af mål Inden projekterne går i gang skal I sikre jer, at I har brugt tid på at diskutere, hvad I selv vurderer som succesmålene for jeres eksperiment. Det kan være en fordel at formulere et overskueligt antal kompetencemål for forløbet, dvs. at I skriver ned, hvad I sigter mod, eleverne skal kunne når eksperiementet er gennemført, og hvad de skal kunne til juni 2011 (hvis projektet fortsætter efter det tidspunkt I skal rapportere til os, men det gælder vist kun nogle enkelte projekter). Formuler for eksempel en række sætninger, som begynder med Eleven skal kunne... ( Eleven skal kunne bedømme en kammerats arbejde, og begrunde sin bedømmelse, Eleven skal kunne udarbejde en arbejdsplan for afleveringsopgaver ). Det kan også være nogle konkrete tiltag, som for eksempel at der skal være dannet lektielæsningsgrupper, som fungerer i undervisningen, eller Der skal ikke være forskel på det skriftlige fravær for gymnasiefremmede og gymnasiekendte elever.

2 Det afgørende er at - projektgruppen selv har formuleret nogle eksplicitte mål, og derigennem har gjort sig klart, hvad de har i fokus i elevernes læring og udvikling - målene har en karakter, som gør det muligt at forholde sig til - målene har en karakter, så de knytter sig til, hvad eleverne kan eller har fået ud af det, snarere end hvad læreren, gruppen eller skolen har gjort. Dokumentation af overvejelser I forbindelse med møder i gruppen er det vigtigt med referater, som ikke alene fortæller, hvad der er besluttet, og hvem som skal gøre hvad (selv om det også er vigtigt), men også referater som i stikord eller i løbende tekst fastholder de overvejelser, gruppen har gjort sig. Det kan være bekymringer med hensyn til, hvad der kan gå galt, hvor vanskelighederne vil opstå; eller det kan være forventninger til, hvordan eleverne vil reagere, hvad de vil synes er interessant osv. En anden måde at dokumentere overvejelser er, at hver deltagende lærer skriver sine forestillinger, forhåbninger og bekymringer ned, før forløbet sættes i gang. Det vil sige: Hvad tror jeg, vil ske? Hvad håber jeg, vil ske? Hvad frygter jeg, vil ske? Disse skriftlige overvejelser kan eventuelt indgå i en læringslog eller læringsdagbog (jf. nedenfor). En tredje måde kan være at lærerne interviewer hinanden om de samme spørgsmål, og at intervieweren (eller en tredje) i stikord fastholder interviewet. Det kan både gøres før hele projektet sættes i værk, og det kan gøres før enkelte elementer eventuelt før enkelttimer. I sidstnævnte tilfælde kan man aftale at to lærere fra projektet taler sammen i frikvarteret før timen (f.eks. helt kort om hvad man har fokus på, og hvad man har af forventninger til hvad der skal ske). Det kan så følges op af et efter-timen lyninterview. Fælles spørgeskema Udviklingsprojekterne sigter alle mod at forbedre gymnasiefremmede elevers muligheder for at gennemføre gymnasiet, og gøre det med et godt resultat. Selv om en række af initiativerne givetvis også vil være gode for ikke-gymnasiefremmede, er det vigtigt at det i hvert af projekterne er muligt at undersøge, hvilket udbytte gymnasiefremmede har af initiativet. Det er derfor nødvendigt at finde ud af, hvilke elever som kommer fra en gymnasiefremmed baggrund. Alle involverede klasser skal derfor udfylde et spørgeskema med nogle få spørgsmål. I de enkelte klasser vil man formentligt opleve at en række andre faktorer end de formelle definitioner af gymnasiefremmedhed har indflydelse, og de få spørgsmål i det fælles skema ikke nødvendigvis indfanger alle de betydningsfulde forhold. Det kan derfor være helt relevant at tilføje flere spørgsmål til skemaet (fx mere præcis information om forældres og søskendes uddannelses og job), ligesom det selvfølgelig også er en relevant diskussion, hvad vi egentligt er i stand til at indfange gennem det fælles skema. Projekterne må også selv afgøre hvordan og hvornår skemaet skal uddeles (papir eller elektronisk), men det skal som minimum rumme følgende spørgsmål (de konkrete formuleringer kan justeres): - Navn - Køn (dreng, pige) - Har din mor en studentereksamen (enten fra det almene gymnasium, fra hhx, fra hf eller fra htx)? - Har din far en studentereksamen (enten fra det almene gymnasium, fra hhx, fra hf eller fra htx)?

3 - Har din mor en videregående boglig uddannelse og i (f.eks. fra et universitet, som lærer, sygeplejerske, pædagog, ingeniør eller lignende?) - Har din far en videregående boglig uddannelse (f.eks. fra et universitet, som lærer, sygeplejerske, pædagog, ingeniør eller lignende?) - Er der noget ved gymnasiet, som du undrer dig over? - Er der noget du gerne vil blive bedre til i forhold til at gå i gymnasiet? Det er nødvendigt at spørge om navnet, fordi det ellers ikke er muligt at bruge svarene til at evaluere projektet - i hvert fald skal det være muligt på at koble resultater af spørgeskemaet med andre elevprodukter og -evalueringer. Det er ikke afgørende at denne undersøgelse sker i starten af projektforløbet, selvom det nok vil være interessant for de medvirkende hurtigt at få en fornemmelse af elevsammensætningen. Find gerne et tidspunkt hvor det naturligt kan integreres, fx i forbindelse med et undervisningsforløb. Hvis man allerede har foretaget en spørgeskemaundersøgelse med lidt andre spørgsmål, skal man ikke foretage endnu én blot for at få eventuelt manglende spørgsmål dækket ind. Men overvej om der evt. kan spørges ind til disse ved en senere lejlighed. Før-test I nogle tilfælde kan det give mening at gennemføre en før-test og efter-test, hvor man sammenligner elevernes besvarelser før og efter et forløb. Det vil eksempelvis kunne være i tilfælde, hvor målet er at eleverne skal have en mere klar forståelse af evalueringskriterier eller af mål og begrundelser med bestemte undervisningselementer. Hvis projektet fx har fokus på bestemte fags legitimitet, kunne én måde at få indblik i, hvilken forandring der måtte være hen gennem forløbet, være at bede eleverne besvare to spørgsmål før og efter forløbet: Hvorfor tror de, at Undervisningsministeriet mener, de skal lære dansk? Hvilken grund, mener de selv, der kunne være til, at de skal lære dansk? Efter forløbet kunne man bede eleverne besvare de samme spørgsmål igen. Elevernes besvarelser af før-testen kan i øvrigt i sig selv danne grundlag for tilrettelæggelsen af undervisningen. En anden måde kunne være at sammenligne elevernes løsning af opgaver, f.eks. den måde de bedømmer hinandens arbejde: Man kunne lade dem gennemføre kammeratevaluering (peer assessment) eller bedømmelse af eget arbejde før og efter et eksperiment med at udvikle elevernes indsigt i og forståelse af evaluerings- og bedømmelseskriterier. Undervejs Dokumentation Det er vigtigt undervejs at samle dokumentation for forløbet. Det er foruden planlægningsdokumenter (f.eks. undervisningsplaner, formål med undervisningsforløb osv.) også eksempler på elevarbejder, elevevalueringer, observationer fra andre lærere (se nedenfor). Også billeder, videooptagelser etc kan i nogle tilfælde være et godt middel til dokumentation, både lærerens optagelser eller som del af elevprodukter. Vær opmærksom på at I skal eventuelt skal bede eleverne om tilladelse til at benytte deres produkter projektsammenhængen og informere om på hvilken måde de vil blive brugt. I skal naturligvis overholde retningslinjer om omgang med personfølsomme oplysninger, og i det materiale I medtager i rapporten skal det ikke være muligt at identificere de enkelte elever (med mindre der er givet en specifik tilladelse).

4 Læringslogbog Det vil være en stor styrke hvis de involverede lærere fører en læringslogbog eller læringsdagbog, hvor læreren hen gennem projektet fastholder indtryk, overvejelser og ideer efterhånden som de opstår. Vanskeligheden består i at få det gjort, og det kan derfor være en idé at forsøge at skabe en ramme om skrivningen. En mulighed er at afsætte minutter (men et afgrænset tidsrum) i slutningen af den dag, hvor man har gennemført aktiviteter i projektet, til at skrive umiddelbare tanker og indfald. Det skal ikke være konkluderende eller teoretiserende, men tænkeskrivning, hvor umiddelbare oplevelser, indfald og eftertanker bliver fastholdt, mens forløbet er i frisk erindring. Det kan også gøres som en mail-bekendelse, hvor I aftaler, at I skal skrive en mail til en anden efter hver undervisningsgang, hvor I reflekterer hvad der er sket. Kollegainterview En anden variant er at hver deltager aftaler med en anden deltager fra skolen, at I f.eks. en gang om ugen eller (hvis I kan få det til tidsmæssigt at hænge sammen) efter de enkelte undervisningsgange, kort interviewer hinanden om, hvad der er sket. Igen kan det være en idé at afsætte et afgrænset tidsrum (f.eks. 15 minutter), hvor den ene interviewer den anden, og tager noter, som skal have en form, så andre kan få noget ud af dem. Hvis det praktisk kan lade sig gøre, kan I bruge trekantsinterviewet, hvor en spørger, en fortæller og en refererer undervejs. Kollegasupervision Kollegasupervision består i at en lærer (her kaldet observatør) overvejer en anden lærers undervisning (her kaldet underviser), og at de to sammen reflekterer over undervisningen. Et format for kollegasupervisonen kan være det følgende, som i store træk følger en model udviklet af Per Lauvås og Gunnar Handal fra Universitetet i Oslo (se også Lauvås & Rump): 1. Førmøde: underviser og observatør mødes. Underviser har udarbejdet et kort observationsgrundlag (det behøver ikke være mere end nogle linier). I observationsgrundlag skriver underviseren, hvilke punkter i undervisningen hun ønsker at fokusere på i refleksionen, og hvilke overvejelser hun har gjort sig i den anledning. Det kan være et særligt aspekt af undervisningen (f.eks. igangsættelsen af en elevaktivitet, vejledning undervejs, opsamling) eller særlige grupper af elevers deltagelse hen gennem lektionen. Fokuspunkterne bør vælges så de bidrager til dokumentation og evaluering af udviklingsprojektet. Observatøren spørger underviseren om hendes overvejelser med henblik på at underviseren får tydeliggjort de udfordringer og handlemuligheder hun har. Spørgsmålene kan også udfordre underviserens antagelser om, hvad der er muligt, nødvendigt osv. Observatør og underviser aftaler, hvad observatøren skal have særligt fokus på i obersvationen. 2. Observation: Underviseren gennemfører undervisningen som planlagt. Observatøren placerer sig i rummet, så det giver mest mening i forhold til det, som skal være i fokus. Det vil ofte være en idé at sættes sig, så man kan se elevernes ansigter og reaktioner dvs. ikke helt bagest, men heller ikke med ryggen til eleverne. Observatøren blander sig ikke i undervisningen, men betragter og noterer. Hovedvægten skal lægges på de punkter, som blev aftalt ved førmødet, men dukker andre punkter op, kan det naturligvis også noteres. 3. Eftermøde. Underviser og observatør mødes kort efter undervisningen. Der bør ikke gå for mange dage, fordi både erindring og fornemmelse af undervisningen svækkes. Omvendt behøver det heller ikke være umiddelbart efter undervisningen, hvis det ikke kan lade sig gøre. Eftermødet indledes med at underviseren fortæller, hvordan hun oplevede forløbet, og hvordan hun synes det gik i forhold til planen, og til de fokuspunkter som blev aftalt ved førmødet.

5 Derefter spørger observatøren ind. Obersvatøren skal ikke bedømme eller evaluere undervisningen. Observatøren skal spørge for at få underviseren til at reflektere yderligere over forløbet, og derigennem få en dybere forståelse af, hvad der er foregået. Derefter kan de to sammen forsøge at sammenfatte erfaringerne med eksperimenterne og fokuspunkterne i forhold til udvklingsprojektets problemformulering. Denne sammenfatning skrives ned i en form, så andre kan forstå den ved at læse papiret. Elevprodukter og -evalueringer Man kan undervejs give de studerende opgaver, som giver indblik i deres udbytte og oplevelse af forløbet. Det kan være tests som dem, der er nævnt i afsnittet før forløbet, eller det kan være besvarelser af opgaver undervejs, som f.eks. giver indblik i elevernes tænkning. Det kan også være mere umiddelbare evalueringer af typen Hvordan har jeg det med forløbet nu?, Det vigtigste jeg har lært i dag er..., To ting jeg synes er godt ved forløbet nu, og to ting jeg kunne ønske mig anderledes. Det er evalueringsformer, som kan gennemføres meget hurtigt i slutningen af en lektion, ved at eleverne skriver deres umiddelbart tanker på et stykke papir. Ved slutningen af projektperioden En række af de teknikker, som er nævnt ovenfor, kan bruges ved slutningen af projektperioden, og efterfølgende indføjes i en samlet portfolio for projektet. Det gælder mest oplagt: - Efter-test - Lærerens egen slutrefleksion i læringslogbogen - Kollegainterview - Elevprodukter fra opgaver, som har fokus på udviklingsprojektets problemformulering - Elevevalueringer Derudover kan det være en idé at holde et projektgruppemøde både på den enkelte skole og for de øvrige skoler man er i netværk med, hvor de forskellige erfaringsopsamlende produkter præsenteres og diskuteres, og denne diskussion fastholdes i et referat. Dette referat kan fungere som den samlende refleksion i en portfolio. Lars, Aase og Christine, September 2011