Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter?

Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter? Aase B. Ebbensgaard Lars Ulriksen, Christine Holm, april 2013 Indhold Hvordan kan man måle og dokumentere de initiativer, som afprøves i de enkelte projekter?... 1 Elevsammensætningen og forældreuddannelse... 2 Interview med elever og lærere... 4 Her en lille opskrift på hvordan man kan gennemføre et interview:... 4 Ideer til interviewguide.... 6 Eksempel på interviewmindmap... 6 Lærerrefleksion i projektet ang. succeskriterier og refleksion over projektprocessens forløb.... 9 Før projekterne... 9 Elevernes faglige udgangspunkt og læring... 10 Undervejs... 11 Observation af undervisningen som dokumentation... 12 En enkel model for observation... 12 Ved slutningen af projektperioden... 14 Dette papir er sammen med notaterne om begrebsafklaring og om analysespørgsmål tænkt som en hjælp i arbejdet med projekterne om gymnasiefremmede, specielt hvad angår spørgsmålet om, hvordan man kan måle, dokumentere og evaluere effekten af projekternes udviklingstiltag og initiativer. Dokumentationen skal først og fremmest bruges til at kunne sige noget om: 1. Hvad er der sket i forsøgene? 2. Hvad er elevernes oplevelse af aktiviteterne i forsøgene? 3. Hvad er elevernes udbytte og læring? 4. Hvad er elevernes baggrund, og kan man se, at forsøgene støtter de gymnasiefremmede? Det er altid svært at måle læringseffekten af en eller flere didaktiske metoder. Dette hænger sammen med, at der er mange ubekendte faktorer i spil i alle undervisningssituationer og at det er vanskeligt at isolere én faktor, som så er den man evaluerer på. De forskellige faktorer virker sammen. Ydermere er klasser og lærere ikke ens. Eleverne er forskellige og en lang række til tider 1

ret forskellige ydre faktorer påvirker enhver læringssituation, og derfor kan en direkte overføring af resultater fra én sammenhæng til en anden være vanskelig. Dette er nu engang den virkelighed, man befinder sig i som lærer, udvikler og forsker. Dertil kommer, at resultatet af en didaktisk indsats måske først viser sig en tid efter, at undervisningen er slut. Man har således hævdet, at først når eleverne har forladt skolen, kan man se, om de gymnasiefremmede, der har deltaget i udviklingsprojekterne, klarer sig bedre end tidligere elever i det samlede uddannelsesforløb. Men disse indvendinger betyder dog på den anden side ikke, at man slet ikke kan måle og dokumentere de tiltag, man afprøver i udviklingsprojekterne. Det er ligeledes klart, at skal projekterne inspirere andre, er det vigtigt, at der både i skoleprojekternes rapporter og i den forskningsbaserede samlede rapport kan fremlægges resultater og erfaringsopsamlinger, der godtgør, hvad der kan gøres for de gymnasiefremmede, og hvad der med en høj grad af sandsynlighed er gode initiativer for at hjælpe denne elevgruppe frem til større faglig dygtighed og dermed give de gymnasiefremmede mod på at gå videre i uddannelsessystemet. Vi vil derfor i dette papir give nogle ideer til, hvordan man kan etablere et grundlag for at måle, dokumentere og evaluere projekternes resultater. Vi stiller to krav til elementer, som skal indgå i rapporteringen fra alle projekter: Det drejer sig om: A. Undersøgelse af elevsammensætningen i de klasser, der indgår i projekterne, specielt hvad angår elevernes socio-kulturelle baggrund og forældrenes uddannelsesbaggrund. B. Elevinterviews (og evt. lærerinterviews) angående projektforløbet. Derudover kan en eller flere af følgende dokumentationselementer indgår i projekterne: C. Fortløbende lærerrefleksion gennem hele projektet ang. succeskriterier og refleksion over projektprocessens forløb og resultater. D. Observation af undervisning. E. Test eller anden dokumentation af elevernes arbejde og faglige udbytte. I det følgende vil vi give nogle ideer til, hvordan denne dokumentation kan produceres. Elevsammensætningen og forældreuddannelse Da projekterne retter sig mod at forbedre undervisning og læring for gymnasiefremmede elever er en forudsætning, at man ved, hvem der er gymnasiefremmede i den eller de klasser, der deltager i projektet. Det har vist sig i de projekter, som er gennemført ind til nu, at der er stor forskel på antallet af gymnasiefremmede i de deltagende klasser. Flere af de deltagende skoler er også blevet overraskede over antallet af gymnasiefremmede i klasserne i nogle tilfælde fordi der har været færre gymnasiefremmede elever end de havde ventet, og i andre fordi der har været flere. Det kan være en idé at lave spørgeskemaer, som samtidig med, at man søger oplysninger om elevernes sociale baggrund, tillige spørger om deres oplevelser af fag, lektier, tidligere skoleliv, 2

undervisningsformer og evt. erfaringer med at lære. Hvilke spørgsmål, som i øvrigt kunne være relevante, afhænger af, hvilket fokus jeres projekt har. Ved at lægge disse mere skole- og fagrelaterede elementer ind i spørgeskemaerne, er det lettere overfor eleverne (også) at argumentere for, at undersøgelsen skal give lærerne oplysninger om, hvad de specielt skal tænke på i deres undervisning for at gøre denne så god som mulig. Nogle skoler har gennemført disse undersøgelser i tilknytning til undervisning i samfundsfag. Inspiration til, hvordan spørgeskemaer kan se ud, kan findes i nogle af de allerede afsluttede projekter. Bl.a. projektet fra de Midtsjællandske Gymnasier i 2. runde (http://www.ind.ku.dk/gymnasiefremmede/skoleprojekter/evalueringsrapport_udviklingsprojekt_m SG_127762.pdf/) eller fra Tradium i 1. runde (http://www.ind.ku.dk/negativ-socialarv/netvaerksprojekter/rapporter/125564-rapport.pdf/). I 2. runde valgte Silkeborg Gymnasium at stille spørgsmålet som et åbent spørgsmål (dvs. hvor eleverne skulle skrive deres svar i stedet for at sætte et kryds) (http://www.ind.ku.dk/gymnasiefremmede/skoleprojekter/127748_silkeborg_studieretningssamarb ejde.pdf/) Det er ofte nødvendigt at formulere spørgsmålene om forældres uddannelsesbaggrund, så man ikke blot spørger til, om forældrene har studentereksamen eller ej. Eleverne ved det ofte ikke, men man kan eventuelt opfordre til at de kontakter deres forældre via sms for at få svaret. Derudover kan man spørge til om forældrene har uddannelser ud over gymnasiet, og man kan eventuelt spørge til det erhverv, forældrene har eller har haft. Derudfra kan man så ofte slutte til ungdomsuddannelse og videregående uddannelse. Endelig kan det være relevant at spørge til, om forældrene har en videregående uddannelse efter studentereksamenen, fordi forældrene i nogle tilfælde ikke har brugt deres studentereksamen til videre uddannelser, og det kan også have betydning for elevernes adgang til gymnasiets kultur. Spørgsmålet om anonymitet er væsentligt at overveje især hvis man spørger til elevernes oplevelser af undervisningen, deres arbejdsindsats, faglige vanskeligheder osv.. Først og fremmest sker det, at eleverne ikke svarer ærligt, når det ikke er anonymt. Hvis man ønsker at give eleverne anonymitet, kan det, ud over at de ikke skriver navn på skemaet, være en idé at få en udeforstående person, der ikke er lærer i klassen, til at udlevere og indsamle skemaerne. Spørgeskemaundersøgelser kan evt. gentages senere med blik på at finde elevernes oplevelser af nogle af de specielle tiltag, man laver i projektet. På den måde kan man få en ret god dokumentation for resultatet af udviklingsprojektets didaktiske og pædagogiske initiativer. Det kan være nødvendigt at kende navnene på de gymnasiefremmede elever i en klasse, hvis man skal evaluere, hvordan de indsatser, man sætter i værk, fungerer i forhold til målgruppen. I så tilfælde kan det være nødvendigt at adskille det spørgeskema, som giver information om elevernes sociale baggrund, fra de skemaer, som måtte sige noget om elevernes oplevelser af undervisningen. Det er vores erfaringer fra de tidligere runder af projekter, at eleverne ikke føler sig krænkede over spørgsmål vedrørende deres sociale baggrund. 3

I nogle tilfælde kan man evaluere effekten af indsatserne for de gymnasiefremmede elever uden at kende deres navne. Hvis man bruger test, kan man spørge om forældrenes uddannelse uden at få navne. Hvis man gerne vil gennemføre før- og efter-test, kan man bede eleverne anføre en kode på det første skema, som de skal huske, når de udfylder efter-skemaet. En mulighed kan være, at de skriver de to første og de to sidste cifre i deres cpr-nummer. Det vil de kunne rekonstruere, selv hvis der er længe mellem, de skal udfylde de to skemaer. Det er vigtigt realistisk at vurdere det arbejdsmæssige omfang af spørgeundersøgelser og bearbejdningen af sådanne undersøgelser, så man ikke drukner i data, man ikke har kapacitet til at bearbejde. Man kan imidlertid her få hjælp af visse programmer fx i Fronter. Interview med elever og lærere Som nævnt er det et krav, at alle projekter skal gennemføre interview med mindst én elev som en del af dokumentationen af forløbet. Desuden vil også enkelte lærerinterviews være en rigtigt god idé. Her en lille opskrift på hvordan man kan gennemføre et interview: 1. Gør jer klart, hvad det overordnede mål (fokus) er med interviewet, og hvad I specielt ønsker at få indsigt i. Er det sociale baggrundsforhold, læringsopfattelser, oplevelser i klassen, arbejdsformer osv.? Dette fokus er betinget af jeres projekts fokus. 2. Beslut jer for de kriterier I vil bruge for at udvælge den eller de interviewpersoner, I mener, er de rette at tale med. Skal det fx være den gymnasiefremmede pige/dreng med dansk baggrund eller med indvandrerbaggrund eller en af hver? ` 3. Vurdér, om et gruppeinterview eller individuelt interview bedst egner sig til at besvare de spørgsmål, I vil have belyst. Fordelen ved et gruppeinterview er, at man får flere elever i tale på samme tid, og at man kan høre, hvordan eleverne reagerer på det, de andre siger. Fordelen ved det individuelle interview er, at interviewpersonen kan give udtryk for sine oplevelser uden at tage hensyn til kammeraterne. Samtidig er det nemmere for intervieweren at følge op på det, interviewpersonen siger. Man kan sige, at gruppeinterviewet giver adgang til de opfattelser og oplevelser som er legitime i gruppen, mens det individuelle interview giver adgang til den enkeltes oplevelser. Begge dele kan være relevant, og det må vurderes konkret i forhold til jeres ressourcer og jeres fokus. 4. Opdel jeres overordnede mål (fokuspunkt) i underpunkter. Opdel igen underpunkterne i underunder-punkter. Skriv en række konkret spørgsmål, I synes er afgørende. (Se eksempler nedenfor).. 4

5. Lav dernæst en interviewguide som kun fylder en side, fx i form af et mindmap eller tematræ med udgangspunkt i pkt 3 (se forslag her nedenfor). Det er kun denne side, man har med til interviewet. Fordelen er, at man dermed har en oversigt over temaer, som kan ligge foran på bordet under interviewet, og man kan lade interviewpersonerne springe rundt uden, at man selv mister overblikket. Dermed bliver gangen gennem interviewet styret af interviewpersonen, og intervieweren sidder ikke klamret til en lang liste med spørgsmål. Man kan have øjenkontakt med interviewpersonen og nøjes med skæve til sit begrebskort. 6. Formuleringen af spørgsmål: Stil åbne spørgsmål, gerne spørgsmål som i første omgang lægger op til at eleverne beskriver og reflekterer snarere end bedømmer undervisningen eller forsvarer sig selv. Spørgsmål kan fx være: Prøv at fortæl om den seneste engelsktime. [Eller: I sidste uge arbejdede I i grupper om XX. Kan du fortælle hvad I lavede i din gruppe? Hvordan greb I arbejdet an?] Er der noget du synes er særligt spændende/svært/sjovt/kedeligt i undervisningen i engelsk? Hvad kunne man gøre, hvis du skulle få mere ud af undervisningen i engelsk? Stil undrende spørgsmål Da jeg var inde i klassen lagde jeg mærke til, at der ikke var særligt mange som tog noter. Plejer det at være sådan? Stil måske modspørgsmål Kunne man ikke også forestille sig at? Nogen kunne måske tænke, at det ville blive mere spændende, hvis flere var forberedt til undervisningen? Pas på med hvorfor -spørgsmål. En måde at være undrende eller nysgerrig på er at vise kulturel uvidenhed, gentag udsagn, angiv hypotetiske situationer osv. Signaler først og fremmest at alt, hvad interviewerne fortæller, er rigtigt spændende, nyt og interessant for jer! Man bør slå fast overfor eleverne, at interviewet omhandler deres generelle syn på det pågældende tema - ikke deres opfattelse af specifikke personer, elever eller lærere. Optag på mobil, diktafon, el lign. Det er bedst, hvis det er diskret teknik. 5

Ideer til interviewguide. Kan du/i nævne/huske situationer, hvor du/i fik specielt meget ud af undervisningen og lærte noget? Hvad skal der til for, at du/i lærer noget? Forskellige arbejdsformer? Elevaktivitet? Faglig relevans i forhold til verden "udenfor"? Lærerens rolle (sprog, humør, kommunikation etc.)? Hvad er efter din/jeres mening svært, og hvad er let i faget? Prøv at give konkrete eksempler Hvornår er stoffet svært? Hvornår er stoffet let? Hvad gør du/i, når timerne bliver for svære at følge med i? Hvad gør du/i, hvis I synes der sker for lidt fagligt i timerne (det er for let)? Har du/i mulighed for at få hjælp af forældre eller andre ressourcepersoner uden for skolen? Hvem spørger du, hvis du har svært ved at forstå lektier eller opgaver? Når du er på skolen? Når du er derhjemme? Hvorfor har du/i valgt netop denne ungdomsuddannelse. Hvad eller hvem påvirkede jeres valg? Havde I overvejet andre ungdomsuddannelser? Eksempel på interviewmindmap 6

strategier læring prioriteringer indsigt i egen læring oplevelser af undervisning og læring undervisnings-former Svært - let gode og dårlige undervisningsformer klassen Grupper familien hjælp til lektier uddannelser venner lærerne sprog fællesskaber skolen hvorfor denne uddannelse? At føle sig til rette Interviews skal bearbejdes for at afgive viden og dokumentation, men det kan også let være meget tidskrævende. I forhold til jeres rapportering er det ikke nødvendigt, at interviewene bliver skrevet ud for at bruge dem som dokumentation i projektrapporterne, men enkelte gode og rammende citater er rigtig god dokumentation at indføre i rapporterne gerne sammen med forklarende og analytiske kommentarer. Et par ideer til, hvordan I kan bearbejde interview uden at drukne i arbejde, kan fx være: - Hvis I er to til at gennemføre interviewet, kan den ene interviewe og den anden skrive notater undervejs. I kan så bruge notaterne til jeres rapportering og bruge lydoptagelsen af 7

interviewet som en back-up funktion, hvis der er noget I er i tvivl om, eller hvis der er noget, I gerne vil have helt ordret citeret. - Lyt interviewet igennem samtidigt med, at I skriver noter på computeren. I kan i noterne blande stikord og kortere citater eller næsten-citater, hvor der forkortes eller ændres i syntaksen, mens man skriver, så man ikke behøver spole frem og tilbage hele tiden. På den måde kan man stort set skrive sine noter på samme tid, som interviewet varer. I boksen har vi givet et eksempel på den type noter fra et interview med tre elever om fysik på htx. L og H er interviewerne. Udsnittet svarer til at halvandet minut i interviewtid - Hvis der er passager i interviewet, som er særligt relevante, komplekse eller uklare, kan det være relevant at lave en mere nøjagtig transskribering af den passage. Det kan fx være et gruppeinterview, hvor eleverne har forskellige opfattelser af undervisningen. L: Hvad er det med det at der kun er et svar? det er entydigt. Man kan lettere hjælpe hinanden, og man ved lettere om man gør det rigtigt og man gør det korrekt. I dansk kan have fat i noget, men hvis man ikke ved hvorfor det er rigtigt, så er det egentlig ikke rigtigt. Man kan også være uenige med hinanden. Det kan man ikke i fysik. Det kan bevises at det er rigtigt - det kan man ikke i dansk. H: Andet som er det bedste? Generelt, at det er så meget eksperimentelt, og især anvendelsen, og ofte bliver det også koblet sammen med andre fag, så man ser hvordan det hænger sammen med andre fag. Vi bruger fx fysikteori i teknikfag. L: Hvad er det med det at der kun er et svar? det er entydigt. Man kan lettere hjælpe hinanden, og man ved lettere om man gør det rigtigt og man gør det korrekt. I dansk kan have fat i noget, men hvis man ikke ved hvorfor det er rigtigt, så er det egentlig ikke rigtigt. Man kan også være uenige med hinanden. Det kan man ikke i fysik. Det kan bevises at det er rigtigt - det kan man ikke i dansk. H: Andet som er det bedste? Generelt, at det er så meget eksperimentelt, og især anvendelsen, og ofte bliver det også koblet sammen med andre fag, så man ser hvordan det hænger sammen med andre fag. Vi bruger fx fysikteori i teknikfag. Tekstboks 1 Eksempel på stikord fra interview, skrevet samtidigt med gennemlytning af interviewet. Lærerinterviews kan også være nyttige for at påvise, hvad der er sket i projektet. Den mest tidsøkonomiske form vil være at afsætte et afgrænset tidsrum (fx 15 minutter), hvor den ene lærer 8

interviewer den anden, og tager noter, som skal have en form, så andre kan få noget ud af dem. Grundlæggende gælder de samme overvejelser vedrørende spørgsmål og spørgeformer for lærerinterviewene som for elevinterviewene. Hvis det kan lade sig gøre, kan det være en fordel, at lærerinterviewet gennemføres af en lærer, som ikke er fortrolig med klassen og med forløbet, fordi det mindsker risikoen for at interviewet bliver indforstået og at relevante punkter ikke bliver tematiseret, fordi både interviewer og interviewperson kender forløb, elever, episoder osv. i forvejen. Lærerinterviews kan erstattes af små én-sides refleksionsnotater skrevet på baggrund af de notater, de deltagende lærere har foretaget i deres logbøger. Lærerrefleksion i projektet ang. succeskriterier og refleksion over projektprocessens forløb. Før projekterne Lærernes formulering af mål og plan Inden projekterne går i gang skal I sikre jer, at I har diskuteret og nedfældet, hvad I vurderer som succesmål i udviklingsprojektet. Det kan være en fordel at formulere et overskueligt antal delmål for forløbet, dvs. hvad I sigter mod, at eleverne skal kunne, når projektet er gennemført. Det er også en fordel at overveje, hvordan I vil kunne se, om jeres mål er nået. Formulér for eksempel: a. en række sætninger, som begynder med eleven skal kunne... Fx: Eleven skal kunne bedømme en kammerats arbejde, og begrunde sin bedømmelse osv. b. en række sætninger, der direkte beskriver de konkrete tiltag, der skal sættes i gang. Fx: systematisk arbejde med den sproglige dimension i dansk, fysik, matematik osv. Læseværksteder, omlægning af elevtid osv. c. sætninger, der har karakter af mere længererækkende hensigtserklæringer, fx at eleverne får mere udbytte af deres forberedelse osv. Det afgørende er, at projektgruppen har formuleret eksplicitte mål og derigennem gjort sig klart, hvad der er i fokus angående elevernes faglige læring og sociale kompetencer. Men det er også vigtigt, at man tidligt noterer, hvordan man forestiller sig sammenhængen mellem det didaktiske tiltag og så det konkrete læringsmæssige udbytte hos gymnasiefremmede. Det kan være til stor inspireration for andre med sådanne refleksioner. I det papir, som vi kalder Analysespørgsmålene har vi noteret dette første arbejde i projektet således: Hvad er hovedtanken bag projektet? På hvilken måde og med hvilke tiltag søger projektet at afhjælpe de gymnasiefremmedes vanskeligheder? Hvilke vanskeligheder ser projektet som særligt vigtige at gøre noget ved? Hvorfor? 9

Hvordan er fordelingen mellem aktiviteter, som foregår inden for den ordinære undervisningsramme, og aktiviteter, som foregår uden for og som supplement til undervisningen? I den indledende fase er det praktisk, at man skitserer en slags tidsplan for afgørende milepæle i projektet. Ikke mindst i forhold til skoleledelsen er det hensigtsmæssigt at have tydeliggjort, hvordan arbejdet tidsmæssigt skal afvikles, så der kan tages hensyn til projektets planer i den samlede skoleplan og i de deltagende læreres skemalægning. Elevernes faglige udgangspunkt og læring Test I nogle tilfælde kan det give mening at gennemføre før-tests og efter-tests, hvor man sammenligner elevernes besvarelser før, i løbet af og efter et forløb. Det afhænger af, hvilke mål, man har i projektet, hvad der skal testes hvornår, og hvordan det skal foregå. Man kan finde eksempler på den slags tests i rapporterne fra 1. og 2. gennemløb af udviklingsprojekterne. Fx har projektet Sprogværkstedet gennemført sådanne test i forhold til elevernes læsestrategier og deres egen vurdering af disse strategier_(se http://www.ind.ku.dk/gymnasiefremmede/skoleprojekter/127754- Sprogv_rkstedet2Afrapportering_af_projekt.pdf/ og bilaget http://www.ind.ku.dk/gymnasiefremmede/skoleprojekter/127754-sprogv_rkstedet2-bilag_1-4.pdf/). En form for test, som kan give et indblik i elevernes forståelse af det faglige indhold, er de såkaldte begrebskort. Ideen med et begrebskort er, at eleverne skal placere faglige begreber i forhold til hinanden og forbinde dem med streger, hvor der stregen også angiver måden de to begreber er relateret til hinanden. For eksempel kan vand forbindes med tre tilstandsformer med stregen findes i. Begrebskort er velegnede til at få indblik i elevernes forståelse af fænomener, fordi de selv skal konstruere kortet og formulere relationerne. De kan også bruges til at afdække tekstforståelser, fx hvilke argumenter hvilke personer fremfører i forhold til hvilke spørgsmål i samfundsfag, eller hvordan forskellige temaer, figurer og virkemidler spiller sammen i en fiktionstekst. (Man kan finde korte beskrivelser og videre henvisninger på følgende hjemmesider: https://www.emu.dk/gsk/miljoe/inspiration/begrebskort.html http://cse.au.dk/videnudveksling/ressourcer/grundskole-og-laereruddannelse/begrebskort/ Hvis elever danner begrebskort i forhold til et emne før og efter et undervisningsforløb, kan kortet give indblik i, om elevernes forståelse af sammenhænge har ændret sig gennem forløbet. Elevernes besvarelser af før-test kan i øvrigt i sig selv danne grundlag for tilrettelæggelsen af undervisningen. En anden måde kunne være at sammenligne elevernes løsning af opgaver, fx den måde de bedømmer hinandens arbejde: Man kunne lade dem gennemføre kammeratevaluering (peer assessment) eller bedømmelse af eget arbejde før og efter et eksperiment med at udvikle elevernes indsigt i og forståelse af evaluerings- og bedømmelseskriterier. 10

Det er klart, at det er de mere konkrete og målbare elementer i projekterne, der kan afdækkes og dokumenteres på denne måde. Hvad angår de mindre håndgribelige læringsresultater, må man benytte andre dokumentationsformer, som vi kommer ind på det nedenfor. Undervejs Lærernes dokumentation af overvejelser Det er vigtigt undervejs at opsamle dokumentation for effekten af projektet. Det kan foruden planlægningsdokumenter også være eksempler på elevarbejder, elevevalueringer, observationer af undervisning (se nedenfor) osv. Det kan være en idé at benytte portfolioevaluering. Det vil sige, at projekterne løbende samler dokumenter, eksempler og refleksioner både fra elever og lærere - og til sidst foretager en samlet refleksion og vurdering af det billede, dette materiale tegner. I møder i gruppen er det vigtigt med referater, som ikke alene fortæller, hvad der er besluttet, og hvem der skal gøre hvad (selv om det også er vigtigt), men også referater som i stikord eller i løbende tekst fastholder de overvejelser, gruppen har gjort sig. Det kan være bekymringer med hensyn til, hvad der kan gå galt, hvor vanskelighederne vil opstå; eller det kan være forventninger til, hvordan eleverne vil reagere, hvad de vil synes er interessant osv. En anden måde at dokumentere på er, at hver deltagende lærer skriver sine forestillinger, forhåbninger og bekymringer ned, før forløbet sættes i gang. Det vil sige: Hvad tror jeg, vil ske? Hvad håber jeg, vil ske? Hvad frygter jeg, vil ske? Disse skriftlige overvejelser kan eventuelt indgå i en læringslog eller læringsdagbog (jf. nedenfor). En tredje måde kan være, at lærerne interviewer hinanden om de samme spørgsmål, og at intervieweren (eller en tredje) i stikord fastholder interviewet. Det kan både gøres før hele projektet sættes i værk, og det kan gøres før enkelte elementer eventuelt før enkelttimer. Se mere ovenfor om interviews som dokumentationsform. Læringslogbog Det vil være en stor styrke, hvis de involverede lærere fører en læringslogbog eller læringsdagbog, hvor læreren gennem projektet fastholder indtryk, overvejelser og ideer, efterhånden som de opstår. Vanskeligheden består i at få det gjort, og det kan derfor være en idé at forsøge at skabe en ramme om skrivningen. En mulighed er at afsætte 10-15 minutter (altså et afgrænset tidsrum) i slutningen af den dag, hvor man har gennemført aktiviteter i projektet, til at skrive umiddelbare tanker og indfald. Det skal ikke være konkluderende eller teoretiserende, men tænkeskrivning, hvor umiddelbare oplevelser, indfald og tanker bliver fastholdt, mens forløbet er i frisk erindring. Det kan også gøres som en mail-beretning, hvor I aftaler, at I skal skrive en mail til en anden fra projektet efter hver undervisningsgang, hvor I reflekterer, hvad der er sket. Elevprodukter og -evalueringer 11

Man kan undervejs give eleverne små opgaver, som giver indblik i deres udbytte og oplevelse af forløbet. Det kan være tests som dem, der er nævnt ovenfor, eller det kan være besvarelser af opgaver undervejs, som giver indblik i elevernes tænkning. Det kan også være hurtige evalueringer af typen Hvordan har jeg det med forløbet nu?, Det vigtigste, jeg har lært i dag, er..., To ting jeg synes er godt ved forløbet nu, og to ting jeg kunne ønske mig anderledes. Det er evalueringsformer, som kan gennemføres meget hurtigt i slutningen af en lektion ved, at eleverne skriver deres umiddelbart tanker på et stykke papir. Observation af undervisningen som dokumentation Dokumentation for resultater af et udviklingsprojekt kan opgøres i tal og procenter ud fra tests og spørgeskemaundersøgelser. Men effekten af tiltag kan også dokumenteres gennem observation og interviews altså kvalitative dokumentationsformer. Den slags dokumentation kan umiddelbart forekomme at være mindre præcise end kvantitative dokumentationsformer, men i virkeligheden får man gennem observation og interviews ofte en lang række nuancer med, som man ikke kan forudse, når man laver et spørgeskema, og som kan udvirke en nuanceret forståelse for, hvilken betydning det pågældende projekt har haft for elevers udvikling og læring. Interviews af lærere og elever (se ovenfor) kan knyttes sammen med observation i klasserne. Observation kan på den måde supplere og korrigere det, der siges i interviewene. Tilsammen bliver observation og interview en form for reflekterende dokumentation angående projekterne. Man kan skelne mellem observation af eleverne og klasserumsarbejdet og så observation af lærernes undervisning. Det sidste også kaldet kollegasupervision. Kollegasupervision består i, at en lærer som observatør overværer en anden lærers undervisning, og at de to sammen efterfølgende reflekterer over undervisningen. Et format for observation kan være det følgende, som i stikord og reduceret form følger en model udviklet af Per Lauvås og Gunnar Handal fra Universitetet i Oslo, 1 suppleret med nogle praktiske kommentarer fra vores side. En enkel model for observation Før observationen Beslut hvad I vil have fokus på i observationen. Fx: af hvad læreren, af hvad eleverne går, måske hvad nogle særlige elever gør, hvilke materialer som bliver brugt, brug af medier, klasserumskultur osv. Opdel jeres observation i afgrænsede fokuspunkter. Vurdér, hvor mange observationer, I vil foretage og hvor de skal ligge i projektet. 1 Se også: Lauvås, P., & Rump, C. (2001). Vor fælles viden. Kollegavejledning som metode til udvikling af undervisning ved højere læreanstalter. Frederiksberg: Samfundslitteratur. 12

Fokuspunkt(er) i observationen aftales mellem observatør og lærer. Det aftales, hvor meget eleverne skal vide om observationen på forhånd. Det er ikke sikkert, at de skal vide så meget. Det aftales, hvor megen observatøren må deltage og kommunikere med eleverne. Det aftales, hvordan feedback skal foregå (lige efter timen, som notat eller andet) Placering deltagelse af observatør Dette kan være forskelligt i forhold til lektionens aktivitetsform. Skal /må observatøren bevæge sig? Hvor meget, hvordan? Må observatøren blande sig, fx ved at hjælpe elever ved gruppearbejde? Valg af registrering/notater/registrering og selve observationen Der er fordele og ulemper ved de forskellige medier Metoderne kan være: Video- lyd o Fordele: alt kommer med uden selektion i forhold til det optageren rettes mod. o Ulemper: Der selekteres ikke ud fra det planlagte tema/fokus. Optageren selekterer. o Det er muligt, at der faktisk sker interessante ting andre steder end der, hvor optageren er rettet hen. Optageren signalerer en objektivitet, der måske ikke er reel. o Analysearbejdet senere er langsommeligt.(afspilningstiden er den samme, som den faktisk forløbne undervisningstid) Notater på pc o Fordele: det går hurtigt og man får meget med. o Observatøren signalerer fjernhed og distance. Ingen observatørdeltagelse. o Ulemper: Observatøren er ofte ikke særligt mobil. o Man har svært ved både at se ud i lokalet og ned på skærmen. o Efterbearbejdning kræver en del tid, men ikke så lang tid som ved optagelser. Håndskrevne notater o Fordelen er, at det er enkelt, ikke virker forstyrrende og går hurtigt. Man sorterer samtidig med, at man skriver. Observatørren kan samtidig vise aktiv interesse ved at se på eleverne. o Ulemper: Man skal være yderst opmærksom, hvis ikke noget skal glippe. Hjælpemodeller o Man kan evt. lave et skema eller model, som man noterer i. (Model kan evt. indsættes). Kan bruges både ved pc og håndskrivning. o Ulempe: Men man skal springe rundt på flere papirer i noteringen Vores forslag er: Vi vil foreslå, at I på forhånd udarbejder et mindmap med de fokuspunkter, der er på programmet. Ideen er den samme som ved interviews. Fordelen er, at man hele tiden har overblikket på ét ark. 13

Under observationen kan I lave hurtige og mange placeringsskitser og markere på disse, hvem der taler, og hvad der siges. Undlad kommentarer eller tolkninger i observationen. Kun det faktuelle noteres evt. med et symbol. Tolkningen sker i efterbearbejdningen. Efterbehandling Det kan være diskussion umiddelbart efter timen. Fordelen er, at alle kan huske forløbet. Dialogen giver god refleksion og ideer. Ulempen er, at det diskuterede ikke bliver altid holdt fast. Det er heller ikke sikkert, at der er tid lige efter. Diskussionen kan følges op af sammenskrivning. Fordelen er, at det observerede fastholdes og kan sammenlignes med senere observationer. Ulempen er, at det er tidskrævende for den, der skal gøre det. Der skal sættes resurser af. Observationen kan følges op af tanker om, hvad der måske skal rettes til i projektets afvikling. Ved slutningen af projektperioden Resultatet fra de teknikker, som er nævnt ovenfor, kan indføres i den endelige skolerapport. Det gælder mest oplagt: - Testresultater specielt efter-test af elever - Lærernes egne refleksion fra logbøger, referater eller refleksionspapirer - Citater fra elevinterviews - Citater fra lærerinterviews og lærerrefleksion - Observationsresultater - Elevprodukter, som har fokus på udviklingsprojektets problemformulering - Elevevalueringer I udarbejdelsen af rapporten skal I forholde jer til de spørgsmål, vi har stillet i vores papir om analysespørgsmål. Det gælder fx: Kan der konstateres ændringer i de gymnasiefremmedes deltagelse, udbytte eller andet som følge af udviklingsprojektet? Hvordan har I konstateret/evalueret resultatet? Hvilke faktorer har støttet eller hæmmet gennemførelsen af udviklingsprojektet? Det kan være faktorer i klassen, på gymnasiet som helhed, i rammerne for undervisningen (fx læreplaner) eller andre faktorer. Hvordan vurderer de involverede lærere forløbet med hensyn til at støtte de gymnasiefremmedes udbytte og gennemførelse af gymnasiet? 14

Har lærere, som ikke er indgået i udviklingsprojektet, kunnet opleve ændringer i de gymnasiefremmede elevernes deltagelse i deres undervisning? Hvordan har de ikke-gymnasiefremmede elever oplevet udviklingsprojektet? Har det haft betydning for disse elevgrupper? Hvilke justeringer ville projektgruppen foretage næste gang, den ville gennemføre forløbet? Hvilke anbefalinger og erfaringer kan projektgruppen give videre til andre grupper af lærere, som måtte involvere sig i udviklingsprojekter af lignende art? Derudover kan det være en idé at holde et projektgruppemøde, hvor de forskellige erfaringsopsamlende produkter præsenteres og diskuteres, og denne diskussion fastholdes i et konkluderende referat. Aase Bitsch Ebbensgaard, Lars Ulriksen, Christine Holm april 2013 15