Rapport om udviklingsprojekt. Dokumentation og effektmåling

Transkript

1 Rapport om udviklingsprojekt Dokumentation og effektmåling Dokumentation, virkningsevaluering og elevinterview på Gedebjerg skole Udarbejdet af Gedebjerg Skole, Gedebjergvej 8-11, 4700 Næstved November

2 INDHOLD 1. Resumé Læsevejledning Lidt om skolen Projektets baggrund, formål og problemformulering Projektets aktiviteter ) Oversigter ) Dokumentation ) Elevinterview ) Virkningsevaluering Konklusion og læring af projektet ) Dokumentation ) Elevinterview ) Virkningsevaluering Perspektivering dokumentation og virkningsevaluering i Gedebjerg Skoles fremtidige virke Bilag

3 1. Resumé Gedebjerg Skole arbejder i 2012 og 2013 med et omfattende udviklingsprojekt. Fokus er dokumentation, virkningsevaluering (effektevaluering) og elevinterview (børneinterview). Projektet er støttet af Fonden Pro. Projektet handler først og fremmest om metodeudvikling. Hvordan kan Gedebjerg Skole styrke dokumentationen? Hvordan finder skolen ud af om skolegangen har de ønskede virkninger for eleverne også i tiden efter skolegangen? Hvordan kan skolen styrke nysgerrighed og refleksion hos eleverne og give elevernes oplevelser stemme? I rapporten fremstilles projektets metodiske overvejelser og valg samt baggrunden herfor. Der er i forløbet udviklet en lang række skabeloner, vejledninger, spørgeskemaer og interviewguides. Der er også i rapporten redegjort for de bagvedliggende problemstillinger og undersøgelsestemaer. Projektet har givet skolen en lang række udfordringer. Udviklingsarbejdet går på mange måder på tværs af det daglige arbejde på skolen. Vores udfordringer, refleksioner, viden og erfaringer fra udviklingsarbejdet er også nævnt i rapporten. Vi håber materialet kan være til inspiration også for andre skoler mm. God læselyst! 2. Læsevejledning Afsnit 3. Lidt om skolen beskriver Gedebjerg skole- størrelse og samarbejdspartnere. 4. Projektets baggrund og formål beskriver projektets baggrund, behov, mål og problemstillinger. I afsnit 5. Projektets aktiviteter handler om projektforløbet og de konkrete praktiske tiltag og handlinger i forhold til projektets enkelte dele. De metodiske erfaringer beskrives i afsnit 6. Konklusion og læring. Projektet rejser flere perspektiver for skolens fremtidige arbejde med dokumentation og virkningsevaluering. Disse perspektiver rulles ud i afsnit 7. Perspektivering dokumentation og virkningsevaluering i Gedebjerg Skoles fremtidige virke. 3. Lidt om skolen Gedebjerg Skole er en privat specialskole normeret til 80 elever og med cirka 30 ansatte fordelt på to adresser og fire afdelinger. De tre af afdelingerne er indrettet til at have elever fra 0. til 9. klassetrin, mens den fjerde afdeling er specialiseret i at tage sig af de elever, der har brug for mere massiv støtte, og for hvem det ikke er muligt at gennemføre en fuld afgangsprøve. Fælles for skolens elever er, at den almindelige folkeskole af den ene eller anden årsag ikke er det rette tilbud til dem. Flere af eleverne har brug for tæt voksenkontakt og støtte samt et trygt, struktureret og overskueligt miljø. Skolen har to eksterne psykologer tilknyttet, som blandt andet står for den faste supervision af personalet. Denne supervision foregår såvel individuelt som afdelingsvist. Skolens vigtigste samarbejdspartenere er kommuner, forældre, plejeforældre, opholdssteder og psykologer. Det er kommunerne, som visiterer eleverne til skolegang på Gedebjerg Skole. Hvert år 3

4 vurderes det på ny, om skolen fortsat er det bedste tilbud til den enkelte elev, og i forbindelse hermed har skolen et omfattende dokumentationsansvar. 4. Projektets baggrund, formål og problemformulering Gedebjerg Skole har i en lang årrække prioriteret den skriftlige dokumentation højt. Dokumentationsformen var langt hen ad vejen styret af samarbejdspartneres behov. I praksis betød det, at skolen anvendte forskellige skabeloner til dokumentation af elevers udvikling og standpunkt. Afhængigt af de enkelte modtageres formulerede behov og ønsker. For skolens ansatte gav det en oplevelse af en usammenhængende dokumentation. Materialets brugbarhed i forhold til skolens fremtidige pædagogiske praksis kunne være svær at få øje på. Sideløbende med den årlige eller halvårlige dokumentation for de enkelte elever registreredes daglige observationer og beskrivelser af små og store hændelser for den enkelte elev. Disse optegnelser var typisk for uensartede til at kunne anvendes i forhold til de årlige og halvårlige dokumentationer. Optegnelserne gav til sammen heller ikke et sammenhængende overblik over elevens udvikling. Herudover udarbejder skolen en lang række skriftlige materialer i form af referater, underretninger, udtalelser med mere. De formelle krav til dokumentation var opfyldt. Alligevel gik flere sammenhænge tabt, og udbyttet var for lille. På den baggrund satte skolen sig som mål at kulegrave dokumentationen og udvikle et mere sammenhængende system. Arbejdet med dokumentationen har været med til at udvide horisonten og har bragt nye og flere mål for skolen. Her er virkningsevaluering et af dem, ligesom et ønske om på en mere systematisk måde at kunne indfange og fastholde elevernes oplevelser og forståelser, så disse også kan bidrage til skolens pædagogiske viden og udvikling. Elevinterview er den metode, som er valgt til dette formål. Til udviklingsarbejdet omkring dokumentation og virkningsevaluering er Lars Rasmussen ekstern konsulent tilknyttet. Sammen med ham, har to af skolens ansatte: Signe Engelhardt og Heidi Hybholt bistået udviklingsarbejdet omkring dokumentation og virkningsevaluering. Endvidere har Ove Steiner - ekstern konsulent sammen med Lars Rasmussen stået for introduktion og forløb i forbindelse med elevinterview. I det følgende vil de mål og problemstillinger, som er styrende for arbejdet med dokumentation, virkningsevaluering og elevinterview blive beskrevet. Overordnet er det formålet, at arbejdet med såvel dokumentation og virkningsevaluering som elevinterview at fremme refleksion og læring for skolen. Refleksion og læring er integreret i arbejdet med projektets delemner. Projektets problemformulering blev i 2012 formuleret således: 1) Dokumentation En mere sammenhængende dokumentation o Hvordan opbygges et system, hvor den ene dokumentationsform i højere grad understøtter det andet? Kan brugen af klasseloggen eksempelvis gøres brugbar som input til en statusbeskrivelse af den enkelte elev? 4

5 Mere enkel og brugbar planlægning og rapportering o I dag udarbejdes dokumentationen i kvalitativt forskellige skabelonformer afhængigt af den enkelte kommunes krav. Er det muligt at lave en fælles rapport, som både kan tilgodese alle kommuners behov - og samtidig anvendes internt som arbejdsgrundlag for skolen selv? Målrettet daglig dokumentation o Hvordan kan klasseloggen bruges mere ensartet, systematisk og målrettet? Hvordan sikres at de daglige beskrivelser i højere grad bliver udtryk for en bevidst valgt fælles praksis? Effektivisering o Hvad skal der til for at materialet får en øget brugbarhed internt, og at vi undgår at flere skal rette i eget og andres arbejde? Forudsigelig arbejdsbelastning o Hvordan laves et system, hvor arbejdsbelastningen med udarbejdelse af rapporter og planer i højere grad kan planlægges? Og hvordan kan arbejdet eventuelt aflastes uden at kvaliteten sænkes? 2) Virkningsevaluering (effektmåling) Hvilket udbytte har eleverne af skoleårene på Gedebjerg Skole? Hvordan er skolen med til at flytte og udvikle eleverne undervejs? Hvordan er elevernes forløb i overgangen fra grundskole til videre uddannelse og beskæftigelse? Hvordan går det eleverne efter afsluttet skolegang? Hvilken betydning har skolegangen for de tidligere elevers situation efter endt skolegang? Bidrager skolen til at ruste eleverne til at møde omverdenens mange udfordringer? Og i givet fald hvordan? Fokus er både den faglige og sociale læring i skoletiden. 3) Børneperspektivet - elevinterview Dokumentationen er meget præget af de voksnes tilgang, synsvinkler og interesse. Men hvordan oplever eleverne skolegangen på Gedebjerg Skole? Hvordan får vi mere systematisk fat i disse oplevelser? Hvordan kan vi bruge dette vigtige input blandt andet i forhold til dokumentation? 4) Refleksion og læring At få en mere brugbar dokumentation er et godt udgangspunkt. At opnå viden om effekten er også vigtigt. Og ikke mindst at vide, hvordan eleverne oplever forløbet. Men hvordan får vi mere systematisk reflekteret og lært af disse indsigter? Hvilke krav stiller det til vores egen organisering og læringsmiljøet? Hvordan kan vi sikre, at den indhentede viden bliver afsæt til ny indsigt og ny praksis? Punktet om refleksion og læring er en integreret del af projektets aktiviteter: Dokumentation, virkningsevaluering og elevinterview. 5

6 5. Projektets aktiviteter 1) Oversigter Gedebjerg Skole har i forløbet arbejdet for, at se den enkelte elev som en del af et forløb. Skolen vil i den fremtidige dokumentation mere systematisk indhente data om forløbet både før, under og efter skolegangen på Gedebjerg Skole. Elevens forløb i forhold til dokumentation og virkningsevaluering kan illustreres således: Indskrivning Udskrivning Virkningsevaluering Før Forløbet på skolen Efter Det betyder i praksis, at målet er at udvikle et system, hvor der indhentes flere og mere systematiserede data om den enkelte elev ved indskrivningen, ved udskrivningen og i en valgt periode efter udskrivningen. Ligeledes skal der udarbejdes mere systematisk dokumentation under forløbet, hvor blandt andet elevens egne oplevelser skal fremgå. Vores tanker om sammenhængen mellem pædagogisk praksis, dokumentation, virkningsevaluering og læring kan illustreres således: 6

7 2) Dokumentation Arbejdet med at udvikle et mere systematisk og sammenhængende grundlag for dokumentationen startede i efteråret Det består af tre områder. A. Elevens årsrapport (og vejledning) B. Fagmålsplaner (delmål og faglige emner) C. Klasselog daglige rapporteringer og systematisk opsamlede refleksioner (nye kategorier og skriverytme) A. Elevens årsrapport Dette arbejde er mundet ud i en skabelon for elevens årsrapport (Jf. bilag 1). Det betyder, at elevens årsrapport skal kunne bruges som basismateriale for kommunernes årlige vurdering omkring elevernes revisitering. Elevens årsrapport erstatter de tidligere forskellige skabelonformer, som skolen arbejdede med. Dokumentationsformen bliver mere ensartet for de enkelte elever. Grundlaget for årsrapporten kan illustreres således: Årsrapporten giver både en nuanceret statusbeskrivelse af elevens faglige, personlige og sociale forhold, samtidigt med at den rummer fremadrettede mål og handleplaner for de nævnte forhold. I kraft af årsrapportens opbygning og indhold er den også velegnet til refleksion over den daglige pædagogiske praksis. Særligt i frembringelsesfasen, hvor selve det at skrive årsrapporten giver 7

8 anledning til systematiske pædagogiske refleksioner i forhold til den enkelte elev og den daglige praksis. Der er udarbejdet en uddybende vejledning til dette arbejde (Jf. bilag 2). Vejledningen guider skriveren og understøtter, blandt andet via hjælpespørgsmål, pædagogiske refleksioner på systematisk vis undervejs i skriveprocessen. Dette skulle gerne understøtte, at de færdige rapporter bliver systematiske, grundige og nuancerede. Årsrapporten er et redskab, der hurtigt, systematisk og nuanceret giver et overblik over elevens faglige, personlige og sociale standpunkt og udvikling. Dette muliggør atter pædagogiske refleksioner og mulighed for eventuelt ændret pædagogisk indsats eller andre tiltag i forhold til den enkelte elev og dennes aktuelle situation. Målet er, at der udarbejdes en årsrapport på hver elev én gang om året. Derudover er årsrapporten udviklet og opbygget, så elevens udvikling siden sidst fremgår og dermed er det muligt løbende at opdatere rapporten i forhold til elevens aktuelle situation. Endelig giver rapporten mulighed for løbende at vurdere de pædagogiske mål og handleplaner i forhold til elevens aktuelle situation. Særligt statusbeskrivelserne af og målene for de personlige og sociale forhold samt de faglige statusbeskrivelser for eleven har en fremtrædende plads i elevens årsrapport. For at kunne arbejde med de faglige mål på en systematisk og overskuelige måde førte arbejdet med udviklingen af elevens årsrapport skolen videre til også at se på arbejdet med udvikling af fagmålsplaner. B. Fagmålsplaner En fagmålsplan er en skabelonform, der for hvert fag betegner de kompetencer og delmål som eleven, ifølge lovgivningen (Fælles Mål) skal arbejde med og udvikle indenfor de enkelte fag på de respektive klassetrin. Skabelonerne for fagmålsplanerne er udarbejdet for indskolingen (0.-4. klasse), mellemtrinnet (5.-6. klasse) og udskolingen (7.-9. klasse). Derudover er der udarbejdet særlige skabeloner, som skal dækkes målene for undervisningen i skolens afdeling for de fagligt mest udfordrede elever. For fagene: Dansk, matematik, engelsk, tysk, fysik/kemi, biologi og geografi, laves fagmålsplanerne individuelt, idet læreren skal graduere delmålene i forhold til, om det er noget, den enkelte elev skal kunne selvstændigt, skal kunne med støtte eller blot skal have kendskab til. Desuden er det beskrevet i de enkelte fagmålsplaner indenfor hvilke emner, eleven skal arbejde med de definerede delmål og udvikle de konkrete kompetencer. Dermed sikres det, at eleverne i deres skolegang på Gedebjerg Skole præsenteres for et bredt, nuanceret og mangfoldigt udbud af faglige emner og temaer i gennem undervisningen i de forskellige fag - også på tværs af afdelingerne. En fagmålsplan rummer flere formål. Udover at være en rettesnor i forhold til den enkelte elevs faglige standpunkt og udvikling er fagmålsplanen et redskab for læreren i forhold til planlægningen af undervisningen, herunder valg og vinkling af emner og aktiviteter. I forbindelse med udviklingen af dokumentationssystemet, var et mål blandt andet en mere sammenhængende dokumentation hvor der i højere grad var mulighed for, at inddrage og anvende 8

9 de daglige rapporteringer videre som baggrundsmateriale for dokumentationen. Ligesom en mere kvalitativt ensartet rapportering var et mål. Dette har bragt systemet for de daglige rapporteringer i fokus både med hensyn til form, indhold og struktur. C. Klasseloggen de daglige rapporteringer Klasseloggen er den platform, hvor skolen dagligt rapporterer om små og store hændelser i forhold til de enkelte elever. Alle elever er oprettet i klasseloggen. Lærerne tilføjer løbende beskrivelser, observationer, hændelser m.m. om den enkelte elev under på forhånd fastlagte kategorier. Klasseloggen blev i udviklingsarbejdet tænkt sammen med årsrapporteringen og planlægning af undervisningen for den enkelte elev. Sammenhængen fremmes ved at få de kategorier, der anvendes i klasseloggen til at understøtte de områder, der arbejdes med i årsrapporten. De nye kategorier kan blandt andet være inspirations- og baggrundsmateriale for flere af årsrapportens punkter. Det sikrer, at læreren har et bredt og underbygget observationsmateriale at skrive årsrapporten ud fra. Et baggrundsmateriale, hvor der også er en vis tidshorisont, idet det er muligt at udtrække udvalgte data fra klasseloggen over en valgt periode. Samtidigt er skriverytmen for klasseloggen udvidet fra kun daglige rapporteringer til også at omfatte opsamlende refleksioner i forhold til punktet pædagogiske mål og handleplaner fra årsrapporten. Det skal skabe øget opmærksomhed og refleksion i forhold til de pædagogiske mål og handleplaner og være med til at skabe grundlag for mere veldokumenterede pædagogiske valg og beslutninger. Endelig forventes disse opsamlende refleksioner, at kunne medvirke som baggrundsmateriale for elevens årsrapport. Med de nye kategorier og den udvidede skriverytme skabes flere fælles opmærksomheder i forhold til de daglige rapporteringer, således at kvaliteten af disse styrkes. Dokumentation og temadage Skolen har holdt flere fælles temaeftermiddage for hele skolen, hvor dokumentation var på programmet. Skabelonen for årsrapporten samt vejledningen er blevet gennemgået og diskuteret. Erfaringerne med arbejdet med årsrapporterne er samlet op. Arbejdet med ændring af klasseloggen er sat i gang. Der er arbejdet med refleksioner og skriveøvelser i forbindelse med årsrapporten og den udvidede skrivemåde med opsamlende refleksioner over punktet mål og handleplan på klasseloggen. Udvalg har arbejdet med at fremstille skabelonerne for fagmålsplanerne, ligesom udvalg har taget sig af, at beslutte hvilke emner, der skal arbejdes med i de forskellige fag på de respektive klassetrin. 3) Elevinterview Udviklingsprojektet har fokus på systematik og refleksion i dokumentationsarbejdet. Men hvordan kan refleksionen udvides til også at omfatte eleverne? Inspireret af tilgangen til børneinterview besluttede skolen at bruge denne metode i tilpasset form. I 2013 introduceredes elevinterview som en ny tilgang i arbejdet med skolens elever. Metoden går ud på at indfange og fastholde elevernes oplevelser gennem en spørgende og reflekterende tilgang. Det bliver samtidig en pædagogisk tilgang, hvor målet er at befordre nysgerrighed, refleksion og selvindsigt hos såvel elever som voksne. Elevinterview som metode understøtter udvikling af en spørgekultur, hvor man finder tid til at lytte aktivt til den enkelte elev. Når den enkelte elevs oplevelser får stemme og disse systematiseres, kan det bruges som et værdifuldt bidrag til hver enkelt afdelings udvikling af pædagogisk tilgang, samt i 9

10 forhold til det faglige arbejde i klassen og i undervisningen. I forhold til udviklingsprojektet om dokumentation åbner tilgangen også et nyt perspektiv. Nemlig at give elevernes oplevelser plads i det omfattende dokumentationsmateriale, der ellers primært rummer beskrivelser, iagttagelser og fortolkninger fra de voksnes synsvinkler. Arbejdet med elevinterview rummer således flere formål. Målet er at understøtte elevens egen nysgerrighed og forståelse af sig selv og omverdenen og dermed betydningen af egne handlinger i sociale sammenhænge. Endvidere skal denne forståelse og refleksion være med til at støtte elevens adfærdsmæssige udvikling over tid. Eleven skal i højere grad selv blive i stand til at handle og agere i kraft af egen refleksion og tænkning og således tage ansvar for egne handlinger. Målet er endvidere, at elevinterview skal bidrage til, at øget refleksion og læring for skolen. Udviklingsforløbet med elevinterview er gennemført i perioden marts-juni 2013 og er siden starten af skoleåret blevet en fast del af skolens tilgang. Udviklingsforløbet omkring elevinterview Udviklingsforløbet har været bygget op over to hele kursusdage, hvor udvalgte medarbejdere to fra hver af de fire afdelinger deltog. Herudover har der været afholdt en kursusdag, hvor hele skolen deltog. De to eksterne konsulenter: Ove Steiner og Lars Rasmussen har forestået udviklingsforløb og kursusdage. Som fælles grundbog for forløbet anvendtes: Elisabet Doverborg og Ingrid Pramling Samuelsson: At forstå børns tanker, Hans Reitzels forlag I marts 2013 udpegedes to medarbejdere fra hver afdeling til forløbet. Hver afdeling fik på denne måde to nøglepersoner på området. Nøglepersonerne kan støtte hinanden fagligt, både i forberedelse, gennemførelse og bearbejdning af interviewene. De fire afdelingers nøglepersoner suppleredes med deltagelse af skolens koordinerende medarbejdere på dokumentationsområdet, hvorved der i alt var ti deltagere. Over de to kursusdage blev metoden formidlet, og nøglepersonerne fik mulighed for at lære og afprøve metoden. I perioden mellem de to kursusdage gennemførte deltagerne interviews med udvalgte elever. Metoden tilpassedes både til den enkelte afdelings elever, og det klassetrin eleverne repræsenterede. På fællesmødet fik hele skolen et indblik i metoden og udbyttet heraf. Nøglepersonerne fortalte om erfaringerne, og hver afdeling drøftede hvilke elementer, de især var blevet inspireret af. I starten af august 2013 planlagde hver afdeling rammerne for den fremtidige brug af elevinterview. Afdelingerne udarbejder en plan for hvilke elever, der interviewes hvornår, og rammerne for bearbejdning og analyse fastlagdes i de enkelte afdelinger. Endvidere arbejdes der i de enkelte afdelinger med, hvordan resultater og refleksioner fast kan indgå som en del af afdelingernes mødestruktur, uden at fortroligheden mellem eleven og den voksne går tabt. Metodens faglige indhold og vinkel den strukturerede samtale Et elevinterview er bygget om som en semistruktureret samtale omkring et på forhånd valgt tema. Den voksne har forinden gjort sig klart, hvilke tema eleven især har brug for at udvikle en forståelse indenfor, eller hvilket tema eleven kan tænkes at være særligt optaget af på det aktuelle tidspunkt. Den voksne tilrettelægger situationer, hvor eleven udfordres til at reflektere og til at udtrykke sig i ord og billeder. 10

11 Det er meget forskelligt, hvordan elevinterviewene gennemføres i de forskellige afdelinger, idet der tages højde for elevernes ressourcer og muligheder. I nogle afdelinger foregår samtalen som et egentligt interview og i disse afdelinger forberedes eleverne, ved at de forinden inviteres til samtalen og bliver gjort bekendt med hensigten og fremgangsmåden. I andre afdelinger har det vist sig mere passende og hensigtsmæssigt, at gennemføre samtalen samtidigt med en anden aktivitet sammen med eleven, som for eksempel en gåtur eller et spil bordtennis. Denne type elevinterview anvendes oftest til de svageste elever, og for mange vil det være meget afhængigt af dagsformen om der overhovedet gennemføres et elevinterview. Derfor bliver eleverne heller ikke altid på forhånd inviteret til samtalen. Arbejdsgangen i gennemførelse af et elevinterview kan være: 1. De voksne beskriver og vælger et tema eller en problemstilling, som er særlig relevant for den pågældende elev. Eksempler: At have en god kammerat, at være en god kammerat At være ny elev på skolen Hvorfor er det svært at lave lektier? Hvem kan hjælpe mig? At skulle flytte afdeling efter ferien 2. Der skal findes en anledning til at invitere en elev til et interview. Eleven skal i starten af projektet opleve den strukturerede samtale som et tilbud. Og eksempelvis ikke som en sanktion på uønsket adfærd. Eksempel på invitation: En elev har tydeligt besvær med at lave lektier til matematik. Læreren henvender sig til eleven og spørger: Hvad tænker du, når jeg siger matematik?. Kender du nogen, der er god til matematik? etc. 3. Læreren aftaler et tidspunkt for samtalen. Inden mødet har den voksne forberedt samtalen på flere områder. a) De fysiske rammer hvor skal det foregå? Skal der tilbydes frugt, vand? etc. b) Tidspunkt og tidsramme (omfanget kan variere men aftal på forhånd en ramme). c) Mentalt den voksne skal være mentalt til stede og have roen til at kunne være åbent spørgende og interesseret i eleven. Samtalen må eksempelvis ikke være så presset, at den voksne i stedet har tankerne på forberedelse af næste time. d) Har valgt efter hvilken metode samtalen skal fastholdes. Skrive ned undervejs eller optagelse på bånd? e) Har afklaret de etiske spilleregler om samtalen. Hvem skal have referatet? Hvad hvis eleven ikke er enig? etc. Under samtalen er den voksnes største udfordring at få en god kontakt til eleven, og at være aktivt lyttende. Der må gerne gennemføres flere samtaler over samme tema. Eksempelvis hvis temaet er svært at tale om for eleven og kræver flere samtaler. 4. Materialet gøres arkiverbart og indgår som baggrundsmateriale i afdelingens fælles refleksion. 11

12 4) Virkningsevaluering Det er ikke en enkel opgave at måle effekten og virkningen af elevernes skolegang på Gedebjerg Skole. Skolens påvirkning er kun en blandt flere forhold, der påvirker elevernes personlige, sociale og faglige udvikling. Elevens baggrund, kognitive og sociale færdigheder, støtte udenfor skolen, fritid, beskæftigelsessituationen efter endt skolegang osv. er eksempler på forhold, der alle har stor betydning for, hvordan det går eleverne. Det gælder både før de indskrives på skolen, under skolegangen, ved udskrivningen og i årene efter eleverne har forladt skolen. Skolens betydning kan ikke vurderes ud fra en sammenligning med alternative forløb. Eksempelvis - hvordan ville det gå de samme elever, hvis de havde haft deres skolegang i et andet regi? Skolens betydning for elevernes læring, ressourcer og livsbane kan ikke opgøres håndfast i procenter og årsagssammenhænge. Der må findes andre veje. Derfor vælges virkningsevalueringen som tilgang. Effekt er her en undersøgelse af skolens betydning for udvikling i elevens situation - velvidende at mange andre forhold også har betydning og virkning. Målet er at beskrive: Hvad virker for hvem, hvornår og under hvilke betingelser?. Skolens indsats ses i sammenhæng med elevernes situation ved indskrivning, forløbet under vejs og påvirkningerne efter udskrivning fra skolen. Samtidig opstilles skolens målsætning. Målingen nøjes ikke med en sammenligning af målsætning og slutmål; men fokuserer på en beskrivelse af, hvad der fører frem til resultatet. Med virkningsevaluering fokuseres der således både på betingelser, proces og resultat. Evalueringens styrke er forklaringerne - tydeliggørelse og udfordring af forståelser og forklaringer. Metoden giver samtidig skolen en nyttig feedback på, hvordan dens indsats opleves af eleverne og viser deres oplevelse af, hvilken betydning skolegangen har for dem. Fokus er ikke elevernes oplevede tilfredshed med skolens indsats; men deres forståelse af sammenhænge, årsager og virkninger. Dermed kan resultaterne fra virkningsevalueringen anvendes i arbejdet med at forbedre og udvikle den pædagogiske og faglige tilgang på skolen. Et centralt element i virkningsevalueringen er opstilling af en såkaldt programteori. Programteorien er en beskrivelse af skolens egen tænkning om sammenhænge og virkninger. Hvordan forestiller Gedebjerg Skole sig, at skolen ruster eleverne til tiden efter skolegangen? Hvad betyder noget? Og hvordan? Endelig omfatter programteorien også fakta omkring den enkelte elevs situation ved indskrivning, undervejs i skoleforløbet på Gedebjerg Skole, ved udskrivning og i tiden efter endt skolegang. Som det også fremgår i afsnittet Konklusion og læring har det været vanskeligt med de tilgængelige data på nuværende tidspunkt, at opstille en omfattende programteori. Derfor er det beskrevet i det følgende, hvordan en programteori for de enkelte dele af undersøgelsen med virkningsevaluering er fremstillet. Gedebjerg Skole har ladet sig inspirere af en lang række forskellige undersøgelser på skoleområdet og specialskoleområdet. Skolen har valgt at udvikle sin egen model og har brugt dele af andre undersøgelser, hvor det gav mening i sammenhængen. Undersøgelsesarbejdet består i hovedtræk af følgende: 1) Opstilling af programteori 2) Et nyt statistiksystem 3) Spørgeskemaundersøgelser 12

13 4) Interviewundersøgelser To målgrupper afgående og tidligere elever Gedebjerg Skole har valgt at fokusere på to målgrupper i virkningsevalueringen: 1) Afgangseleverne: De elever, der forventes at slutte indeværende skoleår med en afgangsprøve eller tilsvarende. 2) Tidligere elever: Elever som har forladt skolen med en afgangsprøve eller tilsvarende for minimum 2 år siden og som har været elev på Gedebjerg Skole i minimum 4 år. I det følgende vil undersøgelsen blive beskrevet og fremlagt i forhold til disse to grupper. De afgående elever metode De afgående elever sommeren 2013 har indgået i projektet ved at besvare spørgeskemaer og deltage i interview. Programteorien for denne del af undersøgelsen er fremkommet på baggrund af spørgeskemabesvarelser fra lærerne til afgangseleverne. Spørgeskemaerne (Jf. Bilag 3) til lærerne er udarbejdet i forlængelse af spørgeskemaerne til eleverne, således at der er mulighed for, at afdække i hvilken grad der er overensstemmelse mellem lærernes og elevernes opfattelser af forskellige forhold og betydningen af disse. Udviklingen af spørgeskemaer (Jf. bilag 4) til afgangseleverne og lærerne samt interviewguide (Jf. bilag 5) til afgangseleverne har taget udgangspunkt i projektets problemformulering og undersøgelsestemaer (Jf. side 5 og bilag 6). Spørgsmålene i spørgeskemaet blev kodet i forhold til undersøgelsestemaerne (Jf. bilag 7). Der var 12 afgangselever i sommeren Alle elever indvilligede i at deltage i både spørgeskemabesvarelse og interview. Alligevel blev antallet reduceret til 10 elever. Der opstår forskellige udfordringer som eksempelvis aftale af interviewtidspunkt på tværs af undervisningsaktiviteter for både elever og interviewere, elevernes funktionsniveau, forstyrrelser på skolen osv. Endelig vanskeliggjorde den landsdækkende lockout med udskydelse af afgangsprøver den tidsmæssige planlægning af interviewene. Eleverne blev interviewet individuelt i forlængelse af, at de besvarede spørgeskemaerne. Interviewene blev forestået af Signe Engelhardt og Heidi Hybholt, der begge er ansat på skolen, og som sammen med Lars Rasmussen - ekstern konsulent har samarbejdet omkring udviklingen af alle projektets dele. Eleverne var således fortrolige med interviewene på forhånd uden at have en daglig kontakt gennem undervisning eller andre aktiviteter til interviewerne. Der var lagt stor vægt på fortrolighed, elevernes frivillige deltagelse og de omstændigheder hvorunder selve interviewene skulle finde sted. De interviewede elever blev ved interviewets start atter informeret om, at samtalen er fortrolig og ikke videregives med angivelse af elevens navn til andre. Eleverne var forberedt på deres deltagelse både gennem en fælles mundtlig information og en skriftlig information til dem og deres forældre/plejeforældre/opholdssteder - alt sammen cirka 14 dage før første interview. Der kom ingen bemærkninger eller kommentarer hertil fra de pårørende. Forinden var lærerne blevet orienteret både skriftligt og på et fælles lærermøde. De blev orienteret både om projektet og interviewrunden. På mødet udfyldte lærerne spørgeskemaet specielt målrettet lærergruppen for afgangseleverne (Jf. bilag 3). 13

14 Interviewene med eleverne lagde op til, at eleverne kunne uddybe deres besvarelser fra spørgeskemaet. Alle interviews blev optaget og efterfølgende transskriberet. Interviewene er blevet transskriberet i en særlig udviklet skabelon, som samtidigt giver mulighed for at kode besvarelserne i forhold til undersøgelsestemaerne og endvidere giver mulighed for at tilføje kommentarer til udvalgte passager i interviewet (Jf. bilag 8). Ved transskriberingen er der anvendt en kombination af direkte udskrift af det sagte og udeladelse af passager, der vedrører forhold uden relevans for undersøgelsen. Der er også sket sammenfatninger af passager, hvor direkte tale ikke gav yderligere information. Enkelte steder er der nedskrevet nonverbal kommunikation, hvor denne skønnes vigtig for forståelsen af det sagte. Erfaringer fra interviewrunden med de afgående elever I dette afsnit redegøres der for erfaringer fra undersøgelsesarbejdet med de afgående elever. Der beskrives erfaringer i forhold til metode og tidsvurdering. Metode I invitationen til selve projektet og interviewdeltagelsen blev der lokket med slik og chokolade. Dette bevirkede, at der fra start var lagt op til noget rart og hyggeligt alle elever mødte positive og forventningsfulde til interviewene. Kombinationen af spørgeskema og interview fungerede godt. Det er en god indledning til interviewet, at eleven selv er aktiv - med at besvare spørgeskema. Det udfyldte spørgeskema er også et godt udgangspunkt for de uddybende spørgsmål i interviewet og drøftelsen med eleven. Når interviewet lægges i direkte forlængelse af spørgeskemabesvarelsen, giver det mulighed for at spørge ind til bemærkelsesværdige svar. Og det giver således mulighed for at rette eventuelle misforståelser i forhold til spørgeskemaets indhold og fokus. Den forudgående information til eleverne var vigtig for elevernes motivation til deltagelse. Eleverne blev mindet om aftalen dagen før. Det er vigtigt at møde eleven åbent og at følge op på og spørge uddybende ind til de svar eleven giver. Samtidig er det vigtigt, at intervieweren til en vis grad styrer samtalen i forhold til interviewguidens temaer og spørgsmål. Alle interview blev afholdt på skolen. Det betød flere afbrydelser pga. forstyrrelser og uro fra andre elever. Det lykkedes dog hver gang at samle tråden op igen i interviewet. Dette på nær et interview, der måtte afbrydes helt. Ingen elever har bedt om det udskrevne interview efterfølgende. Tidsvurdering Før interview-aktiviteter: a) Infomøde med lærer udfyldelse af spørgeskemaer b) Infomøde med eleverne c) Diverse orienteringsskrivelser lærere, elever og forældre d) Varsling af den enkelte elev e) Planlægning af tid, sted og aftaler Interviewet: a) Spørgeskemaet blev udfyldt på ca minutter 14

15 b) Interviewet varede fra ca. ½ - 1 time. Transskribering: 2-3 timer pr. interview. Analysearbejdet de afgående elever De indsamlede resultater og viden fra lærernes spørgeskemabesvarelser vil blive sammenholdt med elevernes spørgeskemabesvarelser og interview, og blive analyseret. Resultaterne præsenteres for lærerene i form af en mindre rapport. Materialet indgår herefter i skolens videre pædagogiske udvikling. Særligt de temaer, som elever og lærere oplever eller forholder sig meget forskelligt til i undersøgelsen giver anledning til yderligere opmærksomhed og må medtænkes i fremtidige faglige diskussioner på skolen. De tidligere elever Undersøgelsen med de tidligere elever er planlagt og såvel undersøgelsestemaer (Jf. bilag 9) som spørgeskema (Jf. bilag 10), interviewguide (Jf. bilag 11) og skema for programteori (Jf. bilag 12) er udviklet. Alligevel udskydes selve interviewene med de tidligere elever til foråret 2014 på grund af manglende ressourcer i efteråret Udvælgelse - afgrænsning Der anvendes følgende objektive kriterier i udvælgelsen af de tidligere elever: 1) Eleven skal som minimum have gået på Gedebjerg Skole siden 6. klasse. 2) Eleven skal have afsluttet sin skolegang på Gedebjerg Skole med afgangsprøve eller tilsvarende. 3) Det skal være minimum to år siden, eleven har afsluttet sin skolegang på Gedebjerg Skole. De ovenstående kriterier sikrer, at eleven har haft minimum fire år af sin skolegang på Gedebjerg Skole. Elevens efterfølgende udvikling vil kun i begrænset omfang kunne tilskrives skolegangen på Gedebjerg Skole, hvis skolegangen har været af kortere varighed. Kriteriet med at eleven skal have afsluttet med afgangsprøve eller lignende skal sikre, at undersøgelsen er funderet på elever, der afslutter deres skolegang via Gedebjerg Skole. Endelig skal det sidste kriterium sikre, at eleven har mødt livet efter skolen over længere tid og ikke for eksempel kun nået at være på efterskole. Det sidste kriterium er væsentligt, i det det er de langtidsholdbare virkninger af skolegangen, der er undersøgelsens fokus. Ca. 10 elever vil indgå i første interviewrunde i foråret Interviewundersøgelsen med de tidligere elever - metode Metoden vil på mange måder være den samme som blev anvendt i forhold til afgangseleverne. En kombination af spørgeskemaundersøgelse og interview. Selve interviewet forventes at tage ca. én time per deltager - inkl. udfyldelse af spørgeskema. Eleverne kontaktes telefonisk og forespørges om de vil deltage i projektet. Desuden modtager de en skriftlig meddelelse med information om projektet, deres eventuelle deltagelse og deres rettigheder. Programteorien for denne del af undersøgelsen opstilles på baggrund af informationer om de enkelte elever fra indskrivning på Gedebjerg Skole, informationer fra deres skole forløb på Gedebjerg skole, samt informationer og fakta omkring elevens situation ved udskrivning fra Gedebjerg Skole (Jf. bilag 15

16 13). Disse fakta holdes op i forhold til den viden omkring elevens nuværende situation, som spørgeskema og interview frembringer. Der er udviklet en skabelon til brug for opstilling af programteorien, som udfyldes for hver enkelt deltagende elev (Jf. bilag 12). Spørgeskema og interviewguide er udviklet på baggrund af undersøgelsens overordnede problemstillinger og undersøgelsestemaer (Jf. bilag 9). Når interviewene er lavet vil de blive transskriberet efter en lignende skabelon som interviewene med de afgående elever, dog i tilpasset form (Jf. bilag 8). Herefter vil interviewene blive analyseret. I analysen vil programteorien blive sammenholdt med spørgeskemabesvarelser og information og viden fra interviewene. Resultaterne vil blive samlet og indgå i en årlig udarbejdet rapport jf. næste afsnit. Analyse og videreformidling af resultater fra undersøgelserne Gedebjerg Skole vil i fremtiden udarbejde en rapport efter gennemførelse af undersøgelserne. Det gælder både de afgående elever som de interviewede tidligere elever. Målet er at udfordre skolens egen forståelse af, hvordan skolegangen virker og hvilken betydning den har for eleverne. Holder skolens antagelser om, hvad der virker? Og hvad kan skolen ændre for at opnå en bedre effekt? Skolen har foreløbige tanker om at rapporten skal udkomme i to udgaver: Delrapporter målrettet feedback til skolens enkelte afdelinger. En rapport målrettet samarbejdspartnere og andre interesserede. Evalueringens resultater taler ikke for sig selv. Den efterfølgende fælles refleksion med henblik på læring og udvikling er det vigtigste perspektiv. Sammen med lærerne afholdes der temadage, hvor resultaterne formidles og diskuteres i forhold til den fremadrettede praksis. 6. Konklusion og læring af projektet I det følgende samles op på læring, viden og erfaringer fra projektets dele om dokumentation, elevinterview og virkningsevaluering. Hvad har Gedebjerg Skole lært af projektet? 1) Dokumentation Udviklingsarbejdet omkring årsrapportskabelonen og vejledningen har været omfattende og tidskrævende. Det har krævet mange arbejdsressourcer fra udviklingspersonalet. Det har også betydet en stor indsats fra personalet, først ved at lære redskabet at kende og dernæst at forstå og kunne anvende det i en praktisk hverdag. Det har været en udfordring at ændre forståelse og opfattelse af dokumentationsarbejdet som også et internt arbejdsredskab og ikke kun et eksternt arbejdskrav. Men allerede her på andet år med denne dokumentationsform tyder feedback fra skolens personale på, at dokumentationsformen i højere grad ses og anvendes som et pædagogisk redskab og som en mulighed for at skabe pædagogiske refleksioner. Redskabet kan bruges til at beslutte og begrunde pædagogiske indsatser. Skolen oplever nu en god opbakning og forståelse fra personalet i forhold til anvendelse af årsrapporter som et pædagogisk redskab. Tilkendegivelser fra personalet tyder på, a arbejdet med årsrapporterne opleves som mere meningsfuldt end tidligere. Arbejdet med klasseloggen de nye kategorier og den nye skriverytme er sat i værk i august Arbejdet forventes at forbedre dokumentationsgrundlaget ved udarbejdelsen af elevens årsrapport. Enkelte kommentarer fra medarbejdere tyder på, at arbejdet med de opsamlende refleksioner også 16

17 opleves som meningsfuldt i forhold til at skabe nye typer refleksion i forhold til egen praksis. Og i sidste ende som et brugbart pædagogisk redskab. Kommunerne har givet feedback på de nye årsrapporter. Meldingerne er meget positive. Kommentarerne er, at elevens årsrapport giver et nuanceret og let tilgængeligt helhedsorienteret billede af eleven, dennes forudsætninger og skolens indsats. Det er blevet bemærket, at billedet af eleven på rapportens forside er af stor betydning for sagsbehandlernes mulighed for at genkalde sig elevens historik, beskrivelser osv. og dermed mulighed for at sætte sig hurtigere og mere præcist ind i en sag. Endvidere kan årsrapporten tjene flere formål for eksempel i situationer, hvor en kommune har brug for specifikt materiale om en elev, kan dele af en opdateret årsrapport fremsendes. 2) Elevinterview Erfaringen omkring elevinterview som metode er, at det har været forholdsvist overkommeligt rent ressourcemæssigt at introducere og udvikle metoden, så den kan bruges i tilpassede udgaver til de forskellige elever og afdelinger. Dog virker det mere krævende, at udvikle og gennemføre en arbejdsrytme der sikrer, at relevante dele af interview fastholdes og anvendes videre i forhold til hele afdelingens og dermed skolens læring og udvikling. De foreløbige resultater er, at elevinterview som metode er blevet meget vel modtaget i alle afdelinger på skolen. Selv afdelingen med de svageste elever kan se muligheder i metoden og alle har været meget opsatte på at eksperimentere med metoden og tilpasse den eleverne i de forskellige afdelinger. I efteråret 2013 er status, at metoden anvendes i de enkelte afdelinger, og det er forskelligt, hvor langt man er kommet. Ligeledes er det forskelligt, hvor ofte man planlægger at gennemføre interview. Der er enkelte udfordringer, omkring hvordan man får gemt notater og transskriberede interviews, således at relevant viden kan gå videre til hele afdelingen. Det skal nævnes, at der i skolens klasselog-system er oprettet en kategori til formålet, hvor det er muligt for den enkelte medarbejder at gemme notater fra et elevinterview. Disse kan så kun læses af medarbejdere som har adgang til denne elevs oplysninger i klasseloggen. De deltagende elever har udtrykt begejstring for denne samtaleform og flere lærere giver udtryk for, at det er med til at styrke og nuancere deres relation til den/de elever, de har interviewet. Det giver en dybere gensidig forståelse. Dermed rækker virkningerne af elevinterviewet langt udover selve interviewsituationen. Eleven opfatter interviewet som positivt, og samtidig får eleven og læreren et nyt fælles referencepunkt. 3) Virkningsevaluering Udvikling af virkningsevaluering og gennemførelse i praksis er et omfattende og tidskrævende arbejde. Det er en vigtig forudsætning, at skolens ledelse prioriterer arbejdet højt og afsætter de nødvendige ressourcer til formålet. Samtidig drejer det sig om at finde et passende ambitionsniveau. Arbejdet adskiller sig fundamentalt fra skolens øvrige arbejdsopgaver. Opgaven kræver med andre ord tid til den nødvendige fordybelse for de ansatte, der gennemfører undersøgelsesarbejdet. Tid, forståelse og opbakning til projektet fra ledelse og kollegaer er vigtige ingredienser. I Gedebjerg Skoles udviklingsarbejde er der løbende gjort brug af systematisk tids-, opgave- og arbejdsplanlægning. Det 17

18 har været med til kontinuerligt at give deltagerne overblik over processen og samtidigt muliggjort en god information til omgivelser omkring brug af nødvendige ressourcer undervejs. Tids- og opgaveplanlægningen giver en vis ro; men viser sig i praksis også at være svært at overholde. En skole og ikke mindst en specialskole er en omskiftelig størrelse. De deltagende afgangselever har været meget positive i deres tilbagemeldinger. De er især positive overfor oplevelsen af at blive lyttet til på en anden måde, end de ellers oplever. Eleverne oplever at blive taget alvorligt uden samtidigt at blive bedømt eller vurderet på faglig kunnen eller præstationer. Nogle elever har givet udtryk for, at det var rart at blive interviewet af en som man kender perifert. Det var med til at skabe tryghed, og alligevel var det en helt ny situation for eleven. Interview af denne form har været med til at fremhæve og nuancere vores forståelse af elevernes trivsel, læring og udvikling. Det har givet os deres førstehåndsoplevede tilkendegivelser. Samtidigt har virkningsevaluering vist sig at være et godt redskab i forhold til at opdage og få tydeliggjort forskelle i lærernes og elevenes opfattelser af de samme forhold. Denne viden og opmærksomhed er baggrunden for at kunne handle i forhold til temaer, der opleves forskelligt, og som behøver en pædagogisk opmærksomhed og indsats. Arbejdet med virkningsevaluering har gjort det tydeligt, at der er brug for løbende at kunne indhente data omkring eleverne. Data omkring den enkelte elevs forhold ved indskrivning på skolen, data fra selve skoleforløbet, som for eksempel beskrives og nævnes i elevens årsrapport. Det er svært på nuværende tidspunkt at lave en programteori, idet dette kræver, at man kan dokumentere hele elevens skoleforløb. Disse udfordringer har ført til yderligere ideer og perspektiver, som beskrives i det kommende afsnit. 7. Perspektivering dokumentation og virkningsevaluering i Gedebjerg Skoles fremtidige virke Gedebjerg Skole vil i fremtiden fortsætte arbejdet og udviklingsarbejdet med dokumentation og virkningsevaluering. Med baggrund i de tidligere beskrevne udfordringer omkring at skabe en programteori med data for den enkelte elev fra indskrivning og gennem hele skoleforløbet, overvejer skolen at udvikle et statistisk registreringssystem. Data skal fastholdes og gøres tilgængelig på en mere systematisk måde. Disse data skal være registreret på en måde, så man let og overskueligt kan udtrække udvalgte data på en enkelt elev og således anvende dem videre i for eksempel udarbejdelsen af en årsrapport for en elev og i forbindelse med opstilling af en programteori. Samtidigt påtænkes det, at ansøge om midler til at skabe en vidensbank i forhold til dokumentation og virkningsevaluering. En sådan vidensbank skal sikre, at metodeudviklingen fastholdes og løbende kan videreformidles. 18

19 8. Bilag 1. Elevens årsrapport skabelon 2. Vejledning til elevens årsrapport 3. Spørgeskema afgangslærere 4. Spørgeskema afgangselever 5. Interviewguide - afgangselever 6. Undersøgelsestemaer afgangselever 7. Kodeliste - afgangselever 8. Transskriberingsskabelon afgangselever 9. Undersøgelsestemaer og problemstillinger - tidligere elever 10. Spørgeskema tidligere elever 11. Interviewguide (guide til interviewgangen + temaer og spørgsmål) tidligere elever 12. Skabelon programteori tidligere elever 13. Figur - forløb fra indskrivning til nuværende situation tidligere elever 19