Evaluering og kvalitetsudvikling i aftenskolen

Transkript

1 Evaluering og kvalitetsudvikling i aftenskolen Projektrapport Peter Holbaum-Hansen, LOF og Marlene Berth Nielsen, NETOP Juli 2009 [Skriv et resume af dokumentet her. Resumeet er normalt en kort beskrivelse af dokumentets indhold. Skriv et resume af dokumentet her. Resumeet er normalt en kort beskrivelse af dokumentets indhold.]

2 1. Indledning Denne rapport beskriver kort projektets baggrund, formål, indhold og resultater. NETOP og LOF har gennem de seneste år udviklet et værktøj, så kursisterne kan lave dokumentation for den kompetenceudvikling, de oplever gennem deltagelse i aftenskolen(kompetenceprofilen) og et værktøj hvor skolerne kan give kursisterne dokumentation for det enkelte kursus indhold (Kursusbevis). Senest har vi som en del af kvalitetsudviklingen i aftenskolen arbejdet med undervisernes integration af realkompetencer i deres undervisning. Vi har derfor set det som en naturlig forlængelse af disse projekter at udvikle et evalueringsværktøj, hvor kursisterne får lejlighed til at give deres vurdering af de kurser, de har deltaget i, og hvor underviserne og skolerne samtidig får et redskab til udvikling af deres undervisning og skole. Dette projekt har haft til formål at integrere evaluering som en naturlig del af den pædagogiske praksis i aftenskoleregi. Samtidig hadet været formålet at udvikle et værktøj, der kunne anvendes både læringsmæssigt, udviklingsmæssigt og dokumentationsmæssigt. Ved at påbegynde et arbejde med evaluering i aftenskolen kan vi derfor identificere i hvert fald tre fokusområder, hvor der er tydelige gevinster: De læringsmæssige aspekter fortrinsvis kursister De pædagogiske aspekter fortrinsvis undervisningen og underviserne De kvalitetsmæssige aspekter fortrinsvis undervisningen og skolen som sådan. Projektet er et samarbejde mellem LOF s landsorganisation og NETOP Netværk for oplysning. Den daglige ledelse af projektet har bestået af Marlene Bert Nielsen (NETOP) og Peter Holbaum-Hansen (LOF). Der har været knyttet en baggrundsgruppe til projektet bestående af konsulenter fra de tre øvrige landsdækkende oplysningsforbund: Finn Nevel fra DOF, Søren Hansen fra FOF, Stine Skaarup fra AOF. Herudover har projektet haft tilknyttet Martin Thirstrup Hansen (NETOP) og Henrik Bro (NETOP) som projektmedarbejdere. Projektet har fået økonomiske støtte af Dansk Folkeoplysnings Samråd (DFS). [2]

3 2. Baggrund Der er en lang tradition for inddragelse af og lydhørhed over for kursisternes i aftenskolen. Men de traditionelle kanaler for meningstilkendegivelser bruges ikke længere så ofte af kursisterne og ikke på en måde, der gør det muligt at lave udvikling af aftenskolen eller undervisningen. Langt den overvejende del af kursisterne bruger ikke adgangen til for eksempel bestyrelsen, hverken aktivt som medlem eller som talerør for konstruktiv kritik. En udbredt holdning i aftenskolen er, at kursisterne giver feedback med fødderne i form af at komme igen eller blive væk. Det er naturligvis én måde at give sin mening om læringsoplevelsen til kende på, men der er ingen, der ved, hvad der ligger bag. Udover at underviseren kan konstatere, at kursisterne har været glade for kursusforløbet, hvis de kommer igen den følgende sæson, får underviseren via denne feedback med fødderne ingen mulighed for en egentlig konstruktiv feedback af undervisningen med de muligheder, der ligger for tilretning og udvikling af undervisningen og sig selv som lærer. Der kan selvfølgelig sagtens ske udvikling af undervisning uden evaluering, i hvert fald i det omfang underviseren er klædt på til nytænkning og udvikling af sit faglige område, for eksempel gennem efteruddannelse. Men via systematisk evaluering får læreren en viden om sin egen undervisning og sin egen rolle som underviser, der er uvurderlig i forhold til kvalitet og udvikling i undervisningen. I en moderne undervisnings- og læringssammenhæng er evaluering et uomgængeligt redskab. Udover at systematisk evaluering ikke er en naturligt integreret del af aftenskolernes praksis, oplever vi også en ændring i kursisternes tilgang til og valg af fritids- og læringsaktiviteter (en ændring der forventes at blive tydeligere og tydeligere med nye genrerationer i aftenskolen). Det er mere end nogensinde kvalitet og det læringsmæssige udbytte, der er i centrum. Folk forventer en stejl læringskurve også i deres fritidsaktiviteter. I dialogen med vores skoler oplever vi, at der kan være problemer med at tiltrække og fastholde gode undervisere. Èt indsatsområde kan være at skabe rammer for og redskaber til pædagogisk udvikling at tilbyde underviserne et evaluerende læringsmiljø for både kursister og undervisere. Udover den megen fokus på evaluering som kvalitetssikringsværktøj, er det derfor vigtigt at fokusere på evaluering som pædagogisk redskab. Når evaluering bliver en integreret del af undervisningen, ligger der dels mulighed for forventningsafstemning, hvilket megen læringsforskning viser, har en betydning for kursisternes læringskurve. Dels ligger der andre læringsmæssige gevinster i forhold til kursisternes mulighed for at reflektere over undervisningen og det lærte. Og endelig som nævnt ligger der udviklingsmæssige aspekter i det for underviseren selv 3. Formål og mål med projektet Projektets formål har været at integrere evaluering som en mere naturlig del af aftenskolen som moderne læringsmiljø. Der er både tale om en holdningsbearbejdning blandt skoler og undervisere, og om udviklingen af redskab/er, der kan danne baggrund for kvalitetssikring i den enkelte aftenskole og være et pædagogisk værktøj for den enkelte underviser. Formålet har vi søgt opnået gennem at udarbejde og afprøve en elektronisk og internetbaseret evalueringsmodel som skulle kunne: - Sikre indsamling af valide og brugbare evalueringer fra kursisterne - Give underviserne brugbare resultater af evalueringerne [3]

4 - Give skolerne et værktøj til systematisk opsamling af evalueringer og omsætning af evalueringerne til kvalitetssikrende aktiviteter 4. Projektets indhold Projektets indhold har bestået af to dele: 1. Udvikling af en internetbaseret evalueringsmodel, som er overkommelig for kursisterne at bruge, giver nogle brugbare resultater til skole og underviser, og som er relativ nem for skolerne at administrere. Evalueringsværktøjet skulle testet og tilrettes af praktikere. Derfor har projektet involveret aftenskolehold fra 8 forskellige skoler fordelt på fire af de fem landsdækkende oplysningsforbund; AOF, DOF, LOF og NETOP At arbejde med holdningsbearbejdning hos skoleledere og undervisere. Som skitseret tidligere er evaluering ikke en naturlig del af den almindelige aftenskolepraksis. Nogle skoler har udviklet deres eget evalueringsskema, som de bruger indimellem og fortrinsvis til dokumentation. Men langt de fleste skoler i alle oplysningsforbundene arbejder ikke systematisk med evaluering. Det har derfor været forventningen i projektet, at holdningsbearbejdning er en uomgængelig del af integrationen og implementeringen af evalueringsredskabet i aftenskolerne. Herudover fandt vi desuden vigtigt at introducere særligt lærerne til kvalitativ evaluering. Det elektroniske evalueringsredskab kan ikke stå alene for så vidt angår lærernes brug af det til pædagogisk udvikling. Både de læringsmæssige aspekter og lærernes pædagogiske udvikling øges og kvalificeres betydeligt i en dialog mellem læreren og kursisterne. Derfor har det været idéen, at evalueringsredskabets kvantitative fokus kunne bruges som udgangspunkt for en mundtlig og kvalitativ evaluering mellem lærere og kursister efterfølgende. Projektet har derfor arbejdet dels med en seminardag for de involverede lærere og skoleledere, dels udarbejdet en evalueringsguide til inspiration fortrinsvis for lærere, der vil i gang med evaluering af deres undervisning. Projektets forløb har været: Udvikling af elektronisk evalueringsværktøj med sparring fra baggrundsgruppen. Introduktion af værktøjet samt introduktion til kvalitativ evaluering for skoleledere og lærere på seminardag. Undervisningen i den kvalitative evaluering tog konsulent Flemming Jacobsen sig af. Tilretning af evalueringsredskabet på baggrund af input fra seminardagen. Afprøvning af evalueringsredskabet på 8 forskellige aftenskolehold. Telefoniske interviews med de deltagende lærere samt 1-2 kursister fra hvert hold. Opsamlende og afsluttende seminardag for de deltagende lærere og skoleledere. Det var indbygget i projektets design, at der skulle være en afsluttende seminardag. Men alle deltagere gav på den første 1 FOF valgte at indgå i projektet uden projektskoler/hold. FOF har allerede udviklet et evalueringsskema til deres skoler, som de arbejder på at få udbredt. Derfor mente FOF, at det ville forvirre mere end det ville gavne deres skoler, hvis de bragte et nyt evalueringsredskab ind i den allerede udfordrende proces med at få deres skoler i gang med evaluering. FOF har beredvilligt stillet deres skema til rådighed for inspiration for projektet. [4]

5 seminardag udtryk for, at de meget gerne ville mødes igen og samle op, når evalueringsredskabet havde været afprøvet. Efter de telefoniske interviews var det projektlederens vurdering, at en afsluttende seminardag ville have stor betydning dels for evalueringen af projektet, dels for deltagernes ejerskab til evalueringsredskabet og deres lyst til af fortsætte med at bruge det. Tanken var derfor at bruge den afsluttende seminardag til at gøre de deltagende lærere til ambassadører for en fortsættelse af implementeringen af redskabet i flere aftenskoler fremover. Udarbejdelse af evalueringsguide. 5. Projektets resultater Projektet har udviklet et elektronisk evalueringsskema i et system, der hedder Feedback server, som har fungeret efter hensigten. Skemaet har været afprøvet på en måde, hvor kursisterne har evalueret mellem 3. sidste og sidste mødegang. Underviseren har fået resultatet af evalueringen et par dage før sidste mødegang og har så kunnet snakke evalueringen igennem med kursisterne. På den måde har vi forsøgt at bruge både kvantitativ og kvalitativ evaluering. Gennem telefoninterviews med udvalgte deltagere og afsluttende seminardag med underviserne og skolelederne har vi evalueret projektforløbet. Underviserne har været meget tilfredse med evalueringsredskabet og måden evalueringen er forløbet på både kvantitativ og kvalitativ. Samstemmende siger lærerne, at de kan bruge det i deres udvikling som undervisere og udtrykker stor tilfreds med, at der nu bliver sat fokus på evaluering i aftenskolen. Det er projektgruppens indtryk, at lærerne har fået et redskab, de ikke vidste, de savnede. Blandt de skoleledere, der har evalueret på projektet 2, har der også været stor tilfredshed med det materiale, de, som skoler får ud af det. I feedbackserveren generes automatisk en rapport over besvarelserne af evalueringsskemaet. Denne kan sendes elektronisk til skolelederne. Både lærere og skoleledere er meget tilfredse med rapporterne, der er overskueligt bygget op, og som tilvejebringer et let overblik over kursisternes vurderinger af dels aftenskolen, dels undervisningen. Både skoleledere og lærere gav desuden udtryk for, at de fik svar på spørgsmål eller sat fokus på områder, de ellers ikke ville have spurgt til. En skoleleder fortalte, at der var blevet sat fokus på nogle ting omkring adgang til skolen og skolens miljø, som hun var overrasket over, og som hun kunne bruge til at overveje eventuelle ændringer. En lærer fortalte, at der via evalueringen var blevet sat fokus på, hvor meget det sociale betød for kursisterne; noget hun ikke plejede at gå voldsomt op i, da de er meget fagorienterede på hendes hold. De deltagende skoler har samstemmende bedt om at få evalueringsværktøjet til rådighed efter sommerferien. Blandt kursisterne har der også været stor tilfredshed med evalueringsskemaet. De har taget dem mellem minutter at udfylde på internettet. At det kunne foregå på internettet har de fleste kursister været glade for. Det er let tilgængeligt. Man kan gøre det, når man har tid. Og man kan gøre det i ro og mag, hvilket kvalificerer ens besvarelser. Om det at evaluere i en aftenskole har kursisterne også udtrykt stor tilfredshed, og langt de fleste finder det helt naturligt og er vant til at møde evaluering i andre sammenhænge. De udtrykker alle stor tilfredshed med at kunne give en god underviser en ordentlig feedback. Der har været glæde over, at vi tager dem og deres meninger alvorligt. Endelig har der været tilfredshed med den snak, der har været på holdet(den kvalitative del) om forløbet. 2 Der deltog desværre kun én skoleleder i den afsluttende seminardag. Dels blev enkelte skoleledere forhindret i sidste øjeblik, dels kom udmeldingen om den afsluttende seminardag lidt sent i forhold til en travl periode i skoleledernes aftenskoleliv. [5]

6 Der kan drages fire grundlæggende erfaringer fra det gennemførte projekt: 1) Evalueringsværktøjet virker for så vidt angår omfang og indhold i forhold til kursisterne. Kursisterne er faktisk glade for muligheden for at evaluere. 2) Evalueringsværktøjet virker i forhold til de informationer lærerne får tilbage i den automatisk generede rapport. Lærerne konkluderer samlet at rapporten er god, overskuelig og anvendelig. Rapporten har en særlig værdi som udgangspunkt for en mundtlig evaluering på holdet. 3) Evalueringsrapporterne virker for skolelederne, da rapporterne er overskuelige at gennemgå for hvert enkelt hold, og man ser gode perspektiver i brugbarheden når systemet også kan trække rapporter på tværs af holdene. 4) Hvis evaluering skal være en integreret del af aftenskolernes praksis (og det er alle enige om vil være en kæmpe fordel for aftenskolerne), skal det være yderst let at administrere for skolelederne. Erfaringerne fra projektet viser to grundlæggende barrierer for at evalueringsværktøjet når ud til kursisterne: 1) At skolelederne finder det unødvendigt eller besværligt at arbejde med. 2) At lærerne finder det unødvendigt eller besværligt eller ser det som en kontrol frem for et udviklingsværktøj. 6. Perspektivering Der er ingen tvivl om at det elektroniske evalueringsredskab kan bruges i aftenskole. Projektets resultater viser, at der både er gevinster for kursisterne, for lærerne og for skolelederne. Der er heller ingen tvivl om, at evalueringsredskabets resultater på sigt vil kunne gavne aftenskolerne generelt og på en række specifikke områder kunne tilvejebringe den dokumentation, som aftenskolerne ind imellem står og mangler. Fordelen ved feedbackserveren er, at kursisternes evalueringer løbende opsamles i en fælles database. Når aftenskolerne samlet har brug for fælles dokumentation, ville man kunne benytte databasen til indsamling af dokumentation. Der er imidlertid et stykke vej endnu, da det jo kræver, at en stor del af aftenskolerne bruger systemet og bruger det systematisk. Der er derfor to udfordringer i forbindelse med implementeringen af systemet i aftenskolerne: Oplysning og holdningsbearbejdning blandt lærere og ledere. Det er lærernes engagement der er den afgørende faktor i forhold til, om kursisterne går hjem og evaluerer undervisningen eller ej. Integration af evalueringsredskabet i administrationssystemerne. Det er erfaringen dels fra dette projekt, dels fra de øvrige projekter som LOF og NETOP har samarbejdet om (fx kompetenceprofilen og kursusbeviset) at skolelederne ikke får brugt systemerne, hvis ikke de er integrerede i administrationssystemerne. Selv om systemerne er meget lette at integrere, er det en stor barriere, hvis skolelederne skal skifte fra deres administrationssystem til et andet system for fx at kunne sende evalueringsredskabet ud med mail til alle deres kursister. Der er derfor ingen tvivl om, at implementering af evalueringsredskabet s succes til en vis grad vil afhænge af, om skolelederne via få klik i deres administrationssystem kan bruge evalueringsredskabet. Det er LOF s og NETOPs intention at arbejde videre med disse to udfordringer i tiden fremover. [6]