Evaluering af omlægning af den pædagogiske dokumentation i Rudersdal Kommune

Transkript

1 Evaluering af omlægning af den pædagogiske dokumentation i Rudersdal Kommune

2

3 INDHOLD Evaluering af omlægning af den pædagogiske dokumentation i Rudersdal Kommune 1 Indledning Om projektet Evalueringens spørgsmål Evalueringens design og forløb Evalueringens organisering Læsevejledning 5 2 Evalueringens konklusioner I hvilken grad er målfastsættelsesarbejde og aktionslæring implementeret i dagtilbuddene? Hvilken betydning har de fælles kommunale læreplansmål for det pædagogiske arbejde? Hvordan spiller kommunale og lokale mål sammen i forbindelse med målfastsættelsen? Hvilken betydning har arbejdet med aktionslæring for det pædagogiske arbejde? Hvilke forandringer kan spores mht. intentionalitet og faglig vurdering? Hvordan oplever det pædagogiske personale, at projektet har påvirket vægtningen af dokumentationsopgaver og kerneydelse? 19 3 Eksempler på aktionslæringsforløb 20 4 Udfordringer i projektet 21 5 Mere om metoden Spørgeskema og interviewguider Udvælgelse og svarprocent Inddragelse af forvaltning og ledere 23 Danmarks Evalueringsinstitut 3

4 1 Indledning Danmarks Evalueringsinstitut (EVA) har i perioden 2015 til 2017 evalueret projektet Omlægning af den pædagogiske dokumentation i Rudersdal Kommune. Denne rapport er målrettet projektdeltagerne i kommunen. 1.1 Om projektet Formålet med projektet var at skabe større fokus på kerneopgaven. Projektet har taget afsæt i: Fælles kommunale læreplansmål (treårigt frikommuneforsøg) Fokus på børnene og deres læring Aktionslæring som metode til udvikling af den pædagogiske praksis Projektet har involveret ledere og pædagogisk personale i alle børnehuse/ daginstitutioner i kommunen og har blandt andet bestået af et kursusforløb om aktionslæring v. UCC. Projektperiode: Evalueringens spørgsmål Evalueringen har taget afsæt i en række spørgsmål, som var formuleret i samarbejde mellem Rudersdal Kommune og EVA. Evalueringens spørgsmål var følgende: I hvilken grad er målfastsættelsesarbejde og aktionslæring implementeret i dagtilbuddene? Hvilken betydning har de fælles kommunale læreplansmål for det pædagogiske arbejde? Hvordan spiller kommunale og lokale mål sammen i forbindelse med målfastsættelsen? Hvilken betydning har arbejdet med aktionslæring for det pædagogiske arbejde? Hvilke forandringer kan spores mht. intentionalitet og faglig vurdering? Hvordan oplever det pædagogiske personale, at projektet har påvirket vægtningen af dokumentationsopgaver og kerneydelse? Danmarks Evalueringsinstitut 4

5 Indledning 1.3 Evalueringens design og forløb For at besvare evalueringsspørgsmålene er der gennemført en dataindsamling tidligt og sent i projektforløbet. Formålet har været at følge progressionen mht. projektets målsætninger. De to dataindsamlinger har bestået af følgende interview- og spørgeskemaundersøgelser: To fokusgruppeinterview med pædagoger Et fokusgruppeinterview med daginstitutionsledere Spørgeskema til pædagoger Spørgeskema til daginstitutionsledere. Dataindsamlingsaktiviteterne blev gennemført første gang i sommeren 2015 og anden gang i foråret Spørgeskemaundersøgelserne i anden runde bestod, på nær nogle få justeringer, af de samme spørgsmål som i første runde. 1.4 Evalueringens organisering Evalueringen er gennemført af seniorkonsulent Andreas Hougaard i samarbejde med en lokal styregruppe med områdeledere og forvaltningsansatte. 1.5 Læsevejledning I de følgende tre kapitler gennemgås resultaterne af evalueringen. Kapitel 2 giver svar på de evalueringsspørgsmål, som er stillet til projektet. For hvert spørgsmål gives der en kort opsummering af konklusionen med reference til de kvalitative og kvantitative data. Herefter følger en afrapportering af de kvantitative data, som underbygger konklusionen på spørgsmålet. Kapitel 3 giver eksempler på aktionslæringsforløb i dagtilbuddene og kapitel 4 tilføjer en række pointer om udfordringerne i projektet. Herefter følger kapitel 5 med mere information om metoden. Danmarks Evalueringsinstitut 5

6 2 Evalueringens konklusioner I dette afsnit besvares evalueringsspørgsmålene med henvisninger til datamaterialet. 2.1 I hvilken grad er målfastsættelsesarbejde og aktionslæring implementeret i dagtilbuddene? De kvantitative data indikerer, at målfastsættelse er en del af praksis i børnehusene/ daginstitutionerne (se figur 1-2, 14-17, og 30-33) og at det samme gælder aktionslæring (se figur 5-7 og 22). Informanterne giver flere eksempler på aktionslæringsforløb i interviewene. Derimod fremgår det ikke så tydeligt af interviewene, hvordan børnehusene/ daginstitutionerne arbejder med målfastsættelse. Eksemplerne på aktionslæringsforløb (se kap. 3) viser, hvad det pædagogiske personale har haft fokus på i undringsfasen og vidensindsamlingsfasen, og hvilken aktion de har valgt Data om målfastsættelse FIGUR 1 Spørgsmål til pædagoger: Kender du de fælles kommunale læreplansmål i Rudersdal Kommune? Ja 4 Nej (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 6

7 Evalueringens konklusioner FIGUR 2 Spørgsmål til pædagoger: I hvilken grad orienterer du dig efter de fælles kommunale læreplansmål i dit pædagogiske arbejde? (n = 55) 2017 (n = 45) FIGUR 14 Spørgsmål til pædagoger: Har I anvendt målene i aktionslæringsforløbet? (n = 43) 7 Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 Danmarks Evalueringsinstitut 7

8 Evalueringens konklusioner FIGUR 15 Spørgsmål til pædagoger: Har I anvendt målene i projekter, som ikke er aktionslæringsforløb? Ja Nej Ved ikke (n = 43) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 FIGUR 16 Spørgsmål til pædagoger: Har I anvendt målene som en del af den daglige praksis? Ja Nej Ved ikke 2017 (n = 42) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 Danmarks Evalueringsinstitut 8

9 Evalueringens konklusioner FIGUR 17 Spørgsmål til pædagoger: Har I anvendt målene i jeres samtaler om den pædagogiske praksis? Ja Nej Ved ikke 2017 (n = 43) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 FIGUR 19 Spørgsmål til ledere: I hvilken grad orienterer du dig efter de fælles kommunale læreplansmål i din pædagogiske ledelse? (n = 30) 2017 (n = 27) Danmarks Evalueringsinstitut 9

10 Evalueringens konklusioner FIGUR 20 Spørgsmål til ledere: I hvilken grad har du drøftet de kommunale læreplansmål med dine medarbejdere? (n = 30) 2017 (n = 27) FIGUR 30 Spørgsmål til ledere: Har I anvendt målene i aktionslæringsforløb? Ja Nej Ved ikke 2017 (n = 27) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 Danmarks Evalueringsinstitut 10

11 Evalueringens konklusioner FIGUR 31 Spørgsmål til ledere: Har I anvendt målene i projekter, som ikke er aktionslæringsforløb? Ja Nej Ved ikke 2017 (n = 27) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 FIGUR 32 Spørgsmål til ledere: Har I anvendt målene som en del af den daglige praksis? Ja Nej Ved ikke 2017 (n = 2017) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 Danmarks Evalueringsinstitut 11

12 Evalueringens konklusioner FIGUR 33 Spørgsmål til ledere: Har I anvendt målene i jeres samtaler om den pædagogiske praksis? Ja Nej Ved ikke 2017 (n = 27) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i Data om aktionslæring FIGUR 5 Spørgsmål til pædagoger: Hvor mange gange har du deltaget i møder om aktionslæring den sidste måned i dit børnehus/din daginstitution? gange 1-2 gange 3 gange eller mere 2015 (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 12

13 Evalueringens konklusioner FIGUR 6 Spørgsmål til pædagoger: Hvor mange gange har du brugt redskaber (fx skabeloner til dokumentation) til aktionslæring den sidste måned i dit børnehus/din daginstitution? gange 1-2 gange 3 gange eller mere (n = 55) 2017 (n = 46) FIGUR 7 Spørgsmål til pædagoger: I hvilken grad oplever du, at aktionslæring bliver brugt i planlægningen af den daglige pædagogiske praksis i dit børnehus/din daginstitution? (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 13

14 Evalueringens konklusioner FIGUR 22 Spørgsmål til ledere: I hvilken grad oplever du, at aktionslæring bliver brugt i planlægningen af den daglige pædagogiske praksis i dit børnehus/din daginstitution? (n = 30) 2017 (n = 27) 2.2 Hvilken betydning har de fælles kommunale læreplansmål for det pædagogiske arbejde? Figur 3 indikerer, at de fælles kommunale læreplansmål bidrager positivt til den daglige praksis. Interviewene giver dog ikke grundlag for at konkludere, at fælles kommunale læreplansmål gør en større forskel for den daglige praksis end arbejdet med mål som sådan. Der tales positivt om at have et fælles sprog og en nedskrevet læringsforståelse i kommunen, men også om manglende ejerskab. De kommunale læreplansmål opleves ikke som nye i børnehusene/ daginstitutionerne. FIGUR 3 Spørgsmål til pædagoger: I hvilken grad oplever du, at de fælles kommunale læreplansmål bidrager positivt til din daglige praksis? (n = 55) 2017 (n = 45) Danmarks Evalueringsinstitut 14

15 Evalueringens konklusioner 2.3 Hvordan spiller kommunale og lokale mål sammen i forbindelse med målfastsættelsen? Figur 18 og 34 viser, at pædagoger og ledere har forskellige opfattelser af, hvordan kommunale og lokale mål spiller sammen. Hvor pædagogerne oplever, at de overvejende tager udgangspunkt i egne mål og herefter vurderer, hvilke kommunale læreplansmål disse falder ind under, oplever lederne, at de overvejende tager udgangspunkt i de kommunale læreplansmål og omsætter dem til delmål. Lidt under en fjerdedel af både pædagogerne og lederne oplever, at de overvejende bruger de kommunale læreplansmål, som de er formuleret. FIGUR 14 Spørgsmål til pædagoger: Vælg det udsagn, som bedst beskriver, hvordan I bruger de fælles kommunale læreplansmål i dit børnehus/din daginstitution: Vi bruger læreplansmålene, som de er formuleret Vi omsætter læreplansmålene til konkrete delmål Vi formulerer vores egne mål i første omgang og finder bagefter ud af, hvilke læreplansmål vi har fokus på 2017 (n = 43) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 FIGUR 34 Spørgsmål til ledere: Vælg det udsagn, som bedst beskriver, hvordan I bruger de fælles kommunale læreplansmål i dit børnehus/din daginstitution: Vi bruger læreplansmålene, som de er formuleret Vi omsætter læreplansmålene til konkrete delmål 19 Vi formulerer vores egne mål i første omgang og finder bagefter ud af, hvilke læreplansmål vi har fokus på 2017 (n = 27) Kilde: EVA spørgeskemaundersøgelse Note: Dette spørgsmål blev ikke stillet i 2015 Danmarks Evalueringsinstitut 15

16 Evalueringens konklusioner 2.4 Hvilken betydning har arbejdet med aktionslæring for det pædagogiske arbejde? Figur og indikerer, at arbejdet med aktionslæring har skabt øget refleksion, at det har øget kvaliteten af det pædagogiske arbejde og har skabt øget læring hos børnene. Den positive vurdering af metoden bekræftes i interviewene. Datamaterialet giver ikke grundlag for vurdere, om den positive betydning er enkeltstående erfaringer i forbindelse med aktionslæringsforløbene eller en mere generel ændring. FIGUR 10 Spørgsmål til pædagoger: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget refleksion over det pædagogiske arbejde i dit børnehus/din daginstitution? (n = 57) 2017 (n = 46) FIGUR 11 Spørgsmål til pædagoger: I hvilken grad oplever du, at jeres arbejde med aktionslæring har øget kvaliteten af det pædagogiske arbejde med børnene? (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 16

17 Evalueringens konklusioner FIGUR 12 Spørgsmål til pædagoger: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget læring hos børnene? (n = 57) 2017 (n = 46) FIGUR 27 Spørgsmål til ledere: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget refleksion over det pædagogiske arbejde i dit børnehus/din daginstitution? (n = 30) 2017 (n = 27) FIGUR 28 Spørgsmål til ledere: I hvilken grad oplever du, at jeres arbejde med aktionslæring har øget kvaliteten af det pædagogiske arbejde med børnene? (n = 29) 2017 (n = 27) Danmarks Evalueringsinstitut 17

18 Evalueringens konklusioner FIGUR 29 Spørgsmål til ledere: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget læring hos børnene? (n = 30) 2017 (n = 27) 2.5 Hvilke forandringer kan spores mht. intentionalitet og faglig vurdering? Interviewene giver flere eksempler på, at aktionslæringsforløbene har understøttet intentionalitet, forstået som målrettet pædagogisk arbejde. Den faglige vurdering indgår som en del af aktionslæringsmetoden, fx i den fase, hvor det pædagogiske personale vælger fokus og aktion og senere, når aktionen evalueres. Forandringen mht. til intentionalitet og faglig vurdering kan understøttes af figur 10 og 27 i det omfang intentionalitet og faglig vurdering forstås som elementer af refleksion. Datamaterialet giver ikke grundlag for at vurdere om forandringen har fundet sted i andre sammenhænge end aktionslæringsforløbene. FIGUR 10 Spørgsmål til pædagoger: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget refleksion over det pædagogiske arbejde i dit børnehus/din daginstitution? (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 18

19 Evalueringens konklusioner FIGUR 27 Spørgsmål til ledere: I hvilken grad oplever du, at jeres arbejde med aktionslæring har skabt øget refleksion over det pædagogiske arbejde i dit børnehus/din daginstitution? (n = 30) 2017 (n = 27) 2.6 Hvordan oplever det pædagogiske personale, at projektet har påvirket vægtningen af dokumentationsopgaver og kerneydelse? I interviewene bliver der både givet udtryk for, at projektet har medført et øget fokus på dokumentation, og at det ikke har haft betydning for vægtningen af dokumentationsopgaver og kerneydelse. Figur 8 viser, at pædagogerne overvejende oplever, at aktionslæring har gjort det nemmere at arbejde med dokumentation og evaluering. Det kan betyde, at den eventuelle forøgelse af dokumentationsopgaver, som aktionslæringen medfører, ikke opleves som unødigt tidskrævende. FIGUR 8 Spørgsmål til pædagoger: I hvilken grad oplever du, at aktionslæring har gjort det nemmere at arbejde med pædagogisk dokumentation og evaluering? (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 19

20 3 Eksempler på aktionslæringsforløb Aktionslæringsforløbene består af forskellige faser, herunder en fase, hvor det pædagogiske personale undrer sig over noget i den pædagogiske praksis, en fase hvor de indsamler viden, om det de undrer sig over og en fase, hvor de vælger en aktion. Tabellen viser nogle eksempler fra interviewene. Undren Viden Aktion Uro på legepladsen Læsning af artikler. Diskussion af forskellige måder at forstå og definere uro på, herunder hvordan uro opleves fra et børne- og et voksenperspektiv. Seks til syv miljøer på legepladsen - fx en bålplads, et gyngemiljø, et køkkenhjørne og en gravhøj. Der arbejdes kontinuerligt med miljøerne, og de evalueres til personalemøder. Modtagelse om morgenen Spørgeskemaer til forældre og personale. Forskel på hvordan man oplever en god morgen. Diskussion af hvad der skulle bevares, og hvad der skulle forandres både praktisk og pædagogisk. Ikke oplyst. Formålsløs færden på gangene Personalegruppen havde en samtale med afsæt i noter fra børneinterview, observation og videooptagelser. Forløbet har bidraget til en fornyet opfattelse af gangmiljøet. Der foregår ikke kun uro, men også aktiviteter med social kvalitet, adgang til nye lege og venskaber på tværs og et frirum fra voksenopsyn. Flere motorikrum i vuggestuen med henblik på flere bevægelsestilbud. Børnehaven ønskede at lave flere aktiviteter på gangene, bl.a. med det formål at kunne skærme sig (undgå støj andre steder). Respektløse børn til samling Videooptagelse af samling. Metoden har bidraget til at forstå, hvad og hvorfor personalet laver det, de gør og hvad det gør for børnene. Struktur for samlingen. Samlingen tilrettelægges efter alderstrin med en fælles ramme på tværs af alder. Der er fx indført rutiner, så børnene laver det samme i en uge. Særligt i opstarten af samlingen skal der være en fast struktur, da det giver en ro hos børnene. Der er blevet etableret faste pladser (runde prikker med navne på gulvet, hvor de skal sidde). Derudover skal der være fokus på måden, de kommer ind i lokalet på. Danmarks Evalueringsinstitut 20

21 4 Udfordringer i projektet Datamaterialet viser, at arbejdet med aktionslæring i børnehusene/ daginstitutionerne er forbundet med en række udfordringer. Fire udfordringer er fremtrædende i materialet: 1. Oplevelse af usikkerhed omkring egne kompetencer 2. Forskelle i kompetenceniveau blandt det pædagogiske personale 3. Balance mellem ledelse og selvledelse 4. Tid til aktionslæring Interviewene viser en positiv udvikling mht. usikkerheden omkring egne kompetencer. Informanterne i anden interviewrunde giver udtryk for, at de er blevet mere fortrolige med aktionslæringsmetoden - fx kan de nu fokusere mere på indholdet end på metoden. Figur 8 viser desuden, at en lidt større andel af pædagogerne i den anden spørgeskemaundersøgelse, oplever, at aktionslæring har gjort det nemmere at arbejde med pædagogisk dokumentation og evaluering. Balancen mellem ledelse og selvledelse har også udviklet sig positivt i projektperioden. Deltagerne i interviewene giver udtryk for, at lederen understøtter arbejdet med aktionslæring, og figur 9 viser, at en større andel af pædagogerne i den anden spørgeskemaundersøgelse, oplever, at lederen skaber gode rammer for arbejdet med aktionslæring. Muligvis har det haft en betydning for fremskridtet på de to områder, at udfordringerne blev adresseret og drøftet i ledergruppen efter den første dataindsamling. Udfordringerne mht. forskellene i kompetenceniveau og mht. at finde tid til aktionslæring ser ikke ud til at have udviklet sig hverken positivt eller negativt i projektperioden. Danmarks Evalueringsinstitut 21

22 Udfordringer i projektet FIGUR 8 Spørgsmål til pædagoger: I hvilken grad oplever du, at aktionslæring har gjort det nemmere at arbejde med pædagogisk dokumentation og evaluering? (n = 57) 2017 (n = 46) FIGUR 9 Spørgsmål til pædagoger: I hvilken grad oplever du, at din daglige leder har skabt gode rammer for arbejdet med aktionslæring? (n = 57) 2017 (n = 46) Danmarks Evalueringsinstitut 22

23 5 Mere om metoden 5.1 Spørgeskema og interviewguider Spørgeskemaet til den anden dataindsamling var en nøjagtig kopi af det første spørgeskema på nær nogle supplerende spørgsmål. De supplerende spørgsmål blev tilføjet sidst i spørgeskemaet, så respondenternes svar ikke blev påvirket på en anden måde end ved det første spørgeskema. Interviewguiderne til den anden dataindsamling er tilpasset for at berøre aktuelle temaer på det pågældende tidspunkt. 5.2 Udvælgelse og svarprocent Deltagerne i første runde interview blev tilfældigt udvalgt. I anden runde interview deltog de samme informanter så vidt muligt mhp. at kunne spørge om udviklingen i den mellemliggende periode på baggrund af udsagnene fra første runde interview. For at opnå en tilstrækkelig gruppestørrelse blev der inviteret nogle tilfældigt udvalgte ekstra informanter. Spørgeskemaundersøgelserne med daginstitutionsledere var totalundersøgelser med en svarprocent på 77 % i 2015 og 71 % i Undersøgelserne kan generaliseres til hele kommunen med forbehold for at der ikke er gennemført bortfaldsanalyse. Spørgeskemaundersøgelserne med pædagoger var stikprøver sendt til 3 af pædagogerne (i overensstemmelse med kommunens ønsker) med en svarprocent på henholdsvis 7 i 2015 og 51 % i Undersøgelsen kan pga. stikprøvens størrelse og svarprocenten i 2017 kun generaliseres til hele kommunen med forbehold. 5.3 Inddragelse af forvaltning og ledere Evalueringen har været gennemført efter principperne i anvendelsesorienteret evaluering (Patton 2008). I anvendelsesorienteret evaluering inddrages de primære brugere af evalueringen med henblik på, at evalueringen bliver anvendt. I forbindelse med evalueringen har der været afholdt: Opstartsmøde med forvaltning og områdeledere mhp. fastlæggelse af evalueringsdesign To seminarer med dagtilbudsledere, områdeledere, forvaltning og TR med præsentation og drøftelse af evalueringsresultater samt forberedelses- og opsamlingsmøder med forvaltning og områdeledere i forbindelse med seminarerne Danmarks Evalueringsinstitut 23

24 Mere om metoden Seminar med dagtilbudsledere om arbejdet med mål - som opfølgning på et behov, som blev identificeret i projektet, inkl. forberedelsesmøde med forvaltning og områdeledere Workshop om anvendelsesorienteret evaluering med evalueringen i Rudersdal som case til Voksenpædagogisk Forums konference Danmarks Evalueringsinstitut 24

25 2018 Danmarks Evalueringsinstitut Citat med kildeangivelse er tilladt Publikationen er kun udgivet i elektronisk form på: ISBN (www)

26 Danmarks Evalueringsinstitut (EVA) gør uddannelse og dagtilbud bedre. Vi leverer viden, der bruges på alle niveauer fra institutioner og skoler til kommuner og ministerier. DANMARKS EVALUERINGSINSTITUT T E eva@eva.dk H