Fra data til vidensbaserede drøftelser af pædagogik V. Kristian Quistgaard Steensen og Sara Hach, Danmarks Evalueringsinstitut
Program for workshoppen Introduktion til undersøgelsen Resultater fra EVA s rapport vedrørende brug af data i pædagogiske drøftelser med fokus på ETU, undervisningsevalueringer og observationer Tietgen Business fortæller om deres konkrete erfaringer med at inddrage data i pædagogiske drøftelser Drøftelser ved bordene Opsamling og afrunding 2
Om EVA s undersøgelse Formål: Tegne et billede af, hvordan erhvervsskolerne bruger data i deres systematiske kvalitetsarbejde på nuværende tidspunkt. Inspirere erhvervsskolernes brug af data ved at pege på, hvad der henholdsvis kan understøtte og hæmme at datainformerede pædagogiske drøftelser opleves, at kunne bidrage til pædagogisk udvikling Begreber: Et bredt databegreb Pædagogiske drøftelser 3
Om EVA s undersøgelse Design: Seks skolebesøg på erhvervsskoler, interviews med lærere, pædagogiske ledere og kvalitetsmedarbejdere Spørgeskemaundersøgelser som totalundersøgelser blandt pædagogiske ledere (n=173) og kvalitetsmedarbejdere (n=63) 4
Pointer på tværs af datakilder 1. Tillid til datas kvalitet og gyldighed på tværs af organisationen 2. Åbenhed med hensyn til vidensdeling med kolleger 3. Tilstrækkeligt tid til at følge op på data 4. Tydeligt formål med inddragelse af data i pædagogiske drøftelser 5. Fælles forståelse af, at data skal analyseres og vurderes i forhold til lærernes konkrete erfaringer, for at give værdi 5
Fokus for dagens workshop Hvordan kan elevers perspektiver inddrages systematisk i drøftelser af pædagogisk udvikling? Tre primære datakilder i denne proces: Elevtrivselsundersøgelsen (ETU) Undervisningsevalueringer Undervisningsobservation Forberedelse og gennemførelse af dataindsamling samt opfølgning på indsamlet data er væsentlige elementer, når data inddrages med henblik på pædagogisk udvikling 6
Elevtrivselsundersøgelse (ETU) Udfordringer ift. at inddrage elevperspektiv: Evalueringstræthed Eksterne påvirkninger Misforståelse af spørgsmål Uklarhed omkring formål med undersøgelse 7
ETU Forberedelse af dataindsamling Vær opmærksom på at gøre det tydeligt for elever: Hvad formålet med undersøgelsen er Hvad der spørges til i de enkelte spørgsmål Hvordan der vil blive fulgt op på deres besvarelser Hvad deres besvarelser vil blive brugt til 8
ETU Gennemførelse af dataindsamling Overvejelser vedrørende tidspunkt for gennemførelse af dataindsamling: Hvornår mellem 1. oktober og 1. december findes bedste balance mellem: 1. Elever på grundforløb har gået tilstrækkeligt længe på uddannelse til kvalificeret, at kunne vurdere forhold i og omkring undervisningen? 2. Tilstrækkelig tid til opfølgning på ETU besvarelser med elever og implementering af eventuelle ændringer i og omkring undervisningen? Hvornår kan ETU gennemføres, så den ikke falder sammen med andre undersøgelser, der involverer elever direkte? 9
ETU Opfølgning på indsamlet data Lærere kan overveje: Hvordan de kvantitative resultater af ETU kan kvalificeres via mundtlig opfølgning med elever Kvalitetsmedarbejdere/dataansvarlige kan overveje: Hvordan resultater af indsamlet data opgøres på et niveau, så det er relevant for de aktører, der skal anvende det Pædagogiske ledere kan overveje: Hvilke fora der er relevant at diskutere resultater af ETU med lærere i 10
Undervisningsevalueringer Udfordringer ift. at inddrage elevperspektiv: Spørgeskemabaserede evalueringer Samme udfordringer som ved ETU Mundtlige evalueringer Bestemte elever der kommer til orde Udfordringer set fra lærerperspektiv: Spørgeskemabaserede evalueringer Spørgsmåls relevans for undervisning Mundtlige evalueringer Hvordan kan besvarelser fastholdes? 11
Undervisningsevalueringer Forberedelse af dataindsamling Vær opmærksom på at gøre det tydeligt for elever: Hvad formålet med evalueringen er Hvad der spørges til i de enkelte spørgsmål At der vil blive fulgt op på deres besvarelser og hvordan At de via deres besvarelser kan få direkte indflydelse på forhold i og omkring undervisningen Ejerskab til fælles spørgeramme: Overvej at inkludere lærere i udformningen af spørgsmål, så de afspejler deres erfaringer og iagttagelser fra undervisningen 12
Undervisningsevalueringer Gennemførelse af dataindsamling Overvejelser vedrørende tidspunkt for gennemførelse af dataindsamling: Har elever fulgt undervisningsforløb tilpas længe til kvalificeret at vurdere undervisningen? Hvad betyder fagets/forløbets længde for, hvornår det giver bedst mening at gennemføre undervisningsevaluering? Hvordan kan mundtlige evalueringer med elever fastholdes skriftligt? Hvordan kan undervisningsevaluering understøtte, at flest mulige elever får mulighed for at blive hørt? Hvornår kan undervisningsevaluering gennemføres, så den ikke falder sammen med andre undersøgelser, der involverer elever direkte? 13
Undervisningsevalueringer Opfølgning på indsamlet data Lærere kan overveje: At nuancere og kvalificere skriftlige besvarelser via mundtlig opfølgning med elever Den pædagogiske leder kan overveje: På hvilket detaljeringsniveau det er passende at diskutere evalueringerne med lærere Individuelt kontra i teams eller på lærermøder 14
Undervisningsobservationer Både lærer til lærer og leder til lærer observationer Relevans ift. elevperspektiv: Fokus på elevers dynamik i klasserum Udfordring ift. udførsel af observationer: Kan opleves som kontrol 15
Undervisningsobservation Forberedelse af dataindsamling Den pædagogiske leder kan overveje at: Observere alle lærere systematisk for at: 1. Forebygge observationer opleves som kontrol 2. Opbygge bredt kendskab til lærernes pædagogiske praksis Den observerende part kan med fordel: Mødes med den observerede part forud for observation og fastlægge 1. Fokuspunkter for observation 2. Tidspunkt for opfølgning på observation 3. Formål med og forventning til observation og opfølgning 16
Undervisningsobservation Gennemførelse af dataindsamling Den observerende part kan: Tage noter med afsæt i de aftalte fokuspunkter, så det bliver muligt at: 1. Diskutere den observerede undervisning dybdegående 2. Følge med i den observerede parts arbejde med fokuspunkterne over tid Den observerende part kan fx notere: Hvad han/hun godt kunne tænke sig at se mere af ift. de aftalte fokuspunkter Om der findes konkrete og tilgængelige værktøjer, der kan hjælpe med at optimere undervisningen 17
Undervisningsobservation Opsamling på indsamlet data Opfølgning kan fx tage afsæt i følgende struktur: Hvad synes den observerede part fungerede godt i undervisningen? Hvad synes den observerende part fungerede godt i undervisningen? Hvad vil den observerede part gerne arbejdere mere med ift. de aftalte fokuspunkter? Hvad vil den observerende part gerne se mere af ift. de aftalte fokuspunkter? Fastlæg med afsæt i disse punkter én eller to indsatser, som den observerede part kan arbejde videre med frem mod næste observation 18
Fra evaluering til pædagogisk praksis Birthe Søndergård, underviser Dorte Isager, uddannelseschef
20 Hvorfor evaluering?
21 Processen Hvorfor, hvad, hvem, hvordan?
22 Undervisningsoberservation Forberedelse Formål: - Videns- og kapacitetsudvikling - Refleksive dialoger om læring - Fælles forståelse af undervisningens kvalitet - FPDG i klasserummet Forberedelse af underviseren: - Mail: PL-hjulet, selvvalgte fokuspunkter, formål Gennemførsel Én gang pr. underviser pr. semester Skema med temaer, fx læringsmål og elevrelationer Opfølgning - Individuel opfølgning: 1 times samtale - Næste UV-obs.
23 Undervisningsevalueringer Forberedelse Formål - Pædagogisk og fagdidaktisk udvikling med afsæt i FPDG - Fælles forståelse af god undervisning - Dialogredskab - Medindflydelse på undervisningsprocessen - Øge kvalitetsniveauet Spørgsmålstyper - Pædagogisk Råd - Elevinddragelse Gennemførsel Midt i semesteret målt pr. fag Opfølgning - Individuel opfølgning: Mail og eventuel samtale - Dialogredskab i MUS - Dialog mellem lærer-elev - Tilpasning af undervisning afstemt efter elevsammensætningen - Anledning til eventuelle indsatser Kollektive indsatser
24 Elevtrivsel - ETU Forberedelse Formål - Elevtilfredshed og trivsel - Konkrete handlinger i hhv. teams og på skoleniveau Spørgsmålstyper - Ministeriet - FPDG Gennemførsel - Egen tilvirkning og afvikling - Midt på semesteret - Timing Opfølgning Overordnet ledelsestolkning (skole- og teamniveau) Kvalitative fokusgruppeinterviews
25 Hvad gør vi ellers? Ad hoc-analyser: - Trivsel og studiemiljø - Erhvervsfaglige identitet
Drøft ved bordene 1. Kan I genkende de udfordringer ved at inddrage data i pædagogiske drøftelser, som er skitseret i dag? Hvad er særligt svært hos jer? Hvad fungerer godt? 2. Hvad tager I med jer fra i dag, som I kan bruge, når I fremover inddrager data i pædagogiske drøftelser? 3. Hvad skal der til for at perspektiver fra dagen kan bidrage til jeres kvalitetsarbejde? 26
Opsamling
Tak for i dag