Meningsfuld evaluering og opfølgning Opgaver og udfordringer i rollen som kvalitetsmedarbejder

Transkript

1 Meningsfuld evaluering og opfølgning Opgaver og udfordringer i rollen som kvalitetsmedarbejder Christian Moldt, ph.d., kvalitetschef, Absalon

2 Tjek og kontrol Overload Rituel evaluering 2

3 3

4 4

5 Opmærksomhedspunkter for kvalitetsarbejdet Vi skal undgå Formål utydelige Tunge procedurer Opleves negativt. Fokus på fejl og kontrol Svært forståelige dokumenter Uklar ansvarsfordeling Opleves centraliseret Tvangspræget Overlap i forhold til andre indsatser Fragmenteret Vi skal opnå üklart formål üanvendelsesorienteret üsikring + udvikling üklare forventninger ülokalt ansvar og kapacitetsopbygning üintegration i forhold til koncernstrategi, udviklingskontrakt, lovkrav m.v. ühandler om ledelse üfokus på den samlede organisation

6 Tre tilgange til kvalitetsarbejdet Kvalitetsarbejde hvad er det? Vi gør det ikke! Halvhjertet og uprofessionelt Gør kvalitetsarbejdet mere skade end gavn? Det professionelle kvalitetsarbejde Hvordan skulle vi kunne leve uden?

7 Niveauer i kvalitetsarbejdet Institution Opfølgningsplan Selvevaluering Undervisning Evaluering Opfølgning i lærerteams Evalueringer og datafangst Forbedringer Elev fagligt standpunkt Feedback Forventningsafstemning Evalueringssamtaler Undervisning Karakterer Undervisning

8 Undervisning Evaluering Opfølgning i lærerteams Del 1: Kvalitetssikring og udvikling af undervisningen Undervisning Forventningsafstemning

9 1. Få styr på anvendelsen af undervisningsevalueringerne

10 Fire tilgange til intern brug af spørgeskemaundersøgelser til undervisningsevaluering 3. Ledelsesudøvelse Evaluering som en proces, der kan anvendes til at 1) skabe dialog om rammer og mål, 2) støtte underviserne og/eller 3) give lederen mulighed for at udføre sine Ledelse 4. Benchmarking Evaluering via sammenligning med andre institutioners resultater formelle ledelsesopgaver, herunder ansætte og afskedige medarbejdere,. Mellemleder Mellemleder Mellemleder 2. Teamwork Evaluering som en proces, der kan anvendes til at 1) styrke koordinering Lærere og udvikling af faglige forløb og/eller 2) underviseres behov for kollegial støtte Elever (containing). 1. Udvikling i klassen Evaluering som en proces, der kan anvendes til at 1) forbedre undervisningen i klassen, 2) skabe dialog og forståelse for elevernes ansvar for egen læring og/eller 3) udskyde frustration i dagligdagen. Kilde: Moldt, Ph.d.-afhandling

11 1: Evaluering og udvikling i klassen Underviserne udtrykker, at de evaluerer og mange gør det tydeligvis også. MEN Undervisere som glemmer at evaluere, når det går dårligt i klassen. Lederen der stiller krav til evaluering, for ellers bliver det ikke gjort i praksis.

12 2: Evaluering og teamwork om udvikling af undervisningen Underviserne udtrykker, at de har dialoger og støtter hinanden i teamwork om undervisningen. MEN Undervisere kan være nervøse for at dele personlige evalueringsresultater helt åbent med hinanden. Underviseren som følsom indendørsmester. Man må ikke score bedre eller dårligere eller kollegaen.

13 3: Evaluering og ledelsesudøvelse Koordinatorer og ledere har ofte ikke lyst til at blande sig, hvis undervisere/kollegaer ikke klarer sig godt. Underviserne er sårbare for kritik. Manglende og overdrevne lederreaktioner. Selvstyrende teams er svære at lede.

14 4: Benchmarking - ekstern Benchmarking kan give et udmærket reality check. MEN Kan ende med abstrakte forklaringer fremfor præcis afklaring af, hvorfor institutionens resultater afviger fra benchmark

15 2. Få medarbejderne med ombord Modstand eller engagement?

16 Kritiske evalueringsspørgsmål Handler evaluering for meget om tilfredshed og eleven som kunde fremfor ansvar for egen læring? Undermineres lærerens autoritet af evalueringer? Tolkes resultater som karakterer til læreren, selvom det ikke giver mening? Bliver læreren udstillet ved en dårlig evaluering? Er der konkurrence blandt lærerne? Er ideer om selvstyring, decentralisering og teamwork konfliktende med, at ledelsen har brug for at kende evalueringerne?

17 De 10 bud for Absalons kvalitetsarbejde 1. Strategien sætter rammerne for kvalitetsarbejdet. 2. Anvendes til sikring, udvikling og dokumentation af de studerendes læringsudbytte. 3. Kvaliteten bliver skabt i samarbejde med studerende, undervisere, ledere og aftagere. 4. Organiseres så vi styrker uddannelseskvaliteten i praksis og undgår unødige procedurer og bureaukrati. 5. Tager hensyn til at det primære kvalitetsarbejde finder sted i centrene. 6. Er baseret på fælles tilgange. 7. Bygger på klar ansvarsfordeling mellem undervisere, ledelse og stabsfunktioner på Absalon. 8. Inkluderende og lærende kvalitetskultur baseret på intern åbenhed og videndeling. 9. Baseret på evalueringer af høj kvalitet. 10. Følger kvalitetscirklen (Plan, Do, Study, Act). 17

18 3. Evaluer undervisningen ikke læreren Er det mig som person der evalueres? Hvad er min rolle i kvalitetsarbejdet?

19 Hvordan varetager læreren sin rolle i undervisningen? System = Institution Feedback Rolle Undervisning Elever

20 Selvevaluering Institution Opfølgningsplan Del 2: Kvalitetssikring og udvikling på institutionsniveau Evalueringer og datafangst Forbedringer

21 1. Opbyg et enkelt, meningsfuldt og letforståeligt system!

22 Niveauer i kvalitetsarbejdet Institution Opfølgningsplan Selvevaluering Undervisning Evaluering Opfølgning i lærerteams Evalueringer og datafangst Forbedringer Elev fagligt standpunkt Feedback Forventningsafstemning Evalueringssamtaler Undervisning Karakterer Undervisning

23 De tre niveauer i Absalons kvalitetssystem 1. Undervisere Udvikler og kvalitetssikrer undervisningens videngrundlag, tilrettelæggelse og gennemførelse samt relevans 2. Centre Udvikler og kvalitetssikrer uddannelsernes videngrundlag, niveau og indhold samt relevans 3. Direktion og fællesfunktioner Skaber fælles rammer for undervisernes og centrenes arbejde Udvikler organisationen og uddannelsesudbuddene

24 2. Inddrag elever, lærere og bestyrelse

25 Absalons arbejde med kvalitetskultur Kvalitetsreferencegruppe + øvrige arbejdsgrupper fastlægger politikker m.v. Involvering af supportfunktioner Kvalitetsarbejdet oversættes til undervisernes sprog. Kvalitetsarbejdet er forankret hos rektor, direktionen og bestyrelse Se evt. notat om kvalitetskultur her:

26 Elementer i en selvevaluering af institutionens indsatser og resultater Nedsættelse af arbejdsgruppe fx bestående af lærere, ledelse, supportfunktioner og elever. Gennemgang af relevant dokumentation (fx trivselsmålinger, aggregerede undervisningsevalueringer, overgangsfrekvens til de videregående uddannelser efter fuldført gymnasial uddannelse, karakterer/løftehøjde). Indeholder vurdering af, hvor udfordringerne er. Udgangspunktet for den efterfølgende opfølgningsplan.

27 3. Opbyg en stærk evalueringskultur

28 Praksis skal være kendetegnet ved en stærk kvalitetskultur Absalons definition: Kvalitetskultur er en organisationskultur som understøtter og fremmer uddannelsernes kvalitet og relevans Kilder: Notat udarbejdet af EVA og ACE (2013), samt projekter om kvalitetskultur gennemført af EUA (European University Association). 28

29 Absalons arbejde med kvalitetskultur Forventningerne er tydelige Underviserne inddrages Kvalitetsreferencegruppe + øvrige arbejdsgrupper fastlægger politikker m.v. Transparens og videndeling via digitale platforme Involvering af fællesfunktioner Kvalitetsarbejdet er forankret hos rektor/direktionen 29

30 Rollen for kvalitetsmedarbejdere Translators between different languages (e.g. international language of QA and the language of the institution or the language of academics and the language of the management) Cultural brokers dealing with ideas and assisting other actors with their perspective-taking Meaning agents, supporting managers with their sense-making processes and helping to create meaningful information. Kilde: Sursock & Vettori (EQAF 2012). 30

31 4. Brug årlig opfølgningsplan men forvent ikke den alene skaber forandringer!

32 Kvalitetscirklen. Enkelt koncept. Svært i praksis Plan: Planlæg Act: Følg op Do: Gennemfør indsatsen Study: Evaluer indsatsen 32

33 Opfølgningsplanen skal præcisere ændringsbehov, 8ltag og fortsa:e og nye opera8onelle kvalitetsmål. Desuden skal det fremgå af planen, hvordan de ak8viteter og særlige indsatser, der igangsæ:es skal gennemføres og evalueres. UVM s vejledning til lov og bekendtgørelse

34 Eksempel på opfølgningsplan Formål (Hvorfor igangsættes indsatsen?) Indsatsens mål (Hvad vil vi opnå ved at igangsætte indsatsen?) Handlinger (De væsentligste handlinger, som skal gennemføres for, at indsatsen lykkes) Succeskriterier Datakilder der (Mål Opfølgningsplanen for 2018 og belyser skal hvorvidt præcisere målændringsbehov, på længere indsatsens tiltag og fortsatte mål sigt) og nye operationelle opnås kvalitetsmål. Desuden skal det fremgå af planen, hvordan de aktiviteter og særlige indsatser, der igangsættes skal gennemføres og evalueres.

35 Om opfølgningsplaner Opfølgningsplaner skaber et formelt grundlag for ledelse. Opfølgningsplaner = positive forandringer? Vi reproducerer de samme resultater og problemer.

36 Opsummering Kvalitetsarbejdet i undervisningen Få styr på anvendelsen af evalueringerne Få medarbejderne med ombord Evaluer undervisningen ikke læreren Kvalitetsarbejdet på institutionsniveau Opbyg et enkelt, meningsfuldt og letforståeligt system Inddrag elever, lærere og bestyrelse Opbyg en stærk evalueringskultur Brug opfølgningsplan men forvent ikke den alene skaber forandringer! Brug forbedringsledelse til at opnå resultater (næste oplæg)

37 Læs bogen! 37

38 Spørgsmål 38

39 Øvelser i grupper Hvilke udfordringer oplever du som de væsentligste i forhold til evalueringsopfølgning/anvendelse. Hvad ser du af muligheder for at forbedre anvendelse og opfølgning? 39

40 Kvalitetsledelse Improvement science /forbedringsledelse

41 Hvad er kvalitetsledelse? En brugerfokuseret og analytisk tilgang til at opnå varige kvalitetsforbedringer i praksis Er inspireret af kvalitetsarbejde i andre brancher herunder i sundhedssektoren Indeholder principper og konkrete forbedringsværktøjer Kan løse den udfordring, at det ofte er svært at opnå varige kvalitetsforbedringer i praksis. Læs mere her: Læs bogen à 41

42 Fire tilgange til styring Strategien (herunder strategisk rammekontrakt) sætter retningen Strategi Rammer for driften: Roller, ansvar samt løbende sikring af processer og resultater på udbudsniveau. Overholdelse af eksterne. kvalitetskrav Faste standarder og nøgletal. Kvalitetsprocedurer Kvalitetsledelse Improvement science : Skarpe analyser. Effektive tilgange til forbedring af undervisning og uddannelser. Ambitiøse mål: What s the big dot? Ledelsesinformation Real-time opdatering og dataanalyse Oplysninger om studerendes resultater, frafald, tilfredshed m.v. på forløbsniveau (moduler/semestre)

43 Væsentlige elementer i kvalitetsledelse 1. Arbejd konkret og brugerfokuseret med forbedringer. 2. Forstå hvad der ligger bag variationer i de resultater, der opnås. Hvad der virker for hvem og under hvilke betingelser? 3. Forstå de systemer, som skaber resultaterne. 4. Vi kan ikke forbedre i større skala, hvis vi ikke kan måle, om det vi gør virker! 5. Arbejd disciplineret med PDSA-cirklen ved indførelse af praktiske forbedringer. 6. Arbejd sammen i netværk for at opnå de bedste resultater. Kilde:

44 Title: Factors Influencing Inequitable Participation in Group Work Fiskebensdiagrammer Culture of Group Work Group Structures and Scaffolds Student Beliefs and Attitudes Student Attributes The students in the group don t understand how to work with others Students don t feel comfortable giving kind, constructive feedback Prior experience and practice with group work Students don t understand the expectation to include others Lack of Protocols Roles Not enough time for all i Physical space does not allow for all bodies to be present and access the task equally Level of selfconfidence Students are not engaged in the task Lack of excitement or enthusiasm Student ownership (collaborating because teacher told me to vs, ownership) Introversion/ extroversion Dominant/passive personalities Problem Inequitable Participation in Group Work Preconceived notions of group members Social Status Acadmic Status Gender expectations Peer Status What supports are in place for the teacher in designing quality tasks? How active do all members need to be to complete? The task is not rich enough for the size of the group The task is too easy or too challenging Task does not support equity by requiring multiple perspectives or multiple people to complete Students don t have language to respectfully challenge or disagree Students are not able to ask for what they need Students don t have common language for working together Confidence speaking up in a group Active listening Body language Ability to verbalize thoughts Empathy Not all students have a skill to share toward the task Shared knowledge Students don t have prerequisite skills for the task Not all students feel confident in their ability to do the task Students don t understand what is required by the task Not all students contribute meaningfully to the task Not all students work well with others Status Groupworthiness of the Task Communication Student Capacity to Engage in the Task Adaptation of Fishbone from HTeCV Improvement Research Team; February 4,

45 45

46 Driverdiagram: Tænkt eksempel for en uddannelse Formål Højere læringsudbytte og gennemførelse Drivere Klare forventninger og krav Fælles designprincipper Didaktisk design af moduler/ semestre Velfungerende organisering & rammer Studerende i centrum Udmøntning Markedsføring, vejledning mv Fast læringsdesign Fast team af undervisere Bedre og ensartet studenterservice Optagelsessamtaler, studiestarts- og stopprøver Mål for praktik, virtuelle dele, fremmøde & bachelor-p. Kvalitetsindhold Teamstruktur og opfølgning på udd.-niveau Nyt LMS Aktiviteter og krav mhp. deltagelse og studieaktivitet Teamstruktur og opfølgning på modul/semester niveau Styrket kollaboration: Gruppearbejde m.v. Opkvalificering: undervisere 46

47 Forbedringsmodel Hvad vil vi opnå? Plan: Planlæg Hvordan kan vi vide, at en forandring er en forbedring? Hvilke forandringer, kan vi gennemføre, som vil lede til de ønskede forbedringer? Act: Følg op Study: Evaluer indsatsen Do: Gennemfør indsatsen

48 Styrket studieengagement what s the big dot? Øget studieengagement Øget kvalitet... Højere læringsudbytte Stærkere fastholdelse 48

49 PDSA-cirkel Spørgsmål: Hvilken idé/ændring ønsker vi at afprøve? Hvilket spørgsmål vil vi gerne have svar på? PDSA-cirkel nummer: Arbejdshypotese: Hvilket svar forventer vi? Ansvarlig person: Act Næste skridt besluttes Er der behov for at tilpasse den afprøvede ændring? Er der behov for en ny afprøvning under andre omstændigheder eller betingelser? Medfører denne PDSA-cirkel behov for en ny cirkel? (Fortsæt med et nyt arbejdsskema) Eller bør ændringerne forkastes, fordi den ikke virker efter hensigten? Plan Planlæg afprøvning og indsamling af information Hvem? Hvad? Hvor? Hvornår? Study Analyser og lær Sammenlign resultatet af afprøvningen med arbejdshypotesen Skriv et par stikord om, hvad afprøvningen viste. Gik det godt? Hvad gik ikke som forventet? Hvorfor? Hvad lærte I? Do Udfør afprøvningen Kan det planlagte gennemføres, og har det den forventede effekt? Beskriv, hvad der faktisk skete under afprøvningen Beskriv uforudsete problemer og uventede hændelser, der kan bidrage til læring Noter eventuelle resultater eller data, der er samlet ind i forbindelse med afprøvningen 49

50 PDSA-cirkel Spørgsmål: Hvilken idé/ændring ønsker vi at afprøve? Hvilket spørgsmål vil vi gerne have svar på? Arbejdshypotese: Hvilket svar forventer vi? Om fremmøderegistrering øger studiedeltagelsen Registrering -> større deltagelse -> øget gennemførelse PDSA-cirkel nummer: Ansvarlig person: Act Næste skridt besluttes Er der behov for at tilpasse den afprøvede ændring? Er der behov for en ny afprøvning under andre omstændigheder eller betingelser? Medfører denne PDSA-cirkel behov for en ny cirkel? (Fortsæt med et nyt arbejdsskema) Eller bør ændringerne forkastes, fordi den ikke virker efter hensigten? Plan Planlæg afprøvning og indsamling af information Hvem? Hvad? Hvor? Hvornår? Afprøvning på hold 1 og 2 i efteråret i fag y Afprøvning på holde 3 og 4 i foråret i fag z Det gennemføres på følgende måde. Study Analyser og lær Sammenlign resultatet af afprøvningen med arbejdshypotesen Skriv et par stikord om, hvad afprøvningen viste. Gik det godt? Hvad gik ikke som forventet? Hvorfor? Hvad lærte I? Do Udfør afprøvningen Kan det planlagte gennemføres, og har det den forventede effekt? Beskriv, hvad der faktisk skete under afprøvningen Beskriv uforudsete problemer og uventede hændelser, der kan bidrage til læring Noter eventuelle resultater eller data, der er samlet ind i forbindelse med afprøvningen 50

51 Spørgsmål 51

52 Gruppearbejde Hvad er de største kvalitetsudfordringer i din organisation? Hvilke forandringer skal der til for at løse udfordringerne? Hvordan vil du kunne vide, om forandringerne er forbedringer? 52