EVALUERINGSPRAKSIS Sygeplejerskeuddannelsen Randers Jysk Center for Videregående Uddannelse
INDHOLDSFORTEGNELSE 1 BAGGRUND... 4 1.1 Indledning...4 1.2 Evaluering...4 1.3 Evaluering og akkreditering...5 2 SPØRGESKEMA... 9 2.1 Design, baggrund og kritik...9 2.2 Skalering...10 2.3 Hvor mange inddelinger skal vi vælge i skalaen?...10 2.4 Reliabilitet...12 2.5 Validitet...12 2.6 Erfaringer med skemaet...13 3 UNDERVISNING OG LÆRING... 15 3.1 Undervisning...15 3.2 Læring...15 3.3 Den gode undervisning...16 4 STUDERENDES OG UNDERVISERES EVALUERING... 18 4.1 Hvem evaluerer?...18 4.2 Studerendes evaluering af undervisningen...18 4.3 Studerendes evaluering af semestret...18 4.4 Undervisernes evaluering af egen undervisning...18 5. HIIM OG HIPPES DIDAKTISKE RELATIONSMODEL... 20 5.1 De seks elementer...20 5.1.1 Læreprocessen...20 5.1.2 Læringsforudsætninger...21 5.1.3 Indhold...21 5.1.4 Rammefaktorer...21 5.1.5 Mål...22 5.1.6 Vurdering...23 5.2 Eksempel på didaktisk refleksion...23 5.2.1 Oplevelsesorientering...23 5.2.2 Opgaveorientering...24 5.2.3 Sammenhæng mellem teori og praksis...25 5.2.4 Medbestemmelse...25 5.3 Undervisningens tre trin...26 5.3.1 Planlægning...26 5.3.2 Gennemførelse...26 5.3.3 Efter undervisningen...26 5.4 Nyttige spørgsmål i didaktisk refleksion...26 5.4.1 Fokus på forudsætninger, mål, indhold og undervisningsformer...26 5.4.2 Fokus på rammefaktorer...27 5.4.3 Fokus på de studerendes indsats og udbytte...27 5.4.4 Sammenfatning...27 6 EVALUERINGSPRAKSIS... 28 6.1 Hvad evalueres?...28 6.2 Hvad og hvornår evalueres?...28 6.3 Hvordan foregår evalueringen?...28 6.4 Hvordan formidles resultaterne af evalueringen?...29 6.5 Hvordan er ansvar og kompetence i forhold til evalueringen?...29 6.6 Hvordan læses de studerendes evalueringer?...29 6.7 Hvilke mulige handlinger kan evalueringerne afstedkomme?...32
EVALUERING AF UNDERVISNING SKEMA 1... 33 EVALUERING AF UNDERVISNING SKEMA 2... 37 EVALUERING AF SEMESTERPLANLÆGNING... 41 LITTERATURLISTE... 46
1 Baggrund 1.1 Indledning Gennem mange år har vi i uddannelsesinstitutionen haft en evalueringspraksis, hvor de studerende evaluerer undervisningen og semestrets tilrettelæggelse ud fra en række spørgsmål. Spørgsmålene lægger op til en beskrivelse af udvalgte elementer i undervisningen. Det er forskelligt, hvor mange besvarelser, der er kommet fra hvert hold, men typisk har besvarelserne været for få til, at der ud fra dem har kunnet udledes konstruktive ændringsforslag til undervisningen. Skolen besluttede derfor i foråret 2004 at implementere en anden form for evaluering af undervisningen, der på systematisk måde kunne opfange de studerendes opfattelse af undervisningen og uddannelsens tilrettelæggelse. Efter flere oplæg og drøftelser i det fælles underviserforum blev konklusionen, at der skulle udarbejdes et spørgeskema, som kunne besvares elektronisk af de studerende og som fokuserer på evaluering af undervisning og planlægning af uddannelsen målt pr. semester. Det vil sige, at evalueringen primært skulle være med til at skabe grundlag for udvikling af undervisningen og tilrettelæggelsen af uddannelsen. 1.2 Evaluering Evaluering betyder at værdsætte og er et centralt begreb ikke alene i uddannelsesverdenen, men generelt i samfundsdebatten. Måske derfor er der også flere paradigmer for evaluering. Den humanvidenskabelige, hvor det at kunne skabe fælles forståelse mellem involverede parter i et specifikt felt er det bærende element. I disse evalueringer vil der ofte anvendes beskrivelser af kvalitative udsagn og oplevelser og erfaringer af et afgrænset felt. I modsætning til den humanvidenskabeligt orienterede praksis er den mere tekniske evaluering, hvor man ved hjælp af skaleringer og præcise talværdier kan lave statiske beregninger og udregne gennemsnitlige værdier på kvaliteten af en ydelse. Talværdier, statistiske beregninger og kurver synes for nogle at have større gyldighed og validitet end de evalueringer, hvor man søger fælles forståelse gennem analyser af tekster. Det er væsentligt i en uddannelsesinstitution at udvikle en evalueringsform, som kan bidrage til undervisernes udvikling af didaktisk kompetence, og udvikling af uddannelsesinstitutionens samlede kompetence til at udvikle uddannelse og undervisningsplaner. Tanker om at ændre på en evalueringsstruktur i en uddannelsesinstitution i en tid med mange formelle krav om dokumentation og kvalitetsudvikling, akkreditering og åbenhed 4
og gennemsigtighed i uddannelsen indebærer overvejelser om, hvor fokus for den systematiske kontinuerlige evaluering skal være. Det er et komplekst fænomen at skulle evaluere i en uddannelsesinstitution. Umiddelbart vil de fleste mene at undervisningen, underviserens samarbejde med de studerende i uddannelsesinstitutionen, er organisationens kerneydelse. Undervisningen er en væsentligt del af uddannelsesinstitutionen, men undervisningen ville ikke kunne eksistere, hvis ikke organisationen også fungerede. Eksemplarisk kan nævnes studieoptaget, studievejledningen, serviceydelser, bibliotek, ledelse, økonomi, tjenestetidsregler og opgavefordeling. Undervisningen ville heller ikke fungere, hvis undervisernes faglige ansvar og kompetence ikke kunne tilgodese krav og forventninger til uddannelsens faglighed, vidensgrundlag, undervisnings- og arbejdsformer etc. Således kunne man diskutere, om der med fordel kunne skelnes mellem organisationsevaluering og undervisningsevaluering vel vidende, at ingen af de to former for evalueringspraksis ville fungere alene. 1.3 Evaluering og akkreditering I disse år udsender Undervisningsministeriet en række tilkendegivelser om, hvorledes den enkelte uddannelsesinstitution skal undersøge og dokumentere kvaliteten af deres undervisning og uddannelsesplanlægning. Evaluering er et krav dels i forhold til Undervisningsministeriets lov om åbenhed og gennemsigtighed (Lov om åbenhed og gennemsigtighed i uddannelserne mv. LOV nr 414 af 06/06/2002) i uddannelserne og dels i relation til akkreditering, som bliver aktuelt i forbindelse med sygeplejeskolens indtræden i JCVU. I den forbindelse bad undervisningsministeriet Danmarks Evalueringsinstitut om at udarbejde en række kriterier, som uddannelsesinstitutioner, der uddanner professionsbachelorer skal leve op til for fortsat at have rettigheder til at uddanne professionsbachelorer. Kriterierne blev udsendt i et Katalog i 2001. De er opdelt i 5 overordnede temaer med en række underpunkter. Det er den enkelte institution, som er ansvarlig for at kunne dokumentere, at de lever op til de beskrevne krav. I katalogets afsnit 8.1 Kvalitetsvurdering er beskrevet, hvorledes den enkelte uddannelsesinstitution kan arbejde med selvevaluering og dermed kunne dokumentere at være berettiget til at fortsat at uddanne professionsbachelorer: 5
Kvalitetsvurdering 40. Institutioner, der udbyder professionsbacheloruddannelser, skal løbende foretage kvalitetsvurderinger og udvikling af uddannelsen/uddannelserne. Der er etableret mekanismer til kvalitetsvurdering og -udvikling, som til stadighed kan belyse, om uddannelsen som helhed og uddannelsens enkeltelementer 1) lever op til regelfastlagte samt egne formål og målsætninger, og 2) har sammenhæng til aktuelle behov og erfaringer i professionen/erhvervslivet. Kvalitetsmekanismerne bygger på en procedure, der systematisk inddrager studerende (herunder evalueringer af uddannelsesdele) og kontakt til og tilbagemelding fra relevante erhverv/professioner og fra fagmiljøer. Desuden inddrages indberetninger fra censorformænd og censorer samt resultatet af eventuelle eksterne evalueringer. Der er defineret kriterier for vurdering af henholdsvis gode og mindre gode underviserpræstationer. Kvaliteten af underviseres virksomhed og undervisningsforløb evalueres løbende og systematisk med aktiv studenterdeltagelse og ledelsesopfølgning, fx ved evalueringer af uddannelsesdele. Disse er omfattet af krav om skriftlighed og dokumentation. Der samles systematisk op på kursusevalueringer, hvilket producerer input til fremtidig koordinering og planlægning af undervisningens indhold og tilrettelæggelse. Uddannelsesinstitutionen har en strategi til håndtering af situationer, hvor undervisningsaktiviteten gentagne gange vurderes negativt. De fornødne ressourcer er afsat til pågældende evaluering af undervisningsaktiviteten og opfølgning herpå. Uddannelsesinstitutionen overvåger udviklingen i eksamensvurderinger, -resultater og - karakterer samt disses forhold til uddannelsens formål og indhold. Der sikres troværdighed herom. Der foretages systematisk indsamling af dimittenders opfattelser af og erfaringer med uddannelsen. (Kilde: http://us.uvm.dk/videre/generelt/generelt/profes.html?menuid=2510#_toc531661424 den 5.1.2006) 6
Evaluering af undervisningen og uddannelsesplanlægningen er således en væsentlig del af det, som uddannelsesinstitutionen skal udvikle og dokumentere for at opnå den ønskede akkreditering. Udover den ønskede akkreditering som en uddannelsesinstitution, der uddanner professionsbachelorer, er det JCVU s intention, at uddannelserne stiler efter at opnå akkreditering som University College 1. I professionsbachelorakkrediteringen fokuseres der på den enkelte uddannelses kvalitet og i akkrediteringen som University College fokuseres der på kvaliteten i og synergieffekten af det samlede uddannelsesudbud, jvf. (Undervisningsministeriet J.nr. 2004-3754-54 University College 22.december 2004 - titel Kvalitetsbetegnelsen University College. Godkendelsesproces) Evalueringsinstituttet (EVA) har på deres hjemmeside beskrevet deres erfaringer med akkreditering af professionsbacheloruddannelserne (http://www.eva.dk/). Heraf fremgår det, at akkrediteringsmetoden og dokumentationsgrundlaget fortsat består af henholdsvis en selvevaluering foretaget af hver uddannelsesinstitution, besøg på hver uddannelsesinstitution og faglige vurderinger foretaget af en række eksterne eksperter. EVA tager udgangspunkt i det katalog over kriterier, som de udarbejdede for undervisningsministeriet i 2001. Det er nu, efter erfaringerne med de første akkrediteringer, beskrevet, hvorledes EVA vægter de forskellige kriterier. Således er kriterier 1,2,5,7,10,11,18 og 34 regelbundne, kriterier 9,12,15,16,17,19,20,21,31,og 32 centrale vurderingskriterier. Disse to hold kriterier tæller mere i den samlede vurdering end de resterende kriterier. Akkreditering og evaluering har forskellige formål, men hører sammen på den måde, at institutionens selvevaluering er en af betingelserne for at blive akkrediteret. Således resulterer en akkreditering i en formel indstilling eller ikke-godkendelse af en uddannelse eller institution baseret på en vurdering ud fra fastlagte standarder. I modsætning hertil er evaluering den systematisk planlagte kontinuerlige indsats for udvikling af undervisning og tilrettelæggelse af de enkelte semestre på den enkelte skole. 1 Et University College er en professions- og udviklingsbaseret uddannelsesinstitution, som løser uddannelsesog andre vidensopgaver for et bredt felt af brugere på grundlag af institutionens egen vidensamling og på grundlag af forskningstilknytning til relevante forskningsinstitutioner i ind- og udland. Tildeling af University College er en kvalitetsstempling af CVU et (Undervisningsministeriet J.nr. 2004-3754-54University College 22.december 2004 -titel Kvalitetsbetegnelsen University College. Godkendelsesproces.) 7
Sammenfattende kan man sige, at evaluering: medvirker til kontinuerlig udvikling af den pædagogiske praksis i sygeplejerskeuddannelsen tilgodeser kravet om åbenhed og gennemsigtighed i uddannelser bidrager til den samlede eksterne evaluering, som EVA i 2006 gennemfører med henblik på at godkende sygeplejeskolen som fortsat uddannelsesinstitution med tilladelse til at uddanne professionsbachelorer 8
2 Spørgeskema 2.1 Design, baggrund og kritik Et væsentligt krav til et evalueringsskema er, at de spørgsmål, der søges svar på, stemmer overens med organisationens fælles værdier. Det er ligeledes vigtigt at gøre sig klart, hvilke muligheder og begrænsninger skemaet vil få for det fortsatte arbejde med udvikling af institutionens pædagogiske praksis. Sagt på en anden måde er det væsentligt at formulere evalueringsstrategien efter den organisation, som evalueringen skal foregå i og senere bidrage til udvikling af samtidig med at skemaet tilgodeser de krav om dokumentation, som Undervisningsministeriet stiller. Institutionen har gennem flere år diskuteret og implementeret dele af L.E.Dales (Dale,1989) overvejelser relateret til den pædagogiske professionalitet i uddannelsestænkningen. Således er der i den nuværende studieordning implementeret dele af netop denne pædagogiske tænkning. Gennem de sidste år har institutionen også diskuteret syn på læring ud fra oplæg, artikler og tekster. Derfor var det ikke vanskeligt i forbindelse med udvikling af en ny evalueringsstrategi at beskrive det fælles værdigrundlag for evaluering af undervisning og uddannelsesplanlægning. I udviklingen af og evaluering af vores skala har vi ladet os inspirere af den beskrevne arbejdsproces hos Malhotra og Birks (2003:311 ff). Vi har som tidligere beskrevet afklaret, hvad der skal undersøges og dermed skaleres. Med udgangspunkt i dels vores erfaringer som undervisere og vores kendskab til evaluering af undervisning opstillede vi en række kriterier for, hvad vi mener, der kan evalueres og hvad der ikke kan evalueres i en underviserpraksis. Desuden studerede vi de formelle krav, der er til uddannelses- og undervisningstilrettelæggelse i bekendtgørelser og akkrediteringsmateriale. Kravene til det nye skema blev: at det skulle være sags- og ikke personorienteret at det skulle være vejledende mht. revision af læseplanen at det skulle være vejledende mht. revision af fagindhold og undervisningsform at den viden, som genereres gennem evalueringerne anvendes i organisationen med henblik på udvikling af skolens pædagogiske praksis og med henblik på videndeling at der kunne udarbejdes statistisk materiale på baggrund af det 9
at det elektroniske spørgeskema blev udformet både med en score og med plads til, at de studerende kunne kommentere deres besvarelse i prosatekst 2.2 Skalering Undersøgelser af anvendte skalaer i kvantitative undersøgelser afslører, at Likert-skalaer, som ordinalskala eller rangordningskala, meget ofte anvendes i forbruger-undersøgelser og især i de undersøgelser, som gerne vil behandle holdninger, præferencer og attituder. Vi vælger i vores evalueringsskema at anvende en rangordningsskala. Likert-skalering bygger på en type af spørgsmål, hvor tilbøjeligheden til at give et positivt svar eller erklære sig enig eller uenig stiger eller falder med stigende skalaværdi ofte udtrykt med adjektiver. Vi har valgt at anvende Likert-skalering i opbygningen af vores spørgeskema. I rangordningsskalaen foregår der en uering fra meget til lidt og svarfordelingen indikerer alene i hvilken et udsagn tillægges værdi / enighed og ikke en sammenligning af, hvor meget det ene udsagn frem for det andet tillægges værdi. Evalueringsresultatet fremkommer således ved at lægge alle informanters responsscore for et enkelt udsagn/spørgsmål sammen. Vi har dog haft behov for at supplere med enkelte spørgsmål, som afviger fra rangordningsskalaen. Eksempelvis har vi anvendt dikotomt spørgsmål og svar i ét af spørgsmålene nemlig spørgsmålet om, hvorvidt undervisningsplanen for lektionerne var tilgængelig i god tid. Desuden har vi anvendt talangivelse som svarmulighed ét sted i spørgeskemaet nemlig i spørgsmålet om, hvor mange ud af de i semesterplanen angivne lektioner den studerende har deltaget i. 2.3 Hvor mange inddelinger skal vi vælge i skalaen? Naresh K. Malhotra og David F. Birks (2003:304ff) beskriver, at der i konstruktionen af et spørgeskema opbygget efter Likert-skalaen udarbejdes en lang række af spørgsmål, som skal besvares ved at forholde sig til en af enighed på en skala fra 1 til 5/7. Traditional guidelines suggest that the appropriate number of categories should be between five and nine. Yet there is no single optimal number of categories. In situations where several scale items are added together to produce a single score for each respondent, five categories are sufficient. (Ibid 2003:307 og 308) 10
Undersøgelser har vist, at der mindst bør være 5 til 7 inddelinger, idet antallet har indvirkning på reliabilitetskoefficienten. Jo færre kategorier, en skala er inddelt i, desto lavere reliabilitet. Skal der være et lige eller et ulige antal inddelinger? I bipolare skalaer (uenig enig) med et ulige antal inddelinger gives mulighed for ikke at have nogen mening, altså være neutrale, hvorimod et lige antal kan tvinge respondenterne til at have en mening, uanset at det måtte være misvisende. En Likert skala er typisk konstrueret således, at der et ulige antal skaleringer, en midtersvarmulighed som udtrykker neutralitet eller tilfredshed og to svarmuligheder på hver side af midten. De to svarmuligheder på hver side af tilfredshed/neutral svaret skal have samme tyngde i værdien af det valgte adjektiv og skal således skabe balance i den samlede skalering. (Ibid 2003:308). I vores evalueringsskema er der 5 skaleringer med følgende værdiangivelser; ja, i meget høj, i høj, i tilfredsstillende, i mindre og nej, slet ikke. Vi har diskuteret, hvorvidt de 5 svarmuligheder skal være illustreret med enten talværdi eller tillægsord eller begge dele. Ligeledes har vi diskuteret, hvorvidt vi skal vælge kun at benævne højeste og mindste inddeling. Undersøgelser har vist, at der er relativ lille forskel i besvarelser mellem skalaer, hvor kun endepunkterne er givet betegnelser, og skalaer, hvor de intermediære tilstande ligeledes er givet en betegnelse. Vi vælger, at de 5 svarmuligheder skal illustreres med sproglige angivelser og angive en af enighed i det formulerede udsagn. Vi har været bevidste om, at netop valg af tillægsord til de enkelte inddelinger på skalaen indebærer usikkerheder i målingen, idet de studerende kan tillægge de valgte tillægsord forskellig tolkning. I øvrigt vil der kunne stilles spørgsmål til, hvorvidt vi med sikkerhed kunne antage, at afstanden mellem eksempelvis enig og meget enig ville være den samme som afstanden mellem enig og neutral-værdien. Vi har fravalgt at supplere tillægsordene med tal om end det måske kunne reducere ovennævnte bias. I behandlingen af data konstrueres søjlediagrammer, som illustrerer den %-vise andel af svar indenfor hver svarmulighed set i forhold til samlede antal afleverede skemaer. Vi har, som tidligere nævnt, valgt at anvende den samme rækkefølge om end svarene kan blive præget af monotoni i afkrydsningen. På den anden side vil der også kunne opstår forkerte besvarelser, hvis informanten ikke opdagede at inddelingen var vendt. I vores beskrivelse af, hvorledes vi vil anvende besvarelserne i den ønskede udvikling af den pædagogiske praksis har vi angivet, at besvarelsen i tilfredsstillende angiver, at de studerende har en oplevelse af, at have fået indfriet deres forventninger. Tilsvaren- 11
de vil besvarelser under tilfredsstillende sammenholdt med undervisernes refleksioner over undervisningen kunne være udgangspunkt for diskussion og forslag til ændringer af undervisningspraksis. Besvarelser over tilfredsstillende vil sammenholdt med underviser refleksioner kunne være udgangspunkt for tematisering af den gode undervisning i uddannelsesinstitutionen. 2.4 Reliabilitet Reliabiliteten er udtryk for den, hvori samme score kan opnås igen ved brug af samme måleinstrument under de samme betingelser. Graden af reliabilitet udtrykkes undertiden også som konsistens, reproducerbarhed og mulighed for gentagelse. Vi erfarede, at eksempelvis spørgsmålet om, hvorvidt der benyttes IT i undervisningen blev forstået meget forskelligt af de studerende. Således kunne de svare udpræget negativt til anvendelsen af IT samtidig med at de svarede meget positivt på undervisningsformen var velegnet til faget/indholdet og ligeledes at det faglige indhold indebar en tilpas udfordring i undervisningen. Såvel disse måske misvisende skriftlige besvarelser som de studerendes mundtlige kommentarer til den nye evalueringspraksis viste os, at formuleringen af teksten til, hvorvidt der blev anvendt IT i undervisningen lagde op til en meget ensidig og forenklet forståelse af begrebet IT. Spørgsmålet er nu ændret, således at der indbygget i spørgsmålet er angivet, hvad IT kan være. Spørgeskemaets længde / antal spørgsmål kan fremhæves som noget, der påvirker reliabiliteten. Vi har ni grundspørgsmål og max 5 underviservalgte spørgsmål til hvert fag/temaevaluering. Det indebærer i alt 14 spørgsmål, som alene kan besvares med afkrydsning i afmålte felter, men gerne må suppleres med skriftlige kommentarer: Der er angivet tre linier under hvert spørgsmål og i det elektroniske skema vil vi tildele et bestemt antal tegn i kommentarfeltet. 2.5 Validitet Ifølge Malhotra (2003:314ff) vil validitetsproblemer altid kunne opstå, når man behandler subjektive begreber. Det kan være vanskeligt at fastslå om den enkelte måling repræsenterer og afdækker de studerendes opfattelse af undervisningen. Ligeledes kan diskuteres, hvorvidt de studerendes besvarelse er udtryk for en generel vurdering af undervisningens kvalitet eller om besvarelserne alene er et udtryk for de studerendes oplevelse af at have været til stede i undervisningen. Vores evaluering er helt klart ment som en invitation til kritisk refleksion med henblik på udvikling af institutionens praksis relateret til undervisning og uddannelsesplanlægning. 12
Spørgeskemaet er bygget op ud fra en forståelse af undervisning som et samarbejde mellem underviseren og den studerende, hvor underviserens rolle er at tilrettelægge de bedste læringsbetingelser og den studerendes ansvar at tage imod dem. Det betyder, at der nødvendigvis i en evaluering af et fag/tema indgår refleksioner fra såvel studerende som undervisere. De studerende markerer deres tilfredshed med undervisningen ud fra angivelse af enighed i en række udsagn, som omhandler didaktiske overvejelser og underviserne beskriver deres didaktiske refleksioner før og efter undervisningens afvikling. Vi har overvejet nødvendigheden af at udarbejde en hjælpetekst til de enkelte spørgeskemaer. I hjælpeteksten kunne angives, hvilke hjælpemidler den studerende skal anvende i sin evaluering, eksempelvis semesterplan, fagplan og skema. Desuden kunne der i hjælpeteksten angives forklaringer på ord, som bliver brugt i de enkelte spørgsmål. Vi har fravalgt hjælpeteksten og ordforklaring. Vi har forsøgt at skrive meget mundret og reduceret bruge af begreber eller normfastsættelser, som ikke kan henvises til kendt tekst for de studerende. Desuden bruges der tid til at introducere de studerende til vores evalueringspraksis og i en forbindelse gennemgås skemaernes ordlyd. Ved det halvårlige møde mellem de studerende og uddannelseskoordinator og ved kontaktlærertimer i 1. og 2.semester er vi opmærksomme på, hvis de studerende er usikre på de anvendte begreber. I øvrigt lægger vi op til, at den underviser i de fag/temaer, som er udvalgt til evaluering naturligvis må diskutere, hvad de fastsatte og de valgte spørgsmål betyder. 2.6 Erfaringer med skemaet Udviklingen af de spørgeskemaer, som vi anvender i forårssemesteret 2007, har været en proces, der har strakt sig over knap 3 år. Diskussioner om hensigten med evalueringen, diskussioner af hvad og hvordan dét vi gerne vil evaluere kan evalueres har krævet mange, men også meget frugtbare diskussioner i blandt undervisere og ledelse. Vi har afprøvet skemaerne i to semestre og har på den baggrund lavet små justeringer, som angår såvel spørgsmål, sprog, systematik og hjælpetekst med henblik på at øge såvel validiteten som reliabiliteten af vores evalueringer. I de studerendes evalueringer kunne vi i nogle besvarelser se lav score på spørgsmål om den faglige udfordring, undervisnings og arbejdsform og holdets indsats i undervisningen, men høj score på egen indsats. Disse svar sammenholdt med undervisernes pædagogiske refleksioner over de studerendes mindre af såvel tilstedeværelse som del- 13
tagelse i den planlagte undervisning og eksempelvis planlagt gruppearbejde og fremlægninger gav anledning til spørgsmål om, hvorvidt spørgsmålene egentlig gav indblik i det, som vi reelt ønskede at evaluere på. Diskrepansen mellem de studerendes positive vurdering af egen indsats set i forhold til en mindre positiv vurdering af holdets indsats og underviserens indsats kunne selvfølgelig være et udtryk for, at undervisningen i faget/temaet ikke matchede de krav, som de studerende og uddannelsesinstitutionen generelt har til den enkelte undervisers planlægning og afvikling af undervisning. Men ved det halvårlige møde mellem de studerende og uddannelseskoordinator, hvor en skriftlig evaluering af den generelle uddannelsesplanlægning danner udgangspunkt for en mundtlig evaluering erfarede vi, at de studerendes lave score kunne hænge sammen med den generelle uddannelsesplanlægning, idet de studerende ofte ærligt udtrykte en lav deltagelsesprocent i nogle fag/temaer, men begrundede det med en samtidig alt for stor arbejdsbyrde i uddannelsen eller i de studerendes privatliv. Typisk blev nævnt sanktionsgivende skriftlige opgaver i andre fag, nærtstående eksamen og højtider eller typiske ferie perioder. Den lave score i fag/tema evalueringerne blev altså ofte begrundet i en nødvendig prioritering og et nødvendigt fravalg af nogle fag/temaer i uddannelsen. På baggrund af disse erfaringer besluttede vi at tilføje et spørgsmål i fag/tema evalueringsskemaet. De studerende skal nu markere, hvor mange ud af de planlagte lektioner i det aktuelle fag/tema, han/hun har deltaget i og mener derved at have styrket validiteten i evalueringen. 14
3 Undervisning og læring 3.1 Undervisning Beskrivelsen af begrebet undervisning har udgangspunkt i Studieordning for sygeplejerskolerne i Århus Amt 2005, kapitel 4. Undervisnings- og arbejdsformer. Denne tekst har taget afsæt i de relevante bekendtgørelser 2, i teori om uddannelse, undervisning og læring og til dels også i kriteriekatalogets for professionsbacheloruddannelserne inspirationerne hertil kan ses ud fra litteraturlisten. Beskrivelsen af undervisnings- og arbejdsformer i den fælles studieordning er det, både undervisere og uddannelsesplanlæggere stiler mod at gennemføre i henholdsvis undervisning og uddannelsesplanlægning. I evalueringssammenhæng definerer vi undervisning som et forløb bestående af flere lektioner enten relateret til et fag eller til et tema, hvor flere fag er integreret. Undervisning forstår vi som: En social interaktion mellem den lærende og læreren, hvor den lærende møder op med intention om at lære og læreren møder op med intentionen om at skabe de bedst mulige betingelser for at læring kan finde sted. 3.2 Læring Der er et ønske om, at læring ikke blot betyder ophobet viden eller behagelige eller ubrugelige oplevelser af læreprocesser, men at det lærte bliver indlejret i den studerende som tavs og eks-plicit erfaring, viden eller handlemåde. Ifl. Dewey er tænkning, handling og læring sammenvævede sider ved menneskets erfaring. Erfaring er grundlæggende set menneskets samspil med omverdenen og naturen, og et godt samspil er knyttet til lystfølelse og skabende virksomhed (Him og Hippe 1998:227). Deweys opfattelse af læring lægger vægt på, at undervisningen giver den studerende mulighed for at være aktiv og eksperimenterende. Undervisningen skal være meningsfuld og de problemer, der arbejdes med bør relatere sig til virkeligheden. 2 Bekendtgørelse om uddannelsen til professionsbachelor som sygeplejerske. Bekendtgørelse nr. 1095 af 07/11/2006. Bekendtgørelse om uddannelse til professionsbachelor. Undervisnings-ministeriets bekendtgørelse nr. 113 af 19/02/2001. Lov om de mellemlange videregående uddannelser. Lov nr. 481 af 31/05/2000. 15
Den studerende har ansvaret for for egen læring for sig selv for samspillet med andre studerende og for læringsmiljøet Læreren har ansvaret for læseplaner og dermed at tilrettelægge sin undervisning således at såvel indhold, arbejdsform og pensum er tilpasset de studerendes aktuelle forudsætninger og de i semesterplaner beskrevne hensigter at efterleve skolens værdigrundlag og pædagogiske grundsyn samarbejdet med studerende, kollegaer og ledelse ansvar for læringsmiljø og udvikling af pædagogiske praksis Ledelsen har ansvaret for at være katalysator med henblik på at nå de intentioner, som er beskrevet for uddannelsesinstitutionens pædagogiske praksis at tildele de nødvendige ressourcer for at en systematisk og kontinuerlig evaluering kan implementeres og gennemføres og som meget vigtigt set i evalueringsperspektivet At skolen bliver mindre optaget af rigtigt / forkert og mere optaget af at undre sig og forsøge at blive klogere på, hvad den er i gang med (Ålvik i Hermansen 1999:75). 3.3 Den gode undervisning I den gode undervisning er: målene for undervisningen tydeligt beskrevet i fagplaner og semesterplaner undervisningens indhold og arbejdsform afstemt efter de studerendes forudsætninger og de beskrevne intentioner for uddannelsesinstitutionens værdigrundlag og pædagogiske praksis - herunder mulighed for, at den studerende har indflydelse på eget studie- og læringsforløb - herunder mulighed for, at den studerende udvikler selvstændighed, samarbejdsevne og kritisk refleksion pensum tydeligt angivet og involverer forsknings- og udviklingsarbejder fra indog udland undervisningen tilrettelagt således, at den studerende kan udvikle sin selvstændighed, sin evne til at samarbejde og en kritisk refleksion 16
der aftalt relevant evalueringspraksis med henblik på kontinuerligt udvikling af de bedst mulige betingelser for at skabe læring 17
4 Studerendes og underviseres evaluering 4.1 Hvem evaluerer? På baggrund af litteraturstudier og kommentarer fra møder med ledelse og undervisere blev der udarbejdet to spørgeskemaer. Et spørgeskema, som fokuserer på evaluering af undervisningen i et fag/tema i et semester og et spørgeskema, hvis spørgsmål fokuserer på evaluering af uddannelsesplanlægningen af et semester. 4.2 Studerendes evaluering af undervisningen Spørgeskemaet er udformet med en række statements om formidling af undervisningen, samarbejde og engagement, undervisningens indhold og læring og benytter sig af en 5- punkt score, der går fra ja, i meget høj til nej, slet ikke. Under hvert udsagn er der mulighed for at kommentere sin besvarelse. Spørgsmålene angiver det fælles ansvar, som undervisere og studerende, jvf. værdigrundlaget og det pædagogiske udgangspunkt, har for undervisningens gennemførelse. Som supplement til dette skema er der udarbejdet en udsagnsbank med 11 spørgsmål angående undervisningens indhold, læring og professionsrettethed. Underviseren skal ud fra denne udsagnsbank vælge spørgsmål, der tilgodeser de hensigter med indhold, undervisnings- og arbejdsformer eller evaluering, som har været højt prioriteret i den aktuelle undervisningsplanlægning. Det eksisterende spørgeskema må maximalt suppleres med 5 spørgsmål fra banken. 4.3 Studerendes evaluering af semestret Spørgeskemaet er udformet med en række statements om uddannelsestilrettelæggelse, vejledning og forberedelse til obligatoriske opgaver og interne og eksterne prøver med mulighed for kommentar til hvert spørgsmål. Spørgeskemaet benytter sig af en 5-punkt score, der går fra ja, i meget høj til nej, slet ikke. 4.4 Undervisernes evaluering af egen undervisning De studerendes evaluering af undervisningen og tilrettelæggelsen af semestrene har stor betydning for de ændringsforslag, der implementeres. Det samme gælder undervisernes refleksioner over undervisningens forløb. Underviserne implementerer evt. ændringer i undervisningen, og i det perspektiv er undervisernes refleksioner over undervisningen uundværlige. 18
Undervisernes evaluering skal indeholde følgende: En redegørelse for, hvordan undervisningsforløbet er planlagt. En beskrivelse af, hvad der skete i løbet af undervisningen. Forslag til evt. ændring af undervisningens indhold, litteratur og undervisningsformer. Underviserne evaluerer på forhånd udvalgte fag og temaer. De involverede undervisere får direkte besked om hvilke fag og temaer, det drejer sig om. 19
5. Hiim og Hippes didaktiske relationsmodel I modsætning til de studerendes tilbagemeldinger, der foregår via spørgeskemaer, er underviserernes evaluering beskrivende ud fra de elementer, der er beskrevet af Hiim og Hippe i deres didaktiske relationsmodel (Hiim og Hippe 1998: 93). Hiim og Hippe s didaktiske relationsmodel Kilde: Hiim og Hippe 1998: 93. Modellen består af seks elementer, der er indbyrdes forbundne. Det vil sige, at de enkelte elementer ikke kan stå alene, men må forstås i relation til modellens andre elementer. 5.1 De seks elementer 5.1.1 Læreprocessen Læreprocessen forankrer Hiim og Hippe i en kritisk humanistisk pædagogik; Den didaktiske relationstænkning betragter læring i lyset af et kritisk, humanistisk udgangspunkt. Det humanistiske syn på læring som en kreativ proces indebærer, at både følelsesmæssige og intellektuelle sider ved læreprocessen bliver varetaget Læring foregår både i en per- 20