Systematisk evaluering og udvikling af De faglige virtuelle netværk ved Sygeplejeskolen i Vejle amt (5. udkast 22. juni 2006). Netværk Professionel evaluering af Netværkstyper Brugerevaluering Lederevaluering Netværkskonceptet
Side 2 Baggrund Uddannelsesinstitutioner der udbyder professionsbacheloruddannelser skal udvikle en systematisk evaluerings- og kvalitetsudviklingspraksis jvf. professionsbachelorbekendtgørelsen (Undervisningsministeriet 2001). Et andet krav er formuleret i Lov om gennemsigtighed og åbenhed i uddannelserne hvor det præciseres, at alle uddannelsesinstitutioner skal oplyse om aktuelle evalueringer af kvaliteten af undervisningen (Undervisningsministeriet 2002). På denne baggrund skal der udvikles en evalueringspraksis på Sygeplejeskolen, der dels kan anvendes som led i intern selvevaluering og kvalitetsudvikling og dels anvendes som dokumentationsgrundlag ved en ekstern evaluering. Siden efteråret 2002 har UU udvalget og Studieudvalget iværksat en proces med henblik på udvikling af systematiske metoder til dataindsamling og interne arbejdsgange til systematisk at anvende evalueringsresultaterne i den fortsatte udvikling af den teoretiske og den kliniske del af professionsbacheloruddannelsen i sygepleje. Et koncept for Systematisk evaluering og udvikling af undervisnings- og uddannelsesaktiviteterne ved Sygeplejeskolen i Vejle Amt blev præsenteret i april 2006. Heri hedder det bl.a. at Konceptet skal ligeledes, i en revideret og forenklet form, anvendes i forhold til Sygeplejeskolens efter - og videreuddannelsesaktiviteter Dette materiale er Projektgruppens bud på et sådant koncept og konceptet indgår samtidig som en del af det samlede koncept for faglige virtuelle netværk ved Sygeplejeskolen i Vejle Amt. Den evaluerings og udviklingspraksis der er beskrevet i dette notat, erstatter ikke den enkelte brugergruppens kontinuerlige evaluering af fagligheden samt læreprocesserne og de kommunikative og refleksive processer i netværket. Det er også væsentligt at være opmærksom på, at arbejdet med udvikling af konceptet for de faglige netværk, herunder netværkspilotens funktion og de virtuelle læringsrum, og de principielle drøftelser, der knytter sig dertil, ikke bliver begrænsende, men nærmere udvidende i forhold brugernes kontraktlige brugsret til netværket. I det følgende beskrives den evaluerings- og udviklingspraksis der skal implementeres i samtlige netværk ved Sygeplejeskolen i Vejle amt. Brugerne skal ved indgåelse af aftale om etablering af et netværk orienteres om dette koncept, men desuden kræver en evaluering at indehaverne af brugsretten aktiv involveres og giver sin accept.
Side 3 2.0 Formål Formålet med udvikling og implementering af en systematisk evaluerings- og kvalitetsudviklingspraksis er: At udvikle et dokumentationsgrundlag der kan synliggøre og dokumentere de pædagogiske processer og det faglige indhold i de virtuelle faglige netværk. At medvirke til en kontinuerlig kvalitetsudvikling af de virtuelle netværk, hvor brugerevaluering og brugergrupper/netværkspiloter (professionel evaluering) og lederes evaluering er væsentlige parametre. At udvikle et evalueringssystem der er validt og konsistent. At understøtte den faglige udvikling i det konkrete praksisområde, herunder adgangen til aktuel forskning og udviklingsarbejder inden for relevante fagområder At understøtte de eksterne og interne strategier for uddannelse, vidensdeling og erfaringsudveksling. At understøtte samarbejde og dannelsen af et praksisfællesskab i netværket. At kvalificere grundlaget for afholdelse af medarbejderudviklingssamtaler. (netværkspiloten) 3.0 Referenceramme Med evaluering menes en systematisk beskrivelse, analyse og fortolkning af struktur, indhold og proces i det virtuelle netværk, idet evalueringsresultaterne dokumenteres og fortolkningsgrundlaget lægges åbent frem (Adamsen 1992, Jacobsen &Wied 1996). Evaluering indenfor dette koncept omfatter primært formativ evaluering, men også evaluering af summativ art. Formativ evaluering, eller udviklingsevaluering, er en evalueringstype hvor selve evalueringsprocessen er med til at forme eller udvikle den aktivitet, der evalueres. Summativ evaluering, eller resultatevaluering, er en evaluering, hvor der sættes fokus på aktivitetens virkning, effekt eller resultat dvs en vurdering af den faktiske aktivitet. Evalueringen skal omfatte både struktur, indhold og proces. Konkret skal der i forhold til struktur sættes fokus design d.v.s opbygningen og funktionaliteten af websiden og Fronterrummet. I forhold til proces skal der sættes fokus på implementeringsprocessen, herunder barrierer og muligheder for implementering af virtuelle netværk. Desuden skal der evalueres på læreprocesserne og de kommunikative og refleksive processer i netværket. I forhold til indhold skal der evalueres på den specifikke faglighed og formål med det enkelte netværk. Evaluering skal foretages ud fra forskellige perspektiver, idet brugerne, brugergrupperne og netværkspiloterne (de professionelle), og dem der har ansvaret for uddannelse-, udvikling-, fagligheden og økonomien (lederne) ser på faglige netværk fra forskellig synsvinkel og med forskellige forudsætninger og interesser. Inden for konceptet opereres med evaluering fra tre perspektiver, nemlig brugerevaluering, forstået som medlemmernes evaluering som brugere, og underviserevaluering, forstået som brugergruppens og netværkspilotens evaluering som professionelle fagfolk og pædagoger. Den professionelle evaluering forudsættes at være såvel teoribaseret som funderet på erfaring (Dahler-Larsen 1998). Det sidste perspektiv er lederevaluering forstået som den ansvarlige ledelses evaluering og der tænkes her både på Sygeplejeskolens ledelse og det relevante ledelsesniveau for det aktuelle netværk.
Side 4 Konceptet omfatter kvalitative og kvantitative orienterede evalueringsmetoder, som er beskrevet i den internationale evalueringslitteratur (Walberg og Hoertel 1990), og som tidligere er afprøvet i forbindelse med forsøgs- og udviklingsarbejde på skolen (Hougaard m.fl.2000a, 2000b). De væsentligste metoder indenfor konceptet er evaluering ved hjælp af spørgeskemaer med lukkede og/eller åbne svarmuligheder samt evaluering gennem fokusgruppeinterviews, eksempelvis semistrukturerede samtale med nærmere definerede grupper af brugere, brugergrupper/netværkspiloter og ledere. Hovedparten af brugerevalueringerne er teknologibaseret, idet der gøres brug af evalueringsfaciliteterne i det elektroniske konferencesystem Fronter. Endelig omfatter konceptet også indirekte evaluering af netværkets funktion ved anvendelse af Fronters statistiske registrering af antal besøg, opload og åbning af dokumenter, etablering og åbning af link, skrevne og læste indlæg m.m.. (Jacobsen&Wied 1996). 4.0 Organisering af Sygeplejeskolens evalueringspraksis Sygeplejeskolen skal evaluere, dokumentere og udvikle struktur, indhold og proces i: Det enkelte netværk Typer (grupper) af netværk Netværkskonceptet og driften af netværk ved Sygeplejerskolen i Vejle Amt i sin helhed Efter indstilling fra Projektgruppen for de virtuelle faglige netværk (herefter benævnt projektgruppen) træffer Styregruppen for de virtuelle faglige netværk (herefter benævnt styregruppen) afgørelse om hvilke netværk og evt. typer af netværk der skal evalueres. I beslutningsgrundlaget for hvilke netværk og grupper af netværk der skal evalueres, lægges der blandt andet vægt på behovet for udvikling af konkrete netværk og netværkstyper, tidligere evalueringer, kendte problemstillinger i netværket eller netværkstyperne etc. Det er målet, at hvert netværk som minimum er evalueret èn gang indenfor en treårig periode. 5.0 Evaluering af et netværk eller en netværkstype Den systematiske evaluering og udvikling af et netværk eller netværkstype bygger på: Brugerevalueringer Brugergruppens og netværkspilotens evaluering (professionel evaluering). Fokusgruppeinterview med brugere og/eller brugergruppen (Projektgruppen). Tværgående analyser af udvalgte faglige-, informations-, kommunikative-, implementerings- eller designmæssige elementer (Projektgruppen). 5.1 Brugerevaluering Brugerperspektiver på struktur, indhold og proces i netværket sikres gennem brugerevalueringer. Evalueringen bygges op omkring et standardiseret evalueringsskema der omfatter 28 spørgsmål. Evaluering af et netværk I forhold til evaluering af et netværk omfatter evalueringsspørgsmålene 21 generelle spørgsmål, fem spørgsmål der knytter sig specifikt til det aktuelle netværk og to åbne spørgsmål.
Side 5 De generelle spørgsmål formuleres på baggrund af konceptet for etablering og drift at virtuelle faglige netværk ved Sygeplejeskolen i Vejle Amt. Disse spørgsmål formuleres af projektgruppen. De generelle spørgsmål skal både rettes mod indhold, proces og strukturelle forhold. De generelle spørgsmål placeres først på evalueringsskemaet og kan ikke ændres. Spørgsmålene der knytter sig til det konkrete netværk formuleres af brugergruppen og på baggrund af de fagdidaktiske overvejelser der danner baggrund for netværkets etablering og funktion. Spørgsmålene besvares ud fra en Likert-skala og i forhold til udsagnene meget høj grad, høj grad, nogen grad, mindre grad og slet ikke. De to åbne spørgsmål der formuleres af projektgruppen skal besvares med fritekst. Evalueringen afvikles som følgende: Styregruppen udmelder i maj måned hvilke netværk, der skal evalueres i det kommende år. Samtidig fastlægges hvilken periode, som evalueringen skal foregå i. Projektgruppen foranlediger, at der udarbejdes et spørgeskema med de institutionelle spørgsmål. Brugergruppen udarbejder de spørgsmål der knytter sig til det konkrete netværk og netværkspiloten indarbejder spørgsmålene i spørgeskemaet. Spørgsmålene skal foreligge i august måned.. Netværkspiloten lægger spørgeskemaet ud i evalueringsmappen i holdets Fronterrum. Netværkspiloten er ansvarlig for afvikling af evalueringen i netværket samt for, (sammen med den der har det faglige ansvar) at der iværksættes initiativer til, at brugerne evaluerer netværkets funktion. Besvarelsen af evalueringsskemaerne foregår elektronisk via Fronter og den statistiske behandling af data foregår ligeledes via Fronter. Netværkspiloten udtrækker evalueringsresultaterne fra Fronter Netværkspiloten fremsender brugerevalueringen sammen med sin egen og brugergruppens evaluering af netværket til projektgruppen. Netværkspiloten offentliggør evaluering på netværkets Fronterrum. Evaluering af en netværkstype (gruppe af netværk) I forhold til evaluering af en netværkstype omfatter spørgsmålene de 23 generelle spørgsmål som også indgik i brugerevalueringen. Spørgsmålene besvares ligeledes ud fra en Likert-skala og i forhold til udsagnene meget høj grad, høj grad, nogen grad, mindre grad og slet ikke. Besvarelsen foregår elektronisk via Fronter og den statistiske behandling af data foregår ligeledes via Fronter Evalueringen afvikles som følgende: Styregruppen udmelder i maj måned hvilke netværkstyper der skal evalueres i det kommende undervisningsår. Samtidig fastlægges hvilken periode, som evalueringen skal foregå i. Projektgruppen foranlediger, at spørgeskemaet udarbejdes. Netværkspiloterne lægger spørgeskemaet ud i de respektive netværks Fronterrum. Netværkspiloten er ansvarlig for afvikling af evalueringerne i forhold til egne netværk, samt sammen med den der har det faglige ansvar, at iværksætte initiativer til, at brugerne evaluerer netværkets funktion. Besvarelsen af evalueringsskemaerne foregår elektronisk via Fronter og den statistiske
Side 6 behandling af data foregår ligeledes via Fronter. Netværkspiloten udtrækker evalueringsresultaterne fra Fronter i forhold til det netværk som hun er ansvarlig for Netværkspiloten fremsender evalueringsresultaterne til projektgruppen 5.2 Brugergruppen og netværkspilotens evaluering (professionel evaluering) Brugergruppen og netværkspilotens evaluering Som udgangspunkt er den enkelte brugergruppe og netværkspilot ansvarlig for evaluering, dokumentation og udvikling af struktur, indhold og proces i netværket. Den kontinuerlige evaluering foretages derfor også af brugergruppen og netværkspiloten. Den afdeling, institution, forvaltning m.m. der her brugsretten til netværket kan have specifikke interesser og ønsker til en kontinuerlig evaluering som må honoreres i henhold til den konkret indgåede kontrakt med Sygeplejeskolen. Brugerevalueringen, portefølgen som viser aktiviteten i Fronterrummet, formål og mål for det konkrete netværk, den oplevede og dokumenterede effekt i praksis m.m. danner grundlaget for brugergruppens og netværkspilotens evaluering af netværkets funktion. I evalueringen skal der sættes fokus på rammeforhold, formål, struktur, indhold, de konkrete læreprocesser og de kommunikative og refleksive processer i netværket. Evalueringen afvikles som følgende: Brugergruppen og netværkspiloten foretager en kontinuerlig professionel evaluering af netværkets funktion og justerer i overensstemmelse hermed design, læreprocesserne og de kommunikative og refleksive processer i netværket. Netværkspiloten fremsender brugerevalueringen og den professionelle evaluering til projektgruppen Netværkspilotens evaluering af netværkets funktion inddrages i medarbejderudviklingssamtalen. 5.3 Behandling af evalueringsresultaterne Resultaterne af brugerevalueringerne i et givet netværk, og brugergruppen og netværkspilotens evt. forslag til justeringer behandles i styregruppen. Hvis der er forslag der kræver ændringer af kontraktlige forhold med dem der har brugsretten inddrages disse i evalueringen. Styregruppen tager dernæst stilling til hvilke initiativer der evt skal iværksættes eller om der er behov for en supplerende dataindsamling. Fokusgruppeinterview med brugere og/eller netværkspiloter På baggrund af evalueringsresultaterne kan styregruppen og projektgruppen tage initiativ til, at der afvikles fokusgruppedrøftelser dels med henblik på at nuancere dataindsamlingen og dels for at inddrage brugergruppemedlemmernes og netværkspiloternes ekspertise i de beslutninger, der træffes omkring de enkelte netværk. Fokusgruppedrøftelserne kan omfatte en udvalgt gruppe af brugere og/eller grupper af netværkspiloter. Projektgruppen og brugergruppen har efterfølgende en principiel drøftelse omkring de samlede
Side 7 evalueringsresultater og evt ændringsforslag, herunder forslagenes sammenhæng med generelle koncept for etablering og drift at virtuelle faglige netværk ved Sygeplejeskolen i Vejle Amt, forslagenes konsekvenser i forhold til den konkrete faglige praksis, den organisatoriske sammenhæng som netværket indgår i, ressourceforbrug m.m. Styregruppen træffer endelig beslutning om hvilke initiativer der evt skal iværksættes. Tværgående analyser af udvalgte elementer som indgår i den samlede koncept for faglige virtuelle netværk ved Sygeplejeskolen i Vejle Amt Hvis de samlede evalueringer af de faglige netværk peger på problemstillinger, der er gennemgående i flere netværk, kan projektgruppen og styregruppen initiere en række tværgående analyser, hvor netværkspiloterne anmodes om, at sætte fokus på og vurdere en række udvalgte parametre eksempelvis design, netværkspilotens funktion, den kommunikative eller refleksive processer, implementering etc. I de tværgående analyser kan også indgå forventningsanalyser og deciderede markedsanalyser som i højere grad har et kommercielt sigte. 5.4 Offentliggørelse og opbevaring af evalueringsresultaterne Evalueringsresultaterne skal betragtes som et internt arbejdsmateriale der i princippet er offentligt, idet resultaterne skal anvendes i den fortløbende kvalitetsudvikling af konceptet og de virtuelle netværk. Evalueringsresultater offentliggøres og opbevares som følgende: Underviserevaluering Brugerevalueringen og den professionelle evaluering, er tilgængelige for styregruppen og projektgruppen. Netværkspiloten foranlediger, at resultatet fra brugerevalueringen offentliggøres i de(t) relevante Fronterrum. Brugergruppen afgør om hele eller dele af den professionelle evaluering ligeledes skal offentliggøres i Fronterrummet. Styregruppen og projektgruppen behandler deltagernes evalueringer som et internt arbejdsmateriale. Netværkspiloten foranlediger, at den leder der skal forestå medarbejderudviklingssamtalen får tilsendt resultaterne fra brugerevalueringen og den professionelle evaluering. Netværkspiloten opbevarer resultaterne fra evalueringen (brugerevalueringen og den professionelle evaluering) på eget H drev. Evalueringsresultaterne opbevares i 4 år. EVU enheden afgør, hvilke evalueringer eller dele af evalueringerne, der skal offentliggøres. Evalueringer opbevares i biblioteket Efter- videreuddannelse i offentlige mapper i Outlook. Konklusionen på Styregruppens behandling af evalueringsresultaterne (herunder evt datamateriale og resultater fra fokusgruppeinterviews, tværgående analyser, anbefalinger fra referencegruppen) opbevares ligeledes i det pågældende biblioteket i Outlook. Evalueringsresultaterne opbevares i 4 år.
Side 8 6.0 Litteratur Adamsen, Lis m.fl.: Vejledning i evaluering. AKF s Forlag, København 1992. Dahler-Larsen, Peter: Den rituelle refleksion om evaluering i organisationer. Odense Universitetsforlag 1998. Danmarks Evalueringsinstitut. Kriteriebaserede evalueringer. EVA `s erfaringer fra evalueringer baseret på kriterier. 2004. Jacobsen, Helge & Wied, Sidsel Rasborg (red.): Kursusevaluering. Evalueringscentret, København 1996. Handal, Gunnar: Studentevaluering av undervisning. Cappelen Akademisk Forlag, 1996 Hougaard, Lone m.fl: Kursusevalueringsredskaber et katalog. Sygeplejeskolen i Vejle Amt 2000a. Hougaard, Lone m.fl: Projekt Kursusevaluering en afsluttende rapport. Sygeplejeskolen i Vejle Amt 2000b. Haertel, D og Walberg, H.J. The International Encyclopedia of Educational Evaluation. Pergamon Press. Palo Alto California, USA 1990. Sygeplejeskolen i Vejle amt.. Pædagogisk værdigrundlag et moderne syn på dannelse og uddannelse undervisning og læring. Sygeplejeskolen i Vejle amt 2001. Sygeplejeskolen i Vejle amt. Studieordning for sygeplejerskeuddannelsen ved Sygeplejeskolen i Vejle amt. Sygeplejeskolen i Vejle amt september 2001. Undervisningsministeriet. Bekendtgørelse om uddannelse til professionsbachelor. BEK nr. 113 af 19.09.2001. Undervisningsministeriet. Professionsbacheloruddannelserne katalog over kriterier. 2001. Undervisningsministeriet. Lov om gennemsigtighed og åbenhed i uddannelserne m.v. Lov nr. 414 af 06.06.2002. Sygeplejeskolen i Vejle amt. Systematisk evaluering og udvikling af undervisnings- og uddannelsesaktiviteterne ved Sygeplejeskolen i Vejle Amt. UU udvalget d. 21/4 2006