Evalueringen kvalificeres når modellens begreber bliver kontekstbestemt Laursen, Hilmar Dyrborg; Kjeldsen, Lars Peter Bech; Mark, Lene

Transkript

1 University Colleges Evalueringen kvalificeres når modellens begreber bliver kontekstbestemt Laursen, Hilmar Dyrborg; Kjeldsen, Lars Peter Bech; Mark, Lene Published in: Kalejdoskop Publication date: 2010 Link to publication Citation for pulished version (APA): Laursen, H. D., Kjeldsen, L. P., & Mark, L. (2010). Evalueringen kvalificeres når modellens begreber bliver kontekstbestemt. Kalejdoskop, (1). General rights Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. Users may download and print one copy of any publication from the public portal for the purpose of private study or research. You may not further distribute the material or use it for any profit-making activity or commercial gain You may freely distribute the URL identifying the publication in the public portal? Take down policy If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim. Download date: 06. Jan. 2016

2 Alice Bonde og Johannes Fibiger Lars Peter BechNissen Kjeldsen, Hilmar Dyrborg Laursen, Lene Mark Evalueringen kvalificeres, Farvel til kridttavlen når modellens begreber er kontekstbestemte 2010

3 Evalueringen kvalificeres, når modellens begreber er kontekstbestemte Af Lars Peter Bech Kjeldsen, videncenterleder og programkoordinator i CELM, lektor, ph.d., Hilmar Dyrborg Laursen, programmedarbejder i CELM, lektor, og Lene Mark, programmedarbejder i CELM, adjunkt. februar 2010 For at kunne sige noget om, hvorvidt der er kvalitet i en bestemt undervisningspraksis eller et konkret udviklingsarbejde, må vi sætte praksis i relation til bestemte værdiudsagn om hhv. god undervisning og godt videnarbejde. Udpegning af værdigrundlaget bør være et objektivt anliggende og begrebsmæssigt tilpasset det sagsforhold, der skal evalueres. Dette lyder enkelt, men i praksis er det en stor udfordring, hvilket personer, der arbejder med evaluering, er fuldt ud bekendt med. Hertil kommer måske en endnu større udfordring: En evalueringsmodel skal være valid, robust og kunne transformeres til forskellige arenaer, og derfor formuleres modellerne ofte enkelt og med begreber, der kan overføres til forskellige arenaer. Dette fremkalder det paradoks, at begreberne ofte har svært ved at træffe hovedet på sømmet, når de skal beskrive netop det udsnit af virkeligheden man ønsker evalueret. Denne artikel beskæftiger sig med dette paradoks og giver en alternativ tilgang. Med udgangspunkt i en bestemt evalueringsmodel (Kirkpatrick, 2006), forsøges tilvejebragt en modernisering af modellens struktur, samtidig med at begreberne i modellen tilpasses det sagsforhold, der skal evalueres. Det undersøgende perspektiv Evaluering er undersøgelse af kvalitet og kvalitetssikring af praksis. I den internationale litteratur bestemmes evaluering som det at foretage en systematisk indsamling af oplysninger med henblik på at fastsætte værdien af noget ud fra en række kriterier. Kriterierne fastsættes ud fra en målestok, og handler fundamentalt om at foretrække noget frem for noget andet. Dette gøres ofte med henblik på handling. En sådan måling er ikke kun en neutral registrering af virkeligheden, men er i sig selv med til dels at konstruere det objekt, der skal måles (jf. fx komplementaritetsteorien, Niels Bohr), og dels at tilvirke data og processer (jf. de konstitutive effekter ved evaluering, herunder backwasheffekter). De begreber, der indgår i den evalueringsmodel, der anvendes, sætter fokus på bestemte sider af virkeligheden og trækker noget frem i lyset, mens andet ikke kommer med. Det er derfor naturligvis afgørende, at man forholder sig til og begrunder, hvad det er, man vil se efter og samle oplysninger ind om, herunder hvorfor man ønsker at forstyrre virkeligheden, ved at trække aktørernes opmærksomhed i en bestemt retning. Dette arbejde foregår ideelt set i et dynamisk samspil med det, der skal evalueres, således at konteksten får en stemme i forhold til præciseringen af, hvad det er, man bør se efter i det konkrete projekt, forløb eller hvad der nu er genstand for evalueringen. Man kan altså nok vælge og begrunde en generel [1]

4 evalueringsmodel, men den skal så at sige kalibreres i forhold til den kontekst, hvori den skal anvendes. Riffelen skal skydes ind. Vi har i vores arbejde valgt en generel evalueringsmodel og forsøgt at give eksempler på, hvordan modellen kan anvendes i forhold til forskellige arenaer. Results Behavior Learning Response (Kirkpatrick, 2005 og 2006) Results Tænkningen i modellen er, at det overordnede mål med et uddannelsesmæssigt eller et organisatorisk tiltag er resultater i form af en værditilvækst, der f.eks. bestemmes indholdsmæssigt ud fra uddannelsens formål, men som altid vil kunne diskuteres og bør blive det. For læreruddannelsens vedkommende kunne det være lærerens bidrag til den pædagogiske udvikling på skolen og lærerens bidrag til elevernes meningsfulde læring og dannelse, herunder altså også dannelse til et demokratisk samfund. I forbindelse med evaluering af e-læring er det således tanken at vurdere e-læringens effekter i forhold til værditilvækst i organisationen med udgangspunkt i det værdigrundlag, organisationen arbejder i retning af. Der er egentlig tale om en form for cost-benefit analyse, hvor tiltaget ses som en investering, der gerne skulle give afkast af sig, forstået på den måde at tiltaget bidrager med noget værdifuldt til det samfund, den organisation m.v., der har foretaget investeringen. Tankegangen kan føre til en fejlagtig instrumentalistisk opfattelse af uddannelses- og læringsprocesser, hvis de forstås som lineære og kausale processer (hvilket antydes lidt med modellens opbygning) og ikke som cirkulære dynamiske og multifaktorielle komplekse processer, hvor det bl.a. ofte er vanskeligt at afgøre, hvad der er virkning, og hvad der er årsag; hvilke faktorer der kan tænkes at have bidraget til en virkning på hvad; hvad virkningen i det hele taget er osv. [2]

5 På den anden side fastholder dette lag (Results), at der er en forpligtelse, der rækker ud over det enkelte projekt. Set i lyset af tanken om, at evaluering også tilvirker noget f.eks. fordi den kan få os til at tænke over væsentlige spørgsmål, så er dette niveau i evalueringen således med til at have den effekt, at de aktører, der indgår i evalueringen, kommer til at forholde sig til den mulige betydning af projektet, undervisningen, kurset m.v. i et større perspektiv. Det er efter vores opfattelse helt afgørende i en tid, hvor der er stærk handletvang og stor kompleksitet, og hvor vi ellers risikerer at drukne i perspektivløse projekter. Behavior I en skandinavisk uddannelsestænkning vil det være hensigtsmæssigt, at oversætte Behavior til begrebet handling for at understrege, at det er et subjekt, der gør noget med mål, interesser, intentioner m.v. Mennesker gør ikke bare noget; de gør noget, fordi de vil noget. Handling dækker over, hvad man forestiller sig, at aktørerne skal gøre for at kunne bidrage til værditilvæksten fordi de vil noget. Hvad aktørerne konkret gør antages bl.a. at afhænge af betingelserne for arbejdet, herunder organisationskulturen og deres viden, færdigheder og holdninger. I denne sammenhæng er kompetencer noget, man har, fordi man ved noget, kan noget og gør noget - fordi man vil noget i en given kontekst. I relation til evaluering af projekter, uddannelsesforløb, kurser m.v., der har fokus på e-læring, handler det om at undersøge, hvordan tiltaget kan tænkes at have bidraget til ændring i deltagernes handlinger, og hvordan de gør det i en given kontekst, herunder hvilke faktorer der understøtter, tilskynder og konsoliderer disse handlinger i konteksten, fx Hvad gør de studerende, efter at de har lært at bruge et regneark? Hvad gør underviserne i deres praksis efter et kursusforløb om it i undervisningen? Hvad gør evaluatorer, efter at de har arbejdet med udviklingen af en evalueringsmodel? Hvad gør projektmedarbejdere i CELM i deres praksis uden for centeret? I modellen knytter handlinger sig generelt til spørgsmål som: Hvilke forhold i de respektive praksiskontekster henholdsvis fremmer og hæmmer en planlagt handling? Hvordan kan en bestemt handling tænkes at bidrage til en værditilvækst? Learning Learning handler om at forholde sig til, hvad aktørerne skal vide, kunne og ville, hvis de skal gøre det, som antages at bidrage til den værditilvækst, som man ønsker. Den umiddelbare forestilling synes at være, at hvis deltagerne får tilegnet sig viden, færdighed og udvikler positive holdninger til indholdet, så bliver de også i stand til at handle i praksis. Vi ved fra utallige studier og teorier om professionskundskab, læring, transfer m.v., at det ikke er helt så enkelt. Konteksten og den tavse viden (handlingskundskab), der udvikles i denne, er afgørende for vores muligheder for at kunne anvende vores viden. Riffelen må skydes ind på ny, når vi flytter fra én kontekst til anden, for nu at bruge et billede, Bateson (Bateson, 2005) selv anvender i sin teori om læring og kommunikation. Evaluering på dette niveau sætter fokus på, hvad vi antager, deltagerne skal lære, før de kan komme til at gøre det, som vi antager, kan føre til den værditilvækst, vi ønsker, eller evt. den, som vi søger at finde frem til, fordi vi endnu ikke kender den. Respons På dette niveau evalueres der på, hvorledes deltagerne i uddannelsen oplever tiltaget. Respons knytter sig til aktørernes oplevelse af mening og motivation. Antagelsen er her, at deres motivation er afgørende for kvaliteten af læreprocesserne. Væsentligheden af læringens drivkraftdimension er bl.a. understreget af Knus Illeris, og ikke mindst af nyere hjerneforskning, der understreger positive følelser, som væsentlige [3]

6 aspekter af læreprocessen. Erkendelser som vel udtrykkes i formuleringen: Det er lysten, der driver værket. Set i forhold til mere eksistentialistiske og værdibaserede drivkræfter i mennesker, der kan angå den større mening med at være her og den opgave, vi har i forhold til os selv, hinanden og den verden, vi er i, så knytter dette lag i evalueringen således an til det øverste lag vedr. værditilvækst. I det lys handler respons ikke kun om positive følelser og lyst, men måske snarere om oplevelsen af dybere mening. Man kan måske sige det på den måde, at respons fokuserer på den enkeltes oplevelse og personlige værditilvækst i forhold til fællesskabet. Muligheder og begrænsninger ved modellen Samlet set kan tænkningen i modellen beskrives gennem fire spørgsmål. Hvad er deltagernes oplevelse? Hvad har deltagerne lært? Hvad gør deltagerne med eller i kraft af det, de har lært? Hvordan bidrager denne gøren til den ønskede værditilvækst? Kirkpatricks model bygger på den klassiske opdeling i kundskaber, færdigheder og holdninger, men den må udbygges med de erkendelser, som vi har om kompetence og professionskundskab i dag, og den må udbygges med en teori om, hvordan professionsviden bliver til i den frugtbare teori-praksis relation. Samtidig må modellen begrebsmæssigt matche den arena, der evalueres, ligesom begreberne må reflektere de fire niveauer i Kirkpatricks model. I det følgende vil der blive argumenteret for, hvorledes modellen vil kunne tage sig ud i fire forskellige arenaer. At tilpasse modellen til praksis(er) begreberne bestemmes af evalueringsarenaen Et moderniseringsperspektiv på modellen Før begrebsudviklingen i de fire moderniserede modeller præsenteres, er det vigtigt, at også modellens grafiske udformning revideres, således at de grundlæggende niveauer dels kan fastholde det kritiske potentiale til at fremme refleksion og deltagelse, dels mere dynamiske afspejler de multifaktorielle komplekse processer ved evaluering. Som det følgende viser, forsøges dette tilvejebragt gennem en cirkulær grafisk fremstilling. Evaluering af udviklingsprojekter Den cirkulære grafiske fremstilling af modellen er som tidligere nævnt valgt for at afspejle de multifaktorielle komplekse processer ved evaluering. Modellen skal forstås således, at der godt kan gennemføres evaluering på henholdsvis: handling, læring, motivation og mening samt værditilvækst, men skal der gives en samlet evaluering, er man nødt til at arbejde med alle rummene. Vi har endvidere illustreret modellen således for at påpege, hvordan de enkelte rum påvirker hinanden og er afhængige af hinanden. [4]

7 Knud Illeris peger med læringstrekantens vinkler på, at drivkraften har meget stor betydning for resultatet af, hvad mennesket lærer. Endvidere påpeger han, at resultatet også afhænger af om mennesket kan se mening med det, det skal lære. Respons: Meningsaspektet indfanges i evalueringsmodellen ved feltet: Motivation og mening. Dette felt kan fordre evaluering både før opstart af udviklingsprojektet, under dette, men også efter projektets afslutning. Der et vigtigt at holde fokus på deltagernes oplevelse af sammenhæng mellem faglige kompetencer og udviklingsprojektets mål samt den faktiske kompetenceudvikling: som en afklaring af personens faglige kompetencer i forhold til udviklingsprojektets mål. For at kvalificere målene yderligere kan Jensens (Jensen, 2002) kompetencematrix anvendes som udgangspunkt for samtale og afklaring. Det er også vigtigt at rejse spørgsmålet: Hvem har initieret? Yderligere er det kvalificerende for evalueringen, at spørge til feltet status, og her kan et interview anvendes, men også Flanagans(1954) Kritisk hændelsesmetode, som går ud på at indsamle de hændelser og historier, der opleves som betydningsfulde for deltagerne. Læring: Uafhængigt af motivation og mening kan der gennemføres evalueringer, der afdækker, hvad deltagerne i projektet lærte. Både hvad den enkelte lærte, og om projektets mulighed for at generer ny viden. Der kan anvendes spørgeskemaer, interview og action learning evalueringsmetoder. Formålet er, at der kan gennemføres sammenlignende evalueringer mellem motivation, mening og læring: Kan der ses en sammenhæng mellem læringsresultat og generering af ny viden i forhold til deltagernes motivation og deres meningsforståelse af projektet? Handling: I selve organisationen kan det via observationer og interview undersøges, om der sker ændringer i praksisformerne. Organisatorisk kan det påvises, om der sker en ændring i organisationsformer og procedure og i den måde, medarbejderne i organisationen deler viden på. Dette kan, gennem sammenlignende evalueringer, sige noget om, hvilken relation denne ændring har i forhold til det medarbejderne har lært, som så igen er under indflydelse af deres motivation og meningsforståelse for udviklingsprojektet. Værditilvækst: Fører de organisatoriske ændringer, i form af at medarbejderne ændrer adfærd, til en værditilvækst for både medarbejderen og for dem, der skal modtage ydelserne fra organisationen? Her kan der evalueres på, om den viden, der er kommet frem i udviklingsprojektet er brugbar, om den skaber en bedre praksis, og om den på sigt fører til produktudvikling. Her er processen igen reversibel, evalueringsmæssigt: Er denne værditilvækst sket i form af ændringer af handling og procedure i organisationen, som stammer fra ny læring i organisationen som oprindeligt er opstået af medarbejdernes motivation og meningstilkendegivelse? I den foregående beskrivelse er den cirkulære vej rundt med uret fulgt, men evalueringen kunne også være gået den anden vej eller på kryds og tværs. Modellen indikerer hermed, at skal et udviklingsprojekt evalueres, er der mange måder at gribe det an på. Men skal evalueringen være valid og udviklingsorienteret er det imidlertid vigtigt at have fokus på alle rum under evalueringsprocessen. [5]

8 Evaluering af undervisning i professioner I det følgende er de fire evalueringsområder konkretiseret i forhold til feltet: undervisning i professioner. Kontekstualiseringen er ikke gennemført konsekvent, i og med at der ikke er en specifik kontekst der er jo mange professioner, hvorfor det følgende snarere er en illustration af tankegangen om, at riffelen må skydes ind i forhold til genstandsfeltet her professioner i bred forstand. Læring: Som det fremgår af modellen herunder kunne evalueringen vedrørende kategorierne motivation og mening fokusere på deltagernes [6]

9 1. Oplevelse af sammenhængen mellem undervisning og professionspraksis. 2. Identitetsudvikling udvikling af professionsidentitet. 3. Selvværd forstået som oplevelsen af at bidrage med noget der værdsættes i den konkrete sociale sammenhæng, man indgår i (Honneth, 2003). 4. Status Anerkendelse af professionen i en samfundsmæssig sammenhæng. Men som antydet ovenfor, må det konkretiseres yderligere i mødet med den konkrete profession, det konkrete undervisningsforløb og de konkrete deltagere. Motivationen og meningen bør ses i forhold til læringens indhold og læringens processer. Hvad er de, der giver mening og motivation for den enkelte deltager i det konkrete undervisningsforløb? Vedr. læring er det oplagt at se på deltagernes udbytte i forhold til mål og indhold, som det fremgår af curriculum, herunder de mål, der er opstillet af deltagerne i det konkrete forløb. Evalueringen forsøger her at indsamle oplysninger om, hvorvidt deltagerne har lært det, der var målet med forløbet. Det kunne være med fokus på kundskaber, færdigheder og holdninger, der er de klassiske, didaktiske begreber, og det kunne også være med fokus på kompetencer, alt afhængigt af det konkrete undervisningsforløb. Handling: Vedrørende kategorien handling nærmer vi os performancebaseret evaluering. Det er aktørernes gøren, der er i fokus i denne del af evalueringen. Vi forsøger altså at indsamle oplysninger om deltagernes gøren, herunder kontekstens betydning for denne gøren. Spørgsmål til evalueringen kunne være: Gør deltagerne noget andet end de gjorde før undervisningsforløbet? Hvilke forhold i konteksten har henholdsvis fremmet eller begrænset denne gøren? Værditilvæksten, som man i en evaluering af denne type forsøger at samle oplysninger ind om, kunne være bidraget til udviklingen af professionen, herunder professionens bidrag til samfundet som helhed. Det kunne være videndeling på det organisatoriske niveau osv.: Hvordan bidrager det, som deltagerne gør, til den større sammenhæng, som de og deres undervisning er en del af? [7]

10 Evaluering af Videncenter I det følgende er der dels tænkt på evaluering af deltagelsen i et videncenter, dels på evalueringen af etableringen af et videncenter og de effekter, dette kan tænkes at have. Set i forhold til feltet motivation og mening kan kontekstualiseringen af modellen til arenaen videncentre undersøge forhold som: Om der er sammenhæng mellem arbejdet i videncentret og undervisningspraksis, ledelsespraksis m.v.? Hvem der har initieret arbejdet, set i forhold til oplevelsen af medejerskab? Om deltagerne oplever at udvikle meningsfulde kompetencer gennem deltagelsen? Om der er mulighed for [8]

11 deltagelse i udvikling og forskning? Hvilke forholder der i øvrigt virker motiverende eller demotiverende, herunder fremmer og hæmmer deltagelsen. Læring: Evalueringen i forhold til læringssegmentet kan fokusere på de kompetencer, deltagerne har udviklet gennem arbejdet. I og med at der er mange forskellige typer aktiviteter knyttet til arbejdet i et videncenter fx foredrag, skrivning af artikler, deltagelse i samarbejde, udviklingsprojekter, forskning, videndeling m.v., er det oplagt at dette felt konkretiseres yderligere i mødet med den enkelte deltager og det specifikke videncenter. Et særligt forhold er læring om, hvordan der kan skabes ny viden inden for videncentrets genstandsfelt? Vi lever i en tid, hvor der både er fokus på viden som eksplicit viden, viden som proces og i særdeleshed på viden som noget der emergerer (Sharmer, 2008). Værditilvækst: I videncenterarbejdet er formålet dels at skabe indsigt i, udvikle og formidle viden om teknologi i uddannelser og ledelse. Videncentrets aktiviteter retter sig mod brug af e-læring og medier i undervisning, ledelse og organisation. Videncentret kvalificerer og udvikler VIAs uddannelses-, udviklingsog forskningsaktiviteter herunder teknologistøttet undervisning, vejledning, evaluering og kreativitet i uddannelserne med brug af nye teknologier, dels at give deltagernes mulighed for at udvikle tavs viden og færdigheder gennem deltagelsen i processer (procesviden), og endelig at skabe ny viden (emergensperspektivet). Hvad har deltagerne lært om betingelserne for, at ny viden kan opstå? Handling: fokuserer på, hvad deltagerne gør med det de har lært, og hvordan det kan tænkes at skabe værditilvækst. I et videncenter kan det bl.a. handle om planlægning, gennemførelse og evaluering af projekter. Deltagelse i netværk. Formidling af viden på forskellige måder, herunder at sikre et tilbageløb af viden til grunduddannelserne og professionerne. [9]

12 Anbefalinger til arenabestemt evalueringsarbejde Arbejdet med at udvikle ovenstående modeller er sket i regi af projekter under programmet Digitale test og Evaluering i CELM - VIAs Videncenter for e-læring og medier. Målet har været at udvikle en tilgang til evaluering i videncentret et arbejde, der fortsætter. Imidlertid har arbejdet givet os den erfaring som vi gerne vil bringe videre her - at det er kvalificerende for et evalueringsarbejde, at man ikke blot er fokuseret på de opgaver, der udspringer af den valgte evalueringsmodel, men at man også er optaget af, hvordan de enkelte begreber kan tilpasses og nuanceres, således at de mere præcist passer til den profession og praksis, der evalueres. Der skal naturligvis gennemføres mange flere evalueringer i CELM med denne tilgang, før et evidensbaseret udsagn om arenabestemt evaluering kan fremsættes, men vi vover den anbefaling, at ønsker man et højt engagement fra den bestemte profession eller praksis, der evalueres er det motiverende, at der også arbejdes med arenabestemmelse af modellens begreber. [10]

13 Litteratur Honneth, Axel Behovet for anerkendelse. Hans Reitzels Forlag. Bateson, G De logiske kategorier læring og kommunikation. I: Mentale Systemers økologi. Akademisk Forlag. Flanagan, JC Den kritiske hændelse teknik. Psychological Bulletin, 51 (4), Illeris, Knud Læring. Roskilde Universitetsforlag, 2 udgave. Jensen, Bente Kompetence og pædagogisk design. Hans Reitzels forlag, 1 udgave, 2 oplag. Kirkpatrick, Donald L. 2006, Evaluating training programs, Berrett-Koehler. Kirkpatrick, Donald L. 2005, Transferring Learning To Behavior. Ingram Pub Services Sharmer, C.O Teori U. Forlaget Ankerhus. Ålvik, Trond Nogle centrale spørgsmål vedr. skolebaseret vurdering. I Kvalitet i skolen, Mads Hermansen (red.). Klim [11]

14

15 CELM Videncenter for e-læring og medier Gennem de senere år har de digitale mediers tilgængelighed åbnet en ny verden af muligheder inden for kommunikation, læring, viden og oplevelser. Dette ses inden for både studie-, arbejds- og fritidslivet. Denne udvikling medfører et behov for viden om forskellige områder inden for it, medier og læring. CELM udvikler, opsamler og formidler viden om teknologi i professioner og uddannelser med henblik på at fremme kvaliteten i grunduddannelserne, efteruddannelsen og i andre indtægtsdækkende aktiviteter. Vi tilbyder høj teknologisk kvalitet, faglig bredde og relevante tværfaglige aktiviteter. Medarbejdere Centret bemandes af en centerleder og to programkoordinatorer. Herudover er tilknyttet et stort antal projektmedarbejdere. Videncenterleder: Lars Peter Bech Kjeldsen, lektor, ph.d., VIA University College Udviklingsdivisionen, Skejbyvej 1, 8240 Risskov Tlf.: lpbk@viauc.dk CELMs hjemmeside: