Evalueringsprojekt på CBS Projekt til styrkelse af CBS evalueringspraksis i relation til de pædagogiske målsætninger Det Pædagogiske Udvalg EVALUERING VIA DELPHI-METODEN Introduktion til Delphi-metoden Delphi-metoden er en evalueringsform, der kombinerer skriftlig evaluering med mundtlig dialog, og som fokuserer på bredde og konvergens samtidig. Dialogen på baggrund af resultaterne er relativ fri, men en ordstyrer sørger for en vis strukturering, så alle ønskede emner berøres, og alle deltagere kommer til orde. Delphi-metoden fungerer som følger: Alle får et skema, hvor de skriver to gode ting, samt to ting, der kan forbedres ved det evalueringsniveau, der ønskes vurderet (studiet, faget eller lignende). Skemaerne cirkulerer simultant på holdet i samme retning, og alle tager stilling til hinandens udsagn ved at sætte en streg ud for de udsagn, de er enige i. Den skriftlige del af evalueringen stopper, når de studerende sidder med deres eget skema igen. Herefter optælles stregerne og resultaterne diskuteres. FORDELE Fri dagsorden Delphi-metoden tillader deltagerne at påvirke dagsordenen, eftersom det er de udsagn, der skrives ned, som efterfølgende danner grundlag for dialogen. Hermed sikres, at de emner, der præger dialogen, er emner som deltagerne finder relevante og interessante at diskutere. Nye problemstillinger Da evalueringen tager udgangspunkt i udsagn som de studerende frit har kunnet nedfælge, er der stor sandsynlighed for, at der vil komme vigtige problemstillinger frem i lyset, som underviseren ikke har været opmærksom på, og som derfor ikke ville være blevet diskuteret ved mindre studenterstyrede evalueringsformer. Repræsentativitet Delphi-metoden er hensigtsmæssig i forhold til at sikre stor repræsentativitet, eftersom alle studerende skal nedskrive fire udsagn og efterfølgende har mulighed for at komme til orde. Bredden er herved dobbeltsikret, dels ved at deltagerne selv er med til at sætte dagsordenen via deres udsagn, og dels ved, at alle tager stilling til alle udsagn. Repræsentativiteten sikres særligt, hvis ordstyreren efterfølgende formår at skabe en bred dialog, hvor flest mulige deltager. Mange synspunkter Delphi-metoden giver mulighed for at få mange forskellige synspunkter frem i lyset, idet hver enkel studerende gives mulighed for at ytre sig. Ved hjælp af Delphi-metoden er det nemt at få et indtryk af, hvad de studerende finder væsentligt at diskutere, da antallet af streger virker som indikator herfor. Antallet af streger bør således fungere som retningsgivende for, hvad der er væsentligst at diskutere, da det sandsynligvis ikke er muligt at diskutere alle udsagn. HAR DU INTERESSE I DENNE ARTIKEL? Denne artikel indeholder en beskrivelse af processen i forbindelse med organisering og gennemførelse af evaluering af uddannelsesaktiviteter ved hjælp af Delphi-metoden. Formålet med fremstillingen er ikke at give en endegyldig løsning på, hvordan Delphi-metoden skal organiseres og gennemføres, men at præsentere operationaliserbare anvisninger og gode råd til de undervisere, fagledere, linjekoordinatorer og studienævn, der ønsker at gøre brug af Delphimetoden som evalueringsmetode. 1
Tovejskommunikation På baggrund af de skriftlige udsagn tillader Delphi-metoden tovejskommunikation, så svar og spørgsmål kan blive forklaret, hvis de ikke umiddelbart forstås. Kvalitativ evaluering Delphi-metoden tilvejebringer mange kvalitative evalueringsdata, som generelt er mere nuancerede og mere konstruktive end ved eksempelvis spørgeskemaundersøgelser. Underviseren kan teste sig selv Har underviseren gjort sig nogle overvejelser omkring styrker og svagheder ved egen uddannelse, kan underviseren også udfylde et skema. Det er her vigtigt, at underviseren skriver udsagnene, vedkommende gerne vil have de studerende til at tage stilling til, som om underviseren selv var studerende, idet det er den eneste måde, at de studerende kan forholde sig reelt til udsagnene. Ved at deltage i evalueringen kan underviseren få be- eller afkræftet oplevede svagheder og styrker ved egen undervisning. Udviklingsorienteret Delphi-metoden kan anvendes med henblik på uddannelsens forbedrings- og udviklingsmuligheder såvel som på kontrol af allerede gennemførte forløb. ULEMPER Passivitet Anvendes Delphi-metoden i et stort forum, vil der være en tendens til, at nogle føler ubehag ved at ytre sig, og derfor ikke har lyst til at kommentere såvel de udsagn, de selv har nedskrevet, som deres medstuderendes udsagn. Således eksisterer der en risiko for, at det kun er de studerende, der til dagligt er aktive i undervisningen, der ytrer sig, mens en stor gruppe studerende iagttager dialogen passivt. Denne problemstilling kan imødekommes ved at afholde evalueringen flere gange, således at holdet opdeles i mindre grupper á 15-20 studerende. Svært at bevare fokus For at alle udsagn diskuteres, kræves det af ordstyreren, at dialogen primært bevarer sit udgangspunkt i de nedskrevne udsagn. Det er dog uhensigtsmæssigt, hvis et sådan fokus på det nedskrevne hæmmer en konstruktiv dialog, hvor vigtige synspunkter afskæres såfremt de ikke skønnes funderet i de nedskrevne udsagn. Det kan være svært for ordstyreren at sikre en hensigtsmæssig balance i forbindelse hermed. Løse retningslinjer Da underviseren ved anvendelse af Delphimetoden kun har meget ringe indflydelse på, hvad der evalueres, er metoden ikke anvendelig såfremt undervisere ønsker evaluering af et ganske specifikt område eller har en ganske specifik erkendelsesinteresse. Tidskrævende På store hold kan Delphi-metoden tage relativ megen tid fra undervisningen, da både udfyldningen af skemaerne og den efterfølgende dialog tager længere tid jo flere studerende, der deltager. Delphi-metodens tidsmæssige placering For at sikre størst mulig repræsentativitet bør der afsættes tid, således at Delphi-metoden anvendes i undervisningen. Er dette ikke muligt, så bør evalueringen ske umiddelbart efter undervisningen. Vælges sidstnævnte fremgangsmåde kræves det, at der ydes en indsats, hvor de studerende kraftigt opfordres til at blive og deltage, da det erfaringsmæssigt har vist sig svært at motivere de studerende til at blive efter endt forelæsning. Udenfor eksamensperioder Evaluering via Delphi-metoden bør ikke placeres i perioden op til eksamen, da det dels kan hæmme de studerendes åbenhjertighed i dialogen, og dels kan det skabe irritation, hvis der bruges tid på evaluering op til en eksamen, hvor de studerende givetvis er mere fokuseret på at arbejde med pensum. 2
Delphi-metodens varighed De studerende bør få 8-10 minutter til at overveje, hvilke udsagn de vil skrive ned i skemaet. Efterfølgende afsættes ca. et minut pr. skema, som de studerende modtager. Ved store hold kan man spare tid ved at opdele holdet i mindre grupper á 15-20 personer. Hvor længe den efterfølgende dialog varer, kan der ikke siges noget entydigt om det afhænger både af den erkendelsesinteresse, som ligger til grund for evalueringens etablering, af antallet af deltagere, og af hvorledes diskussionen i øvrigt forløber. Varigheden må således primært afhænge af ordstyrerens vurdering. Opdeling af evalueringen Den tid det tager at skabe et overblik over de forskellige udsagn, at tælle streger op og samle udsagnene i kategorier/emneområder inden diskussionen kan begynde, kan reduceres ved, at nogle elever eller underviseren påtager sig ansvaret herfor til næstkommende forelæsning. Således vil evalueringen blive opdelt i to etaper fordelt over to undervisningsgange: 1. De studerende skriver deres udsagn ned og tager stilling til hinandens udsagn. 2. På baggrund af en opsamling af de nedskrevne udsagn diskuteres disse af alle i plenum ved næste undervisningsgang. Der er dog nogle ulemper ved en sådan opdeling, fordi det kan frygtes, at de studerendes motivation i dialogen svækkes, når der går længere tid mellem, at de nedfælder udsagnene og diskuterer dem. For at imødekomme denne bias kan optællingsresultatet udsendes pr. e-mail før plenum. Hermed muliggøres endvidere, at de studerende kan tage stilling på forhånd, hvilket kan være med til at højne kvaliteten i diskussionen. Man skal dog være opmærksom på, at opgørelse og efterfølgende udsendelse er tidskrævende, hvorfor man må vurdere, om man vil bruge ressourcer herpå. Forud for Delphi-metodens gennemførelse Udover kopiering af de skemaer, hvori de studerende kan skrive deres udsagn og sætte streger, så kræver Delphi-metoden ingen forberedelse. Såfremt man ikke ønsker at anvende Delphi-metoden i selve undervisningen, skal de studerende dog informeres herom i god tid, således at de kan afsætte tid til at blive og deltage i evalueringen. Information herom kan fx ske mundtligt til undervisningen eller pr. e-mail/brev. Ledelse af Delphi-metoden Det er vigtigt, at ordstyreren både er i stand til at skabe en bred dialog, hvor flest mulige synspunkter kommer frem, men samtidig også formår at bevare fokus og holde diskussionen på sporet. Da underviseren/ faglederen/ linjekoordinatoren/ studielederen (alt efter hvad der evalueres) aktivt bør deltage i diskussionen og både lytte til kritik, samt argumentere for egne synspunkter, kan det synes for krævende såfremt vedkommende også skal agere ordstyrer, hvorfor det anbefales, at fx en underviser eller en studievejleder, der ikke er tilknyttet faget, fungerer som ordstyrer. Delphi-metodens gennemførelse Gennemgå spillereglerne Inden de studerende får uddelt skemaerne er det vigtigt, at de gøres bevidste om, hvad erkendelsesinteressen bag evalueringen er. Det skal således stå dem klart, hvilket evalueringsniveau, der ønskes evalueret, det vil sige, hvad deres udsagn i skemaerne præcis skal relateres til. Ligeledes skal proceduren ved brug af Delphi-metoden forklares, således at der ikke opstår forvirring under evalueringen. Det er en god ide at gøre de studerende klart, hvor lang tid de har til henholdsvis at skrive deres egne fire udsagn, samt til at tage stilling til deres medstuderendes udsagn. Endvidere kan det anbefales, at der udstikkes en tidsramme for den efterfølgende diskussion. 3
Tidsregistrering Når evalueringen går i gang er det vigtigt, at der er én, der er ansvarlig for, at tiden overholdes. Vedkommende skal således fortælle, hvornår man skal videresende eget skema, og efterfølgende påpege hver gang, der er gået et minut, og de studerende skal videresende det skema, de sidder med. Båndoptagelse eller referat Af hensyn til efterfølgende overvejelser vedrørende blandt andet hvilke konsekvenser, der bør følge evalueringen, vil det være formålstjenligt enten at optage dialogen på bånd, eller at bede et par studerende være ansvarlige for at tage notater undervejs og skrive et fyldigt referat på baggrund heraf. Holde samtalen på sporet Ordstyreren må være forberedt på, at enkelte studerende kan benytte diskussionen som mulighed for at få afløb for deres utilfredshed med enkeltstående undervisere eller ligger under for forestillingen om, at græsset altid er grønnere på andre uddannelser. I givet fald påhviler det ordstyreren at guide samtalen tilbage på sporet igen. Ligeledes er det ordstyrerens opgave at sørge for, at alle udsagn diskuteres, hvorfor ordstyreren skal være opmærksom på hvornår det er på tide at gå videre med en diskussion af andre udsagn. Diskussion frem for angreb/forsvar Dialogen skal præges af åbenhed og et fælles ønske om at identificere problemstillinger. Det er vigtigt, at alle interessentgrupper, der er repræsenteret, er lydhør over for hinandens synspunkter og ikke blot indtager en forsvarsposition, således at eksempelvis underviseren ukritisk søger at forsvare egne argumenter og handlinger, og derved lukker af for konstruktiv kritik, eller at de studerende nægter at forholde sig til kritik af eget bidrag til studiet. Lukning af evalueringscirklen Som minimum må Delphi-metodens resultater fremlægges for studienævnet/linjeudvalget. Drages efterfølgende konsekvenser af resultaterne, som ikke er blevet vendt med de studerende i dialogen, bør de studerende informeres herom. Vælger underviseren at undlade at tage enkelte af kritikpunkterne fra evalueringen til efterretning, bør der ligeledes informeres og argumenteres herfor overfor de studerende. Ved at informere de studerende forbedres chancerne for, at mange vil deltage ved fremtidige evalueringer, da de gives følelsen af, at de tages seriøst og tildeles ansvar samt ikke mindst, at deres studium tages seriøst og kontinuerligt søges forbedret. 4
Andre artikler i idékataloget om evaluering på CBS Denne artikel indgår i et idékatalog om evaluering på CBS. Idékataloget omfatte blandt andet følgende andre artikler om uddannelsesevaluering: Generelt om evaluering Evalueringspolitik Evaluering via aftagerdialog Evaluering via censorer Evaluering via dimittenddialog Evaluering via fokusgruppeinterview Evaluering via interview Evaluering via kollegialvejledning Evaluering via logskrivning Evaluering via løbende dialog Evaluering via spørgeskemaundersøgelse Evaluering via stormøde Evaluering via tidsforbrugsregistrering Evaluering via undervisermøde Baggrund Denne artikel stammer fra et idékatalog vedrørende evaluering, udarbejdet af en projektgruppe under Det Pædagogiske Udvalg et udvalg nedsat under Konsistorium på CBS. Hensigten med idékataloget er at videreudvikle og styrke CBS evalueringspraksis ved at give konkrete råd og operationaliserbare anvisninger om forskellige evalueringsaktiviteter. Idékataloget er et bidrag til den generelle kvalitetsudvikling og kvalitetssikring af CBS uddannelser. Yderligere information Det Pædagogiske Udvalgs hjemmeside: www.cbs.dk/aboutcbs/dpu Projektets hjemmeside: www.cbs.dk/aboutcbs/dpu/projekter/eval/evalforside.shtml For at høre om praktiske erfaringer med evaluering via Delphi-metoden kontakt da: Bjarne Ørsnes, Institut for datalingvistik, boe.id@cbs.dk Birthe Vesterli, Institut for FIRST, bv.tysk@cbs.dk Kontakt Projektansvarlig: Prorektor Bente Kristensen Solbjerg Plads 3 2000 Frederiksberg Telefon: 3815 2050 E-mail: bk.ls@cbs.dk Projektkoordinatorer: Henrik Frimor (i perioden fra maj 2001 til juli 2002) Dorte Teilmann Nielsen (fra marts 2002) Solbjerg Plads 3, A 4.18 2000 Frederiksberg Telefon: 38152062 E-mail: dtn.ls@cbs.dk 5