Om indsamling af dokumentation Overordnede overvejelser omkring dokumentation Bearbejdning af kvalitative data Eksempler på visuelle / grafiske data Eksempler på skriftlige data Eksempler på mundtlige data Overordnede overvejelser omkring dokumentation Hvis man ikke har så stor erfaring i at evaluere, kan det være vanskeligt at overskue de mange forskellige former for dokumentation og dataindsamling, der findes. Ligesom det kan være svært at gennemskue, hvad de forskellige typer af data kan bruges til, og hvordan de kan bearbejdes. I en evaluering kan man gøre brug af to overordnede kategorier af data: Primære data: Data som bliver produceret til formålet til fx at belyse eller undersøge et bestemt område. Sekundære data: Data som allerede findes. Nedenstående oversigt kan bruges til at få overblik over de forskellige former for dokumentationsformer og datatyper, som vil blive nævnt i dette idékatalog. Forklaring til hovedkategorierne i oversigten: Kvantitative data: Data som i høj grad er forhåndsstrukturerede. Derfor kan man sætte tal på det, man vil vide noget om, og man kan evt. lave grafiske fremstillinger af hvordan data fordeler sig. Ressourcemæssigt er denne form for data billige, dvs. ikke så ressourcekrævende at analysere. Her kan et computerprogram klare meget af arbejdet. Kvalitative data: Data som kun i begrænset omfang er forhåndsstrukturerede. Dataindsamlingen kan udvikle sig afhængig af, hvad deltagerne fx svarer i et fokusgruppeinterview, skriver i eksempler på praksis, eller udtaler under evalueringsprocessen. Denne form for data kan være sværere at arbejde med i forhold til, hvordan man får kategoriseret de forskellige synspunkter, der kommer frem. Det er mere ressourcekrævende at arbejde med denne form for data. Her kan en computer ikke klare opgaven. Man må ind og kategorisere, analysere, tolke og konkludere. Kvalitative data kan med fordel kategoriseres i matricer (se under Bearbejdning af kvalitative data ). Eksempler på kvantitative data Eksempler på kvalitative data
Skalaer/termometre/smileys Kan-cirkler Vifter Observationer - forhåndsstrukturerede Spørgeskemaer med lukkede spørgsmål Logbøger forhåndsstrukturerede Skalaer/termometre/smileys med kommentarer Fotos med tekst Korte udsagn/statements Observationer - semistrukturerede Spørgeskemaer med åbne spørgsmål Logbøger semistrukturerede eller ikkestrukturede, hvor deltagerne skriver frit Reflektionsbreve Interviews forhåndsstrukturerede Interviews - semistrukturerede Dokumenter Samtaler Case-beskrivelser Bearbejdning af kvalitative data En matrix er en grafisk fremstilling af kvalitative data i koncentreret form. Den er bygget op på en systematisk måde, så man kan se et helt datasæt på én gang. Nedenstående eksempel er fra en evaluering af et projekt, Små komponisters værkssted, hvor man ville undersøge, om børn kan udvikle kreative og innovative kompetencer igennem det at komponere musik. Matrixen er en strukturering af evaluators observationer efter forhåndsbestemte tegn-kategorier med inspiration fra SMTTE-modellen (hele rapporten kan læses på www.skompo.dk). Udvikler ideerne Går i dybden med ideerne Responderer på andres feedback Systematiserer og prioriterer ideer Opnår ejerskab Alle grupperne er meget åbne overfor forslag til at udvikle på deres ideer og bruger lang tid på at finde de rigtige lyde, instrumenter mm. Under gruppearbejdet i en af grupperne foreslår EM, at eleverne gør det mere tydeligt hvad historien er: Dette tages straks til efterretning. Børnecitat: Det skal jo være 100% også i morgen skal vi ikke lige øve det igen Børnene er gode til at give konstruktiv feedback og der er stor villighed til at bruge feedbacken til at gøre produktet endnu bedre. Men der bliver også diskuteret lidt i forhold til forslagene og ikke alle forslag bliver brugt, hvis de ikke passer ind. I gruppen med Blomsten i tiden havde børnene for mange elementer med i deres mimestykke. De var gode til at bruge feedbacken til at tage nogle af elementerne ud, så stykket endte med at blive meget vel timet. Man mærker, at børnene føler stor ejerskab til dels deres mimestykker og dels deres små musikværker. De bruger lang tid på at diskutere hvilke instrumenter, hvordan det lige præcis skal lyde, for at det bliver sådan som de har tænkt det..
En matrix er et godt redskab til at skabe overblik over et datasæt og kan bruges som et godt udgangspunkt for det videre arbejde med at analysere og konkludere i forhold til et bestemt område i evalueringen. Man skal hele tiden have for øje, at data ikke kan stå alene, men skal forklares og bruges til at dokumentere udvalgte områder i evalueringen. Der er grundregler at iagttage: Autencitetsreglen: Man skal så vidt muligt bruge data i deres oprindelige form. Hvis man fx bruger semi-strukturerede observationer, skal man bruge data i deres mest autentiske form, som man fx skrev ned i situationen, og ikke det man tror man kan huske. Inklusionsreglen: Alle data der falder ind under en bestemt kategori, skal så vidt muligt medtages. Man kan altså ikke vælge de data ud, der lige passer til det man gerne vil konkludere. Transparensreglen: Det skal være gennemskueligt, hvilke kategorier der er blevet brugt til at strukturere data i en matrix. Dvs. det skal være tydeligt, hvordan man kommer fra metode til data og derfra videre til analyse og konklusion. Eksempler på visuelle / grafiske data Fotos med tekst Fotodokumentation er velkendt fra det pædagogiske felt og hører sammen med andre visuelle/grafiske dokumentationsformer til forholdsvis billige data. Fotos med kort tekst, der præciserer formålet med aktiviteten og styrker tolkningen af fotoet kan tænkes i forbindelse med fx udstillinger, konferencer, kurser, pæd.møder, aktiviteter i Informationssamlingen, mv. Skalaer/termometre/smileys På en skala fra 1-10 el.lign. er en velkendt vurderingsskala, som er nem at anvende som udgangspunkt for en vurdering. Koblet med kommentarer/begrundelser giver denne vurderingsform god information om aktiviteten. Det samme gælder termometre/smileys m.v., som også giver et hurtigt, visuelt billede af fx tilfredsheden med, udbytte af, værdien af Kan-cirkler Kan / kan næsten / kan ikke endnu - er også meget velkendte vurderingskategorier knyttet til Vygotsky tænkning omkring nærmeste udviklingszone og er også valgt som de overordnede kategorier i forbindelse med selvevalueringsguiden.
Vifter Skraveringer i vifter giver også hurtige og tydelige billeder. Tallene 1-4 refererer her til fire forskellige områder, der ønskes evalueret, fx tilfredshed med fagligt udbytte, kursusform, egen indsats, forplejning mv. Eksempler på skriftlige data Spørgeskemaer En af de hyppigst anvendte evalueringsformer i forbindelse med kursusvirksomhed er givetvis evalueringsskemaet med åbne eller lukkede spørgsmål eller en kombination heraf. På papir eller oftere i dag elektronisk, hvilket letter bearbejdningen. Skriftlige evalueringer kan antage varierende omfang fra et lille postkort til.? Valget mellem åbne og lukkede spørgsmål har konsekvenser for behandlingen af data. Analyse af svar på lukkede spørgsmål (kvantitative data) er ressourcemæssigt nemmere at arbejde med end analyse af svar på åbne spørgsmål (kvalitative data). Ofte anvendes en kombination. Korte udsagn / statement I forbindelse med observationer, interviews mm. oparbejder man ofte en samling af statements og udsagn. Disse kan ofte med fordel bruges som data, fx børnecitater, kan ofte kan sige rigtig meget om evalueringsgenstanden. Delphi-metoden er bl.a. beskrevet på www.evaluering.uvm.dk. Styrken ved denne evalueringsform er, at konsensus skabes sammen med deltagerne i evalueringen. Alle deltagere har individuelt fx i tre udsagn udtrykt, hvad de har fundet særdeles værdifuldt ved en given aktivitet. De øvrige deltagere tager derefter på skift stilling til alles udsagn, når udsagnene vandrer bordet rundt og der tegnes således et billede af, hvad der er høj grad af enighed om, og hvor der er divergerende vurderinger. Observationer Observationer dækker over en meget bred kategori fra fuldstændig forhåndsstrukturerede observationer, som fx optællinger, til semi-strukturerede feltobservationer ud fra mere eller mindre forudbestemte kategorier, som fx tegn -kategorier fra SMTTE-modellen. Forhåndsstrukturerede observationer kan fx være, hvor mange brugere der kommer på CFU hver dag i en uge, og hvilke faciliteter de vælger at gøre brug af, altså ren optælling (kvantitative data)
Semi-strukturerede observationer kunne bl.a. foregå ud fra et på forhånd udarbejdet notatskema fx i forbindelse med vejledning, eller ud fra en på forhånd udarbejdet observations-logbog i forhold til at observere fx tegn på, hvad er det, brugerne synes er svært i forbindelse med vores nye søgesystem. Case-beskrivelser Sådan gør vi -beskrivelser af aktiviteter / praksisbeskrivelser i kortere eller detaljeret form. Her er der ofte tale om få dyberegående beskrivelser med refleksioner på væsentlige områder. Logbøger Logbøger er kendt først fra den maritime verden, senere også fra den pædagogiske verden til at hjælpe med at holde kursen. Log-skrivning kan antage forskellige former fra det stramt strukturerede og punktformede optegnelser til skrivetænkning. Medarbejdere kan log-skrive individuelt eller kan skrive i en fælles log fx i forbindelse med vejledning. CFUet har måske en fælles logbog for pædagogisk vejledning. Her noteres fast aftalte oplysninger og deltagerne i vejledningen evaluerer deres udbytte af vejledningen på fx post-its, som klistres ind i logbogen ved endt vejledning Breve/mails Breve/mails i form af refleksionsbreve er også en udbredt evalueringsform, hvor aktiviteten vurderes i forhold til åbne kriterier (kvalitative data) eller i forhold til udvalgte forhåndsstrukturerede kriterier (kvantitative data). Dokumenter Begrebet dokumenter dækker over en bred vifte af forskellige former for dokumenter, der kan bruges som dokumentation i en evaluering. Det kan være mødereferater indeholdende udsagn fra forskellige deltagere, beslutninger og beskrivelse af opfølgende handlinger. Det kan også være fx nedskrevne politikker, sådan gør vi hos os -beskrivelser. Og endelig kan foldere, kursuskataloger mm ligeledes bruges som dokumentation inden for denne kategori. Denne form for dokumentation kan bedst karakteriseres som kvalitativ, med mindre man vælger at lave optælling på fx udvalgte søgeord. Eksempler på mundtlige data Interviews Interviews kan deles op i forhåndsstrukturerede interviews eller semistrukturerede interviews.
Forhåndsstrukturerede interviews er styret af forhåndsbestemte spørgsmål, der ønskes svar på. Denne meget strukturerede form for interviews egner sig bedst i forhold til at interviewe én person af gangen. Man kan vælge at behandle svarene som kvalitative data, fx kategorisere svarene, eller som kvantitative data, optælling af: hvor mange svarede? En anden mulighed er at lave fokusgruppeinterviews, som er semistrukturerede interviews med 5-10 deltagere, hvor man søger at igangsætte en gruppediskussion, der skal lede frem til en fokuseret belysning af et emne. Man udarbejder typisk en spørgeguide med spørgsmål, man ønsker svar på. Det kan være en god idé at lave overordnede spørgsmålskategorier med underordnede forslag til spørgsmål, hvis man ikke synes, at deltagerne af sig selv får belyst emnet ordentligt ud fra de overordnede spørgsmål. Men ellers er ideen at lade deltagernes bidrag i høj grad styre diskussionen, så man får brede data, der belyser deltagernes forskellige oplevelser og erfaringer med emnet. Samtaler Kendte dilemmaer i forbindelse med mundtlige evalueringssamtaler er dels, hvor vidt alle deltagere i samtalen får en stemme, dels analyse- og sammenfatningsdelen. Forskellige teknikker/strukturer kan afhjælpe disse vanskeligheder. Bordet rundt -strukturen fx giver alle taletid. Der kan også træffes beslutning om, at konsensus formuleres skriftligt sammen med deltagerne. Optages samtalen elektronisk flyttes den sidste del væk fra mødet, hvor samtalen foregår og overlades til intern/ekstern bearbejdning. Her er der tale om kvalitative data, hvor man med fordel kan få overblik over data ved at kategorisere de forskellige svar i matricer. 30. marts 2009