Kvantitative og kvalitative metoder til selvevaluering Arbejdsrapport 1
Forord Denne arbejdsrapport følger i en serie af arbejdsrapporter om Den Fælles Kvalitetsmodel for det sociale område i Københavns Amt. Formålet med denne arbejdsrapport er at give en generel indføring i, hvilke kvantitative og kvalitative metoder, der kan anvendes i forbindelse med selvevaluering. Intentionen med denne arbejdsrapport er, at den kan indgå som et redskabskatalog for den lokale kvalitetsgruppe i planlægningen af selvevalueringerne. Denne arbejdsrapport er desuden et supplement til den Amtslige administrative vejledning for selvevaluering og til selvevalueringsguides over opgørelser af indikatorer for standarder. Ligeledes supplerer rapporten uddannelsen af nøglepersoner om selvevaluering. Kvalitetsenheden Maj 2005 2
Indholdsfortegnelse 1 Indledning...4 2 Kvantitative metoder...4 2.1 Spørgeskema...4 2.2 Registreringsskema...6 3 Kvalitative metoder...7 3.1 Interview...7 Bilag 1: Eksempel på spørgeskema...11 Bilag 2: Eksempel på registreringsskema...14 Bilag 3: Eksempel på spørgsmål i interviewguide til brugere/pårørende...15 3
1 Indledning Der kan bruges både kvantitative og kvalitative metoder til at indsamle oplysninger i forbindelse med selvevaluering. De kvantitative metoder kan anvendes til at evaluere udbredelsen af en indsats, et fænomen, en holdning etc. Der vil være en række spørgsmål, vi gerne vil vide have viden om blandt mange personer som eksempelvis personalets kendskab til en lokal vejledning. Kvalitative metoder kan anvendes, når vi ønsker at få en helhedsforståelse af et afgrænset område, en specifik arbejdsgang osv. Disse metoder er kendetegnet ved, at vi har mange spørgsmål, vi gerne vil have en uddybende viden om, og derfor spørger vi få personer. Kvantitative metoder anvendes således, når vi ønsker en oversigt, mens kvalitative metoder anvendes, når vi ønsker at opnå en indsigt. 2 Kvantitative metoder Et spørgeskema og et registreringsskema er relevante kvantitative metoder til at opgøre en indikator, der skal bruges til at give en oversigt over en given kvalitetsdimension. I det nedenstående er de to metoder gennemgået. 2.1 Spørgeskema En spørgeskemaundersøgelse bruges til at give en slags temperaturmåling, således at den aktuelle status på et afgrænset felt kan opgøres. Det kan eksempelvis være en status på borgeres tilfredshed med at besøge en institution eller botilbud forud for en indflytning. Fordelen ved spørgeskemaer er, at det er muligt at spørge præcist ind til de forhold, emner, holdninger osv., som en undersøgelsesgruppe gerne vil vide noget om. Et spørgeskema består i en række spørgsmål, hvor der oftest er lukkede svarkategorier. Det vil sige, at den, der udfylder spørgeskemaet, kaldet respondenten, kan vælge sit svar imellem få på forhånd definerede svarmuligheder. En spørgeskemaundersøgelse bygger således på et standardiseret undersøgelsesdesign, hvor den, der konstruerer spørgeskemaet, har afgørende indflydelse på, hvilke oplysninger/data, der følger af besvarelserne. Der kan også være spørgsmål, der har åbne svarmuligheder, således at respondenten med egne ord kan formulere sit svar. At lave et spørgeskema stiller derfor store krav til formuleringer af spørgsmål og formuleringer af svarmuligheder. Spørgsmålene skal være forståelige, ikkeledende, korte og entydige. Der skal samtidig kun være de spørgsmål, der er relevante for at belyse undersøgelsesemnet. Svarmulighederne skal være hinanden gensidigt udelukkende, så det er muligt at adskille det ene svar fra det andet, og svarene skal kunne angives på én af følgende måleskalaer: 4
Tabel 1. Oversigt over måleskalaer. MÅLESKALA /nej-svar Kategorisvar EKSEMPEL Er du medlem af en lokal kvalitetsgruppe? ja nej Hvilket køn har du? mand kvinde Hvilken fagafdeling hører den driftsenhed du arbejder på under? psykiatriafdelingen handicapafdelingen børne- og ungeafdelingen Rangordnet svar Intervalskala Hvor tilfreds er du med samarbejdet med din ledelse? meget tilfreds tilfreds hverken/eller utilfreds meget utilfreds Hvor mange timer bruger du på medicinophældning om ugen? Angiv i halve timer: Hvor gammel er du? Angiv alder i hele år: Når spørgeskemaet er formuleret er det ofte en god ide at afprøve spørgeskemaet på nogle mulige respondenter, gerne fra målgruppen for undersøgelsen, for at se, om de forstår spørgsmålene, og om svarmulighederne er meningsfulde, tilstrækkelige og gensidigt udelukkende. Hvis et spørgeskema hovedsageligt har lukkede svarkategorier er det vigtigt, at der sidst i spørgeskemaet er mulighed for, at respondenten kan supplere med egne kommentarer. Det kan være, at der er forhold, som undersøgelsesgruppen ikke har tillagt nogen relevans og derfor ikke har spurgt til, men som respondenterne tillægger stor betydning. Når spørgeskemaet er blevet afprøvet og eventuelt rettet til ud fra de forslag som forsøgs-respondenterne har, udsendes/uddeles spørgeskemaet til alle relevante respondenter, fx alle borgere, der har besøgt et botilbud forud for indflytning i første halvår af 2005. Svarfristen på et spørgeskema vil normalt være 10-14 dage med mulighed for at forlænge fristen med typisk en uge. Når svarfristen er overstået skal svarene analyseres. Det vil oftest være mest hensigtsmæssigt at taste svarene ind i et regneark (fx Excel), hvor det er muligt at tælle svarene sammen på forskellige måder og lave forskellige grafiske af- 5
bildninger af respondenternes svar. Analysen kan også gennemføres manuelt, hvis undersøgelsen ikke er så stor. I forbindelse med analysen af spørgeskemaerne er det vigtig at gennemgå, om der er nogle grupper blandt respondenterne, der systematisk har udeladt at besvare spørgeskemaet. Fx om der relativt er flere kvindelige brugere, der ikke har svaret end mandlige brugere. Sådanne mønstre blandt de, der ikke har svaret, kan være med til at sige noget om, hvor pålidelige resultaterne er. Hvis der systematisk er grupper, der ikke har svaret på et spørgeskema, er det nødvendigt kritisk at gennemgå spørgeskemaet for at tjekke, om der bliver spurgt om de rigtige emner på de rigtige måder i skemaet. Hvis spørgeskemaet skal anvendes igen, og der er fundet systematisk fejl i skemaet, er det nødvendigt at foretage en revidering af spørgeskemaet. Se bilag 1 for eksempel på spørgeskema. 2.2 Registreringsskema Hvordan arbejdsgange eller sagsgange forløber kan dokumenteres med et registreringsskema. Fordelen ved at bruge registreringsskemaer er, at det er muligt at standardisere den måde, som eksempelvis en arbejdsgang eller sag bliver målt på. Derved er det muligt at sammenligne udviklinger og ændringer i de måder eksempelvis en arbejdsgang om medicinhåndtering forløber inden for en driftsenhed eller på tværs af driftsenheder. Eksempelvis kan et registreringsskema bruges til at opgøre omfanget af medicinskemaer, der er udfyldt i overensstemmelse med en læges ordination. En undersøgelsesgruppe kan en gang i kvartalet foretage denne registrering og vurdere om arbejdsgangen lever op til kravene i standarden for korrekt overførsel af medicinordination. Hvis arbejdsgangen ikke lever op til kravene, kan der på den baggrund analyseres og besluttes, hvad der kan ændres ved arbejdsgangen. Et registreringsskema kan også bruges i forbindelse med en gennemgang af dokumenter. Fx kan en udpeget medarbejder hvert halve år opgøre, hvor mange medarbejdere, der har dokumenterede kompetencer for aktiv lytning, hvordan disse kompetencer er erhvervet, og hvilke kompetencegivende kurser medarbejdere er påbegyndt og indstillet til. Ligeledes kan udgangspunktet for en registrering være brugeres handleplaner, når der skal ske individuelle dokumentationer af eksempelvis indsatser og ydelser. Endelig kan registreringsskemaer bruges i forbindelse med faglige vurderinger. De kan fx være en nøgleperson, der en gang om måneden vurderer om omgivelser for ophældning af medicin er forsvarlige og sikre. Denne registrering kræver, at forsvarlige og sikre omgivelser operationaliseres til forhold, der kan registreres som eksempelvis: Aflåsning af rum, hvori ophældningen af medicin foregår 6
Aflåsning af medicinskab At nøgler til medicinskab og rum til ophældning ikke er tilgængelige for beboerne/brugerne. Analyse af registreringsskemaer kan ske ved at indtaste oplysninger i skemaer i et regneark og efterfølgende foretage forskellige relevante sammentællinger. Se bilag 2: Eksempel på registreringsskema. 3 Kvalitative metoder Relevante kvalitative metoder i forbindelse med en selvevaluering er interview, herunder brugerinterview, nøglepersonsinterview, fokusgruppeinterview og telefoninterview. I det nedenstående gennemgås først nogle generelle retningslinjer for interview og dernæst præsenteres de fire former for interview, der er relevante i en selvevaluering. 3.1 Interview Et interview er en struktureret samtale med én eller flere udvalgte personer. Der er et specifikt formål med samtalen, der skal lede til at opnå et indblik i den interviewedes, kaldet informantens, erfaringer, holdninger og vurderinger inden for et specifikt emneområde med henblik på at fortolke disse beskrivelser. Det vil være hensigtsmæssigt at udarbejde en såkaldt interviewguide, der er med til at strukturere interviewet. I en interviewguide kan beskrives de overordnede emner, som skal belyses og med fordel kan centrale og væsentlige spørgsmål fremgå af interviewguiden. Den lokale kvalitetsgruppe kan vælge at gennemføre interviewene med en stram struktur, hvor samtlige spørgsmål er formuleret og en rækkefølge af spørgsmålene er bestemt forud for interviewet. På den måde kan man sikre, at samtlige informanter får stillet de samme spørgsmål, så det udvalgte emne for interviewet bliver belyst på samme måde, uanset hvem der interviewes. Den lokale kvalitetsgruppe kan også vælge at have en mere løs struktur, hvor interviewguiden består af nogle temaer og centrale spørgsmål, der skal belyses i interviewet. På den måde kan interviewet brede sig og omfatte samtaleemner som undersøgelsesgruppen på forhånd ikke havde tænkt over eller planlagt, men som har stor betydning for informanten. Interviewet vil derved have en større grad af fri samtale over sig end interviewet med en klar defineret spørgeramme. Fordelen ved denne fleksible interviewmåde er, at informanten har mulighed for at fortælle om forhold og omstændigheder, som vedkommende lægger stor vægt på. Interviewet kan gennemføres ved, at intervieweren har en referent med til interviewet, hvor referentens rolle er at notere informantens svar. En anden måde at gennemføre interviewet på er ved at medbringe en optager, således at hele interviewet optages på bånd eller lignende. Fordelen ved at optage interviewet 7
eller få en anden person til at tage noter er, at intervieweren kan koncentrere sig om selve interviewsituationen og hele tiden være opmærksom på, hvad informanten siger og følge op på disse udtalelser. Efter interviewet er det nødvendigt at lave et skriftligt referat af interviewet eller at udskrive interviewet i fuld længde. Det vil være en meget tidskrævende proces at udskrive et helt interview. Derfor er det ofte være et referat, der udarbejdes, og i Den Fælles Kvalitetsmodel vil et referat ofte være tilstrækkeligt for den efterfølgende analyse. Når interviewene er refereret, gennemlæses de af én eller flere fra den lokale kvalitetsgruppe med henblik på analyse af interviewene. Der er forskellige metoder til at analysere interviewene for at finde frem til de meninger og essenser som informanterne har givet udtryk for. Relevant i forhold til selvevaluering er, at der sker en meningskategorisering eller meningskondensering af interviewene. Meningskategorsering vil sige, at interviewudsagnene samles i tværgående kategorier, og at forskelligheden i interviewene kommer frem i disse kategorier. Kategorierne kan være formuleret på forhånd på baggrund af fx faglige betragtninger. Kategorierne kan også opstå undervejs i analysen. Hvis nogle borgere er interviewet om deres holdning og tilfredshed med at besøge et botilbud eller døgninstitution forud for en indflytning, kan en kategori være etablering af mødeaftale, en anden kategori kan være introduktion til rutiner på stedet, og en tredje kategori kan være oplevelse af atmosfæren på stedet. Meningskondensering består i at sammenfatte lange interviewudsagn i korte udsagn, hvor det helt centrale i udsagnet fremgår og er omformuleret med få og præcise ord. Fortolkning af interviewmaterialet kan være tidskrævende, omfangsrigt og i princippet uendeligt. Derfor vil det være nødvendigt hele tiden at huske på, hvad formålet med interviewundersøgelsen er, og hvilken viden der er søgt med interviewene, så omfanget af analysen af interviewene afstemmes med behovet for viden og informationer og den til opgaven afsatte tid. 3.1.1 Brugerinterview Interview med brugere eller borgere er en interviewform, der anvendes, når det der skal evalueres, er i direkte berøring med borgere. Det kan fx være kommunikation mellem en pædagog og en beboer på et botilbud, eller en forvaltnings praksis med at informere en borger om baggrunden for afslag på en ansøgning. Brugerinterview kræver, at intervieweren er i stand til at skabe en fortrolighed og tillid i interviewsituationen. Det er ofte således, at brugere ikke er vant til at blive interviewet og derfor kan situationen være overvældende eller behæftet med en usikkerhed for dem. Mange brugere kan endvidere være bekymrede for, om deres svar er gode nok. Det er derfor vigtigt, at intervieweren kan minimere denne bekymring og skabe en situation, hvor brugeren tør fortælle sin historie. 8
Det er derfor væsentligt at overveje, hvor interviewet skal gennemføres, hvordan det gennemføres, og hvordan der kan skabes ro og tryghed i interviewsituationen. Endelig er det vigtigt at overveje, hvem der skal interviewe hvilke brugere. Udvælgelse af personer til brugerinterview beror på, at en bredde i den aktuelle brugergruppe bliver afspejlet. Den bredde kan være relateret til erfaringer med emnet, køn, alder, funktionsniveau, diagnose osv. 3.1.2 Nøglepersoninterview 1 Interview med en nøgleperson er en relevant interviewform, når fagpersoner skal interviewes om en specifik praksis, arbejdsgang etc. Nøglepersoner er udvalgt på baggrund af deres viden eller på baggrund af deres rolle i en arbejdsgang. Eksempelvis kan en medarbejder, der har ansvar for at tilrettelægge arbejdet med at opmåle medicin, være en relevant nøgleperson at interviewe om praksis med medicinhåndtering. Interview med nøglepersoner kan være lettere at gennemføre end brugerinterview, fordi informanten og intervieweren kender det faglige felt og bruger de samme begreber og referencer. Omvendt kan det være vanskeligt at interviewe en kollega, som intervieweren måske kender godt i forvejen, fordi der er meget viden mellem kollegaer, der tages for givet. 3.1.3 Fokusgruppeinterview Et fokusgruppeinterview kan være velegnet, hvis en praksis eller et specifikt emneområde skal afdækkes. Informanterne udveksler meninger og vurderinger i relation til et afgrænset emne, og målet er ikke at opnå konsensus, men at få forskelligheder og nuancer gjort tydelige. Fokusgrupper er gode til at frembringe data om informanternes fortolkninger, interaktioner og normer og til at give ideer. Fordelen ved et fokusgruppeinterview er endvidere, at det kan skabe læring og refleksion i gruppen. Det vil oftest være hensigtsmæssigt, at der er to fra undersøgelsesgruppen til at forestå et fokusgruppeinterview. Den ene leder fokusgruppen, interviewer, stimulerer debatten og er ordstyrer. Den anden sikrer, at alle planlagte emner berøres og tager referat (evt. suppleret med båndoptagning). Udfordringen ved et fokusgruppeinterview er at styre, at de relevante delemner bliver belyst, og at alle informanter kommer til orde. Interviewet skal hele tiden holdes på rette spor, men rækkefølgen af interviewemner er ikke afgørende; kun at samtlige emner berøres. Tre eller fire informanter til et fokusgruppeinterview vil oftest være en tilstrækkelig stor gruppe til, at en diskussion og udveksling af holdninger finder sted. Det kan ikke anbefales at gruppen er større end otte personer. 1 Nøglepersoner, der udvælges til et interview, er ikke at forveksle med de lokale udpegede nøglepersoner til kvalitetsudvikling. 9
3.1.4 Telefoninterview Et telefoninterview er velegnet, hvis den indsats, der skal evalueres, ikke er omfangsrig eller kompleks. Eksempelvis er et telefoninterview hensigtsmæssigt, hvis en undersøgelsesgruppe ønsker at vide, om de breve som en fagafdeling sender ud til borgerne er forståelige og bidrager til en større gennemsigtighed i sagsbehandlingen. Et telefoninterview er kortvarigt, fx 10-20 minutter, og spørgsmålene til informanten er ofte faktuelle, lette og få. I et telefoninterview er det ikke muligt at skabe en fortrolighed og tillid mellem interviewer og informant som, når interviewer og informant sidder overfor hinanden. Derfor skal de spørgsmål, som informanten stilles, ikke være af en følelsesmæssig eller meget personlig karakter, men håndgribelige og konkrete. Se bilag 3: Eksempel på interviewguide. 10
Bilag 1: Eksempel på spørgeskema Dette spørgeskema indeholder en række spørgsmål om din oplevelse og vurdering af den information du har modtaget fra Københavns Amt i forbindelse med, at du er blevet tilbudt en bolig. Der er desuden spørgsmål om, hvordan du oplever, at amtets tilbud om bolig/institutionsplads stemmer overens med dine behov for støtte. Endelig er der spørgsmål om, hvorvidt du har besøgt de botilbud/institutioner, hvor du er blevet tilbudt plads, og hvordan du vurderer den information du har modtaget under besøget. Er der spørgsmål eller kommentarer til spørgeskemaet kan de rettes til medarbejder på tlf. 4322 XXXX eller email: XXXXXX@psf.kbhamt.dk. 1) Har du eller dine pårørende modtaget skriftlig information om den tilbudte bolig/ institutionsplads fra amtet? Ved ikke 2) Hvordan vurderer du eller dine pårørende informationsmateriale? Er informationsmaterialet til at forstå Ved at læse informationsmaterialet har jeg/vi fået et godt indblik i hvad botilbuddet kan tilbyde Ved at læse informationsmaterialet ved jeg/vi, hvad jeg/vi kan forvente af at flytte ind på botilbuddet 3) Har du eller dine pårørende søgt information om botilbud/institution udover det du har modtaget fra amtet? Ved ikke 11
4) Har du besøgt botilbud/institution? Planlægger at besøge botilbuddet/institutionen Hvis nej, gå til spørgsmål 7 Hvis planlægger, gå til spørgsmål 9 5) Under dit/dine pårørendes besøg på botilbuddet/institutionen modtog du skriftlig materiale om stedet? Ved ikke 6) Hvordan vurderer du eller dine pårørende besøget på botilbuddet/institution? Jeg/vi fik en god rundvisning på botilbuddet/institutionen Jeg/vi fik en god orientering om botilbuddet/institutionen Jeg/vi fik svar på de spørgsmål vi stillede Jeg/vi ved efter besøget, hvad jeg/vi kan forvente af at flytte ind 7) Vurderer du, at tilbud om bolig/institution passer til dine behov for støtte? Hvis ja, gå til spørgsmål 9 Ved ikke Hvis ved ikke, gå til spørgsmål 9 8) Uddyb venligst, hvorfor du/dine pårørende vurderer, at amtets tilbud om bolig/institutionsplads ikke passer til dine behov. 9) Hvem har udfyldt dette skema? Kommende bruger Pårørende (inklusiv hjælpere) Kommende bruger og pårørende (inklusiv hjælpere) 12
10) Hvilke institutioner/botilbud har du besøgt? 11) Hvis du har øvrige kommentarer, kan du skrive dem her: Det udfyldte spørgeskema bedes returneres i vedlagte svarkuvert. Mange tak for hjælpen! Med venlig hilsen Driftsenhed og Fagafdeling Københavns Amt 13
Bilag 2: Eksempel på registreringsskema Dette registreringsskema skal bruges til at opgøre omfanget af medicinskemaer, der er udfyldt i overensstemmelse med lægens ordination i form af recepter, doseringsskemaer, medicinudskrifter eller anden skriftlig information. Gennemgang af alle driftsenheders aktuelt anvendte medicinskemaer samt dokumentation for lægens ordination. Antal aktuelt anvendte medicinskemaer, der er udfyldt i overensstemmelse med lægens ordination: I alt: Antal aktuelt anvendte medicinskemaer, der IKKE er udfyldt i overensstemmelse med lægens ordination: I alt: Antal medicinskemaer i alt: 14
Bilag 3: Eksempel på spørgsmål i interviewguide til brugere/pårørende Introduktion til informanten om, hvad interviewet handler om. Tema1 Brugernes oplevelse af, at der tages hensyn til kommunikative forudsætninger (indikator 1 i standard om systematisk afdækning af brugernes forudsætninger for kommunikation) 1. Forstår du altid hvad personalet siger? a. Hvis ja, kan du give nogle eksempler? b. Hvis nej, hvordan kan det være? 2. Oplever du, at personalet forstår, hvad du siger? a. Hvis ja, kan du give nogle eksempler? b. Hvis nej, hvordan kan det være? Tema 2 Medarbejderne forstår, kender og interesserer sig for brugere/pårørendes situation (indikator 1 i empatisk kommunikation) 2.1 Hvem har du snakket med om, hvad du har lyst til og kan lide? 2.2 Synes du at personalet hører efter, hvad du siger til dem? 2.3 Er der nogen af de ansatte, der kender dig godt? 2.4 Er der nogen, der kender dig bedre end andre? 2.5 Hvem snakker du med, hvis du er ked af det eller trist? Tema 3 Medarbejdernes kommunikation i svære og nemme situationer (indikator 1 i respektfuld kommunikation) 3.1 Er der noget, du synes er svært at tale med de ansatte om? a. kan du give nogle eksempler 3.2 Hvordan oplever du, at de ansatte taler med dig i sådanne situationer? 3.3 Er der nogen ansatte, du foretrækker at snakke med frem for andre? 3.4 Hvordan kan det være? 3.5 Synes du at personalet taler med dig på en ordentlig måde? a. kan du give nogle eksempler? b. kan du give nogle eksempler på at de ikke gør? Afslutning 4.1. Er der noget vi ikke har snakket om, men som du synes, at jeg skal vide? 15