Nr. 20 August Tema: Opvarmning til evalueringskonferencen 2008

Transkript

1 Nr. 20 August 2008 Tema: Opvarmning til evalueringskonferencen 2008

2 Side 1 Leder Optakt til konferencen Af Elisabeth Friis Fredskilde, cand.scient.pol., konsulent i Frederiksberg Kommunes Sundhedscenter, medlem af bestyrelsen i DES. Dette nummer af Evalueringsnyt varmer op til Dansk EvalueringsSelskabs årlige konference, der finder sted d september på Koldingfjord Hotel. Temaet for konferencen er "Evaluering som beslutningsgrundlag - teorier, metoder og sektorer". 3 oplægsholdere på konferencen har leveret artikler til dette nummer. To af artiklerne sætter fokus på metodemæssige udfordringer henholdsvis ved at diskutere brugerundersøgelser som indikator for kvalitet og i forbindelse med tilfredshedsundersøgelser i undervisningssektoren. Artiklen At indfange brugerkvalitet gennem brugerundersøgelser diskuterer brugerundersøgelser som indikator for kvalitet og gennemgår forskellige typer brugerundersøgelsers fordele og faldgruber samt deres validitet. Forfatteren Bente Bjørnholt argumenterer for, at forskellige metoder med fordel kan kombineres. I artiklen Fra meningsløs til meningsfuld evaluering om kvalitetsmåling i undervisningssektoren, beskæftiger Christian Moldt sig med potentialerne ved at bruge tilfredshedsmålinger. Han ser også på hvad der kan ligge bag den evalueringsfrustration som opstår, og hvordan denne kan håndteres. I en tredje artikel Og hvad med ledelse? giver Lisbeth Binderup et spændende bud på de udfordringer som ledelserne i kommunerne står over for. Set i lyset af KREVIs undersøgelse af evalueringskapaciteten i kommunerne antyder hun, at det er som om at de kommunale topledelser nok har taget evaluering til sig, men endnu mangler at blive helt skarpe på dels, hvordan evaluering bruges som ledelesesredskab og dels på hvordan evalueringsviden integreres med den store vidensproduktion, der i forvejen er i en kommune. Hun peger på evaluering som et af de helt centrale instrumenter, der kan kvalificere diskussionerne og udviklingen i læringsrummene og ikke mindst sikre en kvalificeret dialog mellem fagfolk, borgere, politikere og administratorer. Dette leder hende til at pege på 2 vigtige ledelsesopgaver: 1. At lede læringsprocesserne og sikre rammerne og betingelser for, at de bliver gennemført, og hvordan resultaterne bliver brugt og delt

3 Side 2 2. At bære viden og læring fra et læringsrum til et andet og dermed understøtte sammenhæng og ikke mindst viden om og forståelse for processerne i de øvrige læringsrum. Udover disse spændende indlæg bringer Evalueringsnyt mere information om Dansk EvalueringsSelskabs årlige konference: Der er stadig enkelte ledige pladser, og man kan fortsat nå at melde sig til. Afslutningsvist på konferencen vil DES årlige generalforsamling blive afholdt, og alle medlemmer er meget velkomne til at deltage. I forbindelse med generalforsamlingen vælges en ny bestyrelse for DES for året Se en præsentation af kandidater, der foreløbig ønsker at stille op i dette nummer af Evalueringsnyt. Rigtig god læselyst og velmødt på Koldingfjord den 11. til 13. september!

4 Side 3 Redaktion Redaktør: Jesper Pedersen, jp@discus.dk, telefon Baggrundsgruppe: Bianca Albers, Servicestyrelsen, Socialministeriet Poul Skov Dahl, NIRAS Konsulenterne Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole University College Nordjylland) Marie Louise Møller, DES sekretær Nyheder, debatindlæg og artikler sendes elektronisk til Jesper Pedersen Deadline Deadline til det næste nyhedsbrev er d. 1. oktober 2008.

5 Side 4 Indholdsfortegnelse Leder Optakt til konferencen...1 Redaktion...3 Deadline...3 Nyt om DES årskonference Stadig ledige pladser!...5 Bestyrelsesvalg 2008/ Valg til bestyrelsen...6 Artikler...9 At indfange brugerkvalitet gennem brugerundersøgelser...9 Fra meningsløs til meningsfuld evaluering om kvalitetsmåling i undervisningssektoren...16 Og hvad med ledelse?...25 Konferenceoversigt...31 Om Dansk EvalueringsSelskab...32 Medlemskab...32 Bestyrelsen...33

6 Side 5 Nyt om DES årskonference 2008 Som beskrevet i sidste nummer afholdes Dansk Evalueringsselskabs årskonference september Temaet er Evaluering som beslutningsgrundlag teorier, metoder og sektorer. Download det spændende program her: Konferencen afholdes i de smukke omgivelser ved Koldingfjord hotel Stadig ledige pladser! Der er stadig enkelte ledige pladser. Skynd dig at melde dig til. Du kan finde tilmeldingsblanket her: e_2008.doc

7 Side 6 Bestyrelsesvalg 2008/2009 Følgende bestyrelsesmedlemmer bliver siddende i bestyrelsen: Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland Ole Gregersen, SFI Tue Vinter-Jørgensen, EVA Elisabeth Friis Fredskilde, Frederiksberg Kommune Tanja Miller, CEPRA, CVU Nordjylland Tim Jeppesen, KREVI Følgende bestyrelsesmedlem er på valg til bestyrelsen og genopstiller: Poul Skov Dahl, NIRAS Konsulenterne Følgende bestyrelsesmedlemmer træder ud af bestyrelsen: Steffen Bohni Nielsen, Rambøll Management Bianca Albers, Servicestyrelsen, Socialministeriet Solgerd Just Mikkelsen, Økonomicenter, Danmarks Tekniske Universitet Dorte Kabell, Kabell Konsulting Valg til bestyrelsen Der er valg til Dansk EvalueringsSelskabs bestyrelse på generalforsamlingen lørdag d. 13. september kl på Koldingfjord Hotel. Alle medlemmer af DES er velkomne til at stille op. Man kan anmelde sit kandidatur til bestyrelsesformand Peter Rhode eller DES sekretær Marie Louise Møller fra nu af frem til selve generalforsamlingen lørdag. Særligt studerende og forskere fra universiteterne opfordres til at stille op, da der foreløbigt ingen repræsentanter er herfra. Poul Skov Dahl, NIRAS Konsulenterne, er det eneste af de bestyrelsesmedlemmer, som er på valg, der har valgt at genopstille. Han skriver om sig selv: Min interesse for evaluering er både teoretisk og meget praktisk. Til dagligt gennemfører jeg som konsulent en række evalueringer for forskellige offentlige virksomheder (ministerier, styrelser, regioner og kommuner). Ved siden at den primære beskæftigelse, er jeg tilknyttet Syddansk Universitet som Ekstern Lektor. Gennem de sidste to års arbejde i DES' bestyrelse har jeg haft lejlighed til at følge med i, hvad der sker på evalueringsfronten i Danmark her og nu, ligesom det har

8 Side 7 været en spændende platfom i forhold til at møde mange evalueringsinteresserede teoretikere og praktikere. Det sidste ikke mindst gennem den årlige evalueringskonference og ved flere gå-hjem møder i løbet af året. Arbejdet er så spændende, at jeg gerne stiller op til to år mere Müzeyyen Boztoprak, specialkonsulent hos Arbejdstilsynets kontor for effekt og analyse, har meddelt at hun gerne vil stille op. Hun har skrevet følgende om sig selv. Som specialkonsulent for evaluering af Arbejdstilsynets aktiviteter har jeg sammen med 3 andre kollegaer ansvaret for udvikling, gennemførelse og formidling af effektevalueringer af Arbejdstilsynets aktiviteter. Jeg har siden marts 2006 arbejdet indenfor dette område og siden juni 2007 være specialkonsulent. Jeg arbejder pt. mest med opdatering af Arbejdstilsynets effektpolitik, der skal udmønte sig i en egentlig strategi for effektevalueringer i Arbejdstilsynet. Niels Eilschow Olesen, Cowi A/S har også meddelt at han gerne vil stille op. Niels har skrevet følgende om sig selv: Jeg har en uddannelsesmæssig baggrund som cand.scient.pol (Aarhus, 1993) og MA (York, 1991). I de sidste ni år har jeg været ansat i COWI, hvor jeg beskæftiger mig med evaluerings og analyseprojekter - oftest i rollen som projektleder eller sparringspartner. Jeg er ansat som senior projektleder og er desuden gruppeleder for forvaltningsgruppen, som består af 11 evalueringskonsulenter. Før COWI var jeg ansat som projektleder i UNDP i 3 1/2 år (udstationeret Riga og New York) og før da som konsulent i PLS Consult. Med en international profil arbejder jeg både i Danmark (mest statslige organisationer) og udlandet (EU, Verdensbank, bilaterale donororganisationer). Samlet set har jeg været med til at gennemføre cirka 25 danske og/eller internationale evalueringsopgaver. I COWI er jeg sammen med en kollega tovholder på et internt nyhedsbrev om COWIs evalueringsarbejde. Formålet er at holde en bred skare af konsulenter og chefer orienterede om, hvad der foregår på evalueringsområdet samt dele erfaringer fra metodisk inte-

9 Side 8 ressante evalueringsprojekter. Jeg tror, at min konsulenterfaring og erfaring med tilrettelæggelse og gennemførelse af evalueringsopgaver i både Danmark og udlandet vil være relevant for DES bestyrelsesarbejde. Med udgangspunkt i strukturreform og globalisering forestiller jeg mig, at DES sandsynligvis fremover vil skulle arbejde tættere sammen med de nordiske evalueingsorganisationer og med den europæiske evalueringsorganisation. Den udvikling vil jeg gerne være med til at præge.

10 Side 9 Artikler Artikler sendes elektronisk til jp@discus.dk 4 Retningslinjer: Artikler skal være kortfattede, det vil sige max 5 sider (linjeafstand 1,3) Artikler skal omhandle evaluering Artikler må ikke være anstødelige og diskriminerende Artikler må ikke have et markedsføringssigte Om nødvendigt bedes bestyrelsen foretage en vurdering af disse forhold At indfange brugerkvalitet gennem brugerundersøgelser 1 Af Bente Bjørnholdt, Adjunkt, ph.d., Institut for økonomi, politik og forvaltning, Aalborg universitet Brugerundersøgelser er mange ting og dækker en bred vifte af evalueringstyper og praksisser. Vi skal i det følgende se nærmere på nogle af disse og argumentere for, at forskellige metoder med fordel kan kombineres. Kvantitative undersøgelser kan bruges til at give et overblik over en ydelse og identificere indsatsområder særligt ved sammenligninger over tid, eller mellem institutioner, mellem tilfredshedsaspekter eller mellem brugere. Vi kan til dels også få svar på, hvad vi skal ændre for at forbedre en ydelse. Men vi kan vanskeligt undgå dialog og kvalitative undersøgelses-former, hvis vi skal blive klogere og identificere konkrete forbedringstiltag. Vi skal starte med at diskutere brugerundersøgelser som indikator for kvalitet og herunder præcisere, at de kun måler én dimension af kvalitet. Videre diskuteres fire typer af undersøgelser og deres validitet, herunder følsomheden over for brugernes karakteristika, spørgsmålsformuleringer og undersøgelsernes formål. Afslutningsvis skitseres, fordele og faldgruber ved forskellige typer af brugerundersøgelser. Kan brugerundersøgelser måle kvalitet? Det første spørgsmål der rejser sig i en diskussion af brugerundersøgelser er ofte, hvorvidt sådanne undersøgelser overhovedet kan måle kvalitet. Svaret er, at det kan de godt, men som alle andre undersøgelsestyper kan de kun måle ét kvalitetsaspekt. Typisk skelner man i den offentlige sektor mellem organisatorisk kvalitet, faglig kvalitet og oplevet kvalitet (Regeringen, 2001; 2007). Organisatorisk kvalitet vedrører måden hvorpå en sektor er organiseret, mens faglig kvalitet angår professionelle kvalitetsvurderinger. Brugerundersø- 1 Artiklen er i vidt omfang en sammenskrivning af to tidligere artikler (hhv. Bjørnholt 2008 og Bjørnholt, Goul Andersen & Lolle, 2008)

11 Side 10 gelser refererer alene til brugernes oplevelser, hvilket ikke nødvendigvis stemmer overens med hverken faglig eller organisatorisk kvalitet. Og i nogle tilfælde er sådanne kvalitetsaspekter vigtigere end brugernes vurderinger. For eksempel kan en dygtig men fortravlet kirurg måske ikke nå at tale ordentligt med en patient efter en vellykket operation. Det vil sandsynligvis påvirke patientens vurdering af operationen negativt. Mangelfuld kommunikation er et reelt og vigtigt problem, men det er trods alt mindre vigtigt end, at patienten får den optimale faglige behandling. I nogle tilfælde er positive brugeroplevelser ikke engang et ubetinget succeskriterium. Når det eksempelvis gælder skattevæsenets behandling af selvangivelser eller læreres tildeling af eksamenskarakterer kan det lige frem være uhensigtsmæssigt, hvis offentligt ansatte alene sigter mod at gøre brugerne maksimalt tilfredse. Det kan underminere deres faglige dømmekraft. Dog ændrer det ikke ved, at brugerne skal behandles anstændigt. Brugerundersøgelser er en indikator på kvalitet, som kan bruges til at indrette en service mest muligt i overensstemmelse med brugernes ønsker. I langt de fleste tilfælde er brugernes vurdering yderst central, og det er til tider den eneste måde, hvorpå vi kan måle eller vurdere en ydelses træfsikkerhed. Man skal da heller ikke undervurdere betydningen af bløde områder som kommunikation eller brugernes evne til at vurdere kvaliteten af en service. I mange tilfælde har brugerne en god ide om, hvad der er hensigtsmæssigt. Naturligvis skal man tage højde for, at brugernes vurderinger kan være påvirket af forhold uden direkte sammenhæng til en ydelse. For eksempel er brugernes forventninger til offentlig service i storbyer ofte højere, end det er tilfældet på landet. Det kan resultere i relativt mindre tilfredse brugere i storbyerne selv om den service, som de modtager, er objektivt bedre end i mindre byer (Birgersson, 1971). I dansk sammenhæng taler man om de nøjsomme jyder (Mouritzen, 1985). Tilsvarende kan brugernes forventninger være påvirket af mediebilledet om end det i mindre grad er tilfældet for brugerne end for borgerne. Hvis flere enheder er involveret i at levere en service, kan det også være vanskeligt at vurdere, hvad brugerne mere konkret tager stilling til. For eksempel er patienter på sygehusene ofte i kontakt med flere forskellige afdelinger eksempelvis skadestue, røntgen, genoptræning - og det er ikke sikkert, at de formår at adskille de enkelte enheder. Man skal derfor være varsom med at tolke brugernes svar. Dog kan mange problemer undgås eller begrænses ved at stille de rigtige spørgsmål, vælge de rigtige metoder og ikke mindst være opmærksom på eventuelle problemer i tolkningen af data. Kvantitative brugerunderundersøgelser En typisk brugerundersøgelse er de efterhånden klassiske tilfredshedsundersøgelser, hvor brugerne via en spørgeskemaundersøgelse bliver spurgt om deres tilfredshed med

12 Side 11 forskellige dele af en ydelse. Det er én af de mest udbredte typer af brugerundersøgelser, og senest stilles der med kvalitetsreformen krav om systematiske tilfredshedsundersøgelser. Sådanne undersøgelser har den fordel, at et stort antal brugere kommer til orde. For brugerne er det en forholdsvis let måde at give deres mening til kende, og tilfredshedsundersøgelser inviterer derfor til bred deltagelse. Samtidig giver de forbløffende stabile svar fra undersøgelse til undersøgelse, og de er gode til at indfange et stort antal brugers vurderinger af en ydelse hvis undersøgelserne tilrettelægges hensigtsmæssigt. I tilrettelæggelsen af tilfredshedsundersøgelser er det værd at være opmærksom på, at brugernes svar er yderst følsomme overfor spørgsmålsformuleringerne. Danskere har en tendens til at være særligt tilfredse, og spørges der direkte til tilfredshed svarer de ofte positivt. Spørges der i stedet til, hvordan en service fungerer, er brugernes svar ofte knap så positive. Dertil kommer svarenes afhængighed af svarkategoriernes udformning. For eksempel betød tilføjelsen af kategorien ikke helt tilfreds i en undersøgelse af hjemmehjælpsmodtageres tilfredshed i tre kommuner, at andelen af utilfredse var en del højere end i Finansministeriets samtidige (og sammenlignelige) undersøgelse (Bjørnholt et al., 2008). Endelig er spørgsmålenes abstraktionsniveau afgørende. Spørges der til brugernes generelle tilfredshed med en ydelse er brugene ofte mere tilfredse, end de er i vurderingen af konkrete forhold. Spørgsmålsformuleringerne er med andre ord særdeles vigtige for brugernes svar, og de bør indrettes efter, hvad der er formålet. Er hensigten at bruge tilfredshedsundersøgelser til fremadrettet kvalitetsudvikling, er det vigtigt at udforme spørgsmålene, så de inviterer til utilfredshed for derved at identificere potentielle forbedringsmuligheder. Ellers risikerer man at måle en tilsyneladende høj tilfredshed, der ikke tjener mange andre formål end blot legitimering. Men brugerundersøgelser er mere end tilfredshedsundersøgelser. En række statistiske opgørelser (kvalitetsindikatorer) søger at indfange brugernes oplevelser af en service uden direkte at spørge dem. Målingernes indhold kan variere en hel del mellem kommuner, men Regeringen og KL har taget initiativ til en række sammenlignelige kvalitetsindikatorer på det kommunale område, hvor brugenes vurderinger kan indgå som én dimension. Mange målinger registrerer antallet af brugere, som benytter en given service. De vedrører blandt andet brugernes til- og fravalg af kommunale institutioner. For eksempel opgøres ældres valg af leverandører, og andelen af skoleelever, der flytter mellem private og kommunale skoler. Sådanne målinger giver god mening, når brugerne har mulighed for at vælge mellem forskellige udbydere, og de giver et indirekte billede af brugernes vurdering af de enkelte leverandører. Målingerne kan også være relevante på områder, hvor der ikke er frit valg i almindelig forstand. Det er især tilfældet for mange kulturinstitutioner, der producerer

13 Side 12 såkaldte almene goder, som alle borgere i princippet har adgang til, men som ikke alle benytter. Mange museer registrerer blandt andet antallet af besøgende som udtryk for brugerkvalitet. Her ses mange besøgende som kvalitet, selv om det at have adgang til kulturinstitutioner for borgerne kan være en værdi i sig selv. Her kan det derfor være relevant at spørge både borgere og brugere. Andre målinger relaterer til brugernes aktive henvendelse til kommunen. Det er blandt andet tilfældet, når antallet af brugerklager registreres som kvalitetsindikatorer, hvormed man kan få et indtryk af, hvorvidt brugerne føler sig godt behandlet. Opgøres klagesagerne derudover i forhold til, hvorvidt brugerne har fået medhold eller ikke, opnås ligeledes en faglig vurdering af klagens berettigelse. Værdien er at sikre brugernes rettigheder og garantere lige behandling af forskellige brugere. Fordelen ved sådanne brugerundersøgelser er, at de ofte giver politikere, embedsmænd og andre med en interesse for et område et hurtigt overblik over brugernes vurdering af en ydelse eller en organisation. De kan være gode indikatorer for, at noget er galt, hvorfor det bliver muligt at reagere hurtigt. Samtidig kan de bidrage til at synliggøre politiske prioriteringer for såvel borgere som offentligt ansatte, hvilket kan motivere organisationer og medarbejdere til at gøre deres bedste for at sikre en hensigtsmæssig behandling af brugerne. Det er imidlertid værd at være opmærksom på, at sådanne målinger ikke nødvendigvis udtrykker, hvad brugerne ser som kvalitet, og det er langt fra sikkert, at brugernes registrerede adfærd hænger sammen med deres oplevelse af organisationerne. En række forhold uden for organisationer kan for eksempel påvirke deres valg af leverandør. Dialogbaserede kvalitetsundersøgelser Dialogbaserede brugerundersøgelser kan være både et alternativ og et supplement til kvantitative undersøgelser. I dialog med det offentlige får brugerne ofte mulighed for at definere kvalitet uafhængig af faste kategorier - og værdier som responsivitet og brugerinddragelse er i højsædet. Interview er en undersøgelsesform, som især kommunerne initierer for at indfange brugernes oplevelse af en ydelse. Det kan være individuelle interview med enkeltbrugere, eller det kan være gruppeinterview, hvor en mindre gruppe af brugere diskuterer en ydelse. Særligt når hensigten er at skaffe en dybere forståelse af brugernes oplevelser, meninger og vurderinger anvendes sådanne undersøgelser. Hvorvidt der interviewes i grupper eller individuelt afhænger dels af brugenes karakteristika dels af den viden som efterspørges. Og det er karakteristisk at interview tilrettelægges meget forskelligt alt efter deres formål. Der kan være tale om mere eller mindre strukturerede interview, der i varierende grad åbner for, at brugerne i processen definerer evalueringskriterier mm. Dertil kommer, at inter-

14 Side 13 view både kan indgå som selvstændig metode og supplere andre undersøgelsestyper. For eksempel kan de uddybe, hvorfor brugere fravælger en leverandør eller er utilfredse med en ydelse. Desuden kan interviewformen være hensigtsmæssig i forhold til ressourcesvage brugere, hvis holdninger er svære at indfange via andre undersøgelsestyper. Det gælder for eksempel socialt udsatte grupper eller brugere med svær demens eller psykiske sygdomme. I sådanne tilfælde kan modeller som BIKVA og KUBI være relevante. Her inddrages brugerne i fokusinterview med henblik på at tilkendegive og begrunde, hvorfor de er enten tilfredse eller utilfredse med en ydelse. Deres svar kan efterfølgende danne baggrund for gruppeinterview med henholdsvis medarbejdere, forvaltningsledere og politikere, og er der tale om meget svage brugere kan de suppleres med brugerobservationer (Socialministeriet og Finansministeriet, 2002). Anlægges et bredt perspektiv på brugerundersøgelser kan vi inkludere brugermøder som metode til at indfange brugerkvalitet, da de inddrager brugerne i evaluering af offentlig service. Det gælder blandt andet borgermøder, dialogmøder og brugerhøringer, hvor en gruppe brugere eller borgere inviteres til dialog med politikere og/eller embedsmænd. Forskellen mellem de tre dialogformer er, dels hvem deltagerne repræsenterer dels afgrænsningen af de emner, som diskuteres. Mens dialogmøder inkluderer en lille og afgrænset brugerkreds, er borgermøder åbne for alle borgere og foregår indenfor ydelser, der har en mere almen værdi. Folkehøringer adskiller sig ved, at deltagerne er særligt inviterede borgere, der er udpeget med henblik på at sikre repræsentativitet. Brugermøder anvendes ofte, når politikere ønsker en åben dialog med brugerne, hvilket kan skabe god grobund for nye ideer og indgangsvikler. Dertil kommer, at diskussionerne kan bidrage til fælles løsninger eller en forståelse for politiske prioriteringer og andre borgere eller brugeres behov. Problemerne knytter sig primært til spørgsmålet om repræsentativitet, og sådanne møder domineres traditionelt af mere ressourcestærke borgere og brugere af Tordenskjolds soldater. Fordele og faldgruber Alt for ofte ender metodediskussioner i en skyttegravskrig med henblik på at udråbe den bedste metode. Det er ikke intentionen her. Tværtimod skal vi blot skitsere nogle af de mulige potentialer og faldgruber, der ligger i forskellige typer af brugerundersøgelser. Det sker med fare for at ende i en karikeret diskussion, da fordele og faldgruber vil afhænge af metodernes konkrete udformning, den konkrete kontekst og ikke mindst af, hvad undersøgelserne skal bruges til.

15 Side 14 Netop undersøgelsernes formål er yderst central - for forskellige undersøgelser er velegnede til forskellige formål 2. Teoretisk sondres der mellem kontrol- og læringsformål, hvor kontrol har et bagudrettet sigte, mens læring er fremadrettet. Kontrol får ofte en negativ klang, men kontrol er særlig vigtig i offentlige organisationer, der i høj grad må stå til ansvar overfor og sikre en åbenhed ifht. deres omgivelser. Det forudsætter en vis offentlighed omkring aktiviteter, prioriteringer mm. Her kan kvantitative brugerundersøgelser være hensigtsmæssige, da de netop kan give politikere, brugere mm. et hurtigt overblik over en ydelse og indsatsområder særligt som relative mål. Som absolutte mål, der viser, at så og så mange er utilfredse eller har valgt en given leverandør, er kvantitative brugerundersøgelser ikke meget værd. Det er vanskeligt at tolke, hvorvidt tallene er gode eller dårlige. Men når man bruger dem som relative mål til sammenligninger over tid eller mellem tilfredshedsaspekter, mellem institutioner, eller mellem brugere, får man normalt gode indikatorer på, hvor der kan ske kvalitetsforbedringer. Nogle sammenligninger vil give et usikkert men dog vejledende indtryk, mens andre giver et mere præcist billede, der umiddelbart kan bruges til at sætte fokus på bestemte indsatsområder. Det forudsætter naturligvis, at forholdene er sammenlignelige, eller at der tages højde herfor i tolkning af data. For at identificere konkrete forbedringstiltag kan kvantitative brugerundersøgelser med fordel suppleres af kvalitative undersøgelsesmetoder. Ofte søger dialogorienterede undersøgelsesformer en dybere forståelse af brugernes oplevelser. Deres potentiale ligger da også i muligheden for at søge detaljeret viden om et område eller en ydelse - afhængig af deres nærmere tilrettelæggelse. Detaljeret information er særlig central, når der findes begrænset viden om, hvad der virker, for hvem og hvornår? Dialogorienterede metoder åbner for at identificere aspekter og løsninger, som man måske ikke oprindeligt havde tænkt på - et potentiale for dobbelt sløjfede læring. Det skyldes bla., at brugerne selv får mulighed for at definere kvalitetsindikatorer i undersøgelsesprocesser og derved kan medbringe nye perspektiver. Uanset formål er intentionen at få valid information om brugernes oplevelse af en ydelse. Kvantitative og kvalitative brugerundersøgelser lider af forskellige validitetsproblemer. I kvantitative brugerundersøgelser handler validitet i vidt omfang om, hvorvidt spørgsmål og kvalitetsindikatorer virkelig indfanger det, der er intentionen er det gode mål for de værdier og prioriteringer, man ønsker at undersøge? Her kan en løsning være at supplere med kvalitative undersøgelser og inddrage brugerne i fastsættelsen af evalueringskriterier og spørgsmål. I kvalitative undersøgelser vedrører validitetsproblemerne i højere grad, 2 Initiativtagere til brugerundersøgelser er imidlertid langt fra altid bevidste om undersøgelsernes formål.

16 Side 15 hvorvidt holdninger og vurderinger hos de brugere, der deltager i undersøgelserne er repræsentative for gruppen af brugere. Repræsenterer brugernes svar i brugerundersøgelser generelle problematikker eller afspejler de alene holdninger hos de brugere, der har ressourcer til at deltage? Her kan der gøres en indsats for at motivere flere til at deltage, og kvantitative undersøgelser kan være et udmærket supplement. Ved at supplere metoder dækkes man med andre ord godt ind i forhold til at belyse brugerperspektivet. Det afgørende er, at forskellige typer af brugerundersøgelser har forskellige forcer og svagheder. De kvantitative undersøgelser er fremragende til at give et overblik og identificere mulige indsatser som følge af forskelle over tid, mellem tilfredshedsaspekter, mellem institutioner eller mellem brugergrupper. Undersøgelserne kan ogaå give et fingerpeg om, hvad brugerne er utilfreds med, og hvad der skal laves om. Men skal man have et værdifuldt input med henblik på at identificere konkrete forbedringstiltag og få detaljeret viden om et område, er det svært at komme uden om dialog. Litteraturliste Birgersson, Bent Owe (1971). Kommunen som serviceproducent. Kommunal service och serviceattityder i 36 svanska kommuner. Stockholm Universitet, Statsvetenskapliga Institutionen. Bjørnholt, Bente (2008). Kvalitet og kvalitetsundersøgelser hvad er det? pp i Bjørnholt, Goul Andersen & Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag Bjørnholt, Bente; Goul Andrsen, Jørgen & Lolle, Henrik (2008). Brugertilfredshed som kvalitetsmål? pp i Bjørnholt, Goul Andersen & Lolle (red) Bag kulissen i konstruktionen af kvalitet, Odense: Odense Universitetsforlag Mouritzen, Poul Erik (1985). De nøjsomme jyder og de krævende københavnere. En undersøgelse af befolkningens præferencer for og tilfredshed med kommunal service. Økonomi & Politik, 59. årgang, Regeringen (2007). Bedre velfærd og større arbejdsglæde. Regeringens strategi for høj kvalitet i den offentlige service, august 2007 Regeringen (2001). Initiativer til bedre kvalitet. Kvalitet i fokus, Nordsjælland: Nordsjællands Trykcenter APS. Socialministeriet & Finansministeriet (2002). Webhåndbog om brugerinddragelse, Publikationen er udarbejdet af: Socialt Udviklingscenter SUS i samarbejde med Finansministeriet og Socialministeriet.

17 Side 16 Fra meningsløs til meningsfuld evaluering om kvalitetsmåling i undervisningssektoren Af Christian Moldt, ph.d., specialkonsulent på Danmarks Evalueringsinstitut Da mange institutioner anvender tilfredshedsmålinger bliver det også interessant at beskæftige sig med oplevelsen af brugen af målingerne. På den baggrund gennemførte jeg i et ph.d. studie, som ud fra et organisationspsykologisk perspektiv så på lederes og underviseres oplevelse af studentertilfredshedsmålinger på en række korte og mellemlange videregående uddannelser. Som det fremgår i det følgende viste min forskning, hvordan brugen af tilfredshedsmålinger i nogle situationer og organisationer kan opleves meningsfuldt for opgaveløsningen, mens man i andre situationer oplever det modsatte. Jeg fik en række eksempler på den sidstnævnte situation, hvor brugen af målingerne ser ud til at lede til frustration og opleves som meningsløs og direkte skadelig for medlemmerne i organisationen. På den baggrund beskæftiger afhandlingen sig med potentialerne eller fordelene ved at bruge tilfredshedsmålingerne, hvad der ligger bag den evalueringsfrustration som opstår, og hvordan denne kan håndteres. Nedenfor fokuseres alene på de empiriske resultater, som bl.a. baserer sig på en række dybdeinterviews med undervisere og ledere, mens teoriovervejelser er udeladt. Afhandlingen og denne artikel i en længere form kan downloades på des-hjemmeside (se under afholdte gå-hjem møder, møde den 6/9 2007). A. Potentialerne - de fire evalueringsopgaver Første fase i forskningsprojektet var at identificere potentialerne ved brugen af tilfredshedsmålingerne, bl.a. ud fra de fordele underviserne og lederne redegjorde for. Disse potentialer er i figur 1 beskrevet som de fire evalueringsopgaver.

18 Side Ekstern/intern dokumentation (benchmarking) 3. Ledelsesudøvelse 1) Samme formål som ledelsesudøvelse og/eller 2) opfyldelse af eksterne evalueringskrav. Evaluering som en proces, der kan anvendes til at 1) give lederen mulighed for at udføre sine formelle ledelsesopgaver, herunder ansætte og afskedige medarbejdere, 2) skabe dialog om rammer og mål og/eller 3) støtte underviserne (containing). Ledelse Mellemleder A Mellemleder B Mellemleder C Undervisere Studerende 2. Teamwork 1. Udvikling i klassen Evaluering som en proces, der kan anvendes til at 1) skabe dialog og forståelse for de studerendes ansvar for egen læring, 2) styrke læringsmiljøet i klassen og/eller 3) udskyde aggression fra de studerende, indtil denne kan udtrykkes i evalueringen. Evaluering som en proces, der kan anvendes til at 1) styrke koordinering og udvikling af faglige forløb og/eller 2) underviseres behov for kollegial støtte (containing). Figur 1: Potentialerne at anvende tilfredshedsmålinger: De fire evalueringsopgaver Bemærk, at opgave 1-3 vedrører fag-evalueringer, som oftest kan henføres til den enkelte undervisers indsats, mens opgave 4 refererer til evalueringer af længere undervisningsprogrammer og forløb, hvor et evalueringsresultat normalt dækker flere fag og undervisere. Kilde: Egen tilvirkning.

19 Side 18 Det interessante i denne sammenhæng, er at brug af tilfredshedsmålinger som kvalitetsindikatorer kan anvendes i fire forskellige sammenhænge. For det første kan de anvendes til at drøfte og aktivt inddrage de studerende i en dialog om deres læringsprocesser og undervisningens forløb (opgave 1). Derudover kan undervisere drøfte resultater med deres kollegaer og derved støtte hinanden og øge koordination og sammenhæng mellem fagene (opgave 2). Dertil kommer, at undervisningskoordinatorer og ledere kan bruge tilbagemeldinger fra evalueringer til at udøve deres ledelsesfunktion (opgave 3), hvilket f.eks. kan omfatte, at der skrides ind over for undervisere, der opnår lave evalueringsresultater. Der er ingen tvivl om, at denne måde at anvende evaluering på kan være nyttig og nødvendig. Mange koordinatorer har f.eks. fortalt, hvordan de betragter tilfredshedsundersøgelser som nødvendige redskaber, for at de kan følge med i og koordinere undervisningen. Endelig kan de samme typer undersøgelser også anvendes på mere aggregeret niveau, hvor der spørges til tilfredsheden med længere undervisningsprogrammer eller forløb, som indbefatter flere undervisere (opgave 4), hvilket kan anvendes til intern eller ekstern benchmarking. Interviewene viste også, at det var vekslende fra institution til institution, hvilke af disse opgaver evaluering blev anvendt i forhold til og sat i forbindelse med. De fire evalueringsopgaver indikerer herved, at det kan være vigtigt at være bevidst om, hvilke konkrete anvendelser evalueringssystemet er knyttet til, idet man må forvente, at det kan blive meget vanskeligt at handle ensartet og konsistent på basis af resultaterne, hvis der er vidt forskellige opfattelser af formålet med anvendelsen af målingerne. Som det fremgår i det følgende, viser de empiriske iagttagelser, at dette kan være et problem. B. Symptomer på dysfunktionel evalueringsanvendelse Selvom det er iagttaget, at flere skoler tydeligvis bruger studentertilfredshedsmålinger og oplever fordele herved i forhold til en eller flere af ovennævnte evalueringsopgaver, har jeg iagttaget flere tilfælde af dysfunktionel evalueringsbrug, som kan forbindes med hvad man i organisationspsykologien vil betegne som regressive processer. I det følgende beskrives symptomerne herpå, som i afhandlingen er behandlet mere uddybende. Tydelige tegn på, hvor dysfunktionelt evaluering kan opleves, fik jeg, da jeg på to møder gav 99 undervisere og ledere mulighed for at nedskrive deres evalueringsassociationer. Da jeg derefter opdelte disse i negative, neutrale og positive associationer, viste det sig, at der var 3,7 gange så mange negative kommentarer som positive. De sparsomme positive kommentarer vedrørte bl.a., at oplysningerne er væsentlige, og at der er tale om en positiv proces. De negative og dominerende stikord omfattede f.eks., at resultaterne ikke er til at

20 Side 19 regne med, virker negativt i konteksten, at processen er krævende, og at resultaterne ikke indeholder noget nyt. Disse resultater kan tolkes på følgende måde: Mens man officielt taler positivt om evaluering, f.eks. til en evalueringsforsker, så er den umiddelbare følelsesmæssige reaktion, som det fremgår af de hurtigt nedskrevne anonyme stikord, langt overvejende, at evaluering opleves som en meningsløs og negativ frem for en meningsfuld og positiv aktivitet. Når studentertilfredshedsmålinger reelt ikke opleves som lærende og meningsfulde, men snarere dæmoniseres, så må det derfor også udtrykke, at der umiddelbart er vanskeligheder forbundet med at anvende resultaterne som skitseret i forhold til de fire evalueringsopgaver. I det følgende bruges primært resultater fra de gennemførte interviews til at gå dybere ned i disse vanskeligheder, som en nærmere analyse af interviewene peger på. Da der er tale om et kvalitativt studie, kan der ifølge sagens natur ikke siges noget om, hvor ofte de beskrevne problemer forekommer. Den stærke evalueringsskepsis, som jeg har mødt under forskningsprocessen, den kritiske debat i pressen, evalueringsassociationerne fra de 99 undervisere og mine øvrige erfaringer under forskningsprocessen, peger imidlertid i retning af, at evalueringsproblemerne er meget dominerende. 1. Undvigelse af konfrontation med klassen (opgave 1) Selvom flere undervisere fremhævede i interviewene, at de ofte på egen hånd gennemfører evalueringer og drøfter resultaterne med klassen, fremgik det også, at underviserne i en hel del tilfælde ikke evaluerer deres indsats systematisk med klassen. På flere institutioner har jeg fået fortalt, at det er helt op til de enkelte undervisere, om de vil evaluere deres undervisning. Andre refererer til, at de har en aftale om, at underviserne skal evaluere og drøfte resultaterne med deres klasser, selvom der ikke finder nogen opfølgning sted, som skal sikre, om dette også rent faktisk er tilfældet. Man kan naturligvis argumentere for, at skriftlig evaluering ikke altid nødvendigvis er hensigtsmæssigt, og at der findes mange forskellige måder at få feedback på fra klassen, som kan overflødiggøre brug af studenterevaluering som et udviklingsinstrument i klassen. Det er imidlertid et problem, hvis der ikke evalueres, fordi årsagen er, at underviserne reagerer defensivt i et forsøg på at undgå konfrontation eller dialog med klassen af frygt for, at egne svagheder eksponeres. Flere ledere har udtrykt i interviewene, at underviserne ofte viger uden om at evaluere, fordi dette opleves som vanskeligt eller besværligt.

21 Side Lukkethed overfor kollegaerne (opgave 2) Flere undervisere fortalte om dialoger med kollegaer om undervisningen som forbundet med positive faglige værdier. Men da jeg spurgte dybere til dialoger om undervisernes personlige evalueringsresultater, gik det op for mig, at underviserne ofte holder sig for sig selv og ikke er åbne over for deres kollegaer. En underviser brugte begrebet indendørsmester til at forklare, hvordan han var en mester inden for klasseværelsets fire vægge, men til gengæld ikke oplevede et åbent miljø mellem kollegaerne på sin institution. En anden underviser fortalte, hvordan han undgik at diskutere problemer og succesér med kollegaerne, fordi det var vigtigt hverken at adskille sig som bedre eller dårligere end kollegaerne. Jeg fik også fortalt, hvordan to undervisere var kommet for tæt på hinanden, da de drøftede årsagerne til, at de i et delt fag i en klasse havde fået vidt forskellige tilfredshedsvurderinger fra de studerende, hvorefter den underviser, som fik den lavere vurdering, tog resultaterne så nært, at de to undervisere ikke længere kunne arbejde sammen. Det er derfor forståeligt, at underviserne er påpasselige med at diskutere åbent med hinanden, hvilke evalueringer de har opnået, og derved bliver denne lukkethed en barriere for at støtte hinanden og udvikle undervisningen. Kun i et enkelt interview fortalte en underviser engageret om, hvordan de i hendes undervisningsteam var åbne om deres evalueringer, og hvordan dette havde haft meget positive effekter for kvaliteten af undervisningen herunder i et tilfælde med en ny kollega, som havde brug for støtte. 3. Tabuisering af ledelsesudøvelse (opgave 3) Særligt vanskeligt og tabuiseret forekommer anvendelsen af studentertilfredshedsmålingerne, når resultaterne bruges til at udøve direkte ledelse. Jeg er flere gange stødt på undervisere, der udtrykker modstand mod det, de betragter som brug af evaluering som en form for illegitim ledelseskontrol. Jeg har også fået talrige eksempler på, hvordan undervisere ofte vil undgå at blive evalueret og melde tilbage til deres ledere, hvis de pludselig står over for væsentlige problemer i klassen. Disse kan f.eks. skyldes et særligt vanskeligt hold eller underviserens egne personlige problemer f.eks. med skilsmisse, alkohol og lignende. Men disse eksempler viser også, at tilfredshedsmålingerne er vigtige, fordi de bringer problemstillinger frem i lyset for ledelserne, som alternativt kan få lov til at udvikle sig meget længe til skade for de studerende, underviseren og institutionen som helhed. Problemet er, at de problemstillinger, som evalueringerne kan pege på, kan være vanskelige og tabuiserende både i forhold til ledelserne, som skal tage autoritet og måske tage upopulære beslutninger, men også for underviserne, som er meget sårbare i denne situation.

22 Side 21 Den derved opståede angst aktiverer en række defensive manøvrer og psykiske forsvarsmekanismer. Jeg har særligt iagttaget følgende: a. Der tales om læring på en måde, som viser, at autoritet tabuiseres. Et eksempel herpå er udsagnet: Hos os er evaluering læring og ikke kontrol, som jeg hørte udtrykt af en leder, da han søgte opbakning til skolens evalueringssystem på et møde med sine undervisere. På overfladen udtrykkes, at man skal lære og ikke kontrollere hinanden, hvilket umiddelbart kan forekomme tiltalende. Det er derfor en diskurs, som jeg tolker som et mikro-politisk forsøg på at få opbakning blandt et stærkt decentralt lærerkollegium, som stiller sig kritisk over for evaluering. Spørgsmålet er imidlertid, om det ikke også derved fornægtes, at ledelsen både har en ret, men også en pligt til at gribe ind over for uhensigtsmæssige forhold, hvis de kommer frem i en evaluering? Derved kan man risikere, at konsekvensen bliver, at det i sidste ende bliver mere illegitimt at bruge evalueringer til at udøve ledelse og rette op på vanskeligheder i undervisningen. b. Værdsættelse af en blid ledelsesstil viser, at der ikke er nogen til at tage ansvar for evalueringsprocessen. Den grundlæggende problemstilling svarer til punkt a. og kan illustreres ved følgende udsagn fra en koordinator, som siger, at hun har fået at vide af sin ledelse, at hun i evalueringssammenhæng er social samler og socialt knudepunkt, så at hendes team har det hyggeligt og godt, ikke!. Koordinatoren har her i sin egen selvforståelse reduceret sig selv til at være hyggetante frem for ansvarlig leder, hvilket også implicerer, at hun ikke oplever at have fået delegeret autoritet til at udøve ledelse. Det var heller ikke mit indtryk, at hun ønskede et sådant ansvar, idet dette da ville implicere, at hun skulle påtage sig en mere vanskelig ledelsesrolle frem for blot at være kollega. Problemet bliver da, hvis der i det daglige ikke er nogen til at udøve ledelse bortset fra en topledelse, som er langt væk. c. Undertrykt dialog om evalueringsresultater viser autoritær ledelse. I flere tilfælde har jeg fået fortalt, hvordan underviserne oplever, at resultater af studentertilfredshedsmålinger alene sendes til ledelsen, men at der ikke finder dialog sted om baggrunden for de opnåede resultater. Dette bekræftes, når man får fortalt, hvordan ledelserne ofte modtager evalueringsresultater, uden at underviserne høres. En underviser udtrykte det problematiske heri ved at fortælle, hvordan han havde oplevet, at en kompetent kollega på et tidspunkt havde fået en dårlig evaluering, som ledelsen ikke havde sat sig ind i baggrunden for. Alligevel havde ledelsen dømt den pågældende som inkompetent, indtil vedkommende senere fratrådte sin stilling. Selvom man altid kan stille spørgsmålstegn ved historien, som den er fortalt, udtrykker den en oplevelse hos en underviser, som viser frygten for at blive

23 Side 22 uretfærdigt vurderet på basis af en evaluering uden mulighed for at få dialog og sparring med ledelsen om årsagen og pålideligheden af resultaterne, og hvor han selv står. En sådan anvendelsesform er særlig uheldig, når man betænker, som jeg flere gange har nævnt, at et evalueringsresultat aldrig kan blive en objektiv måling alene af underviserens indsats. På den anden side kan ledere, som er underlagt tidspres og/eller er konfliktsky, opleve deres ledelsesopgave som mere enkel ved at tage evalueringsresultater som en entydig og enkel vurdering af undervisernes værdi uden nærmere refleksion. Der er tale om en falsk enkelhed, som ikke tager hensyn til kompleksiteten i underviserens opgaveløsning og til vedkommendes legitime behov for at blive hørt, når han eller hendes undervisning vurderes. d. Ritualistiske og glemte evalueringer viser manglende fokus på evalueringsopgaven. Flere undervisere fortalte, at de opfattede de omfattende evalueringsaktiviteter som unødvendige, bureaukratiske og uden mål og mening. På en skole, hvor jeg særligt oplevede dette, havde de interviewede meget svært ved at redegøre for baggrund og formål med skolens evalueringssystemer, og som en underviser udtrykte det, blev der evalueret alligevel for at undgå diskussion. I dette tilfælde kan man se de overdrevne handlinger og ritualer som et psykisk forsvar mod at stoppe op og reflektere over de reelle bagvedliggende problemstillinger og få løst disse. Endelig har jeg også fået beskrivelser af, hvordan man på en skole med omfattende evalueringssystemer alligevel glemte at evaluere, da der opstod særlige problemer i en klasse. Dvs., når evaluering og handling netop er påkrævet, formår man at fortrænge dette, fordi de bagvedliggende problemstillinger er for vanskelige eller smertefulde at tage op. Men fordi evalueringer er blevet et ritual, hvor årsagerne til evalueringerne er uvisse, kan man argumentere for, at det derved også bliver mere legitimt at springe en evaluering over, hvis denne forekommer ubehagelig. Det skal især bemærkes, at symptomerne nævnt i pkt. a., b., c. og d. kan være til stede parallelt og understøtte hinanden, f.eks. ved at ledelsen først benægter, at evalueringerne skal bruges til kontrol, men alligevel til sidst er tvunget til at handle, når uhensigtsmæssige forhold bliver offentlige, hvorefter evalueringerne på grund af det pres, som opstår, kan risikere at blive anvendt på en både uinformeret og uoplyst måde. Dette svarer præcis til nogle af de evalueringsfortællinger, som jeg har fået fortalt. I dette tilfælde kan regressionen blive omfattende: Dvs., at underviserne oplever, at de som mennesker får tildelt en kold numerisk værdi for deres bidrag til organisationen, at kompleksiteten i undervisningsydelsen fornægtes og at der ikke er dialog. Resultatet bliver, at underviserne oplever, at der foretages uretfærdige ledelsesovergreb på deres faglige og personlige indsats. Hvis dette opstår, bliver en negativ evalueringsspiral forståelig. Endelig er det værd at under-

24 Side 23 strege, at manglende udøvelse af en hensigtsmæssig autoritet (som det forstås i en psykodynamisk referenceramme) kan ses som årsagen til, at ovennævnte autoritære brug af evaluering opstår. Hvis der ikke er defineret et ansvar for at følge op på undervisningen i undervisningsteamene eller via en mellemleder/koordinator, og ansvaret i stedet forskydes op i organisationen, som beskrevet i pkt. b, betyder ledelsesdistancen i sig selv, at det bliver vanskeligt at udøve en nuanceret og fair ledelse under kendskab til de faktiske forhold. 4. Politisk opportune benchmark-undersøgelser (opgave 4) Brug af evaluering som benchmark-undersøgelse adskiller sig ved, at man her kan bruge studentertilfredshedsmålinger til at vurdere tilfredsheden med et samlet undervisningsforløb, hvorved de studentertilfredshedsmålinger, som fremkommer, ikke kan relateres til en enkelt undervisers indsats. I stedet er en lang række aktører involveret i planlægningen og gennemførelsen af det samlede undervisningsforløb, som tilfredshedsmålingen vedrører. Jeg har flere gange oplevet, at benchmark-undersøgelserne omtales som mere mobiliserende end fag-evalueringerne, måske netop fordi de enkelte undervisere er i mindre risiko for at blive hængt ud eller eksponeret via denne evalueringsform. Derfor er det måske lettere at acceptere disse typer undersøgelser. På den anden side blev det udtrykt i andre interviews, at resultaterne fra disse undersøgelser har stor bevågenhed i organisationen, og at de, fordi resultaterne er meget generelle, åbner et stort projektivt rum for fortolkning, som i visse tilfælde kan misbruges politisk i organisationen. C. Er evalueringer da mere skadelige end gavnlige? Og hvordan styrkes den meningsfulde evalueringsanvendelse? Med ovennævnte eksempler på alle de frustrationer og vanskeligheder, som brugen af målingerne fører med sig, fristes man til at spørge: Er evalueringer mere skadelige end gavnlige? Svaret ser ud til at være, at dette ikke afhænger af selve evalueringsteknologien i dette tilfredshedsmålingerne men derimod af den måde disse målinger anvendes eller udfoldes på i institutionerne. Afhandlingens mange eksempler på, at samme teknologi på nogle institutioner betragtes som meget anvendelig og i andre institutioner betragtes som direkte skadelig for opgaveløsningen og aktørerne, kan illustrere dette. På denne baggrund bliver det også interessant, at opbygge evalueringskapacitet, som gør det muligt at anvende målingerne konstruktivt. Derfor er der i afhandlingen en række for-

25 Side 24 slag til, hvordan anvendelsen af målingerne kan styrkes. Et væsentligt element er, at der skabes en større bevidsthed både om evalueringspotentialer og potentielle problemer, så tilfredshedsmålingerne kan anvendes mere professionelt. Nogle af de emner som man kan tage op, er f.eks.: At brugen og drøftelse af målingerne kan skabe angst, men at det ikke nødvendigvis betyder, at disse skal undgås. At målinger ikke er kontekstfri, og at deres resultater afhænger af en lang række komplekse forhold relateret til forventninger og krav både i forhold til studerendes niveau og forudsætninger, læringsmålsætninger, undervisernes indsats, de rammer, der er til rådighed etc. At der kan være et psykisk pres på en række aktører rundt om underviseren for at placere ansvaret for undervisningen alene på underviseren, og at man skal være opmærksom på, at dette ikke sker. At det kan være skadeligt, hvis personlige evalueringsresultater kritikløst eksponeres på internet og andre steder. Man kan sikre, at institutionens medlemmer føler, at organisationen beskytter dem, så de ikke får psykisk stress af frygt for at de bliver hængt ud offentligt ved lave evalueringsresultater. At ledelserne skal være opmærksomme på at støtte underviserne i en evalueringskontekst, så disse ikke oplever, at evalueringerne underminerer deres autoritet. At målinger alligevel kan ses som vigtige, fordi det er vigtigt at kende tilfredshedsniveauer og tage udgangspunkt i disse til at stimulere tænkning og refleksion på en lang række niveauer i organisationen. At ledelser, som ser evalueringerne, er opmærksomme på ikke at anvende kvantitative evalueringer uden at interessere sig for konteksten og årsagerne til et givet tilfredshedsniveau i en undersøgelse. At det er bedre at gennemføre nogle få evalueringer, som der er tid til at drøfte og følge op på, end det er at gennemføre mange evalueringer, som ikke bruges tilstrækkeligt. At det ofte ikke er tilstrækkeligt blot at tale om evaluering som læring på et meget overordnet niveau. Man må også definere formålene konkret. At det også er vigtigt, at det er defineret, hvem der følger op på resultaterne udover underviseren selv, og hvordan denne proces er tilrettelagt.