Effekter af evaluering. Effektundersøgelse 2007

Transkript

1 Effekter af evaluering Effektundersøgelse 2007

2 Effekter af evaluering Effektundersøgelse 2007

3 Effekter af evaluering Danmarks Evalueringsinstitut Trykt hos Vester Kopi Eftertryk med kildeangivelse er tilladt Bemærk: EVA sætter komma efter Dansk Sprognævns anbefalinger, dvs. at der som hovedregel ikke sættes komma foran ledsætninger. Bestilles hos: Danmarks Evalueringsinstitut Østbanegade 55, København Ø T F E eva@eva.dk H 0,- kr. inkl. moms

4 Indhold 1 Indledning Formål Effektbegrebet Undersøgelsens genstandsfelt og metode Ubelyste effekter 6 2 Konklusioner Kendskab til evalueringerne Evalueringernes bidrag til refleksion Ændringer som følge af evalueringerne Muligheder for større effekt 10 3 Institutionsundersøgelsen Undersøgelsens formål og målgruppe Metodisk fremgangsmåde Undersøgelsens resultater Bidrag til refleksion Ændringer som følge af evalueringen 13 4 Spredningsundersøgelsen Undersøgelsens formål og målgruppe Metodisk fremgangsmåde Undersøgelsens resultater Kendskab til evalueringerne Evalueringernes bidrag til refleksion Ændringer som følge af evalueringen 18 5 Ejerundersøgelsen Undersøgelsens formål og målgruppe Metodisk fremgangsmåde Undersøgelsens resultater Kendskab til evalueringerne Bidrag til refleksion Ændringer som følge af evalueringerne 23

5 1 Indledning 1.1 Formål EVA gennemførte i 2004 et pilotprojekt som undersøgte de praktiske og metodiske udfordringer ved at vurdere effekten af de evalueringer der sættes i værk som led i de årlige handlingsplaner. På baggrund af erfaringerne fra pilotprojektet udarbejdede EVA et koncept for effektvurdering som bestyrelsen vedtog på sit møde 29. november Konceptet indebærer at EVA indsamler viden om effekten af de gennemførte evalueringer gennem årligt tilbagevendende undersøgelser. Formålet med effektvurderingen er todelt: Undersøgelserne skal gøre det muligt for EVA at belyse og dokumentere effekter af evalueringerne. Undersøgelserne skal give EVA indsigt i hvilke forhold der fremmer og hæmmer den størst mulige effekt af evalueringerne. Effektvurderingen har med andre ord både et dokumenterende og et udviklende sigte som EVA søger at indfri ved at indhente oplysninger om faktiske effekter såvel som forbedringsmuligheder. 1.2 Effektbegrebet EVA har valgt at arbejde ud fra et effektbegreb som betoner de oplevede effekter. Det betyder at undersøgelserne bygger på tilbagemeldinger fra interessenterne om hvilke effekter de enkelte evalueringer har haft. Derfor er de tre delundersøgelser tilsammen designet så de inddrager en bred kreds af de interessenter som evalueringerne sigter mod at give ny viden, udfordre og kræve opfølgning fra. I delundersøgelserne bliver interessenterne spurgt om effekter på tre niveauer: Kendskab til evalueringerne Evalueringernes bidrag til refleksion Ændringer som følge af evalueringerne. 1.3 Undersøgelsens genstandsfelt og metode Evalueringerne fra Handlingsplan 2004 danner udgangspunkt for undersøgelserne. Handlingsplanens videncenterprojekter og projekter gennemført på anmodning som indtægtsdækket virksomhed indgår ikke. EVA gennemførte ti evalueringer som led i Handlingsplan 2004, og følgende specifikke forhold er taget i betragtning i tilrettelæggelsen af effektvurderingen: Evalueringen af kemi blev forsinket som følge af projektets internationale dimension, og rapporten blev først offentliggjort i oktober Evalueringen er derfor ikke medtaget i effektundersøgelsen. Den planlagte evaluering af arbejdet med uddannelsesbøger og -planer i folkeskolen blev erstattet af evalueringen af kommunernes kvalitetssikring af folkeskolen. Evalueringen af engelsk fra grundskole til videregående uddannelse resulterede i to selvstændige rapporter som hver især er medtaget i effektvurderingen. I konceptet indgår tre delundersøgelser som hver for sig og tilsammen indhenter viden om effekter af de enkelte handlingsplansevalueringer: Effekter af evaluering 5

6 En udvidelse af den hidtidige institutionsundersøgelse hvor spørgeskemaet til institutioner der har været involveret i EVA s evalueringer, nu også indeholder spørgsmål om opfølgning og udbytte En spredningsundersøgelse hvor skoler og kommuner der ikke har været involveret i EVA s evalueringer på grundskoleområdet, får tilsendt et skema med spørgsmål om effekterne af evalueringerne hos dem En ejerundersøgelse hvor kommunale skoleejere og programejere i ministerierne deltager i telefoniske eller personlige interview om effekterne af evalueringerne. Tabel 1.1 viser hvordan de enkelte evalueringer er blevet belyst gennem de tre delundersøgelser. Tabel 1.1 Evalueringer belyst i delundersøgelser Institutionsundersøgelsen Spredningsundersøgelsen Ejerundersøgelsen Evalueringer Spørgeskema til institutioner og kommuner Spørgeskema til skoleledere Spørgeskema Telefontil kommuner interview med kommuner Personlige interview med ministerier Læsning i folkeskolen X X X X X Kommunernes kvalitetssikring af folkeskolen X X X X VUC, Avu og enkeltfags-hf X X Forberedende voksenundervisning X X It på de gymnasiale uddannelser X X Kvalitetssikring på erhvervsakademiuddannelserne Evaluering af professionsbacheloruddannelser Studie- og erhvervsvejledning på universiteterne Engelsk i det danske uddannelsessystem X X Videregående engelskuddannelser X X X X X X 1.4 Ubelyste effekter Undersøgelserne forsøger ikke på egen hånd at kortlægge evalueringernes effekter via andre kilder end de adspurgte interessenter. EVA har fx ikke undersøgt om nye lovforslag inden for de evaluerede områder følger op på anbefalinger eller nævner evalueringsrapporter i bemærkningerne, og EVA har heller ikke gennemgået skolers og kommuners hjemmesider for opfølgningsplaner og referater af drøftelser hvor udgangspunktet har været en af evalueringerne fra Handlingsplan Den valgte metode hvor interessenter rapporterer om deres oplevelse af effekten af EVA s evalueringer indebærer naturligvis en risiko for at der er relevante effekter som ikke opsamles og rapporteres. Der kan fx være tale om at en faktisk effekt ikke har været præsent hos informanten, eller at informanten slet ikke har haft kendskab til den faktiske effekt på tidspunktet for interviewet eller udfyldelsen af spørgeskemaet. EVA overvejer hvordan man kan løse denne problemstilling i fremtidige effektvurderinger. Effekter af evaluering 6

7 2 Konklusioner Samlet set peger effektvurderingen på at der generelt er en god effekt af evalueringerne fra Handlingsplan De tre delundersøgelser viser et stort og tilfredsstillende kendskab til evalueringerne blandt interessenterne, og evalueringerne bidrager i vid udstrækning til refleksion på de evaluerede områder. Samtidig dokumenterer undersøgelserne at evalueringerne faktisk fører til ændringer i et tilfredsstillende omfang både på skoler og institutioner og hos beslutningstagere i kommuner og ministerier. Effektvurderingen viser endvidere at der er stor forskel på evalueringerne, og at effekten af enkelte evalueringer ikke har været fuldt tilfredsstillende. Derfor er det vigtigt at EVA forholder sig kritisk til hvilke konkrete omstændigheder der henholdsvis har fremmet og hæmmet en tilfredsstillende effekt af evalueringerne. 2.1 Kendskab til evalueringerne De adspurgte interessenter har generelt et stort og tilfredsstillende kendskab til EVA s evalueringer og efterfølgende rapporter. Dermed er den grundlæggende forudsætning for at evalueringerne faktisk kan få en effekt ud over det konkrete evalueringsforløb, til stede. Kendskabet til EVA s evalueringer begrænser sig ikke til de skoler og institutioner der har været direkte involveret i evalueringsprocessen med selvevaluering, besøg, høring mv. På grundskoleområdet viser spredningsundersøgelsen at evalueringsrapporten om læsning i folkeskolen i vid udstrækning er kendt af skoler som ikke selv tog del i processen. 81 % af skolelederne i folkeskolen kender således evalueringen af læsning i høj grad eller nogen grad, og 35 % siger at de har læst hele eller det meste af rapporten. 82 % af skolelederne i folkeskolen siger at de har læst det hæfte der blev udgivet i forbindelse med evalueringen, og som opsummerede de væsentligste resultater fra undersøgelsen. Hæftet har altså haft en vigtig betydning for spredningen af kendskabet til evalueringen. Det samme kan siges om omtale i medierne. 72 % af skolelederne i folkeskolen kan således huske at have læst eller hørt om evalueringen af læsning gennem nyhedsmedierne eller fagpressen. Evalueringen af læsning er ikke kun kendt blandt skolelederne i folkeskolen, men også blandt lederne i de frie grundskoler dog i noget mindre grad. 61 % af lederne i de frie grundskoler kender evalueringen af læsning i høj grad eller nogen grad, og 18 % af dem har læst hele eller det meste af rapporten. 69 % har læst hæftet med de væsentligste konklusioner fra evalueringen. Selvom kendskabet er mindre, er det alligevel en positiv overraskelse at evalueringen når ud til så stor en andel af skolelederne i de frie grundskoler som ikke er dækket af EVA s aktiviteter. På kommunalt niveau er man også opmærksom på EVA s evalueringer på grundskoleområdet. De kommuner der har haft skoler med eller som selv har deltaget i evalueringerne af læsning i folkeskolen og kommunernes kvalitetssikring af folkeskolen, har alle et stort kendskab til evalueringsrapporterne. Alle de interviewede repræsentanter fra kommunerne har læst de efterfølgende rapporter en enkelt dog kun anbefalingerne. Selvom rapporterne ikke nødvendigvis er generelt læsestof blandt forvaltningernes medarbejdere, er man på politisk niveau også bekendt med rapporterne i mange af de deltagende kommuner. Blandt de kommuner der ikke selv har været direkte eller indirekte involveret i evalueringerne, angiver 88 % at de kender evalueringen af kommunernes kvalitetssikring, mens evalueringen af Effekter af evaluering 7

8 læsning i folkeskolen er kendt i 82 % af kommunerne. 66 % af kommunerne uden involvering i evalueringsprocesserne angiver at have læst hele eller det meste af rapporten om kvalitetssikring, og 47 % siger det samme om evalueringsrapporten om læsning i folkeskolen. I den forbindelse skal det fremhæves at rapporten om kommunernes kvalitetssikring af folkeskolen henvender sig direkte til det kommunale niveau. Repræsentanterne fra ministerierne har generelt et stort kendskab til evalueringerne. Denne konklusion fra ejerundersøgelsen er ikke overraskende i og med at EVA er lovmæssigt forpligtet til at sende sine rapporter til ministerierne to uger før offentliggørelse. Herefter igangsætter ministerierne en sagsbehandling for at forberede ministeren før rapporten officielt udkommer. EVA har også aktivt formidlet rapporterne til de interviewede repræsentanter fra ministerierne ved de rutinemæssige overdragelsesmøder i forbindelse med offentliggørelserne. Ministerierne spreder ofte selv kendskabet til rapporterne både internt og eksternt. Evalueringsrapporterne omtales i interne nyhedsbreve, og relevante kolleger læser dem fordi det gør man, og de kan ikke lade være fordi de er fagligt interesserede. Ministerierne skriver ofte pressemeddelelser, og i nogle tilfælde udsendes de samtidig med EVA s pressemeddelelse hvilket formentligt forstærker opmærksomheden omkring rapporten. 2.2 Evalueringernes bidrag til refleksion Undersøgelserne viser at EVA s evalueringer yder et væsentlig bidrag til ny viden og erkendelse. I de fleste tilfælde angiver interessenterne at evalueringsprocesserne og -rapporterne giver anledning til diskussion og refleksion. Overordnet set er effekten på dette niveau derfor tilfredsstillende, men enkelte evalueringer har ikke i fuldt tilfredsstillende omfang bidraget til refleksion. Størstedelen af de institutioner der har deltaget i en evaluering, har udarbejdet en opfølgningsplan i forlængelse af evalueringen. Udarbejdelsen af en opfølgningsplan indikerer at evalueringen har givet anledning til diskussion og refleksion. Det gælder også selvom institutionerne under Undervisningsministeriet er lovmæssigt forpligtet til at udarbejde og offentliggøre planerne. 74 % af disse institutioner har udarbejdet en plan efter seks måneder, og samlet set gælder det for 65 % af de institutioner der har været direkte involveret i evalueringsprocesserne. Især tre evalueringer har efterfølgende ikke afstedkommet opfølgningsplaner fra størstedelen af de involverede institutioner. Det giver anledning til overvejelse hvorfor kun tre ud af syv institutioner fra evalueringen af forberedende voksenundervisning og to ud af fem institutioner fra evalueringen af it på de gymnasiale uddannelser har udarbejdet opfølgningsplaner. Ingen af de fire universiteter der var direkte involveret i evalueringen af de videregående engelskuddannelser, har udarbejdet en opfølgningsplan seks måneder efter at evalueringsrapporten er blevet offentliggjort. Spredningsundersøgelsen viser at rapporten om læsning har bidraget til refleksion på skoler der ikke selv deltog i evalueringen. Blandt skolelederne vurderer 64 % af lederne i folkeskolen og 47 % i de frie grundskoler at evalueringen i høj grad eller nogen grad har givet dem ny viden om hvordan læseundervisningen kan styrkes. Evalueringen har også givet anledning til drøftelser på 57 % af folkeskolerne og 35 % af de frie grundskoler. De kommuner der har haft skoler med, eller som selv har deltaget, rapporterer enstemmigt at evalueringerne på grundskoleområdet har bidraget til debatten om både læseindsats og kvalitetssikring. Rapporten om læsning indeholdt viden der har været brugbar, været til stor hjælp for kommunerne og ført til refleksion over læsningens position i undervisningen og opmærksomhed på læsning som et fælles ansvar for alle lærere. Nogle kommuner fortæller at påpegningen af en utilstrækkelig indsats har været en ubehagelig overraskelse, som dog har resulteret i en positiv udvikling. Tilsvarende har rapporten om kommunernes kvalitetssikring af folkeskolen affødt politiske debatter. Man har holdt møder på baggrund af rapportens konklusioner, og rapporten har bidraget med vigtig dokumentation til debatterne. Processen beskrives af de kommunale repræsentanter som både spændende og skræmmende og endda som smertefuld på grund af den selverkendelse som den har forårsaget. Effekter af evaluering 8

9 Evalueringerne har også ført til refleksion i kommuner der ikke selv tog del i evalueringsprocesserne. Spredningsundersøgelsen viser at 79 % af de kommuner der ikke har deltaget i evalueringerne, vurderer at de i høj grad eller nogen grad har fået ny viden om hvordan man kan kvalitetssikre folkeskolen. Tilsvarende vurderer 59 % at evalueringen af læsning i folkeskolen i høj grad eller nogen grad har givet dem ny viden om hvordan læseundervisningen kan styrkes. Når det gælder diskussion og debat, angiver 74 % af de ikke-deltagende kommuner at evalueringen af kommunernes kvalitetssikring har givet anledning til drøftelser, mens det samme er tilfældet for 67 % af kommunerne i forbindelse med evalueringen af læsning. Ministeriernes repræsentanter har generelt en særdeles positiv vurdering af evalueringernes bidrag til ny viden, debat og refleksion. Ejerundersøgelsen konkluderer at EVA s rapporter er en væsentlig baggrundsfaktor for den viden som ministerierne handler ud fra. EVA s rapporter giver viden og større bevidsthed om de områder som ministerierne administrerer. Nogle rapporter vurderes at få direkte indflydelse, og mange af dem danner faglig baggrund for frugtbare diskussioner i ministerierne. Videnskabsministeriet benyttede fx rapporten om studie- og erhvervsvejledning på universiteterne som anledning til at tage emnet op på rektormøder og fik derved gang i en god og udbytterig debat. 2.3 Ændringer som følge af evalueringerne Samlet set har evalueringerne fra Handlingsplan 2004 i et tilfredsstillende omfang ført til ændringer og udvikling af undervisning og uddannelse i Danmark. Vurderingen omfatter både institutioner som har og ikke har deltaget i evalueringsprocesserne, og skole- og programejere i kommuner og ministerier. Dog er der fortsat enkelte af de gennemførte evalueringer som ikke har haft tilfredsstillende effekt på dette niveau. 68 % af de institutioner der deltog, vurderer at evalueringerne ud fra en samlet betragtning i meget høj grad eller høj grad har bidraget til at sætte interne udviklingsprocesser i gang. Vurderingerne varierer dog meget fra evaluering til evaluering. Samtlige deltagende institutioner har en positiv vurdering af evalueringernes bidrag til udvikling af læsning i folkeskolen, VUC, kommunernes kvalitetssikring af folkeskolen og studie- og erhvervsvejledning på universiteterne. Samtidig vurderer ingen af de deltagende institutioner at evalueringen af de videregående engelskuddannelser har bidraget til at igangsætte interne udviklingsprocesser. 64 % af de evaluerede institutioner der har udarbejdet en opfølgningsplan, vurderer at planen i meget høj grad eller høj grad har udmøntet sig i konkrete initiativer på det tidspunkt hvor institutionerne besvarer spørgeskemaet fra institutionsundersøgelsen. Kommuner der var involveret i de to evalueringer på grundskoleområdet, har i vid udstrækning fulgt op på de anbefalinger som henvender sig til det kommunale niveau. I evalueringen af læsning er det bl.a. anbefalingerne om at udarbejde en samlet strategi og at tilknytte ressourcepersoner, mens en anbefaling om vidensforum på ledelsesniveau er taget til efterretning af alle, men ikke nødvendigvis implementeret. I evalueringen af kvalitetssikring har alle de involverede kommuner udarbejdet samlede strategier for kvalitetssikring og -udvikling som anbefalet. Andre af rapportens anbefalinger fx om strategi for opfølgning på nationale initiativer og præcisering af skolelederens opgaver har man ikke i samme grad fulgt op på fordi anbefalingerne er blevet opfattet som implicitte i lovgivningen, det kommunale system og skolelederens rolle. Evalueringerne på grundskoleområdet har også ført til udvikling på de skoler som ikke selv deltog i evalueringsprocessen. Ifølge spredningsundersøgelsen vurderer 51 % af skolelederne i folkeskolen og 27 % af skolelederne i de frie grundskoler at evalueringen af læsning i høj grad eller nogen grad har haft indflydelse på udviklingen af læseundervisningen på deres skole. Undersøgelsen viser også at der for folkeskolernes vedkommende ikke er nogen generel sammenhæng mellem skolens størrelse og kendskab til og brug af evalueringen. Blandt frie grundskoler er der derimod en svag sammenhæng mellem skolestørrelse og i hvilken grad at skolerne vurderer at evalueringen af læsning har bidraget med ny viden, dannet udgangspunkt for drøftelser og bidraget Effekter af evaluering 9

10 til udvikling. Større skoler er mere tilbøjelige til at mene at evalueringen har bidraget med de nævnte ting. Når det gælder kommuner der ikke direkte eller via deres folkeskoler var involveret i evalueringerne, vurderer 70 % at evalueringen af kommunernes kvalitetssikring i høj grad eller nogen grad har haft indflydelse på udviklingen af deres kvalitetssikring af folkeskolen. Det høje procenttal afspejler formentligt at evalueringsrapporten henvendte sig direkte til det kommunale niveau. Men også evalueringen af læsning har haft stor betydning uden for de direkte berørte kommuner. 67 % af de ikke-deltagende kommuner vurderer at evalueringen har haft indflydelse på udviklingen af læseundervisningen hos dem. Spredningsundersøgelsen viser at de ikke-deltagende skoler og kommuner i vid udstrækning tager de relevante anbefalinger fra evalueringsrapporterne til sig og følger op på dem. Dette resultat er overraskende fordi pilotprojektet fra 2004 viste at EVA s evalueringer nok medførte udvikling på et overordnet plan, men at effekterne var mindre når man undersøgte opfølgningen på de enkelte anbefalinger. Det ændrede billede hænger sammen med at den nye spredningsundersøgelse giver informanterne mulighed for at angive om deres manglende opfølgning på anbefalingerne skyldes at de allerede havde implementeret tilsvarende initiativer da evalueringsrapporten blev offentliggjort. Det er angiveligt tilfældet for en del skoler og kommuner ikke mindst i forhold til evalueringen af læsning i folkeskolen. Det fremgår af ejerundersøgelsen at ministerierne altid modtager evalueringerne, vurderer de enkelte anbefalinger i EVA s rapporter og dernæst tager stilling til om der skal følges op på dem. Der er dog forskel på i hvilken grad anbefalingerne i evalueringerne fra Handlingsplan 2004 har ført til handling og ændringer. Nogle rapporter og anbefalinger er blevet dagsordensættende og har fået afgørende betydning for ministeriernes planer og aktiviteter. Evalueringen af VUC ændrede fx den måde hvorpå man i Undervisningsministeriet betragtede tilbuddet om almen voksenundervisning, og rapportens betydning for udviklingen på området betegnes som epokegørende. Andre anbefalinger ligger i forlængelse af den aktuelle politik på området, og de opleves som meget operationelle for beslutningstagerne. Det gælder fx anbefalinger fra evalueringen af læsning. Anbefalingerne i nogle rapporter vækker af forskellige årsager ikke samme genklang og bliver derfor ikke nødvendigvis taget op eller fulgt. Eksempelvis skabte en anbefaling om at opstille nationale minimumskrav i rapporten om it på de gymnasiale uddannelser en lang debat i Undervisningsministeriet, men man valgte i sidste ende ikke at følge anbefalingen og brugte den derfor ikke i det videre arbejde på området. 2.4 Muligheder for større effekt Flere informanter har peget på forhold som er afgørende for om EVA s evalueringer får nogen effekt. I det følgende diskuteres fem kritiske faktorer som enten er blevet nævnt i spørgeskemaernes fritekstfelter og i interviewene, eller som kan læses ud af undersøgelsernes resultater. Diskussionerne leder frem til overvejelser om hvilke muligheder EVA selv har for at fremme effekten af sine evalueringer. 1. Metodisk soliditet Kvaliteten af EVA s evalueringer betegnes som en grundlæggende forudsætning for at modtagerne opfatter evalueringerne som troværdige og et godt grundlag for handling. Derfor er det vigtigt at EVA også fremover sørger for at dokumentationen har metodisk soliditet, og at EVA s konsulenter sikrer at der er en tydelig sammenhæng mellem dokumentation og anbefalinger når konsulenterne og eksperterne i samarbejde udformer den endelige rapport. 2. Effektiv formidling Hver enkelt evaluering har en bred målgruppe der som regel omfatter både undervisere, ledere, embedsmænd og politikere. Mange modtagere kender til evalueringernes centrale budskaber fra EVA s små hæfter og fra omtale i medier og fagblade. Især på skoleområderne skal EVA fortsat sørge for at skabe mere lettilgængelige materialer end selve evalueringsrapporten som kilde til information. Formidlingen til de frie grundskoler udgør en selvstændig udfordring i denne sammenhæng. EVA kunne også i højere grad end i dag sørge for at skabe materialer der understøtter Effekter af evaluering 10

11 den interne kommunikation og refleksion på institutioner og i embedsværket med målrettede produkter, fx politikervenlige resumeer, PowerPoint-præsentationer til debatseminarer mv. 3. Operationelle anbefalinger Klare anbefalinger med tydelig angivelse af modtager er et vigtigt element i bestræbelserne på at gennemføre effektfulde evalueringer. EVA kan stadig gøre mere for at anbefalingerne bliver operationelle i antal og formulering, og at det fremstår klart hvem budskabet er rettet mod, og dermed hvem der forventes at følge op på anbefalingen. Sidstnævnte kan i særlig grad være en udfordring i evalueringer der handler om sammenhænge og overgange i uddannelsessystemet hvor opfølgningsforpligtelsen er delt mellem flere grupper og myndigheder. Her skal EVA sikre at rapporterne faktisk lander på og ikke mellem flere stole. I undersøgelsen er også nævnt at anbefalinger der ligger i forlængelse af den førte politik på området, har større sandsynlighed for at blive gennemført. Bestræbelserne på at lave effektfulde evalueringer bør dog ikke få EVA til at skele til aktuelle strømninger på bekostning af dokumentationen. 4. God timing Evalueringer hvor rapporten offentliggøres på et tidspunkt hvor konklusioner og anbefalinger kan understøtte det lovforberedende arbejde, har god mulighed for at påvirke den endelige lovgivning. Derfor er det vigtigt at EVA og ministerierne i fællesskab gør deres yderste for at sikre at planen for evalueringerne stemmer overens med rytmen i lovgivningsarbejdet. God timing er ikke kun vigtig i forhold til lovgivningen, men også når det gælder om at kunne levere nye og dokumenterede input til den aktuelle uddannelsesdebat. I begge tilfælde kan det være en udfordring at der er et langt tidsspænd ofte halvandet år fra det tidspunkt hvor EVA beslutter at skrive en evaluering ind i handlingsplanen, til det tidspunkt hvor rapporten foreligger. 5. Opfølgning Ifølge loven har EVA ikke en selvstændig rolle i opfølgningen på evalueringsrapporterne. I modsætning til evalueringsorganisationerne i mange andre lande gør EVA derfor ikke en særlig indsats for at sikre at uddannelsesinstitutionerne og andre parter forholder sig til evalueringernes konklusioner og anbefalinger. Flere informanter har peget på at det ville forstærke motivationen og effekten af evalueringerne hvis EVA efter et stykke tid kunne vende tilbage til institutionerne og drøfte med dem hvordan de har anvendt evalueringen, og hvad der konkret er kommet ud af institutionernes arbejde. Effekter af evaluering 11

12 3 Institutionsundersøgelsen Institutionsundersøgelsen er gennemført løbende fra august 2005 til juni 2006 af EVA s metodeenhed og rapporteret i oktober Undersøgelsens formål og målgruppe Formålet med undersøgelsen er at spørge de institutioner/skoler der har deltaget i EVA s evalueringer, om hvordan de har oplevet evalueringsprocessen, og hvad der er kommet ud af processen. Det er udelukkende sidstnævnte perspektiv som er relevant for effektundersøgelsen. Målgruppen er i praksis de institutioner og skoler som gennemførte selvevalueringer som led i en af de evalueringer der indgik i EVA s Handlingsplan Samlet set var der 84 institutioner/skoler i målgruppen. Mht. evalueringen af kommunernes kvalitetssikring af folkeskolen er skemaerne her besvaret af de kommuner der gennemførte selvevalueringer som led i evalueringen. 3.2 Metodisk fremgangsmåde I undersøgelsen blev der anvendt et papirbaseret spørgeskema som blev sendt ud til de relevante institutioner. Med institutionsundersøgelsen af Handlingsplan 2004 bliver skoler og institutioner for første gang spurgt om de har fulgt op på evalueringerne, og om de har oplevet at evalueringen har bidraget til udvikling på området. Skemaerne blev sendt ud seks måneder efter rapporternes offentliggørelse. 69 af de 84 skoler/institutioner har besvaret spørgeskemaerne, og det giver en tilfredsstillende svarprocent på 87. Institutioner som deltog i Akkreditering af professionsbacheloruddannelser, har modtaget en tilpasset version af spørgeskemaet der bl.a. tager højde for at akkrediteringerne har en anderledes opfølgningsprocedure end evalueringerne. Samlet set giver institutionsundersøgelsen ikke input til effektundersøgelsen af de akkrediteringer der blev gennemført som led i Handlingsplan 2004, men vil gøre det med et revideret spørgeskema for Handlingsplan Undersøgelsens resultater Institutionsundersøgelsen belyser ikke institutionernes kendskab til evalueringerne og evalueringsrapporterne da det tages for givet at institutionerne med deres deltagelse i evalueringsprocessen og høringsfasen har et indgående kendskab til hele forløbet. Nedenfor behandles undersøgelsens resultater derfor kun med henblik på at undersøge om evalueringerne har bidraget til refleksion, og om der er sket ændringer som følge af evalueringerne Bidrag til refleksion I undersøgelsen bliver institutionerne spurgt om de har udarbejdet en opfølgningsplan i forlængelse af evalueringen. Hvis institutionerne har udarbejdet en opfølgningsplan, indikerer det at institutionerne har reflekteret over evalueringens anbefalinger og konklusioner, men det indikerer ikke nødvendigvis at institutionerne også har ført planlagte opfølgningstiltag ud i livet og gennemført ændringer. Undersøgelsen viser at 65 % af de evaluerede institutioner efter seks måneder har udarbejdet en opfølgningsplan i forlængelse af evalueringen. Institutioner under Undervisningsministeriet er lovmæssigt forpligtet til at udarbejde og offentliggøre opfølgningsplaner, mens den samme for- Effekter af evaluering 12

13 pligtelse ikke gælder universiteterne under Videnskabsministeriet. Hvis man frasorterer de involverede universiteter i evalueringsrapporterne Studie- og erhvervsvejledning på universiteterne og Videregående engelskuddannelser, så viser undersøgelsen at 74 % af institutionerne under Undervisningsministeriet har udarbejdet en opfølgningsplan på det tidspunkt hvor de besvarer spørgeskemaet (se en fordeling på de enkelte evalueringer i tabel 3.1). Den store forskel på de to evalueringer på universitetsområdet kan skyldes at Videnskabsministeriet bad universiteterne om at følge op på evalueringen af studie- og erhvervsvejledning efter at rapporten blev offentliggjort. Tabel 3.1 Andel institutioner der har udarbejdet en opfølgningsplan i forlængelse af evalueringen fordelt på evalueringer Evaluering Svarfordeling Læsning i folkeskolen 100 % (5/5) Kommunernes kvalitetssikring af folkeskolen 83 % (5/6) Evaluering af VUC 100 % (5/5) Forberedende voksenundervisning 43 % (3/7) It på de gymnasiale uddannelser 40 % (2/5) Kvalitetssikring på erhvervsakademiuddannelserne 75 % (3/4) Studie- og erhvervsvejledning på universiteterne 75 % (3/4) Videregående engelskuddannelser 0 % (0/4) 72 % af institutionerne med en udarbejdet opfølgningsplan har gjort den offentligt tilgængelig. Hvis man igen ser bort fra universiteterne, så gælder det 82 % af institutionerne under Undervisningsministeriet. EVA har ikke opstillet mål for hvor mange institutioner der skal udarbejde og offentliggøre opfølgningsplaner, da der er tale om lovregulerede forhold. Det er dog klart utilfredsstillende at to af evalueringerne under Undervisningsministeriet kun har resulteret i opfølgningsplaner på under halvdelen af de involverede institutioner der har besvaret spørgeskemaet. Evalueringen af forberedende voksenundervisning inddrog tre private udbydere som ikke er omfattet af opfølgningsforpligtelsen, og det kan muligvis forklare det lave antal Ændringer som følge af evalueringen Institutionsundersøgelsen belyser evalueringernes effekt i form af ændringer på to måder. Dels bliver institutionerne spurgt om deltagelsen i en evaluering som sådan har bidraget til at igangsætte udviklingsprocesser, dels bliver de spurgt om de udarbejdede opfølgningsplaner har udmøntet sig i konkrete initiativer. Ud fra en samlet betragtning vurderer 68 % af de institutioner der har deltaget i evalueringer, at evalueringen i meget høj grad eller høj grad har bidraget til at sætte interne udviklingsprocesser i gang. Dette er et tilfredsstillende resultat idet EVA i mål- og resultatkontrakten med Undervisningsministeriet har forpligtet sig til at opnå et fastlagt mål på 60 %. Tabel 3.2 viser hvordan vurderingerne fordeler sig på de enkelte evalueringer. Tabel 3.2 Forventer institutionerne at den samlede evaluering har bidraget til at igangsætte interne udviklingsprocesser? Evaluering Svarfordeling Læsning i folkeskolen 100 % (5/5) Evaluering af VUC 100 % (5/5) Kommunernes kvalitetssikring af folkeskolen 100 % (5/5) Studie- og erhvervsvejledning på universiteterne 100 % (4/4) Forberedende voksenundervisning 57 % (4/7) Effekter af evaluering 13

14 Kvalitetssikring på erhvervsakademiuddannelserne 50 % (2/4) It på de gymnasiale uddannelser 40 % (2/5) Videregående engelskuddannelser 0 % (0/5) Kilde: Institutionsundersøgelsen HP De evaluerede institutioners evaluering af samarbejdet med EVA Institutionerne har også forholdt sig til hvordan de enkelte elementer i evalueringsprocessen har bidraget til udvikling. Se figur 3.1. Figur 3.1 I hvilken grad har de enkelte metodeelementer bidraget til udvikling på institutionerne? EVA har bidragettiludvikling på institutionerne % positive besvarelser Selvevaluering Undersøgelser Institutionsbesøg Evalueringsrapport Den sam lede evaluering Som tidligere nævnt bliver institutionerne også spurgt om den udarbejdede opfølgningsplan bliver ført ud i livet. 64 % af de evaluerende institutioner der har udarbejdet en opfølgningsplan, svarer at opfølgningsplanen i meget høj grad eller høj grad har udmøntet sig i konkrete initiativer på institutionen. Se tabel 3.3. Tabel 3.3 Opfølgningsplanens grad af udmøntning i konkrete initiativer fordelt på evalueringer Evaluering Svarfordeling Læsning i folkeskolen 100 % (4/4) Kommunernes kvalitetssikring af folkeskolen 80 % (4/5) Studie- og erhvervsvejledning på universiteterne 67 % (2/3) Kvalitetssikring på erhvervsakademiuddannelserne 67 % (2/3) Evaluering af VUC 60 % (3/5) Forberedende voksenundervisning 33 % (1/3) It på de gymnasiale uddannelser 0 % (0/2) Effekter af evaluering 14

15 4 Spredningsundersøgelsen Spredningsundersøgelsen er gennemført i tidsrummet oktober-december 2006 og rapporteret af EVA s metodeenhed i januar-februar Undersøgelsens formål og målgruppe Det centrale spørgsmål i spredningsundersøgelsen er om EVA s evalueringer i Handlingsplan 2004 også har en effekt på de skoler, uddannelsesinstitutioner og forvaltninger der ikke var involveret i de enkelte evalueringer via selvevaluering og institutionsbesøg. Dermed komplementerer denne undersøgelse institutionsundersøgelsen hvor EVA undersøger effekten på de skoler og uddannelsesinstitutioner der medvirkede i evalueringerne. Da de kommunale forvaltninger både gennemførte selvevalueringer og modtog besøg i evalueringen af kommunernes kvalitetssikring af folkeskolen, er kommunerne medtaget i både institutions- og spredningsundersøgelsen på lige fod med institutionerne. Spredningsundersøgelsen er gennemført skiftevis på grundskoleområdet og ungdomsuddannelsesområdet. For Handlingsplan 2004 s vedkommende har EVA valgt at gennemføre undersøgelsen på grundskoleområdet. Undersøgelsen omfatter derfor følgende to evalueringer: Læsning i folkeskolen indsatsen for at fremme elevernes læsefærdigheder Kommunernes kvalitetssikring af folkeskolen. Der er to målgrupper i undersøgelsen. Den ene målgruppe er kommuner der ikke har deltaget i evalueringen af kommunernes kvalitetssikring eller haft skoler med i evalueringen af læsning i folkeskolen. EVA har valgt at fokusere på det kommunale landskab efter strukturreformen, og undersøgelsen er derfor gennemført blandt de personer der vil være ansvarlige for skoleområdet i de nye kommuner efter 1. januar Den anden målgruppe er skoleledere i folkeskolen og de frie grundskoler der ikke har deltaget i evalueringen af læsning i folkeskolen. Undersøgelsen blandt skoleledere omfatter kun evalueringen af læsning i folkeskolen da evalueringen af kommunernes kvalitetssikring af folkeskolen ikke indeholdt anbefalinger til skoleledere. Evalueringen er derfor ikke direkte relevant for denne gruppe. 4.2 Metodisk fremgangsmåde Undersøgelsen er gennemført som en webbaseret spørgeskemaundersøgelse. Undersøgelsen blandt kommunerne er en totalundersøgelse, mens undersøgelsen blandt skolelederne er en stikprøvebaseret undersøgelse hvor der er udtrukket stratificeret stikprøve på 500 folkeskoler og 300 frie grundskoler. Svarprocenten i undersøgelsen blandt kommunerne er 73 %. Svarprocenten i undersøgelsen blandt skolelederne på folkeskoleområdet er 71 %. Begge svarprocenter er tilfredsstillende. Svarprocenten i undersøgelsen blandt skolelederne i de frie grundskoler er 51 %. Denne svarprocent er lavere end hvad der normalt er acceptabelt i undersøgelser af denne type. En bortfaldsanalyse hvor vi sammenholder karakteristika ved de indkomne besvarelser med karakteristika ved nettostikprøven, viser dog ingen afgørende afvigelser mellem de to, og vi konkluderer derfor at Effekter af evaluering 15

16 resultaterne fra spørgeskemaundersøgelsen kan siges at være repræsentative for populationen af de frie grundskoler. I det følgende ses der kun på signifikante forskelle på svarfordelingerne for henholdsvis folkeskolen og de frie grundskoler. 4.3 Undersøgelsens resultater Kendskab til evalueringerne Undersøgelsen viser at 88 % af kommunerne i høj grad eller nogen grad har kendskab til evalueringen af kommunernes kvalitetssikring af folkeskolen. Samtidig har 82 % af kommunerne svaret at de i høj grad eller nogen grad har kendskab til evalueringen af læsning i folkeskolen. Flere kommuner angiver at de i højere grad har kendskab til evalueringen af kommunernes kvalitetssikring (48 %) end til evalueringen af læsning (33 %). Blandt skolelederne har 81 % af skolelederne på folkeskoleområdet i høj grad eller nogen grad kendskab til EVA s evaluering af læsning. Det tilsvarende tal for de frie grundskoler er 61 %. Figur 4.1. Kendskab til evalueringerne blandt kommuner og skoleledere. Andel svar I høj grad eller i nogen grad. Hardu kendskab tileva's evaluering aflæ sning i folkeskolen? -Frie grundskoler (n=139) Hardu kendskab tileva's evaluering aflæ sning i folkeskolen? -Folkeskoler (n=308) Hardu kendskab tileva's evaluering aflæ sning i folkeskolen? -K om m uner (N=55) Hardu kendskab tileva's evaluering afkom m unernes kvalitetssikring affolkeskolen? - K om m uner(n=58) 0% 20% 40% 60% 80% 100% 66 % af kommunerne har læst hele eller det meste af rapporten om kommunernes kvalitetssikring. Hvad angår evalueringen af læsning i folkeskolen er andelen af kommuner der har læst rapporten, noget mindre. 47 % af kommunerne angiver at de har læst hele eller det meste af rapporten. Andelen af skoleledere der har læst rapporten om læsning i folkeskolen, er mindre end andelen af kommuner. 35 % af skolelederne i folkeskolen og 18 % af skolelederne i de frie grundskoler har læst hele eller det meste af rapporten. En del af skolelederne må i stedet have deres viden fra det hæfte der blev udgivet i forbindelse med evalueringen, og som opsummerede de væsentligste resultater fra undersøgelsen. Dette hæfte er udbredt i højere grad end evalueringsrapporten. 82 % af skolelederne på folkeskoleområdet og 69 % af skolelederne i de frie grundskoler angiver at have læst hele eller det meste af hæftet. Effekter af evaluering 16

17 En anden mulig kilde til skoleledernes viden er medierne. 72 % af skolelederne i folkeskolen og 61 % af skolelederne i de frie grundskoler angiver at læst om evalueringen i pressen, fagblade eller lignende. Kendskabet til EVA s evalueringer er altså mindre blandt de frie grundskoler. Denne tendens gør sig gældende gennem hele undersøgelsen, også når det gælder evalueringernes bidrag til refleksion og ændringer. Da de frie grundskoler ikke er omfattet af EVA s mandat, er det imidlertid forventeligt at effekten af EVA s evalueringer er mindre blandt denne gruppe end blandt folkeskolerne Evalueringernes bidrag til refleksion Ser man på om interessenterne vurderer at evalueringerne har givet dem ny viden, angiver 79 % af kommunerne at evalueringen i høj grad eller nogen grad har givet dem ny viden om kvalitetssikringen af folkeskolen, og 59 % at evalueringen af læsning i folkeskolen i høj grad eller nogen grad har givet dem ny viden om hvordan læseundervisningen kan styrkes. Blandt skolelederne vurderer 64 % af lederne i folkeskolen og 47 % i de frie grundskoler at evalueringen i høj grad eller nogen grad har givet dem ny viden om hvordan læseundervisningen kan styrkes. I undersøgelsen bliver kommunerne og skolelederne spurgt om de to evalueringer har dannet udgangspunkt for drøftelser og dermed refleksion i kommunen eller på skolen. Svarene viser at evalueringen af kommunernes kvalitetssikring i høj grad eller nogen grad har givet anledning til drøftelser i 74 % af kommunerne. Evalueringen af læsning har på tilsvarende vis givet anledning til drøftelser i 67 % af kommunerne. Blandt skolelederne vurderer 57 % af lederne i folkeskolen og 35 % af lederne i de frie grundskoler at evalueringen af læsning i høj grad eller nogen grad har givet anledning til drøftelser på skolen. Figur 4.2. I hvilken grad vurderer du at evalueringen har dannet udgangspunkt for? Andel svar I høj grad eller i nogen grad. drøftelseraf læ seundervisningen på din skole? -Frie grundskoler (n=127) drøftelseraf læ seundervisningen på din skole? -Folkeskoler(n=264) 0% 20% 40% 60% 80% drøftelseraf læ seundervisningen iden eller de kom m uenrdu hararbejdeti siden rapportens o fentliggørelse? -K om m uner (N =52) drøftelserafkvalitetssikringen affolkeskolen iden ellerde kom m unerdu hararbejdeti siden rapportens o fentliggørelse? -K om m uner (N =53) Effekter af evaluering 17

18 4.3.3 Ændringer som følge af evalueringen Derudover undersøger spredningsundersøgelsen om evalueringerne har ført til udvikling ved først at spørge respondenterne om de overordnet set mener at den enkelte evaluering har ført til udvikling i kommunen eller på skolen. Derefter undersøges om evalueringernes anbefalinger er blevet fulgt op lokalt. Til det formål er de tre vigtigste anbefalinger fra hver evaluering blevet omformuleret til spørgsmål for at det kan undersøges i hvilket omfang de er blevet implementeret i den enkelte kommune eller på den enkelte skole. Et resultat af pilotprojektet der blev gennemført i 2004, var at EVA s evalueringer nok medførte udvikling på et overordnet plan, men at effekterne var mindre når man undersøgte opfølgningen på de enkelte anbefalinger. Overordnet set viser undersøgelsen at 70 % af kommunerne vurderer at evalueringen af kommunernes kvalitetssikring i høj grad eller nogen grad har haft indflydelse på udviklingen af kvalitetssikringen af folkeskolen. Hvad angår evalueringen af læsning i folkeskolen vurderer 67 % af kommunerne at evalueringen har haft indflydelse på udviklingen af læseundervisningen. Blandt folkeskolerne og de frie grundskoler vurderer henholdsvis 51 % og 27 % af skolelederne at evalueringen i høj grad eller nogen grad har haft indflydelse på udviklingen af læseundervisningen på deres skole. Blandt kommunerne har en mindre andel implementeret de konkrete anbefalinger fra kommunernes kvalitetssikring sammenlignet med andelen af de kommuner der siger at evalueringen har medført udvikling på et overordnet plan. Fx siger 64 % af kommunerne at de har fulgt anbefalingen om at præcisere skolelederens opgaver i forhold til kvalitetssikring af undervisningsvirksomheden. Men medtager man den andel af kommuner der angiver at anbefalingen allerede var eller i gang med at blive implementeret ved rapportens offentliggørelse, er andelen af kommuner der har arbejdet med anbefalingen, faktisk større for de fleste anbefalingers vedkommende end andelen af kommuner der siger at evalueringen har medført udvikling på et overordnet plan. Figur 4.3. Kommunernes kvalitetssikring. I hvilken grad vurderer du at anbefalingen er blevet fulgt i den eller de kommuner du har arbejdet i siden rapportens offentliggørelse? Ihøjgrad ellerinogen grad A nbefalingen varallerede im plem enteret 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% kom m unen udarbejderen sam letstrategifor kvalitetssikring eller kvalitetsudvikling affolkeskolen (N =54) kom m unen udarbejderen strategiforbehandling og opfølgning på nationale initiativer iskolesektoren (N =52) skolelederens opgaveri forhold tilkvalitetssikring af undervisningsvirksom heden præ ciseres (N=53) Effekter af evaluering 18

19 I opfølgningen på evalueringen af læsning i folkeskolen tegner der sig det samme mønster. Andelen af kommuner der i høj grad eller nogen grad har arbejdet med en konkret anbefaling, er mindre end andelen af kommuner der siger at evalueringen har medført udvikling på et overordnet plan. Medtager man de kommuner hvor anbefalingen allerede var implementeret, er den samlede andel af kommuner hvor anbefalingen er blevet fulgt, faktisk større end andelen af kommuner der angiver at evalueringen af læsning i folkeskolen har medført udvikling på et overordnet plan. En undtagelse er dog anbefalingen om skabe et forum på ledelsesniveau til udveksling af viden om læseindsatsen mellem skole og kommune. Figur 4.4. Læsning i folkeskolen. I hvilken grad vurderer du at anbefalingen er blevet fulgt i den eller de kommuner du har arbejdet i siden rapportens offentliggørelse? Ihøjgrad ellerinogen grad A nbefalingen varallerede im plem enteret 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% atkom m unen udarbejderen strategiforhvordan viden om læ sning kan føre tilen styrket indsats foratfremme elevernes læ sefæ rdigheder(n =51) atderknyttes en ellerflere uddannede ressourcepersonertil atstyrke arbejdetm ed læ seundervisning på kom m unalt niveau og skoleniveau (N =51) atderskabes etforum på ledelsesniveau forudveksling af viden om læ seindsatsen m ellem skolerog kom m une (N=51) Blandt skolelederne er forskellen på andelen af skoler der vurderer at evalueringen af læsning i høj grad eller nogen grad har medført udvikling af læseundervisningen, og andelen af skoler der vurderer at de i høj grad eller nogen grad har fulgt en konkret anbefaling, så lille at den for nogle af anbefalingernes vedkommende ikke er statistisk signifikant. Igen gælder det at hvis man medtager andelen af skoler hvor anbefalingerne allerede var ved at blive implementeret da evalueringen blev gennemført, er andelen af skoler der har arbejdet med en konkret anbefaling, faktisk større end andelen af skoler der angiver at evalueringen har medført udvikling på et overordnet plan. Effekter af evaluering 19

20 Figur 4.5. I hvilken grad vurderer du at anbefalingen er blevet fulgt? Andel svar i høj grad eller i nogen grad. I evalueringen anbefales det 60% 50% 40% 30% Folkeskoler Frie grundskoler 20% 10% 0% atiindfører procedurerforhvordan m an på skolen følgerop på læ seprøver (folkeskolern=263;frie grundskolern=124)...atderpå skolen skal stilles øgede krav til læ rernes løbende evaluering afden enkelte elevs læ sefæ rdighed (f.eks.i form afskriftlighed) (folkeskolern=262,frie grundskolern=125) atskolens ledelse sam m en m ed læ rerne udarbejderen strategi forlæ seundervisningen (folkeskolern=263;frie grundskolern=125) Spredningsundersøgelsen for Handlingsplan 2004 når således til et andet resultat end pilotprojektet når det handler om hvorvidt de enkelte skoler eller kommuner arbejder med de konkrete anbefalinger. Årsagen er sandsynligvis at det i pilotprojektet ikke var muligt for de skoler der allerede havde implementeret eller var i gang med at implementere anbefalingen da evalueringen blev gennemført, at angive dette. Undersøgelsen viser i øvrigt at der for folkeskolernes vedkommende ikke er nogen generel sammenhæng mellem skolens størrelse og kendskab til og brug af evalueringerne. Blandt frie grundskoler er der derimod en svag sammenhæng mellem skolestørrelse og i hvilken grad at skolerne vurderer at evalueringen af læsning har bidraget med ny viden, dannet udgangspunkt for drøftelser og bidraget til udvikling. Større skoler er mere tilbøjelige til at mene at evalueringen har bidraget med de nævnte ting. Effekter af evaluering 20

21 5 Ejerundersøgelsen Ejerundersøgelsen blev gennemført og rapporteret i november og december 2006 for EVA af afdelingschef Terje Vammen og projektmedarbejder Nanna Bruhn Lilhav, begge fra Epinion. 5.1 Undersøgelsens formål og målgruppe Formålet med undersøgelsen er at indhente synspunkter om effekterne af EVA s evalueringer fra repræsentanter fra institutions-, skole- og programejere. Målgruppen har derfor været de myndigheder hvis institutioner/skoler eller uddannelsesprogrammer har været direkte involveret i en eller flere af evalueringerne fra EVA s Handlingsplan I praksis har der været tale om to separate målgrupper: dels repræsentanter fra kommuner med selvevaluerende skoler eller hvor kommunen selv har gennemført en selvevaluering dels repræsentanter fra afdelinger i Undervisningsministeriet og fra Videnskabsministeriet med ansvar for de uddannelses- og undervisningsområder som indgik i evalueringerne. Ministerierne har så vidt muligt været repræsenteret ved den højest placerede person inden for hvert ministerium som har deltaget i de faste møder hvor EVA overdrager den færdige rapport til ministerierne. 5.2 Metodisk fremgangsmåde Epinion har telefonisk kontaktet de relevante repræsentanter fra de kommuner der har været involveret i evalueringerne af henholdsvis læsning og kvalitetssikring i folkeskolen. Der har været truffet aftale om et dybdegående interview foretaget telefonisk med hver repræsentant a cirka en halv times varighed. Forud for interviewet er fremsendt en bekræftelsesmail med information om undersøgelsens baggrund, metode og overordnede temaer. Repræsentanterne fra ministerierne er blevet forhåndsorienteret via en fra EVA og er efterfølgende blevet kontaktet af Epinion med henblik på et dybdegående, personligt interview. Interviewene har typisk varet mellem en og halvanden time. Alle interviewene har taget udgangspunkt i en struktureret spørgeguide udarbejdet i fællesskab af EVA og Epinion. Spørgeguiden omhandler både centrale temaer i en fællesdel og specifikke anbefalinger målrettet hver enkelt interessent med udgangspunkt i de relevante evalueringer. 5.3 Undersøgelsens resultater På baggrund af deltagernes udsagn, vurderinger og bedømmelser konkluderer ejerundersøgelsen at EVA s evalueringer i Handlingsplan 2004 generelt har haft positive effekter inden for de respektive uddannelsesområder. Overordnet set giver samtlige interviewede udtryk for generel anerkendelse af såvel EVA s arbejdsmetoder, arbejdsprocesser, grundighed og kvalitetsbevidsthed som de leverede produkter. Alle 15 interessenter giver udtryk for at EVA er en institution der samlet set har en god eksistensberettigelse og en fornuftig tilgang til sit brede arbejdsområde, og som leverer kvalitetsprodukter med en generelt god, opmærksomhedsskabende og dagsordenssættende værdi. Samlet set udtrykker samtlige interviewede anerkendelse af EVA s evalueringsarbejde. Både de oplevede og de rapporterede effekter af evalueringerne fra Handlingsplan 2004 vurderes som gode og mangeartede for kommunerne og deres deltagere. Her menes direkte effekter på de pågældende kommuners politiske og faglige fokusområder, planlagte indsatser og konkrete aktiviteter inden for emnerne læsning og kvalitetssikring. Effekter af evaluering 21