Bilag 2. Data til evaluering af strukturfondsindsatsen

Transkript

1 Bilag 2 Data til evaluering af strukturfondsindsatsen Indledning Siden 1. januar 2007 har de seks regionale vækstfora igangsat et stort antal projekter, som sigter på at styrke de regionale vækstvilkår. Nærværende notat beskriver de metoder og data, der er til rådighed for at effektmåle de regionale projekter, som er medfinansieret af strukturfondene. Hovedparten af strukturfondsprojekterne sigter på at styrke grundlaget for langsigtet vækst fx ved at styrke innovationssamspillet mellem videninstitutioner og erhvervsliv eller ved at tilskynde flere unge til at gennemføre en uddannelse. Der kan gå adskillige år, inden effekten af sådanne projekter viser sig i form af øget vækst og beskæftigelse i en region. Samtidig er det ofte vanskeligt at isolere effekten af et strukturfondsprojekt fra alle de andre faktorer, som også har betydning for den regionale udvikling, herunder den generelle konjunkturudvikling og nationale politiske tiltag. En anden effektmålingsmæssig udfordring er, at strukturfondsprojekters størrelse, indhold, organisering, mål mv. varierer meget selv inden for samme indsatsområde. Det vil derfor kun undtagelsesvist være muligt at effektmåle flere regionale projekter samlet. Strukturfondsprogrammerne indeholder dog nogle standardindikatorer, som alle projekter skal forholde sig til, og som kan aggregeres på tværs af projekter inden for samme fond og indsatsområde. Standardindikatorerne beskrives nærmere i afsnit 2. Effekter baseret på standardindikatorer må betragtes som værende forholdsvis upræcise og usikre. De seneste år har Erhvervsstyrelsen og de regionale vækstforumsekretariater derfor suppleret standardindikatorerne med nogle mere præcise (projektspecifikke) indikatorer og taget fat på at effektvurdere nogle af de større projekter med mere avancerede metoder ( counterfactual impact evaluation ). Afsnit 3 beskriver de projektspecifikke indikatorer, som typisk giver et mere præcist billede af det enkelte projekt, men ikke kan aggregeres på tværs af projekter. De projektspecifikke indikatorer er ligesom standardindikatorerne baseret på oplysninger fra projektejerne. Afsnit 4 beskriver en mere avanceret effektmålingsmetode baseret på Danmarks Statistiks registerdata og anvendelse af referencegrupper, som foreløbig er blevet brugt til at effektmåle et enkelt strukturfondsprojekt. Afsnit 5 beskriver kort de tre eksterne evalueringer, der hidtil er blevet foretaget af strukturfondsindsatsen. Disse tre evalueringer er alle foretaget på programniveau, dvs. programmerne som helhed, ikke enkeltprojekter. 2. Standardindikatorer EU-Kommissionen stillede allerede forud for programperiodens start 1. januar 2007 en række krav til medlemslandene om, at det skulle være muligt at måle effekten af strukturfondsindsatsen. Derfor er der opstillet en række projektrelaterede standardindikatorer i både det danske socialfondsprogram og regionalfondsprogram. Nogle af indikatorerne (de såkaldte core indicators ) er ens på tværs af lande, men de fleste indikatorer er specifikke for den danske indsats. Alle indikatorer i de to programmer er godkendt af EU-Kommissionen. Konkret skal alle projekter ved hjælp af standardindikatorerne oplyse deres forventede effekter (på ansøgningstidspunktet) og faktiske effekter (ved projektafslutning). Standardindikatorerne varierer fra fond til fond og fra indsatsområde til indsatsområde inden for den enkelte fond. Alle standardindikatorer selvevalueres af projekterne og offentliggøres i aggregeret form i årsrapporterne for henholdsvis Socialfonden og Regionalfonden. Generelt må standardindikatorerne vurderes at være en forholdsvis usikker kilde til at belyse effekterne. 1

2 Tabel 1 indeholder nogle få eksempler på, hvad man ved udgangen af 2011 kunne sige om effekterne belyst med standardindikatorerne. Tabel 1. Udvalgte eksempler på effekter opgjort med strukturfondsprogrammernes standardindikatorer. Forventede effekter 1) Realiserede effekter 2) a) Antal virksomheder/institutioner/organisationer, der angiver, at de som følge af regionalfonds- og socialfondsindsatsen er blevet mere innovative (regionalfondsprogrammet og socialfondsprogrammets prioritet 1) b) Antal nye virksomheder som følge af regionalfondsindsatsen (regionalfondsprogrammet) c) Antal personer, der som følge af deres projektdeltagelse har forøget deres kompetenceniveau i forhold til nuværende eller nyt job (socialfondsprogrammets prioritet 1) d) Antal personer, der som følge af deres projektdeltagelse er kommet i beskæftigelse/kommet tættere herpå/har hævet deres kompetenceniveau (socialfondsprogrammets prioritet 2) ) Baseret på igangsatte projekters angivelse af forventede effekter i ansøgningsskemaet. 2) Baseret på afsluttede projekters angivelse af sluteffekter ved projektets ophør for indikator a og b. Forskellen på forventede og realiserede effekter skyldes bl.a. at mange igangsatte projekter endnu ikke er afsluttede. For indikator c og d baserer de realiserede effekter sig på personer, som er ophørt i projekter, og således for både igangværende og afsluttede projekter. Ud over standardindikatorerne skal alle projekter oplyse, om de har positive/negative effekter på de såkaldt tværgående indsatsområder, dvs. miljø, ligestilling beskæftigelse og yderområder. Projekterne anmodes ikke om at sætte tal på de tværgående effekter. Ud over standardindikatorerne udarbejder alle projekter en slutrapport, som typisk hovedsageligt kvalitativt beskriver hvilke aktiviteter, der er gennemført i projektet, og hvilke resultater der er skabt. 3. Projektspecifikke indikatorer Standardindikatorerne i afsnit 2 har den fordel, at de kan aggregeres på tværs af projekter inden for samme indsatsområde og inden for samme fond, men netop fordi det er standardindikatorer, er de ikke nødvendigvis dækkende, når man skal måle et projekts konkrete aktiviteter, output og effekter. For at få en bedre og mere præcis måling af det enkelte projekts effekter introducerede Erhvervsstyrelsen i januar 2011 et nyt ansøgningsskema. Alle ansøgere skal beskrive projektets effektkæde, dvs. den kausale sammenhæng mellem projektets aktiviteter, output (umiddelbare resultater) samt kort- og langsigtede effekter. Senest ved accept af tilsagn skal projektet opstilles målbare succeskriterier for alle led i effektkæden. Erhvervsstyrelsen og de regionale vækst- 2

3 forumsekretariater følger hvert halve år op på, om succeskriterierne opfyldes eller ej. 1 Succeskriterierne er typisk baseret på projektspecifikke indikatorer, og kan derfor ikke aggregeres på tværs af projekter. 2 Det har styrket projektansøgningerne væsentligt at stille krav om opstilling af effektkæder og projektspecifikke målbare succeskriterier, og de foreløbige erfaringer tyder også på, at de nye krav vil bidrage til bedre målinger af projekternes output og effekter. 4. Registerbaseret overvågning og effektmåling Erhvervsstyrelsen indledte i 2010 et samarbejdsprojekt med Danmarks Statistik om udvikling af statistiske værktøjer til registerbaseret overvågning og effektmåling af strukturfondsindsatsen. I 2011 blev alle seks vækstforumsekretariater koblet på projektet. Alle strukturfondsprojekter indrapporterer hvert halve år til Erhvervsstyrelsen, hvilke virksomheder (CVR-numre) og personer (CPR-numre) projektet mener at have effekt på. Hjørnestenen i samarbejdsprojektet består i at koble disse CVR- og CPR-numre med Danmarks Statistiks registre. Med en virksomheds CVR-nummer kan Danmarks Statistik finde oplysninger om virksomhedens beliggenhed, sektor (privat/offentlig), branche, omsætning, værditilvækst, eksport, beskæftigelse, ejerform mv. 3 Og med et CPR-nummer kan Danmarks Statistik finde oplysninger om personens bopæl og arbejdssted, uddannelse, løn, arbejdsmarkedsstatus (ledig/beskæftiget) mv. Ved at koble de indsamlede CVR- og CPR-numre med Danmarks Statistiks registre kan man således tegne et solidt faktuelt billede af de virksomheder og personer, som deltager i strukturfondsindsatsen. Regionalpolitisk Vækstredegørelse 2011 viser fx, hvordan virksomhederne er fordelt på brancher. Samtidig giver CVR- og CPR-numrene grundlag for at effektmåle strukturfondsprojekter med registerdata. 4 Typisk vil effektmålingen af et projekt ske ved at sammenligne udviklingen i de virksomheder, som deltager i projektet, med en referencegruppe af virksomheder, som ligner deltagervirksomhederne, men ikke har deltaget i projektet ( counterfactual impact evaluation ). På den måde kan man søge at tage højde for udefrakommende forhold, som fx den generelle konjunkturudvikling. Hvis de virksomheder, der deltager i projektet, har en højere vækst end referencegruppen, indikerer dette, at projektet har haft en positiv effekt. I praksis er det umuligt at isolere projektets effekter, men med statistiske metoder kan man ofte få et tilnærmet estimat. Det er bl.a. demonstreret i effektmålingen af strukturfondsprojektet Nordjysk IværksætterNetværk, som med forskellige rådgivningsydelser har øget overlevelsen og væksten i nystartede nordjyske virksomheder betydeligt. 5 Nogle initiativer bør effektmåles på personer og ikke på virksomheder. Det gælder fx projekter, som sigter på at udvide arbejdsstyrken eller få ledige personer i beskæftigelse. Sådanne initiativer vil blive effektmålt ved at indsamle oplysninger om de deltagende personers CPR-numre, koble disse med Danmarks Statistiks data og opstille en relevant referencegruppe, som deltagergruppen kan sammenlignes med. 1 Succeskriterierne for aktiviteter og output skal normalt kunne måles inden for projektperioden, mens succeskriterierne for effekter kan ligge uden for projektperioden. 2 Det er fortsat et krav, at projekterne også skal forholde sig til standardindikatorerne, idet disse som nævnt er aftalt med Kommissionen og er de eneste indikatorer, som kan lægges sammen på tværs af projekter. 3 For virksomheder med flere arbejdssteder kan der være en udfordring med, at visse oplysninger ikke nødvendigvis er opgjort på de arbejdssteder, som har deltaget i projektet. Det afhjælpes (delvist) ved at indsamle de deltagende arbejdssteders adresse. 4 De registerdata, som anvendes til effektmåling af strukturfondsprojekter, er forholdsvis aktuelle. De økonomiske oplysninger vedrørende virksomheders omsætning mv. hentes i Momsstatistikken, som typisk kun er få måneder gammel, og fra Eindkomststatistikken indhentes oplysninger om beskæftigelse og lønninger, som også kun er få måneder gamle. 5 Kilde: 3

4 Det skal for god ordens skyld nævnes, at langt fra alle strukturfondsprojekter kan effektmåles med registerdata fra Danmarks Statistik. For det første er det ikke alle projekter, der meningsfyldt kan måles med data fra Danmarks Statistik. For det andet har en del projekter så få deltagere, at usikkerheden bliver for stor. For det tredje kræver det en del ressourcer at effektmåle projekter med registerdata. Den første konkrete registerbaserede effektmåling baseret på det nyudviklede værktøj hos Danmarks Statistik er udarbejdet i 2012 (det nordjyske socialfondsprojekt Flere virksomheder i vækst ). Der vil blive udarbejdet flere effektvurderinger med værktøjet i fremtiden, men evaluator skal ikke påregne at gøre udstrakt brug af disse effektvurderinger i opgaveløsningen. 5. Programevalueringer Der er siden programstarten i 2007 igangsat tre evalueringer alle på programniveau. Formålet med evalueringerne er at styrke grundlaget for vurdering af kvaliteten af udformningen og effektiviteten af gennemførelsen af programmerne. Alle tre evalueringer er gennemført af eksterne konsulenter. To af evalueringerne er afsluttet, mens den tredje afsluttes i efteråret 2012, jf. nedenfor. 5.1 Temaevaluering 2009 Opdraget for evalueringen var at kortlægge, hvordan den danske model med et meget integreret samspil mellem EU s strukturfonde og den danske regionale vækstpolitik fungerer i praksis med fokus på innovation. Evalueringen pegede på, at selv om udmøntningen af strukturfondsmidlerne var sket parallelt med udrulning af den danske kommunalreform, var det lykkedes at konstruere et velfungerende organisatorisk og strategisk set-up, der indbefattede både behovet for strategisk sammentænkning af det regionale, nationale og EU-niveau og de konkrete regionale og lokale behov for en målrettet udviklingsindsats. Evalueringen havde særlig fokus på vækstkilden Innovation, videndeling og videnopbygning, hvor der var forpligtet flest midler og igangsat flest projekter. Analysen pegede blandt andet på behovet for i højere grad at flytte fokus i projektansøgninger fra output (aktiviteternes umiddelbare resultater) til effekten af indsatsen på længere sigt. 5.2 Strategisk evaluering 2011 Evalueringen blev gennemført midtvejs i gennemførslen af socialfonds- og regionalfondsprogrammet. Formålet med den strategiske evaluering var at undersøge udviklingen i programmerne i forhold til nationale og europæiske strategiske prioriteringer. Desuden skulle undersøges, hvorledes rammebetingelser og den konkrete gennemførsel havde påvirket udrulningen af programmerne. Evalueringen viste overordnet, at programmerne var robuste (havde frihedsgrader nok) i forhold til den socioøkonomiske udvikling, og indsatsområderne fortsat støttede op om aktuelle nationale og europæiske strategier og indsatser for vækst og beskæftigelse. Evalueringen pegede på, at implementeringen af programmerne var kommet godt i gang, og det blev vurderet, at der generelt var gode muligheder for at nå de opstillede mål. Evalueringen viste, at der i den fortsatte indsats med at forbedre effektmåling og indikatorer var behov for at sikre en stærkere kobling mellem de overordnede mål og indikatorer på projektniveau. Implementeringen af indsatsen afspejlede generel høj kvalitet i sagsbehandlingen, og det blev vurderet, at det var vigtigt at fastholde den koordinering, der fandt sted vækstfora imellem og mellem vækstfora og forvaltningsmyndigheden (Erhvervsstyrelsen), da den medvirkede til at sikre en høj kvalitet i programgennemførelsen. 4

5 5.3 Temaevaluering 2012 Denne evaluering er påbegyndt i januar 2012 og ventes afsluttet i efteråret Med udgangspunkt i vækstkilden Udvikling af menneskelige ressourcer under socialfondsprogrammet vil det blive analyseret, hvordan den hidtidige udmøntning af midler har bidraget til bl.a. udvidelse og opkvalificering af arbejdsstyrken. 5