Programindsats og effektmålinger i den regionale erhvervsudvikling

Transkript

1 Programindsats og effektmålinger i den regionale erhvervsudvikling Debatoplæg Jens Henrik Haahr Martin Eggert Hansen November 2005 Teknologisk Institut

2 Indhold 1. En målrettet og målbar regional udviklingsindsats Effektmålinger logikken bag Indsatsområder for den regionale udviklingsindsats Overordnede programmål Outputs Målinger af resultater og effekter Anbefalinger...16

3 1. En målrettet og målbar regional udviklingsindsats Dette oplæg indeholder en række overvejelser og forslag om hvordan effektmåling af den fremtidige regionale udviklingsindsats kan tilrettelægges bedst muligt. Grundlaget for vores overvejelser og forslag er erfaringerne fra evalueringen af Mål 2 programmet, såvel som erfaringerne fra evalueringen af andre større udviklingsprogrammer, herunder Det Digitale Nordjylland og i en tidligere programperiode evalueringen af Mål 4 og ADAPT. Oplægget retter sig imod de regionale vækstfora, som bliver omdrejningspunktet i fremtidens regionale udviklingsindsats. Vækstforaene skal formulere en regional udviklingsstrategi, og skal prioritere anvendelsen af midler fra EUs strukturfonde i den enkelte region. EUs strukturfonde vil også i den kommende programperiode ( ) støtte forskellige former for udvikling igennem særlige programmer, dvs. et sammenhængende sæt af mål og midler, der sigter imod at løse et afgrænset sæt af samfundsmæssige problemer. Det program, som har størst umiddelbar relevans for de regionale vækstfora, får titlen Konkurrenceevne og Beskæftigelse. Landdistriktsprogrammet, der tilføres væsentlige midler i forbindelse med omstruktureringen af EUs landbrugspolitik, kan også blive relevant for de regionale vækstfora. Selv om hovedemnet er effektmålinger er vores overordnede pointe i dette oplæg, at gode og relevante effektmålinger kræver stort og tidligt forarbejde i tilrettelæggelsen af den samlede indsats. Mulighederne for gode og relevante effektmålinger forbedres, hvis der defineres præcise mål, både for programindsatsen og for outputs og resultater, og hvis der tidligt i indsatsen udvikles relevante indikatorer (dvs. måledimensioner), både i relation til programmål, outputs, resultater og effekter. Med andre ord udgør effektmålingen ét led i en samlet kæde, der starter med opstilling af klare mål. 2. Effektmålinger logikken bag Effektmålinger i forbindelse med udviklingsprogrammer Figur 1 nedenfor viser den samlede kæde af led hvori effektmåling indgår. Som figur 1 viser, forudsætter effektmåling et forarbejde på samtlige de trin, der indgår i en hensigtsmæssig gennemførelse af en programindsats for regional udvikling: 1. Identifikationen af det overordnede problemfelt/indsatsområde og overordnede mål. 2. Formulering af præcise mål for programmet; identifikation af indikatorer, som kan belyse graden af målopfyldelse. 3. Inputs: allokering af ressourcer til programmets forskellige komponenter. 4. Outputs: Igangsættelse af aktiviteter under programmet, registrering af outputs 5. Registreringer af resultater og effekter. 6. Feed-back: Ændringer i programindsatsen som følge af (manglende) effekter på det oprindelige problemfelt/indsatsområde. 3

4 Figur 1. Effektmålinger og programevalueringer Samfundsniveau Programniveau Evalueringsniveau Problemer / Indsatsområder Programmål Feed-back Resultater Inputs (finansiering mv.) Outputs (gennemførte aktiviteter) Effektivitet Effectiveness Nytte Effekter Som figur 1 viser, kan programmets effekter sættes i forhold til forskellige elementer. Når resultater og effekter af indsatsen sættes i forhold til de problemer, som indsatsen sigter imod at løse, får man informationer om den samlede samfundsmæssige nytte af programmet. Når resultater og effekter af indsatsen sættes i forhold til selve programmets målsætninger, får man informationer om programmets effectiveness. Når programmets inputs (de anvendte resurser mv.) sættes i forhold til outputs, de skabte resultater og den opnåede effekt, får man informationer om programmets effektivitet. Gode effektmålinger kræver et forarbejde På den baggrund er det klart, at effektmålinger bliver mere værdifulde, hvis resultaterne af målingerne kan sættes i forhold til noget. Resultaterne af effektmålinger bør kunne sættes overfor klare og relevante mål, og relevante indikatorer, dvs. måledimensioner, bør kunne belyse graden i hvilken forskellige mål er blevet opnået. Der kræves derfor et større forarbejde, hvis værdien af effektmålinger skal maksimeres, og hvis effektmålingerne skal kunne bidrage til en stadig læring mht. den bedst mulige måde at prioritere og gennemføre indsatsen. Forarbejdet omhandler både de overordnede mål for 4

5 programmet og indikatorer for overordnet målopfyldelse, og tiltag der sigter imod at skaffe den bedst mulige information til veje om både inputs, outputs og resultater. I de følgende afsnit vil vi med udgangspunkt i hovedtrinene i figur 1 komme med forslag til forbedringer af effektmålingen af den regionale udviklingsindsats. Vi vil her inddrage erfaringer fra tidligere gennemførte evalueringer af forskellige former for programindsatser. 3. Indsatsområder for den regionale udviklingsindsats Første trin i tilrettelæggelsen af en god programindsats er identifikationen af det overordnede indsatsområde. Det bedste udgangspunkt for en effektiv programgennemførelse og en effektiv opfølgning på programmet i form af effektmålinger mv. er ud fra vores erfaringer: En klar beskrivelse af de regionale problemer, som den regionale udviklingsindsats skal være en reaktion på. Nogle klare og så vidt muligt realistiske politiske mål mht. afhjælpningen af disse problemer. I hvor høj grad skal disse problemer afhjælpes? Indenfor hvilken tidshorisont? Mål 2: SWOT analyse og brede indsatsområder I det eksisterende mål 2 program er indsatsområderne blevet identificeret igennem socioøkonomiske analyser og regionale SWOT-analyser (analyser af styrker, svagheder, muligheder og trusler). På den baggrund er der i de regionale programtillæg blevet peget på en lang række forskellige indsatsområder i det enkelte mål 2 område. 4. Overordnede programmål Andet trin i tilrettelæggelsen af en god programindsats er at definere overordnede mål for indsatsen. På baggrund af analysen af den regionale tilstand og af de overordnede politiske målsætninger om udviklingen af regionen, hvilke mål er det da at strukturfondsindsatsen specifikt skal sigte imod? Mål 2: Mange og brede mål Mål 2 programmet har i denne forbindelse været styret af en række forskellige og noget brede mål, dog under det overordnede, men samtidig meget brede mål om øget udvikling i de støttede områder. De mange og brede mål har den fordel, at der åbnes mulighed for en lang række aktiviteter. Derved mindskes risikoen for, at midlerne ikke bliver anvendt på grund af for lille efterspørgsel. Programmets indhold kommer derfor i høj grad til at blive præget af de indkomne ansøgninger. 5

6 Ulempen er på den anden side, at indsatsen bliver spredt over mange forskellige indsatsområder. Dertil kommer, at mange og brede mål gør det vanskeligt at følge op på, om de fastsatte mål nås, både på overordnet programniveau og på projektniveau. Top-down vs. Bottom Up: Behov for strammere prioritering Det er vores vurdering, at der vil være fordele i en noget skarpere prioritering af strukturfondsindsatsen i den kommende periode. Mål 2 programmet har i høj grad været et bottomup snarere end et top-down program, forstået på den måde at indholdet af programmet i meget høj grad er blevet bestemt af indholdet af de ansøgninger, der er kommet ind. Erfaringerne fra mål 2 programmets gennemførelse peger på, at der er reelle synergieffekter ved mere koncentrerede indsatser. Demonstrationseffekterne vil sandsynligvis også være tydeligt større, hvis indsatsen bliver tematisk mere koncentreret og derved også mere synlig. Endelig vil færre og mere præcise mål gøre det lettere at overvåge og følge op på indsatsen, både på programniveau og på projektniveau. Hvis de forventede effekter udebliver, kan indsatsen derved også mere effektivt tilpasses. En skarpere prioritering af den indsats, som finansieres af EUs strukturfondsmidler, vil således have den fordel, at der skabes muligheder for en tættere kobling mellem det strategiske niveau, det taktiske niveau og projektniveauet i den regionale erhvervsudvikling. Færre og mere præcise mål og en lidt højere grad af topstyring af indsatsen bør dog ikke ændre på det grundlæggende bottom-up princip: At det er ansøgere med lokalkendskab, som udformer forslag til, hvordan der kan gennemføres aktiviteter, der kan medvirke til at nå ét eller flere af de overordnede mål. Ideelt set bør programmets mål efter vores vurdering være så præcise, at det enkelte projekt kan holdes op imod dem: Hvilke eller hvilket af programmets overordnede mål er det, det enkelte projekt ønsker at bidrage til? Der bør udvikles indikatorer ifm. hvert programmål Ligesom det er vigtigt, at målene er klare og entydige, er det vigtigt, at der i tilknytning til det enkelte mål er defineret indikatorer (dvs. måledimensioner), som kan belyse graden af målopfyldelse. Hvis et mål er at øge beskæftigelsen og omsætningen i turisterhvervet med et antal procent, vil de relevante indikatorer f.eks. kunne være antal fuldtidsbeskæftigede i turisterhverv og den samlede omsætning i turisterhvervene i regionen. Hvis et programs mål er brede og flertydige hæmmer dette muligheden for efterfølgende fastlægge hvorvidt programmet har været succesfuldt. Dette blev f.eks. konkluderet i evalueringen af programmet Det Digitale Nordjylland 1, som bl.a. opstillede mål om at realisere Danmarks første netværkssamfund og at afprøve mulighederne i netværkssamfundet. Programmets mål bar præg af en splittelse forståelsen af programmet som (1) et initiativ med fokus på den brede anvendelse og implementering af IT, (2) som et IT F&U-program, der skulle løfte regionen forskningsmæssigt og erhvervspolitisk, eller (3) 1 Evaluering af Det Digitale Nordjylland, gennemført af Teknologisk Institut for Videnskabsministeriet

7 som et initiativ, der i høj grad var tænkt som et eksperimenterende program, hvor det derfor kunne være vanskeligt fra begyndelsen at opstille præcise og operationelle mål. 5. Outputs Output-indikatorer er måledimensioner, der belyser arten og omfanget af den aktivitet, som sættes i gang indenfor rammerne af et program. Output-indikatorer er et vigtigt instrument til at belyse effektiviteten i programmet: Hvor stor en effekt har man opnået pr. outputenhed? Indikatorer for output er desuden vigtig i forbindelse med den løbende overvågning af indsatsen skrider den frem som planlagt? Potentiale i bedre typeinddeling af projekterne På baggrund af vore erfaringer fra evalueringen af mål 2 programmet vurderer vi, at fremtidige output-indikatorer kan forbedres på et vigtigt punkt: Der er behov for en bedre typeinddeling af de projekter, som sættes i gang indenfor rammerne af strukturfondsindsatsen. En god typeinddeling af kan tilgodese både monitering (m) og effektmåling (e) og give programmyndigheder og alle øvrige interessenter svar på følgende spørgsmål: 1. Hvordan fordeler programmets tilsagn sig på forskellige projekttyper? (m) 2. Hvor mange projekter er igangsat opdelt på typer? (m) 3. Hvilke effekter har de forskellige projekttyper? (e) 4. Hvilke projekttyper har de største virkninger/effekter (e) Den eksisterende typeinddeling og projektdatabase for regionalfondsprojekter kan forbedres Den eksisterende projektdatabase på hvor man kan finde samtlige regionalfondsprojekter opdelt geografisk og på typer, er et godt skridt i den rigtige retning. Den nuværende typeinddeling af projekter under mål 2 programmet kan dog forbedres, så der skabes bedre muligheder for sammenholde de igangsatte projekttyper med programmets målsætninger/strategi og de opnåede effekter. Med hensyn til projektdatabasen som overbliksskabende redskab ved effektmåling skelner databasens opdeling blot mellem 4 typer af projekter: offentlige anlægsprojekter, offentlige udviklingsprojekter og private anlægsprojekter hhv. private udviklingsprojekter. Herudover er det muligt at udvælge projekter på emneord. Men disse emneord udgør en meget lang detaljeret liste der i alfabetisk orden - vedrører alt lige fra badeland og campingpladser til væksthuse og zoologiske haver. De mange forskellige emneord udgør en blanding af mål (f.eks. meromsætning og områdeprofilering ) og virkemidler (f.eks. strategiudvikling og rådgivning ). En fremtidig typeinddeling af projekter bør sondre mellem projekters mål og virkemidler. Socialfondens typeinddeling af projekter mere formålsorienteret Socialfonden har tilsvarende en projektdatabase på Sammenlignet med Regionalfonden er projekterne mere typeopdelt efter deres formål, nemlig: 7

8 -Udvikling af Den Aktive Arbejdsmarkedspolitik -Fremme af lige muligheder for at komme ind på arbejdsmarkedet -Kompetenceudvikling -Udvikling af en iværksætter- og innovationskultur Dette er en fordel i forhold til Regionalfondens opdeling. Dog er Socialfondens typeopdeling efter disse 4 prioriteter forholdsvis overordnet, og i relation til effektmåling er der derfor givetvis behov for en yderligere opdeling af mål og virkemidler. Forslag til principper for fremtidig typeinddeling af projekter Vi foreslår, at man i fremtiden, for både regionalfonds- og socialfondsprojekter, etablerer en typeinddeling af projekterne efter følgende principper: 1. Ansøgte projekter typeinddeles efter hvilke(t) mål de ønsker at fremme og med hvilke(t) virkemidler. På baggrund af ansøgernes projektbeskrivelser typeinddeles projekterne efter hvilke(t) mål de ønsker at fremme (f.eks. øget turisme, bosætning, styrkelse af konkurrenceevne m.v.) og med hvilke virkemidler (erhvervsservicecenter, etablering af IT-infrastruktur, jobrotation). Som beskrevet i afsnit 4 skal programmets mål være så klare (evt. opstillet i listeform med numre), at projekterne kan henvise direkte til dem. 2. For kompetenceudviklingsprojekter kan der også foretages en inddeling i hvilket emneområde kompetenceudviklingen vedrører. Emneopdelingen skal ikke være for detaljeret, men f.eks. sondre mellem IT-kompetencer, kommunikation & samarbejde, produktions/procesteknologi, salg/markedsføring m.v. Projekternes mål bør så vidt muligt direkte afspejle ét eller flere af programmets overordnede mål i den enkelte region. 3. Typeinddelingen af projekterne foretages efter projektansøgningerne er modtaget. (f.eks. det første års ansøgninger.) Typeinddelingen skal således ikke være på forhånd definerede kategorier, som ansøgeren skal indplacere sig i. 4. Typeinddelingen af projekterne foretages en central instans på tværs af alle regioner. Den centrale instans (evt. en ekstern evaluator) opbygger og vedligeholder en database over projekterne. I databasen sammenkædes oplysninger om projektets finansiering og budget med oplysninger om mål og virkemidler. Bedre typeinddeling: Bedre feed-back om virkemidlers effektivitet En sådan typeinddeling af projekter vil give bedre grundlag for efterfølgende at analysere hvilke projekttyper og virkemidler, der har de største effekter. Et eksempel er turismeprojekter. De kan alle have formål i retning af at styrke turismen opgjort som antallet af besøgende eller sæsonudvidelse i uger mv. Men samtidig kan de gøre brug af vidt forskellige virkemidler for at nå disse mål. Virkemidlerne kan f.eks. være kompetenceudvikling af personale, udvikling af nye produkter, styrkelse af markedsføring, eller anlægsinvesteringer i havne, campingpladser eller hoteller. Projektdatabasens oplysninger om mål og virkemidler vil kunne sammenholdes med data om projekternes effekter. Der kan dermed opnås kvalitativt bedre informationer om mulige årsager til effekterne af forskellige typer af projekter. 8

9 Typeinddeling af projekter efter formål gør det også muligt at formulere mere målrettede evalueringskriterier. Når vi ved hvilke(t) formål projektet søger at fremme, er det nemmere efterfølgende at målrette evalueringens dataindsamling. Typeinddelingen vil endelig kunne give overblik over, hvor meget de enkelte mål er blevet tildelt af programmets økonomiske resurser. Ligeledes vil den enkelte region have udbytte af at kunne sammenligne effekter af projekttyper med andre regioner. Projektansøgeres vurderinger af indhold/virkninger kan ikke stå alene En række outputindikatorer opgøres i det eksisterende mål 2 program på baggrund af projektansøgernes beskrivelser af, hvorvidt projektet rummer elementer/effekter mht. miljø, F&U og ligestilling. Herefter opgøres outputindikatorer eksempelvis således: Antal projekter med F&U Antal projekter med IT/ITK Antal projekter med miljøvirkning Antal projekter med ligestillingsvirkning Der kan være hensigtsmæssigt at fastholde det princip, at projektansøgere beskriver, hvorvidt projektet rummer forskellige konkrete typer af aktiviteter eller forventede virkninger. Disse beskrivelser indgår blandt andet i vurderingen af, om det enkelte projekt skal tildeles støtte. Dog mener vi, at projektansøgernes beskrivelser af projekters forventede indhold og virkninger ikke på alle områder kan stå alene, da de ofte kan vise sig at være for upræcise. Mht. F&U viste midtvejsevalueringen af mål 2 programmet for eksempel, at antallet af projekter med F&U var så højt, at det repræsenterede en målopfyldelse på %. Mht. projekters forventede miljøvirkninger, hvor projektansøgeren dels skal vurdere hvori miljøeffekten består (arbejdsmiljø, ydre miljø herunder luft, vand m.v.) og dels hvorvidt effekten er neutral, positiv eller negativ, viste 2005-evalueringen, at langt de fleste projekter angiver positive miljøvirkninger. Samtidig var antallet af projekter med positive miljøvirkninger lavere på Sydfyn end i andre regioner. Det skyldes, at der sker en ekstra miljømæssig vurdering af projekterne i Amtets tekniske forvaltning. Hvor der stilles krav om, at projektansøgerne skal beskrive projekters indhold eller forventede virkninger på områder, der kræver en særlig teknisk eller specialiseret indsigt, bør projektansøgningerne passere en instans, der nærmere vurderer hvorvidt og hvordan et givet projekt rummer de nævnte elementer, hvorefter projektets outputoplysninger endeligt føres ind i en projektdatabase. Problematisk outputindikator om IT/IKT Hvis fremme af anvendelsen af IT/IKT i nye sammenhænge indgår som et af målene for den kommende strukturfondsindsats i den enkelte region, kan det være hensigtsmæssigt at få opgjort i hvilken sammenhæng projekterne gør brug af IT. Hvorvidt et projekt har IT/ITK profil eller ikke, som er den eksisterende indikator på området, er dog efter vores vurdering en for bred og simpel outputindikator, som i for høj grad overlader det til ansøgeren at beskrive projektets IT-profil. Der kan her være behov for på en enkel måde at typeopdele, hvorledes IT indgår i projektet. F.eks. hvorvidt projektet omfatter. 9

10 Ny/øget anvendelse af IT i produktion/forretningsprocesser IT-anvendelse i produkt/service (f.eks. on-line selvbetjening m.v.) Styrkelse af medarbejdernes IT-kompetencer En sådan typeopdeling vil gøre det nemmere efterfølgende i en effektmåling at belyse hvilke typer IT-projekter, der har de største effekter. Kvantificeringen af resultat- og outputindikatorer kan udvikles Kvantificeringen af programmets output og resultater udgør et vigtigt element i vurderingen når dets effekter skal vurderes og sammenholdes med ressourceforbruget. Strukturfondsindsatsens kvantificering af output og resultater kan udvikles så det mere nuanceret opgøres, hvad programmets ressourcer omsættes til. Hovedidéen er, at man for forskellige projekttyper fastlægger indikatorer, som kan kvantificere projektets aktiviteter. Nogle eksempler: 1) Med hensyn til kompetenceudviklingsprojekter opgøres output og resultater i det nuværende mål 2 program i form af antal kursusdeltagere. Denne outputindikator kan udvikles så følgende opgøres: Antallet af udbudte kursusdage/timer i det enkelte projekt Forventet antal kursusdeltagere/virksomheder i målgruppen Antal opnåede kursusdeltagere/virksomheder, som har gennemført kurset Antallet af gennemførte kursusdage/timer i det enkelte projekt - fordelt på køn Antallet af kursusdage/timer pr. deltager En sådan indsamling af output-oplysninger vil bl.a. muliggøre en opgørelse af dækningsraten af den udbudte kompetenceudvikling og hvor mange kursusdage og timer de økonomiske midler er omsat til evalueringen af mål 2 programmet viste, at programmet allerede nu har overopfyldt sine målsætninger for antallet af kursusdeltagere. (ca igennem kursusforløb). Selvom det er positivt at målet er overopfyldt, mangler man oplysninger, der gør det muligt at sammenholde antallet af deltagere med den udbudte volumen af kursusdage/timer og det forventede/potentielle antal kursusdeltagere/ virksomheder i målgruppen. 2) Det samme princip vil også kunne anvendes ved projekter, som arbejder med overførsel af viden/teknologi til SMV er. Eksempler på sådanne projekter i det eksisterende mål 2 program er Etablering af forskernetværk v/aalborg Universitet, Innovation og teknologisk nyskabelse i SMV'er i Viborg Amt og Kompetencecenter Hobro. For sådanne typer af projekter kan følgende opgøres: a) Hvilke virksomhedstyper/brancher henvender projektet sig til? b) Hvor mange virksomheder omfatter projektets målgruppe i regionen? c) Hvor mange virksomheder har benyttet tilbudet? Pkt. a-b vil typisk være spørgsmål, der afdækkes i projektansøgninger eller i foranalyser og forprojekter for senere anlægsinvesteringer. Pkt. c vil være data som indsamles efter 10

11 projekters afslutning i form af effektvurderingsskemaer eller survey i forbindelse med evaluering. 3) Det samme princip vil kunne anvendes i projekter, som henvender sig til iværksættere. F.eks. projektet Nordjysk Iværksætter Netværk. For sådanne iværksætterprojekter vil følgende kunne søges kvantificeret som output: a) Hvor mange iværksættere henvender projektet sig potentielt til? b) Hvor mange iværksættere har benyttet projektets faciliteter/rådgivningstilbud? c) Hvor mange timers rådgivning har projektet produceret/afsat? 3) Tilsvarende kan det i projekter, der retter sig mod innovation i SMV er søges kvantificeret, hvor meget virksomhederne forbindelse med projektet investerer i innovation, f.eks. a) Antal timer købt rådgivning, som SMV er modtager b) Antal forskere (f.eks. phd ere) som er relateret til projekterne c) Antal formaliserede samarbejdsrelationer mellem SMV er og forsknings/vidensinstitutioner Projekterne ovenfor er som nævnt kun eksempler på områder, hvor kvantificeringen kan udvikles. I en fremtidig regional udviklingsindsats anbefales det at gennemtænke, hvorledes kvantificerbare output- og resultatindikatorer kan udvikles for alle projekttyper. 6. Målinger af resultater og effekter Analyser af resultater og effekter belyser det outcome, som outputs har ført til. Hvis output er gennemførelse af X kurser af X dages varighed med X deltagere kan resultatet for eksempel være bedrede læsefærdigheder for deltagerne, mens effekterne kan være en højere beskæftigelsesfrekvens, andet job, højere løn eller lignende for deltagerne. Effekter omfatter i denne sammenhæng enhver virkning programmet medfører af både direkte og indirekte art på både kortere og længere sigt. Vurderinger spillede stor rolle i måling af resultater og effekter i Mål 2 I evalueringen af mål 2 programmet blev analysen af resultater og effekter i høj grad baseret på vurderinger fra projektlederne, dels i form af projektledernes indberetninger til Erhvervs- og Byggestyrelsen om skabte/bevarede job m.m., dels i form af gennemførelsen af survey-undersøgelser, hvor projektlederne blev bedt om at vurdere effekterne af det enkelte projekt på forskellige områder. Vurderinger må nødvendigvis spille en stor rolle Der vil altid kunne stilles spørgsmålstegn ved vurderinger. Overdriver projektlederne deres resultater? Kan kursusdeltagere selv vurdere deres udbytte? Overfor disse berettigede indvendinger står dog ét afgørende argument: Resurser. Det er ofte forbundet med mindre omkostninger at anvende projektledere som nøgleinformanter, end at eksterne evaluatorer eller andre i overensstemmelse med gængse videnskabelige normer foretager så vidt muligt neutrale observationer af individers og organisationers adfærd, resultater mv. 11

12 Dertil kommer et metodisk argument: Det er som oftest den enkelte projektleder, den enkelte projektdeltager mv. der er den, som har det bedste kendskab til det konkrete udbytte og de konkrete effekter. Som nævnt kan der dog være tilfælde, hvor der kræves en særlig ekspertindsigt for at kunne vurdere projektindhold, resultater og effekter. Vi vurderer derfor, at vurderinger også vil skulle spille en stor rolle i målinger af resultater og effekter af den fremtidige strukturfondsindsats. Som nævnt ovenfor kan uafhængige ekspertvurderinger også med fordel indgå på områder, hvor det kan være problematisk at forudsætte, at projektledere eller projektdeltagere har den fornødne viden. F.eks. er uafhængige ekspertvurderinger efter vores vurdering relevante ifm. f.eks. forhold såsom projekters miljømæssige effekter og deres forsknings- og udviklingsindhold. Projektlederes effektvurderinger ikke tilstrækkelige i fremtidens projekter Mål 2 projekter har i stigende grad karakter af rammebetingelsesprojekter, etablering af kompetenceklynger og såkaldte brobygningsprojekter, hvor vidensoverførsel, udvikling og netværksdannelse søges fremmet for en flerhed af virksomheder. Et eksempel herpå er rammeprojekterne i Viborg Amt, herunder f.eks. projektet Viva, som omfatter ordningerne Chef til Leje og Kompass. Sådanne rammeprogrammer, hvor de regionale myndigheder eller en anden type aktør er projektleder på et større program, og hvor virksomheder kan deltage i form af mindre delprojekter, bliver måske en mere udbredt projektform i fremtiden. Da projekter i stigende grad omfatter en flerhed af virksomheder bliver det vanskeligere metodisk for en projektleder at kunne overskue og opgøre projektets effekter i virksomhederne. En række af de foreslåede indikatorer på projektniveau i bilag 3 (bilaget til den udsendte invitation til seminaret d. 31. oktober), angår kvalitative forhold såsom udvikling af virksomhedens organisation, styrkelse af samarbejdet med andre virksomheder m.v., som forudsætter internt kendskab til den enkelte virksomhed. En vurdering af sådanne forhold vil i princippet kræve, at den enkelte virksomhed spørges. Inddragelse af projektdeltagere i effektvurderinger På den baggrund foreslår vi, at den fremtidige effektmåling, som baseres på inddragelse af vurderinger, søges videreudviklet efter følgende principper: 1. For projekter, der omfatter et større antal virksomheder/institutioner, indføres der i effektmålingen en ny type informant projektdeltagere. Et eksempel herpå kunne være Nordjysk Iværksætter Netværk. Her vil det være relevant at spørge de virksomheder, som har benyttet de rådgivningstilbud projektet har udbudt. Et tilsvarende princip kan også anvendes ved kompetenceudviklingsprojekter. Her vil de kursusdeltagere/ virksomheder, der har benyttet et givent tilbud og gennemført kompetenceudvikling kunne have status af projektdeltagere. 2. Hvilke projektdeltagere, der skal spørges, indberettes af projektlederen ved projektets afslutning til relevante programmyndighed. Effektevalueringen bør kun omfatte de deltagere, der har været udsat for den fulde intervention. Virksomheder/kursusdeltagere som er faldet fra undervejs kan derfor evt. sorteres fra af projektlederen. 12

13 3. Både projektlederen og projektdeltagerne besvarer i forbindelse med effektmåling et effektvurderingsskema (ved spørgeskema/interview). Begge parter vurderer gennemgående de samme effektspørgsmål (f.eks. antallet af skabte job m.v.). Dermed kan projektlederens vurdering sammenholdes med projektdeltagernes vurderinger, der kan aggregeres. Derudover vurderer projektlederen også opfyldelsen af projektets resultatindikatorer, herunder hvilket antal deltagende virksomheder projektet opnået i forhold til sine forventninger m.v. Det samme gør sig gældende mht. kompetenceudviklingsprojekters dækningsrate jf. afsnit 5 ovenfor. 4. Indsamlingen af effektdata fra projektdeltagerne bør foretages af en central instans, evt. med bistand fra en ekstern evaluator. Denne fremgangsmåde vil kunne give mere dækkende og troværdig viden om effekterne i de mange virksomheder, der deltager i programmets projekter. Oplysninger om projektdeltagerne belyser netværkseffekter Derudover kan indsamlingen af oplysninger om projektdeltagere give vigtig viden sig selv om programmets sprednings- og netværkseffekt i form af oplysninger om antallet og arten af virksomheder, der deltager i programmets projekter. En række af de foreslåede indikatorer for projektniveauet i bilag 3 (bilaget til den udsendte invitation til seminaret d. 31. oktober) fokuserer netop på indikatorer for hvor godt et givent projekt formår at skabe netværk og synergi: Skaber øget interesse for virksomhedsetablering, Tiltrækker nye aktører og aktiviteter til regionen, Forbedre muligheder for etablering af nye typer af virksomheder, Samvirkning/ synergi med andre regionale erhvervsudviklingsaktiviteter. At opgøre hvor mange deltagere (virksomheder, institutioner, kursusdeltagere), programmets projekter formår at nå, er dermed i sig selv en vigtig indikator. Udvælg og målret effektindikatorer efter projekttype Hvilke projekter skal spørges om hvad i forbindelse med effektvurderinger? At målrette relevante effektspørgsmål til de enkelte projekter er vanskeligt, da de har så stor variation i deres karakter og indhold. I det eksisterende mål 2 programs projektdata og evalueringer spørges det enkelte projekt om en lang række typer af effekter - og det er ikke en farbar vej at det enkelte projekt skal besvare flere effektspørgsmål end de gør nu. Derimod foreslår vi, at det enkelte projekt kun skal besvare effektspørgsmål, der er relevante i forhold til dets type, dvs. de(t) mål det søger at fremme. Dette betyder dog samtidig at det samlede antal effektindikatorer for programmet bliver større, da der skal udvikles mere specifikke spørgsmål for de enkelte typer af projekter. Dette kan ske således: 1. Jf. afsnit 5 ovenfor foreslår vi at igangsatte projekter i en database typeopdeles efter hvilke(t) formål de søger at fremme. 2. Til de enkelte formål er der udviklet særskilte sæt af effektindikatorer/spørgsmål. Eksempel på et formål kunne være: At øge iværksætteri. Hertil udvikles derfor indikatorer, som fokuserer på antallet af iværksættere, der har benyttet et givent tilbud, 13

14 udviklingen i deres medarbejderantal, omsætning og investeringer samt fremtidsforventninger m.v. Et andet formål kunne være At øge beskæftigelse. Hertil er der allerede udviklet gode indikatorer for antallet af skabte job og disses fordeling på uddannelsesniveau og køn. Andre formål kunne være At øge turismen, At øge virksomheders konkurrenceevne og At styrke arbejdskraftens kompetencer. 3. Ved effektvurdering skal det enkelte projekt (projektleder og evt. projektdeltagere) besvare de relevante batterier af spørgsmål, alt efter hvilke(t) formål projektet søger at fremme. Jo flere mål projektet har, desto flere spørgsmål skal det besvare. Denne fremgangsmåde vil give mere målrettet og præcis viden om programmets effekter i forhold til de forskellige mål, det søger at fremme. Indikatorer for kompetenceudvikling bør videreudvikles Det eksisterende mål 2 programs har kun en simpel indikator til måling af effekter af kompetenceudviklingsprojekter: antallet gennemførte kursusdeltagere. Vi foreslår, at effektmålingen af kompetenceudvikling videreudvikles således: I samtlige projekter, hvori der indgår mål om kompetenceudvikling af arbejdskraften, skal både projektlederen og projektdeltagerne besvare spørgsmål. Projektlederen skal besvare skal besvare spørgsmål om hvor mange deltager projektet har opnået i forhold til sine målsætninger og/eller målgruppens størrelse. Projektdeltagerne (virksomheder/kursusdeltagere) besvarer nogle generelle effektspørgsmål i stil med følgende: (Til deltagende virksomheder) 1. I hvilken grad har kurset styrket kompetencer som er vigtige for virksomheden? Hos ledelsen? Hos medarbejderne? 2. I hvilken grad har kompetenceudviklingen bidraget til at styrke virksomhedens omstillings- og konkurrenceevne? Derudover kan deltagere i kompetenceudviklingsprojektet f.eks. spørges: 3. Har du mulighed for at varetage andre/nye jobfunktioner inden for virksomheden efter projektet? 4. Har kurset udvidet dine muligheder for beskæftigelse inden for andre virksomheder i regionen? Vi vurderer, at ovenstående spørgsmål bedre end den nuværende indikator (antal deltagere) kan belyse hvorvidt kompetenceudviklingsprojekter gør en forskel på hhv. virksomhedsniveau og deltagerniveau. Kontrolgrupper og tidsserieanalyser Betragtningerne ovenfor har alle drejet sig om videreudviklingen af effektmålinger med udgangspunkt i vurderinger som datagrundlag. Som berørt er der nogle metodiske indvendinger imod anvendelsen af vurderinger som metode til effektmålinger. 14

15 Det bør derfor overvejes, om og i hvilket omfang vurderinger fra projektledere, projektdeltagere mv. kan suppleres med andre, mindre subjektive metoder til afdækning af resultater og effekter. Det naturvidenskabeligt inspirerede metodiske ideal for effektmålinger er gennem observation af adfærd, tendenser mv. at kunne isolere effekten af en given indsats, således at andre faktorers betydning for udviklingen på den relevante indikator ikke forstyrrer billedet. Eller med andre ord: Idealet for effektmålinger er, at der ved at anvende observerbare data kan tegnes et præcist billede af effekten af programindsatsen, f.eks. for at øge beskæftigelsen i en region, når der er kontrolleret for effekten af alle mulige andre faktorer, som kan påvirke effektindikatorerne. Der er to overordnede muligheder i denne forbindelse. Der kan opereres med kontrolgrupper, dvs. en gruppe aktører eller individer eller en region, som er genstand for en indsats, sammenlignes på baggrund af observérbare data med en gruppe aktører, der ikke er genstand for nogen indsats. Her nærmer man sig idealet om det kontrollerede eksperiment. Der kan gennemføres tidsserieanalyser, hvor indsatsens effekt på baggrund af observérbare data søges isoleret ved at se på den præcise tidsmæssige udvikling i effektindikatorer og dens sammenhæng med indsatsens tidsmæssige placeret. En gruppe virksomheder deltager f.eks. i udviklingsprojekter fra januar Virksomhedernes beskæftigelse, overskudsgrad mv. sammenlignes før og efter deltagelsen i projekterne. Fælles for disse overordnede tilgange er imidlertid, at de normalt er meget resursekrævende, hvis de skal gennemføres på et grundlag, som lever op til videnskabelige normer. Det betyder dog ikke, at strategierne ikke kan anvendes i forbindelse med effektmålinger af regionale udviklingstiltag. Men de må anvendes pragmatisk og med forsigtighed, også i den kommende programperiode. Konkret betyder det, efter vores vurdering det følgende: Kontrolgrupper kan anvendes på udvalgte områder Sammenligninger med kontrolregioner, kontrolgrupper eller lignende kan indgå i den samlede vurdering af indsatsens effekter. Et metodisk hovedproblem er dog, at det kan være problematisk at identificere relevante kontrolgrupper. Ideelt set bør kontrolgruppen være identisk med gruppen, som er genstand for en intervention, på alle punkter på nær ét, nemlig at den ene gruppe er genstand for interventionen. Kun herigennem kan effekten af indsatsen isoleres. I nogle tilfælde vil det principielt være muligt at identificere relevante kontrolgrupper. Hvor et antal virksomheder har deltaget i et udviklingsprojekt af en bestemt type vil det være f.eks. være muligt at sammenligne disse virksomheders udvikling med udviklingen blandt virksomheder af samme størrelse og/eller i samme brancher mv. men som ikke har deltaget i udviklingsprojektet. 15

16 Tidsserie-analyser af begrænset metodisk holdbarhed på regionsniveau Tidsserie-analyser på baggrund af observérbare data er kun i begrænset omfang en effektiv metode til at isolere effekten af regionale udviklingstiltag. Simple før-efter analyser af udviklingen i en region vil som regel ikke give gyldige udtryk for effekterne af en indsats, da indsatsen oftest vil være én blandt mange andre forhold, som kan påvirke udviklingen i en region, og da indsatsen som regel ikke engang kan forventes at være den vigtigste faktor, blandt andet fordi indsatsens omfang kan være forholdsvis beskeden. Simple før-efter analyser på regionalt niveau vil derimod kunne fungere illustrativt, stimulere debatten mv., på samme måde som sammenligninger på tværs af regioner i benchmarking-analyser. - men kan anvendes på lavere niveau, i sammenhæng med kontrolgrupper På lavere niveau, f.eks. mht. konkrete virksomhedsudviklingsprojekter eller kompetenceudviklingsprojekter, kan tidsserieanalyser give bedre resultater. Personer, der har gennemgået kompetenceudviklingsforløb kan f.eks. følges mht. f.eks. deres arbejdsmarkedsstatus, deres indkomst eller lignende. Sådanne tidsserieanalyser er dog meget resursekrævende, og vil efter vores vurdering næppe kunne spille nogen stor rolle i fremtidige effektmålinger. Dertil kommer at tidsserieanalyserne, hvis de står alene, er metodisk problematiske: Strengt taget isoleres effekten af interventionen - f.eks. en kompetenceudviklingsindsats - ikke, da der jo er mange andre forhold i den enkeltes liv der ændrer sig som tiden går end blot det, at vedkommende har deltaget i et kursus. Tidsseriedata vil derfor med fordel kunne anvendes i kombination med kontrolgrupper, som det f.eks. er tilfældet når udviklingen over tid i virksomheder, der deltager i et projekt sammenlignes med udviklingen over tid blandt virksomheder, der ikke har deltaget i et projekt. Tilsvarende kan arbejdsmarkedsstatus over tid sammenlignes mellem personer der har gennemgået kompetenceudviklingsforløb og personer, der ikke har gennemgået tilsvarende forløb. 7. Anbefalinger Anbefaling 1 De regionale vækstfora bør formulere et begrænset antal præcise mål for erhvervsudviklingen i den enkelte region, herunder også målsætninger for i hvilken grad målene skal realiseres hvor hurtigt. Målene bør være så realistiske som muligt. I tilknytning til hvert mål bør der defineres relevante indikatorer, som kan belyse graden af målopfyldelse. Hvilke indikatorer, der er relevante, afhænger af de mål, der defineres i den enkelte region. Udvalgte indikatorer fra den regionale konkurrenceevnemodel kan være relevante. Anbefaling 2 I forbindelse med prioriteringen og anvendelsen af EUs strukturfondsmidler bør de regionale vækstfora definere præcise mål for strukturfondsindsatsen. Målene bør være en delmængde af de samlede mål, der er defineret for den regionale erhvervsudvikling. Det anbefales, at der foretages en noget skarpere prioritering af strukturfondsindsatsen i den 16

17 kommende periode end i den indeværende periode. Det vil sige at der i højere grad bør foretages en indsnævring af de mål, der forfølges, mhp. at øge koncentrationen af indsatsen og dermed realisere synergieffekter og øge synligheden af indsatsen. Der bør identificeres relevante indikatorer for hvert programmål i hver region. Anbefaling 3 Der bør etableres en projektdatabase ved starten af strukturfondsindsatsen. Projektdatabasen bør indeholde en udbygget og forbedret typeinddeling af de støttede projekter. Støttede projekter bør typeinddeles alt efter hvilke mål, de forfølger, og hvilke virkemidler, de tager i anvendelse for at nå målene. Databasen bør også indeholde oplysninger om finansiering og budget. Typeinddelingen bør foretages af en uafhængig instans på baggrund af oplysninger i projektansøgningerne. Anbefaling 4 Der kan være hensigtsmæssigt at fastholde det princip, at projektansøgere, hvor det er relevant, beskriver, hvorvidt projektet rummer forskellige konkrete typer af aktiviteter eller forventede virkninger (f.eks. miljø, ligestilling mv.). Hvor projektansøgerne skal beskrive projekters indhold eller forventede virkninger på områder, der kræver en særlig teknisk eller specialiseret indsigt, bør projektansøgningerne dog passere en instans, der nærmere vurderer hvorvidt og hvordan et givet projekt rummer de nævnte elementer. Først herefter kan projektets outputoplysninger endeligt føres ind i projektdatabasen. Anbefaling 5 Hvis der fortsat vil blive opereret med, at projektansøgere skal indikere hvorvidt der gøres brug af IKT/IT i projektet, bør denne indikator videreudvikles og en mere nuanceret typologi bør tages i brug. Anbefaling 6 Kvantificeringen af output- og resultatindikatorer bør videreudvikles. For forskellige projekttyper bør der defineres indikatorer, som på nuanceret vis kan give kvantitative oplysninger om projektets og dermed det samlede programs aktiviteter. Vi har fremhævet en række eksempler fra hhv. kompetenceudviklingsprojekter, infrastrukturprojekter, og projekter, som retter sig imod videns- og teknologioverførsel til SMV er. Anbefaling 7 Af resursemæssige hensyn bør effektmålinger, der baserer sig på vurderinger fra projektledere, projektdeltagere eller uafhængige eksperter, fortsat indgå med betydelig vægt i målinger af programindsatsens resultater og effekter. Det anbefales at videreudvikle indsamlingen af effektdata, der baserer sig på vurderinger. Det bør ske dels ved at der for større projekter indføres en ny type informant projektdeltagere. I større projekter bør således både projektledere og projektdeltagere udfylde et effektvurderingsskema i forbindelse med afslutningen af projektet eller ekstern evaluering af indsatsen. Anbefaling 8 I det eksisterende mål 2 programs projektdata og evalueringer spørges det enkelte projekt om en lang række typer af effekter - og det er ikke en farbar vej at det enkelte projekt skal besvare flere effektspørgsmål end de gør nu. For at sikre en bedre og mere målrettet belysning af effekter på projektniveau foreslår vi derimod, at det enkelte projekt fremover 17

18 kun skal besvare effektspørgsmål, der er relevante i forhold til dets type (dvs. det formål de søger at fremme). Der bør således udvikles særskilte batterier af effektindikatorer/ spørgsmål til de forskellige typer af projekter, som vi foreslår programindsatsen bør opdeles i. Anbefaling 9 Det eksisterende mål 2 programs har kun en simpel indikator til måling af effekter af kompetenceudviklingsprojekter: antallet gennemførte kursusdeltagere. Vi foreslår, at effektmålingen af kompetenceudvikling videreudvikles, så både projektdeltagere og projektledere besvarer spørgsmål det konkrete udbytte af kompetenceudviklingsaktiviteter. Anbefaling 10 Effektmålinger på baggrund af vurderinger fra forskellige interessenter vil fortsat udgøre hovedelementet i effektmålinger af strukturfondsindsatsen. På udvalgte områder bør det dog evt. i den enkelte region - overvejes at operere med effektmålinger, der gør brug af kontrolgrupper, evt. i kombination med tidsserieanalyser. Herigennem kan der tilvejebringes effektdata, som er af mindre subjektiv karakter, end data der er baseret på interessentvurderinger. 18