Evaluering af OPI i praksis

Transkript

1 Evaluering af OPI i praksis Oplæg på workshop om evaluering og effektvurdering af OPI projekter Odense, 11. april 2012 v/stefan Brendstrup, Partner, ph.d.

2 Mit erfaringsgrundlag Eksempler på gennemførte eller igangværende evalueringer: 1. Grønt Byggeri Business Center Bornholm 2. Midtvejsevaluering af Region Midtjyllands fødevaresatsning 3. Temaevaluering af strukturfondsindsats vedr. menneskellige ressourcer 4. Miljøministeriets miljøteknologiske indsats Miljøstyrelsen 5. IDEA 2.0 IDEA 6. Randers Industry Smart Center 7. Attraktive virksomheder Væksthus Sjælland 8. Klyngeudvikling i yderområder Væksthus Hovedstadsregionen 9. MidtVind Vindmølleindustrien 10. Spin-off Væksthus Hovedstadsregionen 11. Region Syddanmarks kulturpulje 12. Statusevaluering af 35 syddanske projekter Syddansk Vækstforum 13. KompetenceForum Bornholm - BCB 14. EnergiTEKmidt Væksthus Midtjylland 15. Invest in Denmarks regionale struktur Invest in Denmark 16. Vækstforums Sjællands kontrakter med 6 centrale aktører 17. Studentervæksthus Århus - Århus EntepreneurshipCenter 18. Købstadsprojektet Østdansk Turisme 19. Mind the Gap Syddansk Universitet 20. Viden til vækst Syddansk Universitet 21. Copenhagen Entertainment Copenhagen Capacity

3 Indhold i oplægget 1. Hvad handler OPI projekter om? 2. LB Analyses tilgang til evaluering 3. Evalueringsmæssige udfordringer

4 Om OPI projekter

5 Hvad handler OPI projekter om? 1. At skabe et møde mellem parter, der ikke plejer at mødes Hvad kan man samarbejde om? Hvad kan private virksomheder hjælpe med? Hvordan samarbejder man med private virksomheder? 2. At kompetenceudvikle parterne til at kunne indgå i innovationsprocesser Learning by doing Uddannelse af deltagere 3. At skabe forudsætninger for fremtidig OPI Udvikling af nye uddannelseselementer Integration i ordinære uddannelser

6 Hvad handler evaluering af OPI projekter om? Evaluering af OPI projekter handler om, at finde ud af, om ovenstående lykkes og om det fører til den forventede effekt. Identificering af kritiske succesfaktorer (hvilke forudsætninger skal opfyldes for at projektet lykkes?) Systematisk indsamling af information om de kritiske succesfaktorer

7 Evalueringsmæssige fordringer Skabe læring om måden OPI faciliteres virker Skabe grundlag for at vurdere effekter På kort sigt og længere sigt Direkte og afledte effekter Vigtigt at fastlægge formål og målgruppe for evalueringen. For hvis skyld evaluerer man? Projekter har ikke brug for at blive evalueret de har brug for at lykkes. Men evaluering kan øge mulighederne for at lykkes! Der skal bruges en evalueringstilgang der kan håndtere dette.

8 LB Analyses tilgang til evaluering

9 4 trins evalueringsmodel Fastlægge kausalkæde Fastlægge tidsdimension Måle og sandsynliggøre Isolere effekter

10 Input Generel effektkæde Proces Etablering af initiativ Erkendelse af behov hos potentielle deltagere og investering i deltagelse (Deltagelse) Gennemførsel af projektet = anvendelse af værktøjer, redskaber m.v. (Aktiviteter) Nye indsigter, relationer og kompetencer (Muligheder) Konkrete resultater fx ændring i markedsposition/nye produkter eller ydelser etc. Forbedret forretningsgrundlag. (forbedring) Nye måder at agere på. Ændring af strategi, nye prioriteringer, nye måder at udvikle m.v. (Forandring) Ændring i de deltagende virksomheders økonomiske performance (Effekt) Output Hvis udviklingen i en kontrolgruppe ikke er den samme, skyldes effekten formentlig projektet Outcome

11 Arbejdsproces for udarbejdelse af evalueringsplan 1. Fastlæggelse af projektets effektkæde 2. Hvilke indikatorer kan belyse indholdet i hver enkelt kasse? 3. Hvilke data kan tilvejebringes? 4. Hvilke data vil en effektvurdering kunne baseres på under hensyntagen til tilgængelighed, pålidelighed, omkostninger m.v.? 5. Hvem skal konkret tilvejebringe disse data? 6. Hvornår kan effekten forventes i de enkelte kasser? 7. Udarbejdelse af konkret evalueringsplan med angivelse af udvalgte indikatorer, data og måletidspunkter. 8. Overveje muligheder for at isolere effekter

12 Input Effektkæde off. partner Proces Etablering af initiativ Erkendelse af behov hos potentielle deltagere og investering i deltagelse (Deltagelse) Møde med private udviklere m.v., workshops, (Aktiviteter) Nye relationer, nye kompetencer og ressourcer, sparring (Muligheder) Tidsbesparelse, reducerede driftsudgifter, bedre arbejdsmiljø (forbedring) Anvendelse af nye hjælpemidler Nye arbejdsprocesser (Forandring) Forbedret drift, Større kapacitet Øget kvalitet/tilfredshed (Effekt) Output Hvis udviklingen i en kontrolgruppe ikke er den samme, skyldes effekten formentlig projektet Outcome

13 Effektkæde private virksomheder Input Proces Etablering af initiativ Erkendelse af behov hos potentielle deltagere og investering i deltagelse (Deltagelse) Møde med off. organisationer (Aktiviteter) Nye relationer, ny viden, kompetencer (Muligheder) Adgang til nye markeder, nye produkter m.v. Forbedret forretningsgrundlag. (forbedring) Nye måder at udvikle m.v. (f.eks. øget grad af brugerinddragelse, nye testmuligheder) (Forandring) Ændring i de deltagende virksomheders økonomiske performance (Effekt) Output Hvis udviklingen i en kontrolgruppe ikke er den samme, skyldes effekten formentlig projektet Outcome

14 Evalueringsspørgsmål 1. Er der etableret en kvalificeret projektledelse? 2. Er der identificeret relevante off. behov og ønsker? 3. Er det lykkedes at inddrage relevante private virksomheder? 4. Er de planlagte aktiviteter gennemført som forudsat? 5. Er mødet mellem det offentlige og private lykkedes? Har projektdeltagerne deltaget lige så aktivt som forudsat? Har deltagerne delt deres viden 6. Har deltagerne fået tilført ny viden og kompetence? 7. Lader projektdeltagernes ny viden og kompetence sig omsætte til nye måder at arbejde/udvikle på? 8. Udvikles der nye produkter, arbejdsprocesser m.v. i de deltagende virksomheder

15 Evalueringsspørgsmål (fortsat) 9. Bringes de nye produkter og arbejdsprocesser i anvendelse hos de off. deltagere? 10. Sikres andre off. brugere kendskab til de nye produkter og arbejdsprocesser? 11. Fører anvendelsen af de nye produkter og arbejdsprocesser til tidsbesparelser, reducerede driftsudgifter, bedre arbejdsmiljø el.lign.? 12. Opnår de deltagende virksomheder adgang til nye markeder? 13. Opnår de off. deltagere lavere driftsudgifter? 14. Oplever brugerne øget kvalitet i opgaveløsningen? 15. Opnår virksomhederne øget omsætning?

16 Evalueringsmæssige udfordringer

17 Hvorfor har vi svært ved at måle effekt? Vores effektforståelse er ofte for snæver Vi gør f.eks. sjældent læring til en effekt af et projekt Vi er ikke gode til at formulere undervejs mål Vi effektvurderer og evaluerer systematisk uhensigtsmæssigt! Vi måler før effekterne (outcome) er opstået Vi er dårlige til at måle om effekten er på vej på en systematisk måde (måling af proces og output)

18 Den tidsmæssige udfordring Effekt Indsatsens relative påvirkning af virksomhederne Indsatsens effekt over tid Hvornår skal vi evaluere projektet? Tid

19 Anbefalinger til projekter 1. Se evaluering som et middel til læring der samtidigt kan dokumentere effekt. 2. Sæt ressourcer af til det hent hjælp. 3. Del jeres viden det er en fælles udfordring at blive bedre til at skabe erhvervsudvikling.

20 Tak for ordet Stefan Brendstrup LB Analyse Tel: Mail: