ADRESSE COWI A/S Parallelvej 2 2800 Kongens Lyngby TLF +45 56 40 00 00 FAX +45 56 40 99 99 WWW cowi.dk DECEMBER 2015 REGION SYDDANMARK OPI-PULJEN SLUTEVALUERING PROJEKTNR. A037714-010 DOKUMENTNR. 8 VERSION 2.0 UDGIVELSESDATO 21.12.2015 UDARBEJDET HWJO KONTROLLERET MAWL GODKENDT MAWL
SLUTEVALUERING AF OPI-PULJEN 3 INDHOLD 1 Resumé: OPI-puljen 1 2 Baggrund og formål 2 2.1 Vækst- og forandringsmodel 3 3 Overordnet status 3 4 Rapportens konklusioner 4 4.1 Projektets tilrettelæggelse 4 4.2 Resultatskabelse 6 4.3 Effektskabelse 8 5 Anbefalinger og læringspunkter 10
SLUTEVALUERING AF OPI-PULJEN 1 1 Resumé: OPI-puljen Samlet vurdering: Projektets tilrettelæggelse Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Organisering & projektledelse OPI-puljen har en tydelig og konkret værdiskabelse for virksomhederne i de støttede projekter, hvilket bl.a. skyldes en logisk sammenhæng mellem puljens aktiviteter og de puljens målsætninger. Projektet er generelt godt organiseret med god rollefordeling mellem partnere, men oplever udfordringer med udbetaling af støttemidler pga. dokumentationskrav, der ikke i tilstrækkeligt omfang er tydelige for virksomhederne. Kvalitet i aktiviteter Virksomhederne er generelt meget tilfredse med deres udbytte af projekterne i form af velafprøvede produkter og 'referencekunder'. Ansøgningsprocessen anser virksomhederne for enkel og hurtig. Resultatskabelse Resultatopnåelse 67% Budgetforbrug 93% Tidsforbrug 100% 0% 20% 40% 60% 80% 100% OPI-puljen har som mål, at 75% af virksomhederne medio 2015 skal have opnået salg af det produkt, de har arbejdet med i projektforløbet. Denne målsætning er ikke fuldt opfyldt blandt de adspurgte virksomheder, bl.a. fordi nogle virksomheder har været færdige med deres forløb i kortere tid end andre, men vu vurderer, at den vil blive indfriet inden for de kommende år. En del af projekterne er blevet forsinkede og har fået forlængelse, mens andre ikke har nået at gennemføre alle de planlagte aktiviteter. Dette gør, at der efter puljens afslutning er fremkommet tilbageløbsmidler, hvorfor der er et mindre underforbrug. Effektskabelse Samlet opnået og forventet udbytte af projekter støttet af OPI-puljen Opnået d.d. Forventes fremover Årlig omsætning 33,6 mio. kr. 61,9 mio. kr. Antal nyansatte 52,3 jobs 79,8 jobs Note: Tallene er opjusteret under hensyntagen til responsraten (se afsnit 4.3) OPI-puljen har ikke en konkret målsætning om, hvor meget vækst de igangsatte projekter skal skabe. Det er dog vores vurdering, at de effekter, som virksomhederne har opnået og forventer at opnå fremadrettet, er tilfredsstillende i relation til, at projekterne hver har modtaget mellem 400.000 kr. og 1,5 mio. kr. i tilskud, og dermed er af begrænset omfang. Det ses desuden af virksomhedernes fremtidige forventninger, at de ser et stort potentiale i de udviklede produkter, såfremt det lykkes at udbrede dem blandt potentielle kunder.
2 SLUTEVALUERING AF OPI-PULJEN 2 Baggrund og formål Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'vækst- og forandringsmodel'. Baggrund Vækstforum ønsker med OPI-puljen at styrke arbejdet omkring offentlig-privat innovation og kommercialisering af innovative produkter inden for Vækstforums indsatsområder velfærdsteknologi og -service, oplevelseserhverv samt energi særligt i den sidste kritiske fase inden markedspenetrering. Den første reference er et afgørende parameter for mindre virksomheders succes, når nye innovative produkter skal bringes til markedet, ligesom tilpasning af produkter/ydelser opnår større succes på markedet, når det er mest muligt tilpasset brugernes behov og kompetencer. Som følge af gode erfaringer med virksomhedernes udbytte af OPI-puljen samt generel positiv egenevaluering af puljen ved sluttidspunktet, har Syddansk Vækstforum bevilget midler fra Den Europæiske Regionalfond og fra de regionale erhvervsudviklingsmidler til en ny efterfølgende pulje, 'Syddansk OPI-pulje'. Denne pulje er igangværende på evalueringstidspunktet, men inkluderes ikke i nærværende slutevaluering. Formål Formålet med OPI-puljen er at understøtte mindre, korterevarende projektforløb for små og mellemstore virksomheders arbejde med kommercialisering af produkter inden for velfærdsteknologi og service, oplevelseserhverv samt energi, herunder til samarbejde med offentlige parter omkring afprøvning og dokumentation af effekt. Der eksisterer flere regionale og nationale indsatser, hvor virksomheder kan søge tilskud til udviklingsprojekter. OPI-puljen skal derfor ikke omfatte deciderede udviklingsprojekter, men i stedet udfylde det hul, der er mellem udvikling af produkter og kommercialisering, og hvor virksomheder i mindre grad har mulighed for at søge midler under andre indsatser. Projektoplysninger for OPI-puljen Bevillingsgiver: Den Europæiske Regionalfond og Region Syddanmark Projektets fokusområde: Innovation og viden Ansøger: Region Syddanmark Regionens sagsbehandler: Jane Guldbrand-Hansen Budget: 38,5 mio. DKK heraf 29,3 mio. kr. fra Vækstforum Syddanmark Projektperiode: 1. oktober 2011-31. maj 2015
SLUTEVALUERING AF OPI-PULJEN 3 2.1 Vækst- og forandringsmodel I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Vækst- og forandringsmodellen er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres i projektet, de umiddelbare resultater, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse resultater på længere sigt forventes at medføre. Aktiviteter Resultater Effekter Vejledning og facilitering mht. mulige ansøgere Bevilling af kontant støtte til OPI-samarbejder mhp. afprøvning/test/dokumentation af produkter Bedre afsæt for kommercialisering af nye produkter i form af tilpassede produkter og referencekunder Øget samarbejde mellem SMVer og offentlige aktører Mere velafprøvede nye produkter kommercialiseres Hurtigere kommercialisering af nye produkter Øget omsætning og eksport blandt deltagende SMVer Øget jobskabelse blandt deltagende SMVer 3 Overordnet status OPI-puljen er undervejs i perioden blevet forlænget og har fået merbevilling som følge af efterspørgsel efter midlerne samt at virksomhederne i mange tilfælde viste sig at have behov for ekstra tid til at gennemføre alle planlagte aktiviteter i projekterne. Generelt er de igangsatte projekter blevet gennemført, og der er mange eksempler blandt de deltagende virksomheder på konkret udbytte. Ca. to tredjedele af projekterne er dog blevet forsinkede og har derfor fået forlængelse, mens enkelte ikke har kunnet gennemføre alle planlagte tests. Dette skyldes hovedsageligt, at det ikke var muligt at give tilsagn om forlængelse, da selve puljen stoppede og ikke kunne forlænges yderligere. Som følge heraf vil der i den endelige budgetopgørelse optræde tilbageløbsmidler fra de projekter, der ikke har gennemført alle planlagte aktiviteter. På evalueringstidspunktet er budgettet ikke endeligt opgjort, og projektledelsen oplever udfordringer mht. nogle projekters/virksomheders dokumentation af ressourceforbrug, hvorfor et antal virksomheder stadig ikke har fået udbetalt de aftalte støttemidler. En enkelt partner Design2innovate har trukket sig ud af samarbejdet tidligt i forløbet, da klyngen ikke mente at have relevante virksomheder til projektforløb.
4 SLUTEVALUERING AF OPI-PULJEN 4 Rapportens konklusioner Dette afsnit indeholder en præsentation af rapportens konklusioner struktureret efter 3 hovedtemaer: tilrettelæggelse, resultatskabelse og effektskabelse. 4.1 Projektets tilrettelæggelse I dette afsnit præsenterer vi vores vurdering af projektets tilrettelæggelse ud fra de fire fastlagte evalueringsparametre. Afsnittet indledes med en grafisk fremstilling, som giver et overblik over evalueringens konklusioner. Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Organisering & projektledelse Kvalitet i aktiviteter Sammenhæng mellem aktiviteter og mål OPI-puljen har en tydelig og logisk sammenhæng mellem puljens aktiviteter og de resultater og effekter, den skal skabe. Puljens hovedaktivitet vedrørende vejledning og facilitering af ansøgere, er hovedsageligt blevet varetaget af de involverede klynger Welfare Tech og CLEAN, mens Regionens sekretariat alene har vejledt om formelle aspekter i relation til ansøgning til puljen. Denne rollefordeling gør, at vejledning af virksomhederne er blevet varetaget af medarbejdere, der har omfattende domænekendskab samt et solidt kendskab til regionale, nationale og internationale støttemuligheder, hvilket sætter dem i stand til at give virksomhederne kvalificeret vejledning og klæde dem på mht. mulighederne i OPI-puljen samt hvornår virksomhederne i stedet skulle vælge andre finansieringskilder. Puljens reelle effektskabelse afhænger i sagens natur af virksomhedernes egne evner til at skabe en forretning, men med test/afprøvning af produkterne i regi af de støttede projekter, er deres produkt blevet testet og tilpasset, hvilket dels giver dem en konkurrencefordel ved at gå til markedet med et velafprøvet produkt, dels en salgsmæssig fordel ved, at de via projektet har opnået relevante 'referencekunder', der giver dem et bedre afsæt for at sælge til lignende kunder. Organisering & projektledelse Projektledelsen af OPI-puljen lå i Regional Udvikling (RU), Region Syddanmark, og sagsbehandlerne i RU varetog den administrative del af arbejdet med behandling af ansøgninger, vejledning af virksomheder ift. tilskud og formelle krav samt bistand til virksomhedernes afrapportering til Erhvervsstyrelsen.
SLUTEVALUERING AF OPI-PULJEN 5 Klyngerne Welfare Tech og CLEAN har været partnere i projektet og har haft som opgave dels at være indgang for virksomhederne, dels at vejlede deres medlemsvirksomheder i mulighederne under OPI-puljen samt efter behov hjælpe med forslag til sammensætning af projektpartnerskab. Det er vores vurdering, at inddragelsen af klyngerne som partner i OPI-puljen har været en god prioritering, da det sandsynligvis har målrettet og kvalificeret rekrutteringen til puljen, herunder at det har medvirket til at sikre, at målgruppen af virksomheder er blevet gjort opmærksomme på muligheden for støtte. Det er vores erfaring, at virksomheder kan opfatte mængden af initiativer og aktører som uoverskuelig, og det er derfor klart anbefalelsesværdigt at forsøge at mindske antallet af kommunikationskanaler. OPI-puljen oplever på evalueringstidspunktet udfordringer ift. udbetaling af støttemidler til virksomhederne. Dette skyldes generelt mangelfuld dokumentation af ressourceforbrug fra virksomhedernes side. Projektledelsen har forsøgt at imødegå denne problemstilling i puljens løbetid ved at gennemføre opstartsmøder med projekterne samt med skriftlig instruks, men vi kan konstatere, at et antal virksomheder på evalueringstidspunktet (7 måneder efter puljens afslutning) stadig ikke har fået tilført de forventede støttemidler, ligesom flere virksomheder tidligere i puljens løbetid tillige har måtte afvente udbetaling af midler som følge af manglende dokumentation. Halvdelen af de virksomheder, der har bidraget til evalueringen via interview eller spørgeskema, har direkte påpeget udfordringerne med at få udbetalt støttemidler som puljens primære svaghed, og i de fleste tilfælde er det virksomhedernes holdning, at de ikke har fået tilstrækkelig vejledning og dialog omkring dokumentationskravene. På den baggrund kan vi konstatere, at forventningsafstemningen ikke er gennemført på det niveau, som behovet har tilsagt. Kvalitet i aktiviteter De interviewede virksomheder samt de, der har besvaret spørgeskemaet, angiver meget entydigt, at OPI-puljens tilstedeværelse har givet dem mulighed for at modne deres produkter, da de alternativt ville have haft svært ved at etablere det samme samarbejde med offentlige parter og inddrage de bedste testbrugere, hvilket kunne have fået nogle af virksomhederne til at springe testfasen over og gå til markedet med et mindre markedsmodent produkt. Desuden fremhæves opnåelse af referencekunder til brug for det efterfølgende salg af produktet som et særligt vigtigt udbytte for virksomhederne. Som beskrevet under 'organisering & projektledelse, har klyngerne været tænkt ind i OPI-puljen i perioden inden et projekt er blevet bevilget støttemidler, men ikke i løbet af projektperioden eller som opfølgning på projekterne. Klyngerne har på trods heraf i varierende omfang haft kontakt med virksomhederne undervejs i deres projektforløb mhp. at understøtte virksomhedernes udbytte. Begge klynger mener, at det havde været relevant, hvis der havde været indlagt et par møder med de enkelte projektpartnerskaber mhp. at sikre den mest succesfulde gennemførelse af projektet. Det kunne eksempelvis være i forhold til at vurdere realismen i projektets tidsplan, eller kvaliteten i forretningsplanen og realismen i go-to-market strategi. Flere virksomheder udtrykker uopfordret i spørgeskemaet tilfredshed med ansøgningsformen og processen, og lægger vægt på, at det er enkelt at ansøge. I be-
6 SLUTEVALUERING AF OPI-PULJEN handlingen af hver ansøgning har der været inddraget dels en faglig sagsbehandler med viden om virksomhedens forretningsområde og dels en sagsbehandler, der har varetaget vurdering af ansøgningen i relation til de formelle ansøgningsbetingelser mv. Det er projektledelsens erfaring, er der i enkelte tilfælde er givet tilsagn til projekter, som efter igangsættelsen af projektforløbet har vist sig at indeholde en større grad af produktudvikling end forventet på baggrund af projektansøgningen. Dette, samt generel forsinkelse i forhold til tidsplanerne for de enkelte projekter, har været årsag til, at en del projekter har haft behov for en tidsmæssig forlængelse for at nå de planlagte aktiviteter. Forankring og bæredygtighed Virksomhedernes konkrete udbytte af de gennemførte projekter er forankret hos dem selv, herunder referencekunder, erfaringer og nye kontakter, de har opnået som følge af projektet. Det er dog ikke muligt på baggrund af evalueringen at vurdere, hvorvidt OPI-puljens eksistens øger virksomhedernes samarbejde med offentlige aktører på lidt længere sigt. Det er dog vores erfaring fra andre OPI-relaterede projekter, at succesfulde samarbejder mellem offentlige og private parter understøtter begge typer aktørers imødekommenhed over for denne slags samarbejder. I forhold til at udbrede kendskabet til OPI-puljen som et redskab til at understøtte virksomhederne, har repræsentanter fra RU bl.a. holdt oplæg på specialistnetværksmøder, ligesom OPI-puljen har været fremlagt for Vækstfora i andre regioner. 4.2 Resultatskabelse Afsnittet indeholder en kort fremstilling af projektets resultatskabelse med fokus på projektets resultatopnåelse på evalueringstidspunktet. Resultatopnåelse 67% Budgetforbrug Tidsforbrug 93% 100% 0% 20% 40% 60% 80% 100% Resultatopnåelse OPI-puljen har et enkelt resultatmål som angivet i tabellen herunder. Målet skulle være opnået sommeren 2015, men er opgjort på evalueringstidspunktet primo december. Halvdelen af de virksomheder, der har besvaret den udsendte spørgeskemaundersøgelse 1, har angivet, at de har opnået salg af det produkt, deres projekt omhandlede. Størstedelen af disse er desuden i stand til at oplyse omfanget af omsætning som følge af dette salg. OPI-puljen har dermed ifølge målingen blandt virksomheder ikke fuldt opfyldt målsætningen om, at mindst 75% af virksomhederne skulle have opnået salg af produktet. 1 Spørgeskemaet blev udsendt til 35 virksomheder, hvoraf 20 har besvaret det.
SLUTEVALUERING AF OPI-PULJEN 7 Resultatmål Andel virksomheder, der opnår salg af det produkt, som projektet vedrører Status Mål i projektperioden Resultatopnåelse i % 75% 50% 67% Af slutrapporten for OPI-puljen fremgår det, at 36,8 % af virksomhederne på daværende tidspunkt havde opnået salg af produktet, og der er således sket en stigning i antallet af virksomheder, der har opnået salg af produktet siden OPI-puljens afslutning. En del af forklaringen på stigningen i andelen af virksomheder, der har opnået salg, er, at forløbene er afsluttet på forskellige tidspunkter, hvorfor nogle produkter har været færdigudviklet kortere tid end andre. Det er derfor vores vurdering, at det er sandsynligt, at andelen af virksomheder, der opnår salg af produktet, vil øges yderligere i de kommende år (se afsnit 4.3 om puljens effektskabelse). Aktiviteter og milepæle I opdraget til OPI-puljen er estimeret en forventning om igangsættelse og gennemførelse af 21 projekter. Der er i perioden blevet gennemført 30 projekter, samt igangsat yderligere tre, der af forskellige årsager ikke er blevet gennemført (eksempelvis pga. konkursbegæring). En stor del af projekterne har dog måtte søge om forlængelse, da de ikke kunne nå aktiviteterne inden for den planlagte tidsperiode, og en del af den succesfulde gennemførelse af projekterne skyldes dermed, at det har været muligt at forlænge selve OPI-puljens løbetid, hvorved de igangsatte projekter tilsvarende kunne forlænges. Projektledelsen angiver, at nogle projekter, der har fået tilsagn i slutningen af puljens løbetid, har måtte gives afslag på forlængelse, hvilket har resulteret i, at projekterne ikke har kunne gennemføre alle de planlagte aktiviteter eller har gennemført aktiviteter i mindre omfang end planlagt. Succeshistorier konkrete eksempler på virksomheders udbytte Test af sociale robotter Test af brugerflade på smartphones Blue Ocean Robotics har i samarbejde med bl.a. to kommuner testet træningsrobotter målrettet børn med autisme. Formålet med robotterne er at udvikle børnenes sociale færdigheder, og det er helt centralt for virksomheden at teste sine produkter både på målgruppen af børn og på det personale, der skal anvende robotterne sammen med målgruppen. Projektet har bl.a. modnet den anvendte software samt skabt referencekunder. Tele Call ApS har i samarbejde med bl.a. Center for Kommunikation og Velfærdsteknologi testet en simpel og brugertilpasset brugerflade til smartphones. Brugerfladen er målrettet borgere med kognitive lidelser, eksempelvis demens, og er udviklet i regi af projekt 'Demens i hjemmet'. I dette projekt er produktet blevet testet på såvel demensramte borgere, deres pårørende som faggrupper. Budget- og tidsforbrug Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Total Forbrug d.d. %-vist forbrug Budgetforbrug 38,5 mio. kr. 36 mio. kr. 93 % Tidsforbrug 43 mdr. 43 mdr. 100 % Note: Forbrug af midler er ikke endeligt opgjort på evalueringstidspunktet. Det oplyste beløb er projektledelsens skøn.
8 SLUTEVALUERING AF OPI-PULJEN OPI-puljen udviser et mindre underforbrug, hvilket primært skyldes, at det i forbindelsen med den økonomiske afslutning af projekterne er blevet klart, at ikke alle projekter har nået at gennemføre de planlagte aktiviteter, hvorfor de ikke er berettigede til de forventede støttemidler. Alle støttekroner har dermed være bevilget, men vil ikke alle blive udbetalt. Om spørgeskemaet 4.3 Effektskabelse I forbindelse med evalueringen har vi udsendt et spørgeskema til virksomheder, der har deltaget i et projekt, som er blevet støttet af OPI-puljen. Spørgeskemaet giver et indblik i såvel de forventede som allerede opnåede effekter blandt deltagerne i projekterne, og er udformet, så det på bedst mulig vis matcher de indmeldte resultater og effekter fra puljens ansøgningsfase. Undersøgelsen er sendt ud til 35 virksomheder, hvoraf 20 har besvaret spørgeskemaet, hvilket giver en svarprocent på 57 %. Således er de afgivne svar ikke en 100 % præcis beskrivelse af puljens effektskabelse, men giver et godt bud på, om puljen er på vej til at skabe effekter. Forventes effekter? Konkrete effekter Svarene på spørgeskemaet viser, at 55 % forventer, at puljens støtte til projektet vil føre til et forbedret potentiale for vækst, mens 35 % vurderer, at puljen allerede har ført dette med sig. Dette spørgsmål bør ikke forveksles med, hvorvidt virksomhederne har opnået et salg af det udviklede produkt, da det ikke er givet, at salg af produktet direkte øger virksomhedens vækstpotentiale eller omvendt. Her gennemgår vi deltagernes tilbagemeldinger for de typer af effekter, som de forventer at opleve, når de har fået det fulde udbytte af deres projekt. I tabellen nedenfor fremgår det, at 70 % af virksomhederne har en konkret forventning til en stigning i årlig omsætning som følge af deltagelsen i det projekt, der har modtaget støtte fra OPI-puljen. Deltagernes forventning til positiv udvikling som følge af projektet i (N= 20) Andel virksomheder med positiv forventning Årlig omsætning 70% Eksport 55% Antal nyansatte 65% Af næste tabel fremgår de endelige effekter, som deltagerne på et tidspunkt i fremtiden forventer at have opnået som følge af deres deltagelse i projektet. Det ses bl.a. at virksomhederne gennemsnitligt forventer, at over halvdelen af omsætningen vil ske i form af eksport.
SLUTEVALUERING AF OPI-PULJEN 9 Deltagernes gennemsnitlige forventning til effekten af projektet på (N= 20) Realistisk forventning Optimistisk forventning Stigning i årlig omsætning (mio. kr.) 3,5 11,6 Stigning i årlig eksport (mio. kr.) 1,9 7,3 Antal nyansatte 4,8 9,3 Note 1: Der er i denne beregning udeladt en såkaldt 'outlier', idet en enkelt virksomhed har forventet en stigning i antal ansatte på 500 stillinger. Da denne forventning ikke med rimelighed står mål med virksomhedens tilsvarende forventning til omsætning, er den udeladt af estimatet. Der er et stort spænd mellem virksomhedernes realistiske og optimistiske forventning til effekten af deres projekt. Dette afspejler den usikkerhed, der er ved produkterne, hvor det er afgørende dels at være first movers på området, dels at få hul igennem til de primært offentlige kunder. Særligt sidstnævnte er blevet fremhævet i de gennemførte interviews med virksomheder, hvor virksomhederne fortæller, at der er stort potentiale for deres produkter, hvis de lykkes med at sælge dem, men at det kræver hårdt arbejde at opnå udbredelse af produktet. Det fremhæves dog af alle, at de referencekunder, virksomhederne har opnået via projektet, er af stor betydning for deres mulighed for at sælge produktet. Tidshorisont for effekter Af de forventede fremtidige effekter, der er nævnt ovenfor, er nogle allerede opnået, mens andre først vil indtræffe senere. Figuren herunder giver et overblik over det forventede tidspunkt for virksomhedernes samlede udbytte af deltagelse i forhold til afslutningstidspunktet for det projekt, der har modtaget støtte fra OPIpuljen. Tabellen opsummerer dermed virksomhedernes realistiske forventning til samlet effektskabelse. Opnået og forventet samlet udbytte for hele puljen (N= 20) Opnået d.d. 1-3 år efter projektets afslutning Forventes Mere end 3 år efter projektets afslutning Årlig omsætning (mio. kr.) Eksport (mio. kr.) Antal nyansatte - rapporteret 24,4 30,5 14,5 - opjusteret 33,6 41,9 19,9 - rapporteret 14,5 17,3 5,5 - opjusteret 19,9 23,8 7,6 - rapporteret 38,0 50,0 8,0 - opjusteret 52,3 68,8 11,0 Note: 'rapporteret' refererer til summen af survey-svar, mens 'opjusteret' er justeret for de manglende survey-svar med 50 % af gennemsnittet for de rapporterede svar. Som det fremgår ovenfor, har projektet på nuværende tidspunkt anslået bidraget til skabelsen af ca. 52 nye jobs og cirka 34 mio. kroner i øget omsætning. Størstedelen af de fremtidige effekter forventer virksomhederne indtræffer inden for de kommende 3 år.
10 SLUTEVALUERING AF OPI-PULJEN 5 Anbefalinger og læringspunkter Her præsenterer vi de vigtigste anbefalinger, som COWI vil pege på med baggrund i evalueringen af projektet. Anbefalingerne er ikke i prioriteret rækkefølge. Omkring to tredjedele af projekterne har af forskellige årsager oplevet udfordringer med at nå at gennemføre alle de planlagte aktiviteter inden for deres projektperiode og har derfor haft behov for forlængelse. Selvom det grundlæggende er projektpartnerskabets problemstilling, mener vi godt, at projektledelsen i den efterfølgende pulje kan forsøge at sikre mere bæredygtige tidsplaner i projekterne. Konkret har vi to forslag: Anbefaling 1: Overvej møde ifm. ansøgningen Anbefaling 2: Overvej møder undervejs i projektperioden Anbefaling 3: Overvej opfølgning efter projektforløb Anbefaling 4: Fokusér på at mindske tidsspænd mellem udlæg og udbetaling af støttemidler I forbindelse med projektansøgningen kan sekretariatet afholde et møde med projektpartnerskabet forud for tildeling af støttemidler. Dette møde kan bl.a. handle om produktet og produktets udviklingsstadie, projektpartnerskabets kendskab til hinanden samt gennemgang af tidsplanen og hvilke milepæle, der er kritiske for gennemførelsen af aktiviteterne. Her vil det være en fordel, at der ud over sekretariatet deltager en person, som har indgående domænekendskab og kender til de primære faldgruber for test/demonstration af den pågældende produkttype. I løbet af projektperioden kunne holdes et antal møder med projektpartnerskabet, dvs. en repræsentant for såvel offentlige og private deltagere i projektet. I OPI-puljen har virksomhederne skriftligt rapporteret halvårligt, dvs. ca. en gang i løbet af den planlagte projektperiode. Det er såvel vores som klyngernes erfaring, at dialog, hvor partnerskabet forklarer fremdrift og udfordringer, er en bedre måde at afdække fremdriften i et projekt. Det er vigtigt, at virksomhederne oplever, at de får udbytte og sparring ud af sådanne møder og ikke blot oplever mødet som kontrol. Der er ikke som en del af OPI-puljen struktureret opfølgning på projektforløbene. Det er dog vores erfaring, at projektforløb ofte afføder nye idéer om potentielle kundegrupper eller tilpasning af produkter på baggrund af identificerede behov undervejs i testfasen. Det er derfor muligt, at nogle af de virksomheder, som har deltaget i et projektforløb, er parate til udviklingsforløb eller testforløb målrettet andre brugere. Vi anbefaler derfor, at man i den nye pulje overvejer at følge op på virksomhederne et passende tidsrum efter projektforløbets afslutning mhp. at afdække, om virksomheden har behov for yderligere vejledning eller støtte. Virksomhedens behov vil ikke nødvendigvis kunne eller skulle dækkes af Syddansk OPI-pulje (OPI-puljens efterfølger), men det vil understøtte puljens effektskabelse at bistå virksomhederne generelt. Til denne funktion ville det umiddelbart være oplagt at benytte klyngerne i partnerskabet. OPI-puljen har som beskrevet i afsnit 4.1 udfordringer i forbindelse med udbetaling af støttemidler. Denne udfordring er efter vores vurdering ikke alene projektledelsens ansvar, men virksomhedernes tilbagemelding i såvel interviews som survey viser tydeligt, at virksomhederne ikke mener at have modtaget tilstrækkelig vejledning. Det er vores indtryk, at virksomhederne er meget motiverede for at tilvejebringe den korrekte dokumentation, så de hurtigst muligt kan få udbetalt støttemidler. Enkelte yngre virksomheder angiver, at det er kritisk for deres forretning, at
SLUTEVALUERING AF OPI-PULJEN 11 udbetalinger af støttemidler er væsentlig mere forsinket end de forventede, og såvel klynger som flere af de veletablerede virksomhederne angiver, at OPI-puljen ikke er passende for unge virksomheder, da virksomhederne bør have et solidt cash flow, så de kan tåle, at der er et relativt langt tidsspænd mellem afholdte udgifter og udbetaling af støttemidler. Derfor bør det efter vores vurdering være et klart opmærksomhedspunkt i den efterfølgende pulje i endnu højere grad at sikre, at virksomhederne er indforstået med alle dokumentationskrav samt med konsekvenserne af manglende dokumentation, så virksomheden i kortest mulig tid må afvente udbetaling af midler. Dette vil ikke blot komme virksomhederne til gode, men også adressere opfattelser af puljen som langsommelig og besværlig at modtage midler fra. Projektledelsen oplyser, at der i Syddansk OPI-pulje, som efterfølger OPI-puljen, ud over informationsmøderne vil blive afholdt opfølgende møder med de enkelte projekter for at sikre, at bilagene vedrørende dokumentation udarbejdes korrekt. Målet hermed er at sikre færre fejl i bilagene og dermed hurtigere behandling af regnskaberne hos revisionen og Erhvervsstyrelsen. Desuden drøftes muligheden for at forudbetale tilskud i den nye pulje, så presset på virksomhedernes likviditet mindskes i tilfælde af lang behandling af regnskaberne.
12 SLUTEVALUERING AF OPI-PULJEN Bilag A Projektets resultater og effekter Nedenstående tabeller viser projektets resultat- og effektmål. De obligatoriske 3 målsætninger, som ansøger har angivet i 'det obligatoriske bilag til ansøgningen', er angivet i tabel 1 eller 3 afhængigt af, om der er tale om resultatmål eller effektmål. Yderligere relevante resultatmål er angivet i tabel 2. RESULTATER Tabel 1: Primære resultatmål som indmeldt i det obligatoriske bilag til ansøgningen Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. N/A I projektperioden 3 år efter projektslut Mål Status Mål Forventet Tabel 2: Supplerende resultatmål Projektets øvrige resultatmål som f.eks. formuleret i ansøgningen Andel virksomheder, der opnår salg af det produkt, som projektet vedrører I projektperioden 3 år efter projektslut Mål Status Mål Forventet 75 % 67 % - - EFFEKTER Tabel 3: Effektmål (kun eventulle effektmål fra det obligatoriske bilag til ansøgningen) Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. N/A I projektperioden 3 år efter projektslut Mål Status Mål Forventet
3. Effektvurdering 2. Resultatskabelse 1. Tilrettelæggelse OVERORDNET SCORE SLUTEVALUERING AF OPI-PULJEN 13 Bilag B Forklaring til trafiklys-scorer Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og evt. andre interessenter samt kvantitativ data fra spørgeskemaer og statusrapporter m.v. Denne samlede score er en helhedsvurdering baseret på de individuelle scorer for de tre overordnede evalueringstemaer i rapporten (se nedenfor). Som udgangspunkt vil den overordnede score for projektet være et 'gennemsnit', dvs. hvis to temaer er grønne og ét er gult, vil den samlede karakter være grøn. Trafiklys [GRØN] [GUL] [RØD] Betydning Projektet vurderes overordnet som fornuftigt, men kan have væsentlige udfordringer Projektet har vanskeligheder med at realisere de ønskede resultat- og/eller effektmål Der er flere kritiske forhold i projektets resultat- og effektskabelse Trafiklys-scoren for projektets tilrettelæggelse er baseret på de individuelle scorer for de fire vurderingsparametre 'sammenhæng mellem aktiviteter og mål', 'organisering og projektledelse', 'kvalitet i hovedaktiviteter' og 'forankring og bæredygtighed'. For hvert af disse fire parametre er der givet en score fra 1-5, hvilket er præsenteret grafisk i vurderingsdiamanten i rapportens afsnit 4.1. Den samlede score for projektets tilrettelæggelse er et gennemsnit af disse fire scorer. Score Betydning Trafiklys 4,1-5,0 Tilrettelæggelsen er som ønsket eller bedre endnu [GRØN] 3,5-4,0 Tilrettelæggelsen er lidt under det ønskede niveau [GRØN] 2,6-3,4 Tilrettelæggelsen er noget under det ønskede niveau [GUL] 2,0-2,5 Tilrettelæggelsen er meget under det ønskede niveau [RØD] 1,0-1,9 Tilrettelæggelsen er ikkeeksisterende eller tæt herpå [RØD] Vurderingen af projektets resultatskabelse er ligeledes samlet i én score fra 1-5. Scoren tildeles på baggrund af en helhedsvurdering af projektets resultatskabelse, men med udgangspunkt i projektets kvantitative resultatopnåelse på evalueringstidspunktet. Score Slut Midtvejs Betydning Trafiklys 5 95 % + 45 % + Resultatskabelsen er som ønsket eller bedre endnu [GRØN] 4 81 90 % 35-44 % Resultatskabelsen er lidt under det ønskede niveau [GRØN] 3 65 80 % 25-34 % Resultatskabelsen er noget under det ønskede niveau [GUL] 2 20 64 % 15-24 % Resultatskabelsen er meget under det ønskede niveau [RØD] 1 0 19 % 0 14 % Resultatskabelsen er ikkeeksisterende eller tæt herpå [RØD] På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af projektets effektpotentiale på en skala fra 1-5, som anført herunder. Score Betydning Trafiklys 5 Projektet opnår sine ønskede effekter eller flere endda [GRØN] 4 Projektet opnår næppe helt sine ønskede effekter [GRØN] 3 Projektet opnår en rimelig andel af de ønskede effekter [GUL] 2 Projektet får kun få effekter [RØD] 1 Projektet får ingen effekter eller negative effekter [RØD]