ADRESSE COWI A/S Parallelvej 2 2800 Kongens Lyngby TLF +45 56 40 00 00 FAX +45 56 40 99 99 WWW cowi.dk MAJ 2015 REGION SYDDANMARK WELFARE TECH 2.0 MIDTVEJSEVALUERING REGIONENS JOURNALNUMMER: 12/18579 PROJEKTNR. A037714-010 DOKUMENTNR. 2 VERSION 1.0 UDGIVELSESDATO 29.05.2015 UDARBEJDET HWJO KONTROLLERET MAWL GODKENDT HWJO
SLUTEVALUERING AF WELFARE TECH 2.0 3 INDHOLD 1 Resumé: Welfare Tech 2.0 1 2 Baggrund og formål 2 2.1 Vækst- og forandringsmodel 2 3 Overordnet status 3 4 Rapportens konklusioner 4 4.1 Projektets tilrettelæggelse 4 4.2 Resultatskabelse 6 4.3 Effektskabelse 8 5 Udfordringer 11 6 Anbefalinger 11
SLUTEVALUERING AF WELFARE TECH 2.0 1 1 Resumé: Welfare Tech 2.0 Samlet vurdering: Projektets tilrettelæggelse Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Kvalitet i aktiviteter Organisering & projektledelse Såvel projektets aktiviteter som forankringen af kompetencer og viden i Foreningen Welfare Tech vurderer vi som tilfredsstillende med enkelte forbedringspotentialer. Projektets primære svaghed udgøres af sammenhængen mellem de gennemførte aktiviteter og den forventede resultat- og effektskabelse. Dette skyldes, at projektet ikke selv er direkte ansvarlig for den konkrete, forretningsnære hjælp til virksomhederne, og effekterne derved i udbredt grad er indirekte og kan være vanskelige at tilskrive projektets intervention. Projektet følger ikke op på henvisninger og matches, og kan derfor ikke sandsynliggøre, hvorvidt projektets aktiviteter udmøntes på en måde, der reelt er med til at skabe de forventede resultater og effekter hos medlemsvirksomhederne Resultatskabelse Resultatopnåelse 8% Budgetforbrug 49% Tidsforbrug 50% 0% 20% 40% 60% 80% 100% Projektet udviser på evalueringstidspunktet en resultatopnåelse væsentligt under det forventede. Dette skyldes bl.a., at projektets resultatmål efter vores vurdering er højt fastsat og ikke relaterer sig direkte til de gennemførte projektaktiviteter. Ifølge projektledelsen er projektet og den regionale sagsbehandler på evalueringstidspunktet i dialog mht. at justere projektets resultatmål fremadrettet. I forhold til projektaktiviteterne er projektet på linje med eller foran milepælene, og den lave resultatopnåelse er således ikke et udtryk for, at fremdriften i projektaktiviteterne er utilfredsstillende. Effektskabelse Deltagernes forventning til positiv udvikling som følge af projektet i (N = 20) Andel virksomheder med positiv forventning Årlig omsætning 35% Årlig eksport 20% Antal ansatte 20% Virksomhedernes forventning til projektets konkrete effektskabelse afspejler den manglende direkte sammenhæng mellem aktiviteter og effekter. Det er således kun ca. hver tredje virksomhed, der har positiv forventning til den fremtidige omsætning som følge af kontakten til projektet. Blandt de virksomheder, der har positiv forventning, er den relative forventede stigning tilfredsstillende.
2 SLUTEVALUERING AF WELFARE TECH 2.0 2 Baggrund og formål Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'vækst- og forandringsmodel'. Baggrund Formål Foreningen Welfare Tech ønsker sammen med de syddanske velfærdsteknologiske virksomheder og partnere at medvirke til at udvikle et stærkt økosystem omkring den velfærdsteknologiske klynge i Region Syddanmark. Welfare Tech var tidligere en regional klynge, men har i projektperioden fået status som nationalt innovationsnetværk for sundhed og velfærdsteknologi. Projektets aktiviteter bygger oven på de tidligere aktiviteter i projektet 'Welfare Tech Region' (2010-2013). Foreningen Welfare Tech er ud over 'Welfare Tech 2.0' også projektholder på flere andre projekterne samt indgår som partner i Patient@home, der supplerer 'Welfare Tech 2.0' i understøttelsen af de velfærdsteknologiske virksomheder. Projektets formål er at bidrage til udvikling af et stærkt velfærdsteknologisk økosystem, hvor Welfare Tech vil styrke virksomhedernes vækst, produktivitet og innovation ved at fungere som virksomhedernes indgangsportal til ressourcerne i økosystemet. Det vil ske igennem en række virksomhedsrettede aktiviteter i perioden 2013-2018. WT vil fungere som facilitator/ dealmaker for klyngens medlemmer og føre dem hen til de rigtige økosystemaktører og ressourcer, hvormed virksomhedernes innovationskapacitet, vækst og kommercialisering styrkes. Projektoplysninger for Welfare Tech 2.0 Bevillingsgiver: Den Europæiske Regionalfond Projektets fokusområde: Innovation og viden Velfærdteknologi Ansøger: Foreningen Welfare Tech Regionens sagsbehandler: Susanne Gren Svendsen Budget: 20,0 mio. DKK heraf 10,0 mio. DKK fra Vækstforum Syddanmark Projektperiode: 1. maj 2013-30. april 2017 2.1 Vækst- og forandringsmodel I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Vækst- og forandringsmodellen er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres i projektet, de umiddelbare resultater, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse resultater på længere sigt forventes at medføre.
SLUTEVALUERING AF WELFARE TECH 2.0 3 Aktiviteter Resultater Effekter Vejledning af iværksættere og etablerede virksomheder Matchning af SMVere med inden- og udenlandske købere og samarbejdspartnere Netværksarrangementer Research/felttur (udenlandske markeder) Branding og pitching af SMVers produkter i udlandet Understøttelse af SMVers deltagelse i udenlandske messer mv. Øget udvikling af sundheds- og velfærdsteknologiske løsninger Øget kommercialisering og internationalisering af løsningerne Strategiske partnerskaber Øget iværksætteri/etablering af virksomheder inden for velfærdsteknologi Øget omsætning og jobskabelse Øget eksport 3 Overordnet status Projektet har i projektperioden efter planen udvidet partnerkredsen betragteligt. Dermed er der færre ressourcer pr. medlem til opsøgende kontakt fra projektholdets side end tidligere, og det er i højere grad end i den tidligere projektperiode op til virksomhederne selv at være i kontakt med klyngen og dens medarbejdere. Som følge af gældende regler for strukturfondsprojekter kan projektet ikke som i den tidligere periode lave aktiviteter, der kun er målrettet en delmængde af klyngens medlemmer. Dette arbejder projektholdet på at håndtere, da det kan være vanskeligt at tilrettelægge aktiviteter, der er generelle nok til at være relevante for alle virksomheder, men som samtidig er tilstrækkeligt specifikke til at virksomhederne får reelt udbytte. Projektets primære aktiviteter omhandler henvisning til andre aktører og matching med samarbejdspartnere, leverandører og aftagere. Disse henvisninger/matches sker enten på forespørgsel fra virksomhederne eller på baggrund af mere formaliseret rådgivning af den enkelte virksomhed. Herudover afholder projektet netværksarrangementer for klyngens medlemmer samt arbejder med etablering af fælles stande på forskellige danske og internationale messer og at foretage research af udenlandske messer og salgskanaler mhp. at kunne vejlede virksomhederne endnu bedre.
4 SLUTEVALUERING AF WELFARE TECH 2.0 4 Rapportens konklusioner Dette afsnit indeholder en præsentation af rapportens konklusioner struktureret efter 3 hovedtemaer: tilrettelæggelse, resultatskabelse og effektskabelse. 4.1 Projektets tilrettelæggelse I dette afsnit præsenterer vi vores vurdering af projektets tilrettelæggelse ud fra de fire fastlagte evalueringsparametre. Afsnittet indledes med en grafisk fremstilling, som giver et overblik over evalueringens konklusioner. Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Organisering & projektledelse Kvalitet i aktiviteter Sammenhæng mellem aktiviteter og mål En central del af projektets aktiviteter består i at henvise medlemsvirksomhederne til andre aktører/indsatser eller matche med inden- eller udenlandske samarbejdspartnere, aftagere eller leverandører. Henvisningerne/matchingen sker på direkte forespørgsel fra virksomhederne eller på baggrund af op til 8 timers vejledning/sparring med virksomhederne (sparring på business case, opmærksomhedspunkter, regulatoriske krav mv.). At projektet i udbredt grad henviser virksomhederne til andre aktører mhp. vejledning eller rådgivning gør, at sammenhængen mellem vejledningen/sparringen og resultatskabelsen er relativt svag. Dette skyldes, at projektet ikke selv er direkte ansvarlig for den konkrete, forretningsnære hjælp til virksomhederne, og effekterne derved i udbredt grad er indirekte og kan være vanskelige at tilskrive projektets intervention. Projektets forventede effektskabelse i form af øget iværksætteri er baseret på de samme typer projektaktiviteter, som målrettet de veletablerede virksomheder, dog er vejledningsforløb tilpasset, at modtageren er en nystartet virksomhed 1. Der er ikke yderligere iværksætterrettede aktiviteter, og sammenhængen mellem projekt- 1 'Iværksætter' er i projektet defineret som en CVR-registreret virksomhed, der er under 5 år gammel, og som ikke tidligere har været drevet af en anden ejer eller i en anden form.
SLUTEVALUERING AF WELFARE TECH 2.0 5 aktiviteter og øget iværksætteri har dermed samme svagheder, som beskrevet ovenfor. Projektet opsamler på evalueringstidspunktet ikke på systematisk vis viden om, hvorvidt virksomhederne har fået det forventede udbytte ud af kontakten til de aktører eller samarbejdspartnere, som projektet har henvist dem til eller matchet dem med. Dette er problematisk, fordi projektholdet dermed heller ikke er bekendte med behovet for yderligere opfølgning. Der gennemføres årligt en måling blandt medlemmerne i form af klyngens 'vækstbarometer', men denne måling relaterer sig udelukkende til medlemmernes forventning til fremtidig vækst ikke til fremtidig vækst som følge af projektets konkrete aktiviteter og målingen siger efter vores vurdering intet om, i hvilket omfang tilstedeværelsen af klyngen og dens aktiviteter gør en forskel. Det er efter vores opfattelse en væsentlig svaghed, at sammenhængen mellem projektaktiviteter og resultat-/effektskabelse ikke monitoreres, og det derved ikke kan sandsynliggøres, hvorvidt projektets aktiviteter udmøntes på en måde, der reelt er med til at skabe de forventede resultater og effekter hos medlemsvirksomhederne (se anbefaling 2 i afsnit 6) Organisering & projektledelse Foreningen Welfare Tech ledes af en bestyrelse med repræsentanter fra såvel den private og offentlige sektor. Bestyrelsen er ikke inddraget i projektet, der alene varetages af projektholdet. Projektholdet indsamler årligt forslag fra medlemmerne mht. indhold af netværksarrangementer, messedeltagelse osv. Der har siden Welfare Techs opstart i 2010 været massiv personaleudskiftning, både på projektholdet og i foreningens ledelse. Dette har ifølge de interviewede virksomheder til tider påvirket foreningens fokus og kontinuiteten i kontakten til projektet. Det er vores indtryk, at projektet ledes professionelt og er opsøgende i forhold til at inddrage andres erfaringer. Eksempelvis har projektet udnyttet erfaringer fra Væksthus Syddanmark vedrørende et system til indberetning af virksomhedernes timer som medfinansiering. Foreningen er udfordret ved, at den ikke har et driftsbudget til eksempelvis at holde medarbejderne opdateret med viden om relevante aktører inden for forretningsområdet, herunder særligt på det internationale niveau, idet medlemskontingenter samt bevilling til innovationsnetværk fra Rådet for Teknologi og Innovation ikke kan dække dette. Dermed er foreningen afhængig af at modtage projektstøtte til f.eks. research eller feltture, så medarbejderne kan holde sig opdaterede. Kvalitet i aktiviteter De interviewede virksomheder giver udtryk for, at det er nemt og værdiskabende for dem at kunne kontakte Welfare Tech og modtage råd og sparring i forhold til konkrete problemstillinger. Virksomhederne oplever, at projektholdet er gode til at sende dem videre til relevante aktører og er fleksible i forhold til at imødekomme virksomhedernes behov for hjælp. Desuden anser de det for givtigt at deltage sammen med Welfare Tech på messer, da en stor stand dels trækker flere potentielle kunder til, og dels er billigere og bedre placeret på messen, end hvis virksomhederne skulle have hver deres stand.
6 SLUTEVALUERING AF WELFARE TECH 2.0 I spørgeskemaundersøgelsen fremhæver virksomhederne netværksdannelsen som deres vigtigste udbytte af projektdeltagelsen. Dog efterspørges af enkelte virksomheder mere konkret facilitering af matching samt mere information fra andre aktører som f.eks. Væksthuset. Projektmedarbejderne er løbende i uformel dialog med virksomhederne f.eks. i forbindelse med netværksarrangementer og messedeltagelse, men er ikke opsøgende i forhold til at afdække konkrete udfordringer eller problemstillinger i virksomhederne, da projektholdet har en forventning om, at virksomhederne selv er proaktive og tager kontakt til projektholdet, hvis de har behov for konkret vejledning. På baggrund af tilbagemeldingerne lader det ikke til at gøre sig gældende for alle virksomhederne, og flere af de interviewede virksomheder har angivet, at de kunne ønske en mere opsøgende kontakt fra Welfare Techs side. Halvdelen af de virksomheder, der har besvaret spørgeskemaundersøgelsen, angiver at projektets aktiviteter har givet dem et bedre grundlag for at udvikle velfærdsteknologiske løsninger, og halvdelen af disse oplyser, at de har gennemført eller er i gang med et eller flere udviklingsprojekter som følge af henvisning eller matching. Forankring og bæredygtighed Projektet er forankret i foreningen Welfare Tech. Foreningen er godkendt af Rådet for Teknologi og Innovation, og har modtaget bevilling på 12 mio. kr. for perioden 2014-2018. Desuden finansieres foreningen af medlemskontingenter. Dermed er såvel netværket af aktører og partnere samt den brede viden om forretningsområdet, som projektholdet har opbygget i dette samt det tidligere strukturfondsprojekt, forankret efter projektperiodens udløb. Selve projektaktiviteterne kan ifølge projektlederen ikke videreføres efter projektperioden uden yderligere tilskud. 4.2 Resultatskabelse Afsnittet indeholder en kort fremstilling af projektets resultatskabelse med fokus på projektets resultatopnåelse på evalueringstidspunktet. Resultatopnåelse 8% Budgetforbrug Tidsforbrug 49% 50% 0% 20% 40% 60% 80% 100% Resultatopnåelse Nedenfor præsenteres status på projektets resultatmål, jf. projektets resultatkontrakt. Projektets samlede målopnåelse er på midtvejsevalueringstidspunktet 8 %. Efter vores vurdering skyldes den lave målopnåelse to ting: Dels sker projektets resultatskabelse relativt indirekte, hvorfor virksomhederne måske ikke relaterer f.eks. en henvisning til en anden aktør som betydende årsag til en udviklingsproces. Dels er måltallene i vores optik højt fastsat, på trods af at målsætningerne er blevet nedjusteret i projektets resultatkontrakt (marts 2014) sammenlignet med det obligatoriske bilag til projektansøgningen. Projektledelsen har oplyst, at projektet på eva-
SLUTEVALUERING AF WELFARE TECH 2.0 7 lueringstidspunktet er i dialog med den regionale sagsbehandler mhp. yderligere tilpasning af målsætningerne, således at disse bliver mere realistiske. Sammenholdes projektets fremdrift, vil projektet formentlig opnå en højere resultatopnåelse. Da denne tilpasning ikke er foretaget på evalueringstidspunktet, evalueres projektets resultatopnåelse i forhold til de gældende resultatmålsætninger. Projektholdet indsamler på evalueringstidspunktet ikke systematisk information, der kan bruges til at belyse status på resultatmålene, og vores vurdering af resultatopnåelse er derfor baseret på resultater af den gennemførte spørgeskemaundersøgelse. Resultatmål Status Mål i projektperioden Resultatopnåelse i % Nye eksporterende virksomheder/iværksættere 45 5 11 % Virksomheder involveret i udvikling af nye produkter 300 15 5 % Nye produkter udviklet 50 3-4 7 % Virksomhederne er i spørgeskemaet blevet spurgt, hvorvidt de siden projektets start i maj 2013 har bevæget sig ind på nye eksportmarkeder, og i givet fald i hvor høj grad Welfare Tech har bidraget til dette. 3 virksomheder angiver at Welfare Tech i nogen eller lav grad har bidraget til, at de er indtrådt på nye eksportmarkeder. Opjusteres antallet under hensyntagen til undersøgelsens responsrate, anslås det, at projektet har været medvirkende til at skabe 5 nye eksporterende virksomheder. Foreningen Welfare Tech har på evalueringstidspunktet 128 virksomheder blandt sine medlemmer, men projektet har en målsætning om, at 300 virksomheder skal have været involveret i udvikling af produkter. Selvom den samme virksomhed ifølge projektledelsen kan tælles med flere gange, hvis den har været involveret i flere udviklingsprojekter, synes det at være et urealistisk mål at opnå for et projekt, der ikke aktivt igangsætter udviklingsprojekter. 5 virksomheder oplyser i spørgeskemaet, at de er eller har været involveret i i alt 9 udviklingsprojekter i projektperioden, hvilket opjusteret giver omkring 15 medvirkender til produktudvikling. Ifølge spørgeskemaundersøgelsen har to virksomheder hver udviklet et produkt. Opjusteres dette under hensyntagen til responsraten på spørgeskemaet, er et sandsynligt bud på det samlede antal nye produkter 3-4. Hertil kommer ovenfor nævnte udviklingsprojekter, der ikke har resulteret i færdige produkter på evalueringstidspunktet. Aktiviteter og milepæle Der foreligger en resultatkontrakt mellem Welfare Tech og Regionen. Resultatkontrakten er senest blevet revideret i marts 2014, og indeholder en oversigt over de aktiviteter, der skal gennemføres i projektperioden. Nedenfor præsenteres de væsentligste aktivitetsmål i aggregeret form, idet vi for overskuelighedens skyld har samlet aktiviteterne under hovedoverskrifter.
8 SLUTEVALUERING AF WELFARE TECH 2.0 Vejledninger af etablerede og nystartede virksomheder Mål for hele projektperioden Realiseret %-vis status 122 65 53% Matching 141 151 107% Henvisninger 43 134 312% Nye klyngemedlemmer 155 119 77% Understøttelse af messedeltagelse, herunder virksomheders præsentation af løsninger 103 77 75% Kilde: Seneste KPI-oversigt for projektet Projektet er fremdriftsmæssigt langt foran sine milepæle, når det drejer sig om henvisninger og matches (henvisning til mulig samarbejdspartner, aftager eller leverandør). Vejledning af etablerede og nystartede virksomheder følger på evalueringstidspunktet omtrent milepælene. Succeshistorier konkrete eksempler på virksomheders udbytte Udvikling af is målrettede kræftpatienter Virksomheden Is fra Skarø forhandler en specialdesignet is, der er velegnede til mennesker med lille appetit og behov for at øge kropsvægten. Denne is videreudvikles med støtte af projektet, således at den også kan benyttes til patienter i kemobehandling. Da kemobehandling kan ændre patienternes smagssans, skal isen tage hensyn til dette. Isen er blevet testet blandt patienter i målgruppen, efter at Welfare Tech har matchet Is fra Skarø med relevante samarbejdspartnere. Budget- og tidsforbrug Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Total Forbrug d.d. %-vist forbrug Budgetforbrug 20 mio. kr. 9,8 mio. kr. 49 % Tidsforbrug 48 mdr. 24 mdr. 50 % Budgetforbruget på evalueringstidspunktet er estimeret ved en simpel fremskrivning af projektets budgetforbrug pr. 28. februar 2015. Om spørgeskemaet 4.3 Effektskabelse I forbindelse med evalueringen har vi udsendt et spørgeskema til virksomhedsmedlemmer, som projektlederen har vurderet har været tilstrækkeligt i kontakt med projektet i projektperioden til at kunne besvare spørgsmålene meningsfuldt. Spørgeskemaet giver et indblik i såvel de forventede som allerede opnåede effekter blandt deltagerne i projektet, og er udformet, så det på bedst mulig vis matcher de indmeldte resultater og effekter fra ansøgningsfasen. Undersøgelsen er sendt ud til 45 projektdeltagere, hvoraf 20 virksomheder har besvaret spørgeskemaet, hvilket giver en svarprocent på 44 %. Således er de afgivne svar ikke en 100 % præcis beskrivelse af projektets effektskabelse, men giver et godt bud på, om projektet er på vej til at skabe effekter.
SLUTEVALUERING AF WELFARE TECH 2.0 9 Forventes effekter? Konkrete effekter Svarene på spørgeskemaet viser, at 50 % forventer, at projektet vil føre til et forbedret potentiale for vækst, mens 10 % vurderer, at projektet allerede har ført dette med sig. Sammenholdt med virksomhedernes konkrete, kvantitative forventninger præsenteret nedenfor, er det dog væsentligt færre, der har forventninger om, at vækstpotentialet vil skabe en konkret omsætningsstigning. Her gennemgår vi deltagernes tilbagemeldinger for de typer af effekter, som de forventer at opleve, når de har fået det fulde udbytte af deltagelse i projektet. Deltagernes forventning til positiv udvikling som følge af projektet i (N= 20) Andel virksomheder med positiv forventning Årlig omsætning 35% Årlig eksport 20% Antal ansatte 20% Kun en tredjedel af de adspurgte virksomhedspartnere har således en forventning om, at deres kontakt til Welfare Tech har indvirken på den fremtidige omsætning mv. Af næste tabel fremgår de endelige effekter, som deltagerne på et tidspunkt i fremtiden forventer at have opnået som følge af deres deltagelse i projektet. Deltagernes gennemsnitlige forventning til effekten af projekt på (N= 20) Realistisk forventning Optimistisk forventning Stigning i årlig omsætning (mio. kr.) 0,7 1,5 Stigning i årlig eksport (mio. kr.) 0,2 0,4 Antal nyansatte 0,7 1,5 De virksomheder, der har en positiv forventning til projektets effektskabelse, er mindre SMVer med en gennemsnitlig årlig omsætning på ca. 3 mio. kr. Virksomhedernes realistiske forventning svarer dermed til en stigning svarende til ca. en fjerdel i forhold til den nuværende omsætning. Dette er efter vores vurdering en god effekt pr. virksomhed, selvom vi gerne havde set, at flere virksomheder havde konkrete positive forventninger til omsætningen. Tidshorisont for effekter Af de forventede fremtidige effekter, der er nævnt ovenfor, er nogle allerede opnået, mens andre først vil indtræffe senere. Figuren herunder giver et overblik over det forventede tidspunkt for virksomhedernes samlede udbytte af deltagelse.
10 SLUTEVALUERING AF WELFARE TECH 2.0 Opnået og forventet samlet udbytte (N= 20) Opnået d.d. i projektperioden Forventes 1-3 år efter Årlig omsætning (mio. kr.) Eksport (mio. kr.) - rapporteret 4,9 0,2 8,5 - opjusteret 8,0 0,3 13,8 - rapporteret 1,3 0,0 3,4 - opjusteret 2,1 0,0 5,5 - rapporteret 6,0 0,0 8,0 Antal nyansatte - opjusteret 9,8 0,0 13,0 Note: 'rapporteret' refererer til summen af survey-svar, mens 'opjusteret' er justeret for de manglende survey-svar med 50 % af gennemsnittet for de rapporterede svar. Som det fremgår ovenfor, vurderer virksomhederne, at projektet på nuværende tidspunkt bidraget til skabelsen af mindst 6 nye jobs og 4,9 mio. kr. i øget omsætning. Opjusteres disse tal for manglende besvarelser, er et realistisk bud på projektets nuværende effektskabelse 9-10 nye jobs og ca. 8 mio. kr. i øget omsætning blandt medlemsvirksomhederne. Effekter i yderområder Projektet er forpligtet til at inddrage virksomheder beliggende i regionens yderområder i aktiviteterne. Dette har i et vist omfang været en udfordring, da størstedelen af de virksomheder, for hvem projektet har relevans, er beliggende i andre dele af regionen. Dog er der virksomheder fra Faaborg-Midtfyn og Svendborg Kommune blandt klyngens medlemmer.
SLUTEVALUERING AF WELFARE TECH 2.0 11 5 Udfordringer Afsnittet berører de barrierer og udfordringer, som projektet oplever i forhold til at realisere sine målsætninger. I figuren nedenfor kortlægges eksisterende barrierer med brug af dimensionerne ekstern/intern og kan/kan ikke påvirke. Kan påvirke Kan ikke påvirke Interne barrierer Projektet følger ikke systematisk op på medlemsvirksomhederne efter henvisning/matching Eksterne barrierer Ikke alle medlemsvirksomheder er selv opsøgende mhp. hjælp fra projektholdet Over halvdelen af medlemsvirksomheder anser ikke projektets aktiviteter som effektskabende for dem Størstedelen af de velfærdsteknologiske virksomheder er beliggende uden for regionens yderområder 6 Anbefalinger Her præsenterer vi de vigtigste anbefalinger, som COWI vil pege på med baggrund i evalueringen af projektet. Overordnet er det vores indtryk, at projektet gør et godt og vigtigt arbejde for virksomhederne, og anbefalingerne skal ses som forslag til gøre dette arbejde endnu bedre. Anbefalingerne er ikke i prioriteret rækkefølge. Anbefaling 1: Systematisk opfølgning på projektaktiviteter Projektholdet følger på evalueringstidspunktet ikke systematisk op på, hvorvidt henvisninger til andre aktører eller matching med samarbejdspartnere, leverandører og aftagere har været succesfulde for virksomhederne. Dette er efter vores vurdering helt centralt for, at projektholdet kontinuerligt kan følge op på virksomhedernes behov. Desuden vil en struktureret opfølgning kunne indsamle viden om hvilke udbytte, der skabes i virksomhederne som følge af henvisninger og matching. Welfare Tech har siden 2011 benyttet et CRM-system, der systematisk monitorerer Welfare Techs kontakt med virksomheder, kommuner mv. Vi anbefaler, at projektholdet i højere grad benytter dette system i en struktureret dialog med medlemmerne mhp. afdækning af medlemmernes udbytte af projektaktiviteterne På baggrund af vores kendskab til andre danske klyngeorganisationer vil vi konkret fremhæve cleantech-klyngen CLEAN som en relevant inspirationskilde, da CLEAN er langt fremme mht. brug af CRM-system i dialogen med medlemmer.
12 SLUTEVALUERING AF WELFARE TECH 2.0 Anbefaling 2: Dokumentation af effektskabelse En overordnet udfordring for projektet er, at sammenhængen mellem projektaktiviteter og resultat-/effektskabelse ikke kan påvises endsige sandsynliggøres. Selvom det er op til den enkelte virksomhed at få udbytte af projektets aktiviteter, er projektholderen naturligvis også ansvarlig for, at projektaktiviteterne skaber effekter for medlemsvirksomhederne. Welfare Tech gennemfører årligt målinger af forventningen til fremtidig vækst blandt klyngens medlemmer (vækstbarometeret), men da disse målinger relaterer sig til virksomhedernes generelle forventning og ikke konkret til forventning som følge af kontakten til projektet, påviser resultaterne af målingen ikke, om klyngen og projektaktiviteterne reelt gør en forskel. Vi foreslår, at projektholdet fremadretter videreudvikler sin årlige måling således, at denne kan bruges til at dokumentere den værdi, projektaktiviteterne skaber for virksomhederne, både i form af resultattyper og vækstpotentiale. I den gennemførte spørgeskemaundersøgelse til evalueringen svarer over halvdelen af virksomhederne, at projektets aktiviteter ikke forbedrer deres potentiale for vækst. Dette kan skyldes, at virksomhedernes konkrete effekter er så afledte af projektaktiviteterne, at virksomhederne ikke relaterer dem til projektet. Det vil derfor være givtigt for dokumentationen af projektets effektskabelse, at projektholdet udviklet passende indikatorer for det konkrete udbytte af interaktionen med Welfare Tech, der skal generere de ønskede effekter. Anbefaling 3: Tværgående opsamling/læring Anbefaling 4: Opsøgende kontakt til medlemmerne Et andet uudnyttet potentiale i projektet er opbygning af tværgående viden om virksomhedernes vilkår og behov. Her tænker vi eksempelvis på tværgående opsamling af viden om trends inden for forretningsområdet eller hvilke typer problemstillinger og udviklingspotentialer, der gør sig gældende blandt virksomhederne. Welfare Tech er i en unik position til at indsamle og analysere denne information, og registrerer ifølge projektledelsen alle kontakter til medlemmerne i klyngens CRM-system. Såfremt den systematiske registrering af henvendelser fra virksomhederne indeholder viden om virksomhedernes vilkår og behov, kan denne viden bruges til i og uden for Welfare Tech at sikre de bedst mulige rammevilkår og tilrettelægge relevante indsatser for de velfærdsteknologiske virksomheder. Projektholdet har en forventning om, at virksomhederne selv tager kontakt til dem, hvis de har behov for vejledning. Projektledelsen oplyser, at projektholdet er i gang med en proces, der drejer sig om at "opdrage" virksomhederne til selv at være aktive og opsøgende mhp. at få udbytte af medlemsskabet af klyngen. På baggrund af tilbagemeldingerne i forbindelse med evalueringen lader det ikke til, at alle virksomhederne selv tager eller vil tage aktivt kontakt, f.eks. fordi de er for optagede af den daglige drift til at give sig i kast med udviklingsprojekter uden at få et venligt skub. Flere af de interviewede virksomheder mener, at en mere opsøgende kontakt fra Welfare Techs side kunne være givtigt. Dette er naturligvis en balancegang, da virksomhederne ikke må føle, at projektholdet "er efter dem", men et forslag kunne være at indarbejde en proces, hvor projektholdet kontakter virksomheder pr. telefon for en generelt snak, såfremt virksomhederne ikke har deltaget i projektaktiviteter i en passende periode. Sådanne opkald skulle tage udgangspunkt i projektholdets kendskab til virksomhederne virksomheds størrelse, virksomhedens aktuelle udviklingsprojekter, den tidligere kontakt til virksomhedens kontaktperson osv.
SLUTEVALUERING AF WELFARE TECH 2.0 13 Bilag A Projektets resultater og effekter Nedenstående tabeller viser projektets resultat- og effektmål. De obligatoriske 3 målsætninger, som ansøger har angivet i 'det obligatoriske bilag til ansøgningen', er angivet i tabel 1 eller 3 afhængigt af, om der er tale om resultatmål eller effektmål. Yderligere relevante resultatmål er angivet i tabel 2. RESULTATER Tabel 1: Primære resultatmål som indmeldt i det obligatoriske bilag til ansøgningen Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet 2.5.4 Nye eksporterende virksomheder/iværksættere 45 5 200 2.5.1 Nye produkter udviklet 50 3-4 150 2.5.2 Virksomheder involveret i udvikling af nye produkter 300 15 500 Delvist urealistisk Delvist urealistisk Delvist urealistisk Tabel 2: Supplerende resultatmål Projektets øvrige resultatmål som f.eks. formuleret i ansøgningen I projektperioden 3 år efter projektslut Mål Status Mål Forventet EFFEKTER Tabel 3: Effektmål (kun eventulle effektmål fra det obligatoriske bilag til ansøgningen) Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet
14 SLUTEVALUERING AF WELFARE TECH 2.0 Bilag B Forklaring til trafiklys-scorer Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og evt. andre interessenter samt kvantitativ data fra spørgeskemaer og statusrapporter m.v. OVERORDNET SCORE Denne samlede score er en helhedsvurdering baseret på de individuelle scorer for de tre overordnede evalueringstemaer i rapporten (se nedenfor). Som udgangspunkt vil den overordnede score for projektet være et 'gennemsnit', dvs. hvis to temaer er grønne og ét er gult, vil den samlede karakter være grøn. Trafiklys [GRØN] [GUL] [RØD] Betydning Projektet vurderes overordnet som fornuftigt, men kan have væsentlige udfordringer Projektet har vanskeligheder med at realisere de ønskede resultat- og/eller effektmål Der er flere kritiske forhold i projektets resultat- og effektskabelse 1. Tilrettelæggelse Trafiklys-scoren for projektets tilrettelæggelse er baseret på de individuelle scorer for de fire vurderingsparametre 'sammenhæng mellem aktiviteter og mål', 'organisering og projektledelse', 'kvalitet i hovedaktiviteter' og 'forankring og bæredygtighed'. For hvert af disse fire parametre er der givet en score fra 1-5, hvilket er præsenteret grafisk i vurderingsdiamanten i rapportens afsnit 4.1. Den samlede score for projektets tilrettelæggelse er et gennemsnit af disse fire scorer. Score Betydning Trafiklys 4,1-5,0 Tilrettelæggelsen er som ønsket eller bedre endnu [GRØN] 3,5-4,0 Tilrettelæggelsen er lidt under det ønskede niveau [GRØN] 2,6-3,4 Tilrettelæggelsen er noget under det ønskede niveau [GUL] 2,0-2,5 Tilrettelæggelsen er meget under det ønskede niveau [RØD] 1,0-1,9 Tilrettelæggelsen er ikkeeksisterende eller tæt herpå [RØD] 2. Resultatskabelse Vurderingen af projektets resultatskabelse er ligeledes samlet i én score fra 1-5. Scoren tildeles på baggrund af en helhedsvurdering af projektets resultatskabelse, men med udgangspunkt i projektets kvantitative resultatopnåelse på evalueringstidspunktet. Score Slut Midtvejs Betydning Trafiklys 5 95 % + 45 % + Resultatskabelsen er som ønsket eller bedre endnu [GRØN] 4 81 90 % 35-44 % Resultatskabelsen er lidt under det ønskede niveau [GRØN] 3 65 80 % 25-34 % Resultatskabelsen er noget under det ønskede niveau [GUL] 2 20 64 % 15-24 % Resultatskabelsen er meget under det ønskede niveau [RØD] 1 0 19 % 0 14 % Resultatskabelsen er ikkeeksisterende eller tæt herpå [RØD] 3. Effektvurdering På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af projektets effektpotentiale på en skala fra 1-5, som anført herunder. Score Betydning Trafiklys 5 Projektet opnår sine ønskede effekter eller flere endda [GRØN] 4 Projektet opnår næppe helt sine ønskede effekter [GRØN] 3 Projektet opnår en rimelig andel af de ønskede effekter [GUL] 2 Projektet får kun få effekter [RØD] 1 Projektet får ingen effekter eller negative effekter [RØD]