UDVIKLING OG DESIGN AF INTERNATIONALT TESTCENTER

Transkript

1 ADRESSE COWI A/S Parallelvej Kongens Lyngby TLF FAX WWW cowi.dk JANUAR 2016 REGION SYDDANMARK UDVIKLING OG DESIGN AF INTERNATIONALT TESTCENTER COLAB DENMARK SLUTEVALUERING PROJEKTNR. A DOKUMENTNR. 4 VERSION 1.1 UDGIVELSESDATO UDARBEJDET LTKV KONTROLLERET MOBR GODKENDT MAWL

2

3 SLUTEVALUERING AF COLAB DENMARK 3 INDHOLD 1 Resumé: CoLab Denmark 1 2 Baggrund og formål Vækst- og forandringsmodel 3 3 Overordnet status 4 4 Rapportens konklusioner Projektets tilrettelæggelse Resultatskabelse Effektskabelse 8 5 Anbefalinger og læringspunkter 10

4

5 SLUTEVALUERING AF COLAB DENMARK 1 1 Resumé: CoLab Denmark Samlet vurdering: Projektets tilrettelæggelse Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål Kvalitet i aktiviteter Organisering & projektledelse CoLab Denmark består af en række velgennemtænkte og relevante aktiviteter udført med henblik på at udvikle et internationalt testmiljø for test af borgernære velfærdsteknologiske løsninger, som betalende virksomheder vil benytte. Det opstillede koncept skal valideres med gennemførslen af seks virksomhedsbetalte pilotprojekter. Projektets rekruttering har imidlertid involveret lange dialoger med virksomheder, hvoraf flere i sidste ende valgte ikke at benytte sig af CoLabs testfaciliteter. Adspurgte virksomheder oplever, at CoLab endnu ikke er tilstrækkeligt skarpe på, hvilke ydelser og processer Co- Lab tilbyder, og hvad det konkrete udbytte er for virksomhederne. Prisfastsættelsen af ydelserne opleves af virksomhederne som uigennemsigtig. Projektet har oplevet lav betalingsvillighed hos virksomhederne, hvilket har vanskeliggjort forankringen af projektets resultater. Resultatskabelse Resultatopnåelse 50% Budgetforbrug 79% Tidsforbrug 96% 0% 20% 40% 60% 80% 100% Projektet har ikke nået sin målsætning om at gennemføre seks virksomhedsbetalte pilotforløb inden for projektperioden, hvilket betyder, at man ikke derigennem har opnået validering af bæredygtigheden af det opstillede koncept. CoLab Denmark har ved projektets afslutning gennemført tre pilotforløb og har ét i pipeline. Projektet er i færd med eller har gennemført yderligere ti forløb finansieret via offentlige midler og virksomhedernes egne timer, men grundet evalueringens fokus tælles de forløb ikke med i resultatopnåelsen. Projektledelsen forventer at opnå målet om seks betalende virksomheder efter projektperiodens ophør i medio Projektet har et mindre underforbrug af budgetmidler ift. den tidsmæssige status for projektet, men forventer at forbruge % af det samlede budget inden udgangen af projektperioden. Effektskabelse Deltagernes gennemsnitlige forventning til positiv udvikling som følge af projektet Andel med positiv forventning Årlig omsætning Antal ansatte 50 % 0,7 mio. kr. 1,1 jobs Halvdelen af spørgeskemarespondenterne forventer, at deltagelse i projektet vil føre til omsætningsforøgelse og jobskabelse i virksomheden. De forventer gennemsnitligt en årlig øget omsætning på 0,7 mio. kr. og etablering af én ny arbejdsplads, hvilket er en relativ beskeden forventet effektskabelse og lavere end projektets opstillede effektmål på 15 % omsætningsstigning i pilotprojekterne.

6 2 SLUTEVALUERING AF COLAB DENMARK 2 Baggrund og formål Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'vækst- og forandringsmodel'. Baggrund Formål En lang række syddanske velfærdsteknologiske virksomheder oplever barrierer for at få kommercielleret deres produkter som følge af krav om patientsikkerhed og overholdelse af kommunikationsstandarder. Virksomhederne har brug for bedre klinisk evidens og økonomisk rationale for deres løsninger og et tættere samspil med den offentlige sektor (sundhedssektoren og den kommunale sektor). Det vil kunne fremme deres adgang til at sælge og kommercialisere deres produkter både til det danske og det internationale marked for velfærdsteknologi. Det kan blandt andet ske ved, at de kliniske arbejdsgange og IT-systemunderstøttelsen sammentænkes bedre i forbindelse med udvikling af nye velfærdsteknologiske løsninger. Når en virksomhed ønsker at teste et produkt inden for velfærdsteknologien er det ressourcekrævende at etablere et testmiljø, hvor samspil og integration til andre systemer kan testes realistisk. Det er komplekst at koordinere relevante kompetencer og parter i et testforløb, som kan spænde over flere sektorer, hvilket betyder, at især mindre virksomheder har svært ved at opnå større markedsandele. På den baggrund vil projektet udvikle og designe et internationalt testmiljøfor udvikling og test af borgernære velfærdsteknologiske løsninger målrettet både store og små virksomheder. Målet er at designe et realistisk testmiljø, hvor en virksomheds produkt vil kunne testes sammen med andre leverandørers produkter i brugerscenarier på tværs af social- og sundhedssektoren gennem hele sundhedskæden fra forebyggelse af risikoadfærd i hjemmet, hvor den praktiserende læge kontaktes, over diagnostik og behandling på sygehuset til borgeren er tilbage i hjemmet igen med efterfølgende rehabilitering. Det er ambitionen med testmiljøet at kunne gennemføre testscenarier, der overholder nationale og internationale standarder for kommunikation og evidens i sundhedssektoren for dermed at styrke mulighederne for en skaleret udbredelse af virksomhedernes sundhedsløsninger. CoLab Denmark er således et konceptudviklingsprojekt bestående af en række konceptudviklingsaktiviteter, der skal give indblik i, hvordan et økonomisk bæredygtigt koncept omkring det internationale testmiljø skal skrues sammen. Den første af disse aktiviteter er "gennemførelse af en markedsundersøgelse med henblik på at identificere efterspørgslen efter disse ydelser blandt private virksomheder, herunder at få verificeret om virksomhederne er villige til at betale for disse ydelser" 1. Såfremt markedsundersøgelsen viser efterspørgsel, vil projektet fortsætte og gennemføre yderligere otte konceptudviklingsaktiviteter (heriblandt etablering af styringsmodel, forretningsmodel for efterfølgende drift, design af fysisk testmiljø, aftale indgåelse med borgertestpanel, aftaleindgåelse med offentlige partnere m.v.). Endelig vil projektet afteste konceptet via "pilottest med telemedicinske løsninger fra 6 betalende virksomheder med henblik på at verificere konceptet." 2 1 Ansøgningsmaterialet, Bilag A, aktivitet 1 2 Ansøgningsmaterialet, Bilag A, aktivitet 10

7 SLUTEVALUERING AF COLAB DENMARK 3 Projektoplysninger for CoLab Denmark Bevillingsgiver: Region Syddanmark Projektets fokusområde: Sundheds- og Velfærdsinnovation Ansøger: Syddansk Sundhedsinnovation Regionens sagsbehandler: Susanne Søndergaard Budget: DKK 7 mio. heraf er 4.7 regionale erhvervsudviklingsmidler (REM) Projektperiode: 1. januar 2014 til 31. december Vækst- og forandringsmodel I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Vækst- og forandringsmodellen er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres i projektet, de umiddelbare resultater, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse resultater på længere sigt forventes at medføre. Aktiviteter Resultater Effekter Udarbejdelse af markedsanalyse Brugsscenarier (use-cases) beskrives og ydelseskatalog udvikles Rammebetingelser for brug af testmiljø specificeres Forretningsmodel for testmiljø udvikles Design og etablering af rammevilkår for Living Labs og fysisk testmiljø Konceptverificering via gennemførte pilotprojekter Udvikling af koncept for borgerpanel Virksomheders og offentligt behov identificeret Tydeliggjort værdi for virksomheder ved at bruge CoLab Denmark Borgerpanel etableret Etableret Living Labs og fysisk testmiljø Konceptet i CoLab Denmark er valideret og klargjort til drift Øget vækstpotentiale hos virksomheder, der tilbyder telemedicinske løsninger Forbedrede vilkår for iværksættere inden for forretningsområdet Øget innovationsniveau blandt SMV'er inden for forretningsområdet Øget omsætning og eksport blandt virksomheder inden for forretningsområdet Tiltrækning af virksomheder inden for forretningsområdet til Region Syddanmark

8 4 SLUTEVALUERING AF COLAB DENMARK 3 Overordnet status Evalueringsdesign Efter aftale med Region Syddanmark er fokus for denne evaluering at vurdere, hvorvidt projektet er lykkedes med at udvikle og opstille et økonomisk bæredygtigt koncept, der kan bidrage til vækst hos de syddanske virksomheder. Det vurderer vi ved at belyse pilotvirksomhedernes oplevelser i forbindelse med deres pilotforløb. Dermed kan vi vurdere i hvor høj grad pilotprojekterne verificerer nytteværdien og bæredygtigheden af det opstillede konceptet. Rationalet bag denne tilrettelæggelse af evalueringen er, at hvis de foregående aktiviteter og udnyttelsen af dem er af tilstrækkelig kvalitet og relevans, så vil det vise sig i form af høj betalingsvillighed, tilfredshed og udbytte hos de deltagende pilotprojektvirksomheder. Et pilotprojekt defineres i projektets ansøgningsmateriale som et kontant virksomhedsfinansieret projekt, og evt. medfinansiering i form af timer kan ikke tælles med. Den gennemførte markedsanalyse viste efterspørgsel og høj grad af betalingsvillighed hos regionale, nationale og internationale virksomheder, og projektet blev derfor udrullet. I løbet af projektet har CoLab Denmark gennemført samtlige af de indledende konceptudviklingsaktiviteter under bevillingen (aktivitet 1-9). Konceptet er baseret på, at udvikling skal funderes i driften, og at der etableres 5 living labs (CoLabs), forankret omkring regionens 5 sygehusenheder, herunder psykiatrien og det sociale område. Herudover er der etableret et IT-teknisk CoLab (Plug & Play) samt en tværgående supportfunktion. Tre CoLabs allerede er i fuld drift og flere deltagende virksomheder end de såkaldte pilotprojektvirksomheder har derfor startet samarbejde med de tre CoLabs. Disse projektforløb kaldes i projektet for 'projektsamarbejder' og adskiller sig fra pilotprojekterne ved at være finansieret af offentlige midler og virksomhedernes timer (frem for kontant finansiering) samt ikke at være indtægtsgivende for CoLab. Eftersom Recovery & Rehab, Plug & Play og CoLab Odense er i drift, mens de øvrige endnu er i designfasen, har alle deltagende virksomheder i projektet ligget under et af disse tre CoLabs. Der er stor forskel på de individuelle CoLabs specifikke ydelser såvel som på, hvor langt de er i etableringsfasen, og hvor mange virksomheder de hver især har haft kontakt til. Vi differentierer som udgangspunkt ikke mellem de enkelte CoLabs, men foretager en evaluering af det samlede koncept. Nedenfor ses en status på drift eller projektledelsens forventning til starttidspunkt for drift: Recovery & Rehab: I drift siden december 2014 Plug & Play: I drift siden december 2014 CoLab Odense: I drift siden marts 2015 CoLab Vest: Etablering i gang, forventet drift januar 2016 CoLab Sønderjylland: Etablering i gang, forventet drift februar 2016 CoLab Lillebælt: Etablering på standby. Sygehus Lillebælts ønske om at sætte etablering af CoLab Lillebælt på standby afventer behandling i Region Syddanmarks direktion, idet den politiske intention med CoLab og en forudsætning for finansiering har været, at konceptet forankres ved alle sygehusenheder og dermed dække hele regionen.

9 SLUTEVALUERING AF COLAB DENMARK 5 4 Rapportens konklusioner Dette afsnit indeholder en præsentation af rapportens konklusioner struktureret efter 3 hovedtemaer: tilrettelæggelse, resultatskabelse og effektskabelse. 4.1 Projektets tilrettelæggelse I dette afsnit præsenterer vi vores vurdering af projektets tilrettelæggelse ud fra de fire fastlagte evalueringsparametre. Afsnittet indledes med en grafisk fremstilling, som giver et overblik over evalueringens konklusioner. Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål Organisering & projektledelse Kvalitet i aktiviteter Sammenhæng mellem aktiviteter og mål Det er vores vurdering, at der som udgangspunkt er en god sammenhæng mellem de i ansøgningsmaterialet beskrevne aktiviteter og de opstillede mål. Der er lagt op til velvalgte forretningsanalyser og konceptudviklingsaktiviteter, og ambitionen om at gennemføre seks pilotprojekter med betalende virksomheder er god. Projektet beretter, at konceptualiseringen er målrettet efter resultatet i markedsanalysen, der gav en klar indikation af høj betalingsvillighed ift. konceptets oprindelige ydelser. CoLab'erne har dog i praksis fungeret som konsulenter, der stiller faglig viden til rådighed for virksomheder og eksterne samarbejdspartnere, i lige så høj grad som foretaget tests i testmiljøet. Dette er potentielt værdiskabende for virksomhederne, men ligger ud over det oprindeligt planlagte koncept og skal derfor tænkes ind i forretningsmodellen. Konceptudviklingen er foranlediget af, at CoLab'erne er gået i dialog med virksomheder og offentlige aktører med henblik på rekruttering til testmiljøet, hvilket ofte er foregået via langstrakte rådgivningsforløb, snarere end at ændringen har været en strategisk beslutning om at ændre konceptets fokus. Dog beretter projektledelsen om et nyligt tiltag, et såkaldt Fast-track forløb med 360 graders intensiv rådgivning, designet med henblik på at tilgodese iværksættere, hvis henvendelser man vanskeligt kunne tilgodese i det oprindelige koncept. Dette er positivt, da det afspejler en strategisk, behovsdrevet konceptændring, omend selve aktiviteten og de potentielle effekter ligger uden for projektperioden. Organisering & projektledelse Projektet består af et samarbejde mellem offentlige og private nøgleaktører inden for sundheds- og velfærdsinnovation, hvilket er positivt. De individuelle CoLabs mødes hver anden uge, hvilket muliggør, at erfaringer, som de fungerende CoLabs

10 6 SLUTEVALUERING AF COLAB DENMARK løbende gør sig, kan overføres til øvrige CoLabs, som endnu ikke er i drift, hvilket ligeledes er positivt. Projektledelsen udfører imidlertid kun løbende evalueringer af virksomhedernes afsluttede forløb i begrænset omfang. Den evaluering, som projektet foretager, er hovedsageligt intern og ikke i dialogmed virksomhederne, hvilket betyder, at det fulde potentiale af møderne ikke er udnyttet. Dog betyder projektholdets tætte dialog med virksomhederne i opstartsfasen, at der derigennem indsamles input og læring. Kvalitet i aktiviteter Her vurderer vi virksomhedernes oplevelse af kvaliteten af det samlede koncept, som beskrevet i Kapitel 3. Flere virksomheder fremhæver CoLab som en simpel vej ind i et komplekst netværk af spillere inden for Sundheds- og Velfærdsinnovation. Et par virksomheder peger på, at CoLab tilbyder adgang til ekspertpaneler og offentlige aktører inden for sundhedsvæsenet gennem netværk og workshops, hvor en virksomhed kan præsentere sit produkt og få feedback. Dette anser de for værdiskabende, da virksomheder kan have svært ved at få kontakt til driften. Det har været en udfordring for projektet, at rekrutteringsfasen har involveret langstrakte dialoger med virksomheder (nogle på over et år), hvoraf flere i sidste ende valgte ikke at benytte sig af CoLabs testfaciliteter. De interviewede virksomheder påpeger, at CoLab Denmark endnu ikke er tilstrækkeligt skarpe på, hvilke ydelser de tilbyder (for eksempel på hvilke metoder og procedurer deres produkter vil blive testet efter samt fordele og ulemper ved dem). En direkte konsekvens heraf er, at prisfastsættelsen af ydelserne ligeledes er uigennemsigtig for virksomhederne. Flere virksomheder problematiserer desuden, at CoLab ikke kan tilbyde et tilstrækkeligt konkret output af projektet. En virksomhed modtager læring om sit produkt, der testes i Plug & Play, men ikke noget der kan bruges som egentlig blåstempling, så som et reelt (inter)nationalt anerkendt testcertifikat. Det betyder, at virksomheden potentielt skal gennemføre tilsvarende tests i andre regioner for at kunne markedsføre sit produkt der. Det er altså ikke alle virksomheders oplevelse, at CoLabs testfaciliteter resulterer i en national blåstempling i tråd med projektets ambition. Endelig kunne projektet ved evalueringens opstart ikke identificere, hvilke projekter, der fungerer som de såkaldte pilotprojekter, hvilket betyder, at der ikke er foretaget systematisk evaluering af virksomhedernes oplevelser og værdiskabelse med henblik på verificering og potentiel tilpasning af konceptet i overensstemmelse med aktivitet 10 (se kapitel 2 Baggrund og Formål). Da vi mener, at gennemførsel af pilottest med henblik på verificering og eventuel tilpasning af konceptet er en afgørende aktivitet i projektet, vurderer vi dette som en svaghed. Forankring og bæredygtighed Projektets bæredygtighed er udfordret, da projektet har oplevet en manglende betalingsvillighed hos virksomhederne. Af 22 potentielt betalende virksomheder har projektet gennemført tre indtægtsgenererende projekter og har ét yderligere i pipeline. Dog oplever flere virksomheder CoLabs indledende rådgivningsfase (rekrutteringen) som kompetencegivende, hvilket i et vist omfang understøtter projektets målsætninger, om end det ikke bidrager til CoLabs økonomiske bæredygtighed. Desuden har ti virksomheder deltaget i projektsamarbejder via offentlige midler og egenfinansiering alene i form af timer, som ikke har affødt betaling til CoLab. I erkendelse af den uoverensstemmelse mellem markedsanalysen og projektholdets

11 SLUTEVALUERING AF COLAB DENMARK 7 praktiske erfaringer med betalingsvillighed, er disse såkaldte projektsamarbejder inkorporeret som en konkret udvidelse af konceptet, idet de viser, at virksomheder er interesserede. Selvom projektsamarbejderne ligeledes kan være en katalysator for vækst, så betyder de manglede driftsindtægter imidlertid, at denne konceptændring vil gøre CoLab Denmark afhængig af fortsat offentlig støtte og projektmidler, indtil der suppleres med indtægtsgivende projektforløb. I tråd hermed har projektet imidlertid modtaget finansiering til en etableringsfase, der løber til udgangen af Projektets ambition om at skabe et økonomisk bæredygtigt tilbud til virksomhederne efter projektperiodens ophør i 2015 er på evalueringstidspunktet ikke realistisk, men projektholdet vurderer, at der er gode muligheder frem mod næste bevillings udløb i Resultatskabelse Afsnittet indeholder en kort fremstilling af projektets resultatskabelse med fokus på projektets resultatopnåelse på evalueringstidspunktet. Resultatopnåelse 50% Budgetforbrug 79% Tidsforbrug 96% 0% 20% 40% 60% 80% 100% Resultatopnåelse Nedenfor præsenteres projektets indmeldte resultatmål for projektperioden og status på evalueringstidspunktet. Som det fremgår, har projektet opstillet to resultatmål, nemlig gennemførsel af de seks virksomhedsbetalte pilotforløb, hvoraf to skal være iværksættere eller spin-out virksomheder. Resultatmål Status Mål i projektperioden Resultatopnåelse i % Betalende virksomheder har deltaget i pilottest/pilotprojekter % Antal iværksættere eller spin-out virksomheder (af de seks pilotprojekter) % Note 1: Efter aftale med Region Syddanmark er den i ansøgningsmaterialet etablerede definition af et pilotprojekt som et virksomhedsbetalt forløb her udvidet til at inkludere et indtægtsgenerende projekt, hvis finansiering er rejst af en anden offentlig-privat aktør. Yderligere 10 projekter har deltaget via finansiering fra offentlige midler og egenfinansiering i timer. Disse indgår ikke i resultatopnåelsen, da de ikke er indtægtsgenerende og dermed ikke bidrager mod etablering af et økonomisk bæredygtigt koncept. Det er ikke lykkedes CoLab Denmark at gennemføre seks virksomhedsbetalte pilotforløb primært på grund af manglende betalingsvillighed hos deltagerne. Der er på evalueringstidspunktet gennemført tre indtægtsgenererende pilotforløb, og der er yderligere et projekt i pipeline. Projektledelsen forventer, at CoLab opnår målet om seks betalende virksomheder i medio 2016, da de forventer, at andre nationale initiativer, så som på KOL-området med 47 mio. til udrulning af telemedicinske løsninger til hjemmebehandling, skaber et behov og efterspørgsel efter test.

12 8 SLUTEVALUERING AF COLAB DENMARK Aktiviteter og milepæle Budget- og tidsforbrug På aktivitetssiden er det vores vurdering, at projektet i høj grad har nået sine milepæle med undtagelse af aktiviteten relateret til pilotprojekternes gennemførsel. Vi vurderer dog, at projektet ikke er kommet i mål hvad angår milepælen "udvikling af en forretningsmodel for den efterfølgende driftsfase" fastsat for august 2014, da der ikke på evalueringstidspunktet foreligger klarhed hos projektledelsen om rammerne for at opnå en bæredygtig drift. Projektet er på den baggrund i gang med at genoverveje forretningsmodellen for driftsfasen efter Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Total Forbrug d.d. %-vist forbrug Budgetforbrug 7 mio. kr. 5,5 mio. kr. 79 % Tidsforbrug 24 mdr. 23 mdr. 96 % Note: Tidsforbrug er eksklusiv december 2015 Tabellen viser et vist underforbrug af budgetmidler i forhold til den tidsmæssige status for projektet. Projektlederen forventer dog at forbruge mellem 95 og 100 % af de samlede budgetmidler inden udgangen af projektperioden. Om spørgeskemaet 4.3 Effektskabelse I forbindelse med evalueringen har vi udsendt et spørgeskema til deltagende virksomheder og virksomheder, der på evalueringstidspunktet er i dialog med CoLab Denmark om samarbejde. Spørgeskemaet giver et indblik i såvel de forventede som allerede opnåede effekter blandt deltagerne i projektet og er udformet, så det på bedst mulig vis matcher de indmeldte resultater og effekter fra ansøgningsfasen. Undersøgelsen er sendt ud til 17 virksomheder udpeget af CoLab Denmark, hvoraf 12 virksomheder har besvaret spørgeskemaet, hvilket giver en svarprocent på 71 %. Således er de afgivne svar ikke en 100 % præcis beskrivelse af projektets effektskabelse, men giver et godt bud på, om projektet er på vej til at skabe effekter. Forventes effekter? Konkrete effekter Svarene på spørgeskemaet viser, at 58 % forventer, at projektet vil føre til et forbedret potentiale for vækst, mens 17 % vurderer, at projektet allerede har ført dette med sig. De positive virksomheder peger på kontaktskabelse, praktisk afprøvning af uvildig aktør og gode input og råd, som de største styrker ved projektet. Her gennemgår vi deltagernes tilbagemeldinger for de typer af effekter, som de forventer at opleve, når de har fået det fulde udbytte af deltagelse i projektet. Deltagernes forventning til positiv udvikling som følge af projektet i (N= 12) Andel virksomheder med positiv forventning Årlig omsætning 50 % Eksport 33 % Antal ansatte 50 %

13 SLUTEVALUERING AF COLAB DENMARK 9 Halvdelen af respondenterne forventer altså, at projektet vil føre til omsætningsforøgelse og jobskabelse i virksomheden, mens en tredjedel forventer øget eksport som følge af deltagelse i projektet. Af næste tabel fremgår de endelige effekter, som deltagerne på et tidspunkt i fremtiden forventer at have opnået som følge af deres deltagelse i projektet. Som det fremgår nedenfor forventer de tolv respondenter gennemsnitligt en øget årlig omsætning på 0,7 mio. kr. og etablering af gennemsnitligt én ny arbejdsplads, hvilket er en relativ beskeden forventet effektskabelse. Deltagernes gennemsnitlige forventning til effekten af projekt på (N= 12) Realistisk forventning Optimistisk forventning Stigning i årlig omsætning (mio. kr.) 0,7 4,4 Eksport (i mio. kr.) 0,4 0,9 Antal nyansatte 1,1 2,3 Tidshorisont for effekter Af de forventede fremtidige effekter, der er nævnt ovenfor, er nogle allerede opnået, mens andre først vil indtræffe senere. Figuren herunder giver et overblik over det forventede tidspunkt for virksomhedernes samlede udbytte af deltagelse. Opnået og forventet samlet udbytte (N= 12) Opnået d.d. 1-3 år efter Forventes Mere end 3 år efter Årlig omsætning (mio. kr.) Eksport (mio. kr.) - rapporteret 2,5 6,2 0,0 - opjusteret 3,0 7,4 0,0 - rapporteret 2,0 2,6 0,0 - opjusteret 2,4 3,1 0,0 - rapporteret 6,0 7,0 0,0 Antal nyansatte - opjusteret 7,3 8,5 0,0 Note: 'rapporteret' refererer til summen af survey-svar, mens 'opjusteret' er justeret for de manglende survey-svar med 50 % af gennemsnittet for de rapporterede svar. Som det fremgår ovenfor har projektet på nuværende tidspunkt samlet set bidraget til skabelsen af cirka 7 nye jobs og 3 mio. kroner i øget omsætning. Effekter i forhold til effektmål Projektets opstillede effektmål er, at de seks virksomheder, der deltog i pilotprojekterne, vil øge deres omsætning og eksport med 15% i løbet af 1-3 år efter projektperioden. Af de tre indtægtsgenererende pilotprojekter er to foretaget med den samme virksomhed, hvilket viser, at virksomheden har været positiv og tilfreds med forløbet. Hvad angår den pågældende virksomheds effektforventninger angiver den dog både en realistisk og en optimistisk effektforventning på langt under 1% (henholdsvis 0,06 % og 0,61 %), da det er en stor virksomhed med 1400 ansatte. Dette er således betragteligt under projektets effektmålsætning. Vi kan desuden konstatere, at effektforventningerne til omsætningsforøgelse er på gennemsnitligt

14 10 SLUTEVALUERING AF COLAB DENMARK 0,3 mio. kr. blandt små og mikrovirksomheder, hvilket er beskedent men dog relativt set en højere omsætningsstigning end blandt pilotprojekterne. Effekter i yderområder Projektet arbejder ikke direkte med yderområdehensyn. Af de tolv respondenter i spørgeskemaundersøgelsen er én virksomhed placeret i Esbjerg, tre i Odense, to i Aabenraa og seks i kommuner uden for Region Syddanmark. Der er således ingen respondenter, der er placeret i en af Region Syddanmarks yderområdekommuner. 5 Anbefalinger og læringspunkter Her præsenterer vi de vigtigste anbefalinger, som COWI vil pege på med baggrund i evalueringen af projektet. Anbefalingerne er ikke i prioriteret rækkefølge. De første to anbefalinger vedrører selve konceptudviklingen, der er fokus for denne evaluering. De efterfølgende to anbefalinger er af mere praktisk karakter og afspejler specifikke behov udtrykt af virksomhederne i løbet af evalueringen. Disse to anbefalinger knytter sig derfor til implementeringen, der naturligt ligger efter konceptudviklingen. Anbefaling 1: Udfør systematisk evaluering med virksomhederne Anbefaling 2: Konceptualiser rådgivningen Et afgørende element i konceptudviklingen var at afprøve konceptet ved hjælp af pilotprojekter. Efter opstartsfasen har projektet imidlertid haft et primært fokus på implementering af virksomhedsforløb som en del af den almene drift, og projektet har ikke indsamlet den fornødne læring om det udviklede koncept fra pilotprojekterne i overensstemmelse med projektets planlagte aktiviteter. Det har derfor ikke været muligt at tilpasse konceptet på baggrund af pilotprojektvirksomhedernes feedback. Vi anbefaler derfor, at CoLab på den korte bane foretager en evaluering af det eksisterende koncept ved at inddrage virksomhederne. Evalueringen kan eksempelvis have fokus på virksomhedernes oplevede kvalitet og relevans i forhold til konkrete aktiviteter eller output i de forskellige CoLabs samt input til potentiel koncepttilpasning. På den lange bane anbefaler vi ligeledes, at CoLab fremadrettet foretager systematisk, løbende monitorering og evaluering med henblik på løbende at identificere kritiske succesfaktorer og potentielle risici for projektet. Evalueringen viser, at en af styrkerne ved CoLab er, at da ansatte kan yde kompetent rådgivning og hjælpe virksomhederne til et tættere samspil med den offentlige sektor (sundhedssektoren og den kommunale sektor) gennem kontaktskabelse og netværk. De værdiskabelse har vist sig at være uafhængig af om virksomheden efterfølgende indgår i testforløb med CoLab, mens rådgivningen ikke på evalueringstidspunktet indgår som et uafhængigt element i konceptet. Hensigten med projektet var ifølge ansøgningsmaterialet at skabe et koncept med tilstrækkelig værdiskabelse til at skabe betalingsvillighed i virksomhederne. På baggrund af den relativt store andel af virksomheder, der udelukkende benytter sig af CoLabs rådgivningsforløb, der på evalueringstidspunktet tilbydes uden fakturering som en del af afdækningen frem mod et testforløb, anbefaler vi, at man overvejer, at konceptualisere rådgivningen som en selvstændig del af CoLabs ydelse, der indgår som en del af forretningsplanen. Alternativt kan det overvejes, om det er mere hensigtsmæssigt at etablere et mere agilt miljø, hvor virksomheder kan få foretaget en test billigere og derefter tilkøbe rådgivning, hvormed identificerede komplikationer overkommes.

15 SLUTEVALUERING AF COLAB DENMARK 11 Nedenfor følger de to driftsrelaterede anbefalinger, hvoraf anbefaling 3 omhandler en manglende transparens i tilbudsfasen, mens anbefaling 4 omhandler testforløbets konkrete output, og virksomhedernes oplevede udbytte. Anbefaling 3: Konkretiser ydelser, metoder og processer Anbefaling 4: Afstem output af test med virksomhedernes behov Flere virksomheder efterspørger en højere grad konkretisering af CoLabs ydelser, foreslåede metoder og anvendte processer i forbindelse med tilbudsgivning. Nogle virksomheder oplever, at det ikke fremgår tydligt, hvilke standarder der testes efter, og hvilke konkrete processer et produkt gennemgår i CoLab. Denne problematik blev også fremhævet af adspurgte deltagende virksomheder, der valgte at gå ind i et projektsamarbejde på trods af, at man godt kunne have ønsket en konkretisering, der havde gjort prisfastsættelsen mere transparent. Det er vores vurdering, at denne manglende konkretisering er en del af forklaringen på den manglende betalingsvillighed blandt virksomhederne. Projektledelsen har på evalueringstidspunktet allerede igangsat en proces omkring udvikling af et nyt servicekatalog, hvor potentielle kunder og de individuelle CoLab inddrages. Vi anbefaler imidlertid, at CoLab ligeledes konkretiserer metoder og processer med henblik på at gøre prisfastsættelsen mere transparent for virksomheder, særligt i tilbudsfasen. Flere virksomheder problematiserer desuden, at CoLab ikke kan tilbyde et tilstrækkelig operationelt output af projektet, hvilket bevirker at nogle virksomheder sætter spørgsmålstegn ved det konkrete udbytte. Denne problematik er primært nævnt i forbindelse med projekter, der har været i dialog med Plug & Play, men kan med fordel også overvejes for de øvrige CoLabs. Plug & Play er etableret med henblik på at kunne gennemføre testscenarier, der overholder nationale og internationale standarder for kommunikation og evidens i sundhedssektoren for dermed at øge chancerne for at skabe en positiv business case for en skaleret udbredelse af virksomhedernes sundhedsløsninger. Det er imidlertid flere virksomheders oplevelse, at CoLab primært tilbyder læring om virksomhedens produkt til intern videreudvikling, men at projektet trods gode intentioner ikke på evalueringstidspunktet kan levere et reelt (inter)nationalt anerkendt testcertifikat eller blåstempling. Det betyder, at virksomheden potentielt skal gennemføre tilsvarende tests i andre regioner for at kunne markedsføre sit produkt der. Omend dette er en vanskelig problemstilling for CoLab at håndtere, anbefaler vi, at man overvejer muligheden for i højere grad at afstemme projektets konkrete output med virksomhedernes behov. Det kan eksempelvis overvejes i hvor høj grad, det er muligt at indgå i dialog med de øvrige regioner med henblik på at identificere en alment anerkendt metode eller proces for testning, der er uafhængig af de systemtekniske forskelle i regionerne. Alternativt foreslår en virksomhed, at et output kan være en videnskabelig artikel, som virksomheden efterfølgende kan bruge som blåstempling og evidens for testmetoder og resultater.

16 12 SLUTEVALUERING AF COLAB DENMARK Bilag A Projektets resultater og effekter Nedenstående tabeller viser projektets resultat- og effektmål. De obligatoriske 3 målsætninger, som ansøger har angivet i 'det obligatoriske bilag til ansøgningen', er angivet i tabel 1 eller 3 afhængigt af, om der er tale om resultatmål eller effektmål. Yderligere relevante resultatmål er angivet i tabel 2. RESULTATER Tabel 1: Primære resultatmål som indmeldt i det obligatoriske bilag til ansøgningen Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet Tabel 2: Supplerende resultatmål I projektperioden 3 år efter projektslut Mål Status Mål Forventet Antal virksomheder har deltaget i pilottest/pilotprojekter Antal af pilotprojekterne, der er iværksættere eller spin-out virksomheder Projektets øvrige resultatmål som f.eks. formuleret i ansøgningen Urealistisk Urealistisk EFFEKTER Tabel 3: Effektmål (kun eventulle effektmål fra det obligatoriske bilag til ansøgningen) Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet 6 pilotprojekter vil øge eksport med 15% i løbet af 1-3 år efter projektperioden 6 pilotprojekter vil øge deres omsætning med 15% i løbet af 1-3 år efter projektperioden % % Urealistisk Urealistisk

17 3. Effektvurdering 2. Resultatskabelse 1. Tilrettelæggelse OVERORDNET SCORE SLUTEVALUERING AF COLAB DENMARK 13 Bilag B Forklaring til trafiklys-scorer Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og evt. andre interessenter samt kvantitativ data fra spørgeskemaer og statusrapporter m.v. Denne samlede score er en helhedsvurdering baseret på de individuelle scorer for de tre overordnede evalueringstemaer i rapporten (se nedenfor). Som udgangspunkt vil den overordnede score for projektet være et 'gennemsnit', dvs. hvis to temaer er grønne og ét er gult, vil den samlede karakter være grøn. Trafiklys [GRØN] [GUL] [RØD] Betydning Projektet vurderes overordnet som fornuftigt, men kan have væsentlige udfordringer Projektet har vanskeligheder med at realisere de ønskede resultat- og/eller effektmål Der er flere kritiske forhold i projektets resultat- og effektskabelse Trafiklys-scoren for projektets tilrettelæggelse er baseret på de individuelle scorer for de fire vurderingsparametre 'sammenhæng mellem aktiviteter og mål', 'organisering og projektledelse', 'kvalitet i hovedaktiviteter' og 'forankring og bæredygtighed'. For hvert af disse fire parametre er der givet en score fra 1-5, hvilket er præsenteret grafisk i vurderingsdiamanten i rapportens afsnit 4.1. Den samlede score for projektets tilrettelæggelse er et gennemsnit af disse fire scorer. Score Betydning Trafiklys 4,1-5,0 Tilrettelæggelsen er som ønsket eller bedre endnu [GRØN] 3,5-4,0 Tilrettelæggelsen er lidt under det ønskede niveau [GRØN] 2,6-3,4 Tilrettelæggelsen er noget under det ønskede niveau [GUL] 2,0-2,5 Tilrettelæggelsen er meget under det ønskede niveau [RØD] 1,0-1,9 Tilrettelæggelsen er ikkeeksisterende eller tæt herpå [RØD] Vurderingen af projektets resultatskabelse er ligeledes samlet i én score fra 1-5. Scoren tildeles på baggrund af en helhedsvurdering af projektets resultatskabelse, men med udgangspunkt i projektets kvantitative resultatopnåelse på evalueringstidspunktet. Score Slut Midtvejs Betydning Trafiklys 5 95 % + 45 % + Resultatskabelsen er som ønsket eller bedre endnu [GRØN] % % Resultatskabelsen er lidt under det ønskede niveau [GRØN] % % Resultatskabelsen er noget under det ønskede niveau [GUL] % % Resultatskabelsen er meget under det ønskede niveau [RØD] % 0 14 % Resultatskabelsen er ikkeeksisterende eller tæt herpå [RØD] På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af projektets effektpotentiale på en skala fra 1-5, som anført herunder. Score Betydning Trafiklys 5 Projektet opnår sine ønskede effekter eller flere endda [GRØN] 4 Projektet opnår næppe helt sine ønskede effekter [GRØN] 3 Projektet opnår en rimelig andel af de ønskede effekter [GUL] 2 Projektet får kun få effekter [RØD] 1 Projektet får ingen effekter eller negative effekter [RØD]