GAMELAB4HEALTH MAJ 2015 REGION SYDDANMARK SLUTEVALUERING REGIONENS JOURNALNUMMER: 12/ Parallelvej Kongens Lyngby ADRESSE COWI A/S

Transkript

1 ADRESSE COWI A/S Parallelvej Kongens Lyngby TLF FAX WWW cowi.dk MAJ 2015 REGION SYDDANMARK GAMELAB4HEALTH SLUTEVALUERING REGIONENS JOURNALNUMMER: 12/12087 PROJEKTNR. A DOKUMENTNR. 10 VERSION 1.0 UDGIVELSESDATO UDARBEJDET HWJO KONTROLLERET MAWL GODKENDT HWJO

2

3 SLUTEVALUERING AF GAMELAB4HEALTH 3 INDHOLD 1 Resumé: GameLab4Health 1 2 Baggrund og formål Vækst- og forandringsmodel 2 3 Overordnet status 3 4 Rapportens konklusioner Projektets tilrettelæggelse Resultatskabelse Effektskabelse 8 5 Anbefalinger og læringspunkter 10

4

5 SLUTEVALUERING AF GAMELAB4HEALTH 1 1 Resumé: GameLab4Health Samlet vurdering: Projektets tilrettelæggelse Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål Organisering & projektledelse Projektets arbejde har i størstedelen af projektperioden været præget af utilstrækkelig projektledelse, mangelfuld forventningsafstemning blandt de involverede partnere og manglende samspil mellem projektets regional- og socialfondsdel. Projektet ikke har haft tilknyttet en styregruppe med ledelsesrepræsentanter, der kunne håndtere projektets udfordringer. Dette har haft størst betydning for projektets socialfondsaktiviteter, der ikke har understøttet regionalfondsaktiviteterne og ikke har bidraget til projektets resultat- og effektskabelse. Kvalitet i aktiviteter Kvaliteten af regionalfondsaktiviteter i form af konkrete udviklingsforløb mellem klinikere fra OUH og virksomheder vurderes af samtlige virksomheder som høj og udbytterig. Samarbejdsforummet mellem klinikere og virksomheder er efter projektperioden forankret på OUH. Resultatskabelse Resultatopnåelse 100% Budgetforbrug 100% Tidsforbrug 100% 0% 20% 40% 60% 80% 100% Der er gennemført flere udviklingsforløb end forventet og udviklet flere mock ups end planlagt. Flere af de udviklede mock ups er på evalueringstidspunktet blevet færdiggjort og er tilgængelige i App Store. Projektet har desuden medvirket til at skabe det forventede antal jobs blandt de deltagende partnere. Projektets resultatmål afspejler dog udelukkende regionalfondsdelen af projektet og giver dermed ikke et billede af projektets resultatopnåelse på socialfondsdelen. Effektskabelse Deltagernes gennemsnitlige forventning til positiv udvikling som følge af projektet Realistisk forventning Optimistisk forventning Årlig omsætning (mio. kr.) 1,4 2,7 Antal ansatte 1,7 3,3 Projektet forventes at skabe god effekt blandt de deltagende virksomheder. Der er tale om mikrovirksomheder med gennemsnitligt en enkelt ansat ud over indehaveren, og virksomhederne angiver en gennemsnitlig forventning om en fordobling af medarbejderstaben og mindst 50% stigning i omsætningen som følge af deres deltagelse i projektets udviklingsforløb

6 2 SLUTEVALUERING AF GAMELAB4HEALTH 2 Baggrund og formål Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'vækst- og forandringsmodel'. Baggrund Der er mange muligheder for at optimere processer og behandlingsformer i sygehusvæsenet, men det har hidtil manglet et forum, hvor klinikere og virksomheder i samarbejde udvikler relevante løsninger. Mhp. at gøre det nemmere for virksomheder at udvikle nye teknologier til sundhedsarbejdet, inviterer GameLab4Health (GL4H) virksomhederne ind på hospitalet og skaber i et nyetableret 'spillaboratorium' en ny vinkel på innovation og brugerinddragelse. Projektet skal: 1) udvikle løsninger til sundhedsvæsenet inden for Serious Games, APPS, IHealth og mhealth, 2) skabe et samarbejdsforum tæt på klinikerne i OUH regi, hvor klinikere, forsknings- og uddannelsesinstitutioner og virksomheder arbejder med udvikling, 3) skabe teknologisk og konceptuel 'sidestepping'. Formål Formålet med GL4H-projektet er at udvikle spilteknologiske løsninger til sundhedsområdet i samarbejde med virksomheder, uddannelsesinstitutioner, brugere og sundhedsfagligt personale. Helt konkret er målet at udvikle applikationer til den kliniske praksis ved at bruge spilteknologier, spilkoncepter, apps, tablets og konsoller, der på nye måder kan motivere og involvere patienter i egen behandling. Kernen i projektet er innovative action-learning forløb, hvor sundhedspersonale, brugere, vidensinstitutioner og virksomheder inddrages i udviklingen af spilteknologiske løsninger. Projektoplysninger for GameLab4Health Bevillingsgiver: Den Europæiske Social- og Regionalfond Projektets fokusområde: Velfærdsteknologier og -service Ansøger: Odense Universitetshospital Regionens sagsbehandler: Susanne Søndergaard Budget: 21,4 mio. DKK heraf 10,7 mio. DKK fra Vækstforum Syddanmark Projektperiode: 1. april marts 2015 Oprindeligt projektstart 1. september Tilsagnet blev dog først overdraget i april 2013, hvorfor projektet først er gået rigtig i gang på det tidspunkt 2.1 Vækst- og forandringsmodel I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Vækst- og forandringsmodellen er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres i projektet, de

7 SLUTEVALUERING AF GAMELAB4HEALTH 3 umiddelbare resultater, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse resultater på længere sigt forventes at medføre. Aktiviteter Resultater Effekter Læringsforløb for SMVer, klinikere og studerende Piloter (udviklingsprojekter vedr. udvikling af løsningsforslag /mock ups) Etablering af samarbejdsforum Øgede kompetencer blandt SMVer inden for innovation og forretningsudvikling Løsningsforslag/mock ups udviklet Øget innovation blandt SMVer Skabelse af nye arbejdspladser Vækst i teknologivirksomheder Styrkelse af teknologianvendelsen i syddanske virksomheder Styrkelse af teknologianvendelse i sundhedsvæsenet 3 Overordnet status Projektet har haft store udfordringer i form af samarbejdsvanskeligheder mellem tidligere projektleder og vidensinstitutionerne. Dette har bl.a. bevirket, at den oprindelige tanke om sammenhæng mellem regional- og socialfondsdelene i projektet ikke er blevet implementeret. Ved COWIs midtvejsevaluering blev dette konstateret, og i perioden efter midtvejsevalueringen er budgettet blevet justeret, således midler er blevet overført fra social- til regionalfondsdelen, da det var sidstnævnte, der skabte størst værdi for virksomhederne. Siden denne ændring, har socialfondsdelen udgjort en væsentlig mindre del af projektaktiviteterne og har ikke haft særlig tilknytning til projektets øvrige aktiviteter. Projektledelsen er i løbet af sidste halvår af 2014 blevet overtaget af en anden medarbejder, og dialogen er forbedret. Dette er dog sket meget sent i projektperioden, og har derfor efter vores vurdering ikke påvirket projektets resultatskabelse. Projektets regionalfondsdel består primært af udviklingsforløb, hvor virksomheder på baggrund af idéer og input fra klinisk personale udvikler løsningsforslag (mock ups). Projektets socialfondsdel bestod i den første halvdel af projektperioden af action learning forløb målrettet såvel klinikere, studerende og virksomheder. Disse forløb havde ikke relation til udviklingsforløbene, og havde generelt lav opbakning blandt virksomhederne. I den sidste del af projektperioden siden sommeren 2014, har socialfondsdelen primært bestået af forløb målrettet vidensinstitutionernes studerende og ifølge Erhvervsakademi Lillebælt uden inddragelse af klinikere eller virksomheder, men i stedet med input fra SDU. Som en del af projektet skulle der etableres et 'lab' på OUH, hvilket af bevillingsgiver forstås som et samarbejdsforum. Blandt vidensinstitutionerne har der imidlertid været en fejlagtig forventning om at lab'et skulle bestå af en fysisk facilitet, hvor studerende og virksomheder kunne arbejde med løsningsforslag, og hvor virksomhederne kunne have kontakten til klinikerne. Tidligt i projektperioden havde projektledelsen ligeledes en forventning om at etablere et fysisk 'Game Lab', men har som følge af, at der ikke i projektets bevilling indgår midler til indretning af et lab,

8 4 SLUTEVALUERING AF GAMELAB4HEALTH valgt at løse dette ved, at der relativt sent i projektperioden er blevet stillet et lokale til rådighed af OUH, der fungerer som mødefacilitet under udviklingsforløbene. 4 Rapportens konklusioner Dette afsnit indeholder en præsentation af rapportens konklusioner struktureret efter 3 hovedtemaer: tilrettelæggelse, resultatskabelse og effektskabelse. 4.1 Projektets tilrettelæggelse I dette afsnit præsenterer vi vores vurdering af projektets tilrettelæggelse ud fra de fire fastlagte evalueringsparametre. Afsnittet indledes med en grafisk fremstilling, som giver et overblik over evalueringens konklusioner. Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål Organisering & projektledelse Kvalitet i aktiviteter Sammenhæng mellem aktiviteter og mål I projektets regionalfondsdel er sammenhængen mellem aktiviteterne og de forventede resultater god 1. Der er udviklet en mængde løsninger/mock-ups til det kliniske område, hvor man har taget udgangspunkt i klinikernes behov og udfordringer, og virksomhederne har haft mulighed for direkte at sparre med og få feedback fra klinikerne. Desuden har virksomhederne haft mulighed for at teste de udviklede løsninger hos brugerne (klinikere eller patienter), og ikke mindst har virksomhederne haft en kunde til produktet allerede i udviklingsfasen, hvilket skaber meget tæt sammenhæng over til effektskabelse i form af kommercialisering. Projektets forventede effekt i form af styrket anvendelse af applikationer i sundhedsvæsenet er af 1 Projektledelsen oplyser, at der under socialfondsbevillingen har været et enkelt udviklingssamarbejde mellem OUH, forskere fra SDU og en virksomhed. Dette ligger konceptuelt udenfor de øvrige aktiviteter i socialfondsdelen. I projektets egen opgørelse over aktiviteter, indgår dette udviklingsprojekt på listen over 'piloter', dvs. blandt de udviklingsforløb, der er gennemført under regionalfondsbevillingen.

9 SLUTEVALUERING AF GAMELAB4HEALTH 5 mere indirekte karakter, men projektet har sandsynligvis skabt opmærksomhed omkring mulighederne på OUH. Socialfondsdelen har i sin seneste form stort set ingen sammenhæng med projektets forventede resultat- og effektskabelse. Det er muligt, at de studerende er blevet tilført kompetencer og har fattet interesse for området, men da der hverken har været inddraget virksomheder eller klinikere i den seneste periode, sker en eventuel effektskabelse meget indirekte ved først at slå igennem, når de pågældende studerende kommer ud på arbejdsmarkedet. Da regionalfondsdelen budgetmæssigt er den tungeste post, har sammenhængen i denne del trukket vores samlede vurdering i positiv retning. Organisering & projektledelse Projektets ledelse har været forankret på OUH. Dette er meningsfuldt i forhold til at sikre inddragelsen af klinikere, der har været særdeles væsentlig for udviklingen af løsninger. Samtidig er det på OUH, at projektets regionalfondsaktiviteter efter projektperioden er blevet forankret. Projektet haft Erhvervsakademi Lillebælt (EAL), Syddansk Universitet og University College Lillebælt som samarbejdspartnere på socialfondsdelen. Samarbejdet og forventningsafstemningen mellem partnerne har været problematisk og kommunikationen utilfredsstillende. Samspillet mellem de to dele af projektet har været mangelfuld og vidensinstitutionerne er ikke blevet inddraget eller haft ansvar i det omfang, som de havde forventet forud for projektets gennemførelse. På papiret har projektet haft tilknyttet en styregruppe i den første halvdel af projektperioden. Reelt har styregruppen bestået af projektlederen samt kontaktpersonen fra Erhvervsakademi Lillebælt, dvs. udelukkende af medlemmer af det samlede projekthold, og efter samarbejdet gik i hårdknude medio 2014 er styregruppen blevet afviklet. Det er vores indtryk, at den utilfredsstillende ledelse af projektet hovedsageligt er personrelateret og ikke er et udtryk for generel mangel på samarbejdsvilje mellem institutionerne og OUH. Kvalitet i aktiviteter Såvel de interviewede virksomheder som de virksomheder, der har besvaret spørgeskemaet, vurderer kvaliteten af udviklingsforløbene i regionalfondsdelen som høj og meget værdiskabende for virksomhedens produktudvikling gennem inddragelse af klinikere og patienter, samt at skabe kontaktflade og indgang til OUH. Virksomhederne fremhæver, at kvaliteten i produktudviklingen består i, at der tages udgangspunkt i reelle problemstillinger for klinikerne frem for i hypotetiske udfordringer. Herved målrettes udviklingen det konkrete behov, og sandsynligheden for et efterfølgende salg øges. Dette understøttes af, at der til hvert forløb skulle udarbejdes en business case mhp. at sikre relevans af forløbet. Det ligger uden for evalueringens rammer at interviewe studerende, der har deltaget i læringsforløb under socialfondsdelen, og kvaliteten af disse forløb tages derfor ikke i betragtning, da der i den sidste del af projektperioden ikke har været virksomheder involveret. Den oprindelige tanke i projektet var ifølge kontaktpersonen fra Erhvervsakademi Lillebælt, at de studerende skulle tilknyttes virksomhederne

10 6 SLUTEVALUERING AF GAMELAB4HEALTH og arbejde med nogle af de emner, der var blevet undervist i på læringsforløbene under socialfondsdelen. Herved kunne virksomhederne spare ressourcer ved at forarbejdet til mock ups blev lavet af de studerende samtidig med, at de studerende kunne få relevante erfaringer. Ifølge kontaktpersonen har en af årsagerne til den manglende sammenhæng mellem projektets dele været, at det planlagte 'lab' med adgang til vejledere og undervisere ikke er blevet etableret som forventet. Dette gjorde, at der manglede et sted, hvor de studerende kunne arbejde med virksomhedernes opgaver. Denne opfattelse deles ikke af projektets nuværende ledelse, der dels ikke mener, at lab'et skulle have haft denne funktion, og dels har indtryk af, at de studerende, der har været inddraget i socialfondsaktiviteterne, har haft for lavt fagligt niveau. Dermed har det ikke været attraktivt for virksomhederne at indgå i samarbejder med dem, hvorfor samarbejder mellem studerende og virksomheder ikke er blevet etableret. Forankring og bæredygtighed Selve de udviklede mock ups er forankret i virksomhederne, og det er op til dem at kommercialisere produkterne. På baggrund af de gennemførte interviews vurderer vi, at der er ganske kort vej fra de udviklede mock ups til markedsmodne løsninger, der kan sælges til hospitalet. Flere af de udviklede mock ups ligger på evalueringstidspunktet i App Store 2. OUH har efter projektperioden fortsat arbejdet med lab'et og mødet mellem klinikere og virksomheder under OUHs budget. Formelt er arbejdet forankret i afdelingen Digital Innovation, og man oplever, at klinikerne i højere og højere grad bliver bekendte med og gør brug af muligheden for at komme med deres idéer og udfordringer mhp. udvikling af løsninger. På denne måde er projektets regionalfondsfinansierede arbejde godt forankret i forhold til at skabe resultater og kommercielle succeser også efter projektets afslutning. 4.2 Resultatskabelse Afsnittet indeholder en kort fremstilling af projektets resultatskabelse med fokus på projektets resultatopnåelse på evalueringstidspunktet. Resultatopnåelse Budgetforbrug Tidsforbrug 100% 100% 100% 0% 20% 40% 60% 80% 100% Resultatopnåelse 2 Mock ups udvikles i første omgang til Iphone, da det er denne type mobiltelefon, personalet på OUH gør brug af. Der er i flere tilfælde blevet videreudviklet løsninger til telefoner med Android som styresystem blandt de apps, der henvender sig til patienter.

11 SLUTEVALUERING AF GAMELAB4HEALTH 7 Nedenfor præsenteres projektets målsætninger, idet én målsætning i relation til socialfondsdelen af projektet efter aftale med Regionen er blevet fjernet som følge af projektets budgetændring. Resultatmål Status Mål i projektperioden Resultatopnåelse i % Udvikling af konkrete løsningsforslag/mock ups % Skabte arbejdspladser i deltagende virksomheder % Der er i projektperioden igangsat 27 udviklingsforløb, hvoraf 23 ved projektets afslutning har resulteret i et løsningsforslag. Ifølge den gennemførte spørgeskemaundersøgelse suppleret med projektets egen opgørelse i efteråret 2014 (for de to partnere, der ikke har besvaret spørgeskemaundersøgelsen) har projektet i perioden været medvirkende til at skabe 10 arbejdspladser blandt de 8 partnervirksomheder i Region Syddanmark mod en oprindelig målsætning på 9. Den samlede målopnåelse beregnes som et simpelt gennemsnit og bliver herved på 100 %. Det bør dog pointeres, at de to målsætninger alene afspejler projektets regionalfondsdel, da der ikke efter budgetrevisionen medio 2014 er blevet fastsat målsætninger for socialfondsdelen. Det er derfor ikke vores vurdering, at projektets samlede resultatopnåelse fuldt afspejles i ovenstående resultatmål. Succeshistorier konkrete eksempler på virksomheders udbytte Udvikling af app'en "Mit Forløb" Udvikling af app'en "App Acute" App en henvender sig til forskellige patientgrupper, herunder nybagte forældre, kræftpatienter og patienter med nyrelidelse. App'en indeholder specifik og forløbsorienteret information med grafik og video, samt et modul til registrering af egne måling af vægt, blodtryk og peakflow, samt mulighed for at skrive chatbeskeder til afdelingen. App'en er udviklet i flere underliggende udviklingsforløb og ligger på evalueringstidspunktet i App Store. App'en er udviklet til internt brug på OUH til håndtering af personalemæssig logistik i forbindelse med akut kejsersnit. Udviklingsforløbet har strukket sig over ca. 2 år, da det er et kompliceret flow, der skal håndteres, og det er kritisk, at app'en er 100 % driftsikker, inden den tages i brug. Gentofte Hospital har som følge af udviklingsarbejdet på OUH vist interesse for at få en færdig app tilpasset til hospitalets behov. Budget- og tidsforbrug Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Total Forbrug d.d. %-vist forbrug Budgetforbrug 21,4 mio. kr. 21,4 mio. kr. 100 % Tidsforbrug 24 mdr. 24 mdr. 100 %

12 8 SLUTEVALUERING AF GAMELAB4HEALTH Om spørgeskemaet 4.3 Effektskabelse I forbindelse med evalueringen har vi udsendt et spørgeskema til projektets virksomhedspartnere. Spørgeskemaet giver et indblik i såvel de forventede som allerede opnåede effekter blandt deltagerne i projektet, og er udformet, så det på bedst mulig vis matcher de indmeldte resultater og effekter fra ansøgningsfasen. Undersøgelsen er sendt ud til de 8 virksomhedspartnere, hvoraf 6 har besvaret spørgeskemaet, hvilket giver en svarprocent på 75 %. Således er de afgivne svar ikke en 100 % præcis beskrivelse af projektets effektskabelse, men giver et godt bud på, om projektet er på vej til at skabe effekter. Forventes effekter? Konkrete effekter Svarene på spørgeskemaet viser, at 50 % forventer, at projektet vil føre til et forbedret potentiale for vækst, mens de resterende 50 % vurderer, at projektet allerede har ført dette med sig. Her gennemgår vi deltagernes tilbagemeldinger for de typer af effekter, som de forventer at opleve, når de har fået det fulde udbytte af deltagelse i projektet. Deltagernes forventning til positiv udvikling som følge af projektet i (N= 6) Andel virksomheder med positiv forventning Årlig omsætning 100 % Årlig eksport 17 % Antal ansatte 67 % Som det fremgår ovenfor, vurderer virksomhederne primært projektets effektskabelse på hjemmemarkedet, og kun en enkelt forventer, at det kan have en positiv effekt på virksomhedens fremtidige eksport. Dette stemmer godt overens med de gennemførte interviews, hvor virksomhederne giver udtryk for, at de primært fokuserer på hjemmemarkedet og Region Syddanmark/OUH i deres udviklingsarbejde. Af næste tabel fremgår de endelige effekter, som deltagerne på et tidspunkt i fremtiden forventer at have opnået som følge af deres deltagelse i projektet. Deltagernes gennemsnitlige forventning til effekten af projekt på (N= 6) Realistisk forventning Optimistisk forventning Stigning i årlig omsætning (mio. kr.) 1,4 2,7 Stigning i årlig eksport (mio. kr.) 0,2 0,5 Antal nyansatte 1,7 3,3 Partnervirksomhederne er mikrovirksomheder med en gennemsnitlig årlig indtægt på ca. 2,5 mio. kr. og 2 ansatte inkl. virksomhedsejeren. Dermed udgør en gennemsnitlig forventet stigning i årlig omsætning på mellem 1,4 og 2,7 mio. kr. og en forventet stigning i medarbejderstaben på mellem 1,7 og 3,3 personer en væsentlig vækst i disse virksomheder.

13 SLUTEVALUERING AF GAMELAB4HEALTH 9 Tidshorisont for effekter Af de forventede fremtidige effekter, der er nævnt ovenfor, er nogle allerede opnået, mens andre først vil indtræffe senere. Figuren herunder giver et overblik over det forventede tidspunkt for virksomhedernes samlede udbytte af deltagelse. Opnået og forventet samlet udbytte (N=6) Opnået d.d. 1-3 år efter Forventes Mere end 3 år efter Årlig omsætning (mio. kr.) Eksport (mio. kr.) Antal nyansatte - rapporteret 3,0 5,4 0,0 - opjusteret 3,5 6,3 0,0 - rapporteret 0,0 1,0 0,0 - opjusteret 0,0 1,2 0,0 - rapporteret 5,0 5,0 0,0 - opjusteret 10,0 1 5,8 0,0 Note: 'rapporteret' refererer til summen af survey-svar, mens 'opjusteret' er justeret for de manglende survey-svar med 50 % af gennemsnittet for de rapporterede svar. Note 1: Det opjusterede antal nyansættelser til dato udgør respondenternes indmeldte svar samt projektledelsens indsamling af svar på antal ansættelser blandt de to virksomheder, der ikke har besvaret spørgeskemaet (data fra efteråret 2014). Som det fremgår ovenfor, har projektet på nuværende tidspunkt bidraget til skabelsen af 10 nye jobs og mindst 3 mio. kr. i øget omsætning. Effekter i yderområder Projektet har ingen særlig yderområdeforpligtelse og hovedparten af virksomhederne er beliggende i Odense.

14 10 SLUTEVALUERING AF GAMELAB4HEALTH 5 Anbefalinger og læringspunkter Her præsenterer vi de vigtigste anbefalinger, som COWI vil pege på med baggrund i evalueringen af projektet. Anbefalingerne er ikke i prioriteret rækkefølge. Læringspunkt 1: Efterspørgselsdrevede udviklingsprojekter skaber stor værdi Anbefaling 2: Tydelig sammenhæng mellem aktiviteterne allerede i projektets ansøgningsfase Læringspunkt 3: Forventningsafstemning centralt for fælles forståelse af projektet Samarbejdet mellem klinikere og virksomheder fremhæves af samtlige virksomheder som positivt og meget givtigt. Virksomhederne ser indgangen til OUHs kliniske personale og patienter som et vigtigt udbytte af projektets aktiviteter. Desuden er det fra såvel virksomhedernes som brugernes synspunkt afgørende for udbyttet af denne type indsats, at der arbejdes efterspørgselsdrevet, dvs. med udgangspunktet i klinikernes konkrete udfordringer og behov for løsninger. Den efterspørgselsdrevne tilgang sikrer en høj relevans af de udviklede løsninger, herunder at løsningerne er bedst muligt tilpasset brugernes behov og kompetenceniveau. Samtidig øger den sandsynligheden for, at de udviklede løsninger vil blive efterspurgt og skabe indtægt i virksomheden. Dette afspejles i virksomhedernes positive vurdering af projektets effekter. Grundlæggende har sammenhængen mellem regional- og socialfondsdelen været fraværende i projektet. Dette burde have været klart fra projektets begyndelse, eller som minimum have været et emne, som projektets ledelse i samarbejde med partnerne havde arbejdet med at uddybe og konkretisere i projektets opstartsfase. I projektets baggrundsdokumenter er samspillet kun beskrevet overordnet, og det fremgår ikke som en specifik aktivitet, at projektet skal arbejde nærmere med dette kun at projektledelsen skal sikre den overordnede koordinering og vejledning i forhold til projektets implementering. Generelt ikke bare på dette konkrete projekt bør der være en tydelig sammenhæng mellem et projekts aktiviteter, især når aktiviteterne som i dette tilfælde er finansieret af forskellige kilder og skal varetages af forskellige institutioner. Kontaktpersonen fra Erhvervsakademi Lillebælt har i forbindelse med interview givet udtryk for at have mange konkrete idéer til, hvordan samspillet kunne være blevet stærkere, men har ikke oplevet, at der fra projektets ledelse var skabt et forum, hvor disse tiltag konstruktivt kunne håndteres. På baggrund af de gennemførte interviews er det klart, at projektets partnere ikke har fået forventningsafstemt omkring projektets indhold og hinandens roller, bidrag og ansvarsområder. Eksempelvis har OUH og EAL ikke samme opfattelse af, hvad det planlagte lab skulle rumme, og der er derfor på tværs af projektpartnerne forskellige opfattelser af, hvorvidt lab'et er givtigt, som det er nu, og i hvilket omfang denne ændring har påvirket projektets udbytte for såvel virksomheder som deltagende partnere. Det samme gælder det manglende samspil mellem de to dele af projektet, hvor der gives udtryk for forskellige årsager til, at samspillet har været mangelfuldt. Der fremgår som en del af arbejdspakken AP1 en række punkter, der skal sikre en fælles forståelse af projektet. Det er et godt tiltag for et projekt med flere partnere og en forskelligartet palette af aktiviteter at have denne type aktiviteter defineret, men på baggrund af de gennemførte interviews er det ikke vores indtryk, at arbejdspakken er blevet gennemført i praksis. Havde projektet aktivt arbejdet med punkterne i arbejdspakken, ville forventningsafstemningen mellem projektets partnere have været tydeligere.

15 SLUTEVALUERING AF GAMELAB4HEALTH 11 Anbefaling 4: Konflikter i projektsamarbejde bør håndteres på ledelsesniveau I forlængelse af læringspunkt 3 og vores observation af, at dialogen og samarbejdet mellem projektets partnere gik helt i hårdknude undervejs i projektperioden, er det vores klare holdning, at denne type samarbejdsvanskeligheder burde være blevet håndteret i en styregruppe bestående af ledelsesrepræsentanter. Samarbejdsrelationer kan mislykkes af mange forskellige årsager, men når det ikke er muligt for de involverede personer selv at løse problemstillingen og skabe et konstruktivt samarbejde, er det nødvendigt at få andre personer i organisationerne til at håndtere dialogen i stedet. Vi finder det kritisabelt, at projektet ikke har haft en reel styregruppe fra projektets start en styregruppe bestående af andre personer end projektholdets medlemmer og at en sådan styregruppe ikke blev nedsat, da det blev tydeligt for de involverede parter, at projektlederens arbejde med de øvrige partnere ikke fungerede. En styregruppe med de rette medlemmer kunne have fokuseret på projektets tilrettelæggelse og værdiskabelse, da styregruppens medlemmer ikke ville have haft personlige følelser i klemme i arbejdet med projektet og derfor bedre kunne være i stand til at sætte sig ud over stridigheder og dårlig samarbejdsmiljø.

16 12 SLUTEVALUERING AF GAMELAB4HEALTH Bilag A Projektets resultater og effekter Nedenstående tabeller viser projektets resultat- og effektmål. De obligatoriske 3 målsætninger, som ansøger har angivet i 'det obligatoriske bilag til ansøgningen', er angivet i tabel 1 eller 3 afhængigt af, om der er tale om resultatmål eller effektmål. Yderligere relevante resultatmål er angivet i tabel 2. RESULTATER Tabel 1: Primære resultatmål som indmeldt i det obligatoriske bilag til ansøgningen Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet Udvikling af konkrete løsningsforslag/mock ups årligt Realistisk Tabel 2: Supplerende resultatmål Projektets øvrige resultatmål som f.eks. formuleret i ansøgningen I projektperioden 3 år efter projektslut Mål Status Mål Forventet EFFEKTER Tabel 3: Effektmål (kun eventulle effektmål fra det obligatoriske bilag til ansøgningen) Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet Skabte arbejdspladser Delvist urealistisk

17 SLUTEVALUERING AF GAMELAB4HEALTH 13 Bilag B Forklaring til trafiklys-scorer Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og evt. andre interessenter samt kvantitativ data fra spørgeskemaer og statusrapporter m.v. OVERORDNET SCORE Denne samlede score er en helhedsvurdering baseret på de individuelle scorer for de tre overordnede evalueringstemaer i rapporten (se nedenfor). Som udgangspunkt vil den overordnede score for projektet være et 'gennemsnit', dvs. hvis to temaer er grønne og ét er gult, vil den samlede karakter være grøn. Trafiklys [GRØN] [GUL] [RØD] Betydning Projektet vurderes overordnet som fornuftigt, men kan have væsentlige udfordringer Projektet har vanskeligheder med at realisere de ønskede resultat- og/eller effektmål Der er flere kritiske forhold i projektets resultat- og effektskabelse 1. Tilrettelæggelse Trafiklys-scoren for projektets tilrettelæggelse er baseret på de individuelle scorer for de fire vurderingsparametre 'sammenhæng mellem aktiviteter og mål', 'organisering og projektledelse', 'kvalitet i hovedaktiviteter' og 'forankring og bæredygtighed'. For hvert af disse fire parametre er der givet en score fra 1-5, hvilket er præsenteret grafisk i vurderingsdiamanten i rapportens afsnit 4.1. Den samlede score for projektets tilrettelæggelse er et gennemsnit af disse fire scorer. Score Betydning Trafiklys 4,1-5,0 Tilrettelæggelsen er som ønsket eller bedre endnu [GRØN] 3,5-4,0 Tilrettelæggelsen er lidt under det ønskede niveau [GRØN] 2,6-3,4 Tilrettelæggelsen er noget under det ønskede niveau [GUL] 2,0-2,5 Tilrettelæggelsen er meget under det ønskede niveau [RØD] 1,0-1,9 Tilrettelæggelsen er ikkeeksisterende eller tæt herpå [RØD] 2. Resultatskabelse Vurderingen af projektets resultatskabelse er ligeledes samlet i én score fra 1-5. Scoren tildeles på baggrund af en helhedsvurdering af projektets resultatskabelse, men med udgangspunkt i projektets kvantitative resultatopnåelse på evalueringstidspunktet. Score Slut Midtvejs Betydning Trafiklys 5 95 % + 45 % + Resultatskabelsen er som ønsket eller bedre endnu [GRØN] % % Resultatskabelsen er lidt under det ønskede niveau [GRØN] % % Resultatskabelsen er noget under det ønskede niveau [GUL] % % Resultatskabelsen er meget under det ønskede niveau [RØD] % 0 14 % Resultatskabelsen er ikkeeksisterende eller tæt herpå [RØD] 3. Effektvurdering På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af projektets effektpotentiale på en skala fra 1-5, som anført herunder. Score Betydning Trafiklys 5 Projektet opnår sine ønskede effekter eller flere endda [GRØN] 4 Projektet opnår næppe helt sine ønskede effekter [GRØN] 3 Projektet opnår en rimelig andel af de ønskede effekter [GUL] 2 Projektet får kun få effekter [RØD] 1 Projektet får ingen effekter eller negative effekter [RØD]