Midtvejsevaluering af CISS ConneCT

Transkript

1 Vækstforum Nordjylland Midtvejsevaluering af CISS ConneCT Rapport Januar 2011

2 COWI A/S Parallelvej Kongens Lyngby Telefon Telefax wwwcowidk Vækstforum Nordjylland Midtvejsevaluering af CISS ConneCT Rapport Januar 2011 Budget-forbrug (% af budget) 28% Tidsforbrug (% af periode) 52% Målopnåelse (per dd) 35% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Dokumentnr 1 Version 21 Udgivelsesdato Udarbejdet Kontrolleret Godkendt JDCR, NVBE SEBH JDCR

3 Midtvejsevaluering af CISS ConneCT 1 Indholdsfortegnelse 1 Resume på fremdrift af projektet 2 2 Beskrivelse af projektet 4 21 Formål og baggrund 4 22 Hovedaktiviteter 5 3 Fremdriftsbedømmelse 6 31 Resultatmål og målopnåelse 6 32 Kvalitet og relevans i forhold til interessenter Fremdriftsberegninger 15 4 Udfordringer og anbefalinger Udfordringer Anbefalinger 20

4 Midtvejsevaluering af CISS ConneCT 2 1 Resume på fremdrift af projektet Resumeet indeholder rapportens pointer om fremdrift i projektet i forhold til fire centrale evalueringsspørgsmål Endvidere opsummerer Figur 1-1 projektets overordnede status i forhold til forbrugt budget, forbrugt tid og målopnåelse Rationale CISS ConneCT har til formål at skabe kontakter imellem Center for Indlejrede Software Systemer (CISS) og en lang række Nordjyske produktions og IKT virksomheder På baggrund af kontakterne udvikles et antal præsentationsmodeller, der hver især illustrerer, hvorledes indlejret software kan finde anvendelse i, og forbedre produktion og produkter hos virksomhederne Præsentationsmodellerne indgår endvidere som en væsentlig døråbner i kontakten, og forventes at skabe afsæt for fremtidige fælles projekter mellem de involverede parter 1 Fremdrift 2 Organisation 3 Effektvurdering Projektet har haft et par udfordringer i forbindelse med opstart, herunder i forhold til tilstedeværelse at tilstrækkelige arbejdskraftressourcer på projektteamet samt i forhold til at finde det rigtige format for aktiviteterne Dette har især påvirket de centrale dele af projektet, som omfatter scenarieworkshops, udvikling af demonstratorer samt det opsøgende arbejde med at skabe forbindelser imellem projekt ejeren og de mange relevante virksomheder indenfor produktion og IKT i Nordjylland Målopnåelsen vurderes således af COWI som imellem 35-40% af de i ansøgningen opsatte mål (aktiviteter og milepæle) Det til dato opnåede, vurderes at være rimeligt i forhold til tidsforbruget på omtrent 53% Projektet er organiseret uden partnere eller netværksdeltagere, og lever i sin udmøntning op til det i ansøgningen beskrevne I stedet har projektet i udgangspunktet tilrettelagt aktiviteter, der potentielt har en stor berøringsflade med mange aktører I forbindelse med udviklingen af demonstrationsmodellerne inddrages således en bred gruppe af aktører gennem forskellige former for workshopslignende aktiviteter med indbudte eller gennem eksisterende netværk Efterfølgende er ligeledes en alsidig gruppe af Nordjyske aktører genstand for både bred og mere individuel opsøgende kommunikation I den senere periode har der dog været en udvikling i retning mod en vellykket partnerlignede interaktion mellem projektet og en kreds af virksomheder Projektet når ikke de i ansøgningen opstillede mål De udfordringer, som opstod indledningsvis, har således resulteret i, at projektet har ansøgt om en reduktion i aktiviteter såvel som budget samt en forlængelse af projektperioden

5 Midtvejsevaluering af CISS ConneCT 3 En reduktion, der for både aktivitet og budget har et omfang på ca en 1/5 del COWI vurderer, at projektet har taget god læring af de indledende vanskeligheder og nu er i en gænge, som tilsiger at de reviderede målsætninger er realistiske Projektet står dog med en udfordring i forbindelse med at sikre langsigtede effekter Her peger midtvejsevalueringen i retning af, at der stadig blandt projektets målgruppe er et udnyttet potentiale i forhold til at se relevansen i indlejrede intelligente systemers relevans 4 Ændringer og tilpasninger Projektet har i forbindelse med opstart afveget fra den oprindelige tidsplan, og har således en forsinkelse på 3 måneder Endvidere har der i de første tre halvårlige perioder kun været en medfinansieret aktivitet på projektet, som modsvarer omkring 50% af det budgetterede Endelig har projektets første workshopbaserede hovedaktivitet måtte afvikles på anden vis Projektet har med sin ansøgning om en tilpasning af budget og aktivitet imødegået afvigelsen med afhjælpende foranstaltninger i forhold muligheden for opnåelse af projekt- og tidsplaner Projektet har ligeledes taget læring af de indledende udfordringer og vurderes af COWI til også i forhold til afviklingen af bla scenarieworkshop, at have fundet en succesfuld fremgangsmåde To centrale aspekter udgør således COWIs væsentligste anbefalinger 1 Projektets organisering uden partnere eller formelle netværksdeltagere giver en række fordele, det medfører dog ligeledes en række udfordringer i forbindelse med at styrke den oplevede relevans af projektet blandt målgruppen En maksimering af målgruppeinddragelsen både i forbindelse med idegenerering, udvikling og præsentation af demonstrationsmodellerne fremadrettet, vil således styrke både projektets gennemførelse og de mere langsigtede mål 2 Projektet bør styrke sin ledelse Der er for projektet allerede opsat klare milepæle og aktiviteter Den væsentligste udfordring her bliver dels at detaljere "produktionsplanerne" for de enkelte aktiviteter i en grad som modsvarer et projekt af denne væsentlige størrelse, dels at sikre tilstedeværelsen af de tilstrækkelige ressourcer både til implementering og koordinering af aktiviteterne Figur 1-1 Fremdriftsindikatorer Budget-forbrug (% af budget) 24% Tidsforbrug (% af periode) 53% Målopnåelse (per dd) 35% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Ovenfor er præsenteret de tre fremdriftsindikatorer, forbrug af budget og tid samt overordnet målopnåelse I rapporter redegøres i større detalje for de fire vurderingsindikatorer, relevans, kvalitet i målopnåelse, målopnåelse i forhold til tidsforbrug samt målopnåelse i forhold til budgetforbrug

6 Midtvejsevaluering af CISS ConneCT 4 2 Beskrivelse af projektet 21 Formål og baggrund Med forankring og udgangspunkt i Center for Indlejrede Software Systemer (CISS) ved Aalborg Universitet, har projektet CISS ConneCT som sit overordnede formål at udvikle regionale virksomheders kompetencer indenfor Intelligente Indlejrede Systemer (IIS) Hensigten er, at styrke konkurrenceevnen hos disse virksomheder samt øge regionens andel af det globale IIS marked (herunder gennem hjemtagelse af nationale og internationale puljemidler) Projektet er rettet mod henholdsvis IT virksomheder og fremstillingsvirksomheder Således søger projektet at imødekomme de eksisterende behov for kompetenceudvikling hos IT virksomhederne Derigennem styrkes produkternes kvalitet, og tiden forkortes før et produkt med IIS kan markedsføres For produktionsvirksomhederne gælder særligt, at øget brug af og viden om IIS kan afhjælpe flaskehalssituationer og ikke-optimale produktionsflow Et centralt træk ved dette projekt er organiseringen uden partnere Således er IT- og produktionsvirksomheder inddraget i projektaktiviteterne ad hoc og/eller på netværksbasis Den absolutte tyngde af aktiviteter i projektet ligger derfor hos CISS, om end virksomheder i nogen grad har været inddraget i partnerlignede funktioner på dele af projektet

7 Midtvejsevaluering af CISS ConneCT 5 Projektoplysninger Projektnavn: CISS ConneCT Bevillingsgiver: Regionalfonden Projektets indsatsområder (REUS): Stærke klynger Projektets indsatsområde (ERDF): Anvendelse af ny teknologi Kategori (ERDF): Adgang til viden Ansøger: CISS, Aalborg Universitet Partnere: ingen Budget: 15 millioner heraf ca 50% fra Regionalfonden Projektet er bevilget midler under REUS indsatsområdet: "stærke klynger" samt under ERDF indsatsområdet: "anvendelse af ny teknologi" En del af projektet vurderes dog også, at kunne henføres under ERDF indsatsområdet "innovation" eller "vækstiværksættere" og "regionalt innovationsmiljø" under REUS 22 Hovedaktiviteter Aktiviteterne hos CISS ConneCT er centeret om tre hovedaspekter: 1 Udvikling af demonstratorer 2 Opsøgende virksomhedskontakt 3 Hjemtagning af midler og konsortiedannelser i forbindelse med puljeansøgninger relateret til IIS Den budgetmæssigt væsentligste aktivitet i projektet er udvikling af demonstratorer Demonstratorer er modeller, der på praktisk vis anskueliggør de muligheder, som en IT- eller produktionsvirksomhed kan udnytte gennem brug af Indlejrede Intelligente Systemer (IIS) Modellerne kan enten være opbygget fysisk, der illustrerer feks en sorteringsfunktionalitet eller eksempelvis som et "computerspil", en film etc Den opsøgende kontakt til virksomheder udgør en anden central aktivitet i projektet De opsøgende aktiviteter kan have forskellige karakterer, og er oftest tæt knyttet til demonstratordelen, enten i forbindelse med input til udviklingen af demonstratoren eller i forbindelse med formidling af IIS viden, hvor demonstratoren indgår De opsøgende aktiviteter kan bla have karakter af "workshops", besøgsrunder hos virksomheder, forskellige kommunikationsaktiviteter (nyhedsbreve etc) samt deltagelse på relevante messer Den tredje hovedaktivitet er særligt knyttet op om etableringen af konsortier på tværs af vidensinstitutioner og virksomheder Dette gøres blandet andet gennem opbygningen af en partnersøgningsdatabase På denne baggrund ansøges blandt andet om ARTEMIS Joint Technology Initiative (JTI) midler

8 Midtvejsevaluering af CISS ConneCT 6 3 Fremdriftsbedømmelse Afsnittet fokuserer på de resultater og effekter, som er angivet i projektansøgningen og beskriver fremdriften hen imod disse 31 Resultatmål og målopnåelse Afsnittet indeholder en redegørelse for de resultatmålsætninger, der er opsat i projektansøgningen samt en beskrivelse af fremdriften for delprojekterne 311 Planlagte resultatmål Kort inden midtvejsevalueringen har projektet ansøgt om ændringer i budget og projektplan som følge af et væsentligt underforbrug (under 50% af det budgetterede) i projektets første tre perioder I ansøgningen anmodes om en reduktion i aktiviteter og budget, således at det nu er fem og ikke syv demonstratorer, der skal udvikles Det samlede budget ansøges reduceret fra 15 til 12 millioner kroner Endvidere ansøges om en forlængelse af projektperioden til og at en mindre budgetpost overføres til kommunikationsaktiviteter I forbindelse med ansøgningen har projektansøgeren opstillet 5 mål for projektet Disse projektmål er direkte afledt af de indikatorer, der er opstillet for projekter, som modtager midler under regionalfondens indsatsområde "anvendelse af ny teknologi" Tabel 3-1 Målsætninger for CISS ConneCT (ERDF) Målsætninger (Regionalfonden) 30 virksomheder har øget deres IKT anvendelse 10 samarbejder med virksomheder 20 samarbejder internt på instituttet 30 virksomheder udvikler nye produkter eller processer 50 virksomheder der har fået forbedret adgang til viden Kilde: Ansøgning til EBST om til tilsagn Foruden de ovenfor nævnte målsætninger, er der i projektansøgningen opstillet følgende milepæle for hele projektperioden Disse konkrete målsætninger er endvidere blevet konsolideret som målepunkter på et fælles opstartsmøde mellem medlemmer af projektteamet, Vækstforumsekretariatet og COWI:

9 Midtvejsevaluering af CISS ConneCT 7 Tabel 3-2 Målsætninger for CISS ConneCT (Projektspecifikke) Målsætninger (Projektspecifikke) 5 tematiserede scenarieworkshops 7 demonstratorprojekter (ansøgt revideret til 5) 12 regionale besøgsrunder Halvårlige nyhedsbreve Profildatabase Konsortiedannelser 1 Minikonference Kilde: Ansøgning til EBST om til tilsagn samt interview med projektet 312 Målopnåelse Som nævnt ovenfor har der været et betydeligt underforbrug af midler, hvilket har afstedkommet en ansøgning om reduktion i budget og aktiviteter samt en forlængelse af projektperioden Ændringen i projektet er et resultat af en række vilkår, der har gjort sig gældende siden opstart Således har projektet: haft en forsinkelse i forbindelse med opstartsaktiviteterne, der indledningsvist forsinkede projektet i tre måneder haft en underbemanding på projektet særligt i forhold til produktion, udvikling og vedligehold af demonstratorerne haft behov for en større kommunikationsindsats i forhold til udviklingen af demonstratorerne Da ansøgningen om projektændring endnu ikke er endeligt imødekommet er det dog de oprindelige projektmål, som udgør afsættet for denne midtvejsevaluering I forhold til de delmål, der er opstillet for regionalfonden, har projektet således opnået nedenstående: Tabel 3-3 Målopnåelse for CISS ConneCT (ERDF) Delmål 30 virksomheder har øget deres IKT anvendelse Status (kort) Vurderes af projektet til at omfatte 10 Målopnåelse per dd i % 1 33% 1 Målopfyldelse er en simpel %-udregning, hvor tallet fra statuskolonnen divideres med den samlede målsætning for området Begge tal er afstemt med projektet under evaluering

10 Midtvejsevaluering af CISS ConneCT 8 10 samarbejder med virksomheder Vurderes af projektet til at omfatte samarbejder internt på instituttet Vurderes af projektet til at omfatte virksomheder udvikler nye produkter eller processer 50 virksomheder der har fået forbedret adgang til viden Vurderes af projektet til at omfatte 10 Vurderes af projektet til at omfatte % 50% 33% 100% Total 73% Kilde: CISS ConneCT Interview med projektteamet afslørede, at de indikatorer, som indledningsvis er opsat vedrørende målopnåelse i forhold til Regionalfonden, er svære at anvende som pejlemærker For en række af indikatorerne, er der tale om i bedste fald "bløde" indikatorer, som det er yderst svært at fastsætte graden af opnåelse af Definitionerne af eksempelvis "interne og eksterne samarbejder" er meget uklare, og kan derfor kun i denne midtvejsevaluering udgøre et afsæt for en generel diskussion om fremdrift mellem evaluator og projekt Konklusionen i forhold til effekterne i forbindelse med ERDF indikatorerne kan således kun være at projektet i høj grad allerede har opnået de forventede mål I forhold til de specifikke mål opstillet i den oprindelige ansøgning har projektet opnået nedenstående: Tabel 3-4 Målopnåelse for CISS ConneCT (Projektspecifikt) Delmål Status (kort) 5 tematiserede scenarieworkshops 2 (heraf den ene erstattet af en besøgsrunde/rundringning) 7 demonstratorprojekter 1½ (et er delvist afsluttet og et er igangsat) Målopnåelse per dd i % 2 40% 21% 12 regionale besøgsrunder % Halvårlige nyhedsbreve 2 udgivelser til dato 33% Profildatabase Ja 100% Konsortiedannelser Ja (3) 50% 2 Målopfyldelse er en simpel %-udregning, hvor tallet fra statuskolonnen divideres med den samlede målsætning for området Begge tal er afstemt med projektet under evaluering 3 CISS ConneCT har anvendt en række metoder til at opnå kontakt med regionale virksomheder, dette omfatter bla besøgsrunder, messedeltagelse, deltagelse og præsentation ved regionale netværksmøder COWI vurderer disse aktiviteter som virkningsmæssigt ligestillede med regionale besøgsrunder

11 Midtvejsevaluering af CISS ConneCT 9 1 Minikonference Nej 0% Total 41% Kilde: CISS ConneCT Fremdrift for scenarieworkshops Scenarieworkshops udgør et centralt udgangspunkt for udviklingen af demonstratorerne Da brugerinddragelse endvidere er et centralt aspekt ved projektet er disse workshops en vigtig del Der er til dato planmæssigt afholdt 2 workshops, hvoraf den ene grundet manglende tilslutning blev erstattet af en opsøgende telefonrunde Temaet for den første workshop var "intelligent produktion og logistik" den anden omhandlede "energieffektive bygninger" Workshop 1 var bygget op om et indlæg fra et initiativ under EU's 7ende rammeprogram for forskning ("ICT for Factories of the Future") Til trods for at temaet vurderedes meget centralt for både projekt og relevante nordjyske virksomheder, kunne der ikke samles et tilstrækkeligt antal deltagere Dette skyldes formentlig det brede publikum (fremstillingsvirksomheder), som workshoppen henvendte sig til, og den dermed lidt ufokuserede tilgang Projektet erstattede aktiviteten med en anden interaktionsform (opsøgende telefonrunder) og har efterfølgende udviklet forskellige demonstratorer, der illustrerer muligheden for intelligent lagerstyring Den vellykkede workshop 2 illustrerer, at relevant læring er taget ud af det første forsøg på at gennemføre en scenarieworkshop Her er det lykkedes at gennemføre workshop med stor tilslutning Bla ved at samordne tema (energieffektive bygninger) med andre nationale og internationale tiltag i forbindelse med COP15 Temaer for de resterende tre workshops er ved at ligge fast, og vil, udover "fødevarer", tematisk at bygge videre på de første to temaer Endvidere vil projektet i højere grad trække på eksisterede regionale tematiske netværk i forbindelse med gennemførelsen af workshops Fremdrift for demonstratorer Den budgetmæssigt største del af projektet omhandler den konkrete udvikling af demonstratorerne Der er udviklet et antal demonstratorer vedrørende intelligent produktion og logistik, og det grundlæggende arbejde omkring udvikling af demonstratoren relateret til energieffektive bygninger er udført I forhold til "intelligent produktion og logistik" er der udviklet forskellige demonstratorer for intelligent lagerstyring Demonstratorerne er blevet udviklet i forskellige materialer og medier Disse fordrer dog i nogen udstrækning vedvarende vedligehold for at kunne anvendes løbende Vedrørende "energieffektive bygninger" har den væsentligste udfordring været forbundet med at få forskellige systemer, der knytter sig til energioptimering, til at kunne kommunikere Denne opgave, der har omfattet betydelige mængder programmering, er nu løst Tilbage udestår at få præsenteret dette på en nemt kommunikérbar måde Udfordringen repræsenterer en central udfordring for projektet, nemlig at kommunikere "software" En række nordjyske virksomhe-

12 Midtvejsevaluering af CISS ConneCT 10 der har bistået tæt i denne proces, og demonstratoren har allerede tiltrukket sig betydelig interesse fra relevante virksomheder For udviklingen af demonstratorerne gælder generelt, at projektet i højere grad har måttet se udviklingen som en proces Dette gælder både i forhold til at udvikle demonstratorerne, og ikke mindst i forhold til vedligeholdelsen af færdigudviklede demonstratorer Den mere arbejdskrævende proces omkring demonstratorerne (og tilsvarende underbemanding) er ligeledes den væsentligste begrundelse for ansøgningen om reduktion i projektets aktiviteter fra syv til fem demonstratorer Fremdrift for regionale besøgsrunder Fremdrift for halvårlige nyhedsbreve Fremdrift for profildatabase Fremdrift for konsortiedannelser At få demonstreret de forskellige indlejrede løsninger i en interaktion med relevante virksomheder, er ligeledes en væsentlig del af projektets aktiviteter Dette er ikke mindre væsentligt, når man tager projektets organisering uden partnere i betragtning Kontakten til regionale interessenter gennem besøgsrunder har i første periode været udfordret, da de planlagte besøgsrunder ikke blev gennemført Dette skyldes behovet for at gennemføre opsøgende kontakt, i stedet for den ikke som planlagt gennemførte første scenarieworkshop Efterfølgende vurderes det af evaluator, at det opsøgende arbejde er gennemført i et omfang, der afspejler ambitionerne i projektansøgningen Dog har projektet vurderet, at der i højere grad også har været behov for at gennemføre det opsøgende arbejde på anden vis - herunder deltagelse i nationale og internationale messer og konferencer, hvor demonstratorerne er blevet præsenteret Dette vurderes af evaluator at have været en betydelig succes Der er indtil videre i forbindelse med projektet lavet to udgivelser Således har der fra projektets side været reducerede ambitionerne om at lave halvårlige nyhedsbreve En væsentlig del af forklaringen skal findes i manglen på "stof", hvilket den forsinkede aktivitet på projektet har afstedkommet At føre relevante aktører sammen er ligeledes en del af CISS ConneCT Oprettelse af en profildatabase har således været en af de indledende aktiviteter i projektet Databasen er etableret og vedligeholdes løbende i projektperioden Dannelsen af konsortier, der skal bestå af en blanding af vidensinstitutioner og private virksomheder, er ligeledes en delopgave under projektet Konsortierne forventes at være en afledt effekt af den tætte kontakt imellem de forskellige aktører i projektet Projektet har til dato ledt til en række konsortiedannelser, hvoraf en del har det formål at ansøge 4 om de meget konkurrencebetonede ARTEMIS-midler (EU) På ARTEMIS er status, at to ansøgninger ikke er imødekommet og en endnu er udstående Der til kommer et imødekommet fornyelsesfondsprojekt omkring plejehjem med base i Nordjylland, samt yderligere en udestående EU ansøgning omkring demonstration af intelligente energibesparelser - ligeledes med base i Nordjylland Konsortierne har hovedsagligt bestået af aktører, som CISS kendte i forvejen, da konsortiedannelse i forbindelse med EU midler kræver en tæt og tillidsbåret relation Projektet forventer i den resterende periode at skabe et tilsvarende antal konsortier Her vil CISS ConneCT aktiviteterne i højere grad anvendes til at skabe konsortier, der også omfatter 4 De konkrete ansøgningsaktiviteter foretages i andet regi eksv projektet DiNES

13 Midtvejsevaluering af CISS ConneCT 11 virksomheder CISS ikke tidligere har arbejdet sammen med, samt være rettet mod enten mindre konkurrenceudsatte puljer eller frie midler CISS råder over Fremdrift for minikonference En konference forventes først gennemført i slutningen af projektperioden 32 Kvalitet og relevans i forhold til interessenter I forbindelse med evalueringen er der gennemført en mindre spørgeskemaundersøgelse blandt projektets interessenter Spørgeskemaundersøgelsen har haft til formål at undersøge den oplevede relevans og kvalitet af projektet Undersøgelsen blev gennemført på baggrund af kontaktdata gjort tilgængeligt af CISS 5 CISS ConneCT indgår i CISS arbejde på linje med andre projekter så som Di- NES, Infiniet etc Derfor må der i undersøgelsen tages højde for det forbehold, at deltagerne i spørgeskemaundersøgelsen forholder sig til deres kendskab til CISS og ikke til CISS ConneCT (89% af besvarelserne vurderede således, at de ikke skelnede imellem CISS og CISS ConneCT) Overordnet relevans og kvalitet Generelt vurderes projektets relevans for de deltagende virksomheder som lidt under middel, med en gennemsnitlig relevansvurdering på 2,75 (skala fra 1-5) Tabel 3-5 CISS ConneCT relevans i forhold til virksomhed Spørgsmål: " Hvordan vurderer du relevansen af aktiviteterne i CISS ConneCT i forhold til en virksomhed som jeres?" Grad af relevans Procent Antal besvarelser 1 Ingen / Meget lille relevans 22% 2 2 0% % % 2 5 Meget stor relevans 0% 0 Ved ikke 11% 1 Gns 2,75 Kilde: COWI minisurvey (N=9) I forhold til det udbytte, som virksomhederne vurderer de får ud af samarbejdet med CISS ConneCT, er dette noget mindre med en gennemsnitlig score på 2 Her kan endvidere konstateres en større polarisering imellem besvarelserne, 5 Spørgeskema har været udsendt til 18, hvoraf 9 har besvaret En svarprocent på 50% vurderes ikke helt tilfredsstillende, men som tilstrækkeligt i en undersøgelse som denne

14 Midtvejsevaluering af CISS ConneCT 12 hvor halvdelen vurderer, at projektet har intet eller meget lille udbytte for virksomheden Samtidig vurderer godt en fjerdedel, at de har et højt udbytte Tabel 3-6 CISS ConneCT udbytte i forhold til virksomhed Spørgsmål: " Hvordan vurderer i indtil videre udbyttet af samarbejdet med CISS ConneCT?" Grad af udbytte Procent Antal besvarelser 1 Ingen / Meget lille udbytte 44% % 2 3 0% % 2 5 Meget stort udbytte 0% 0 Ved ikke 11% 1 Gns 2 Kilde: COWI minisurvey (N=9) I forhold til vurderingen af udbytte må dette sammenholdes med de forventninger, som virksomhederne har til CISS ConneCT, her kun godt halvvejs i projektperioden Med en gennemsnitlig besvarelse på 3, kan det konstateres, at projektet lever op til det forventede Tabel 3-7 CISS ConneCT udbytte i forhold til det for virksomheden forventede Spørgsmål: " Hvordan har udbyttet været i forhold til hvad du havde forventet på nuværende tidspunkt?" Procent Antal besvarelser 1 Meget under forventet 0% 0 2 Under forventet 11% 1 3 Som forventet 56% 5 4 Mere end forventet 11% 1 5 Meget mere end forventet 0% 0 Ved ikke 22% 2 Gns 3 Kilde: COWI minisurvey (N=9)

15 Midtvejsevaluering af CISS ConneCT 13 Effekter for virksomhederne I forbindelse med projektets overordnede mål omkring henholdsvis at øge konkurrenceevnen, omsætningen samt antallet af ansatte, er respondenterne ligeledes blevet spurgt om den forventede sammenhæng imellem CISS ConneCT og udviklingen på deres respektive virksomheder Her kan det konstateres, at virksomhederne forventer større effekter i forhold til deres konkurrenceevne samt i forhold til antallet af ansættelser Gennemsnittet for de tre aspekter ligger dog alle under middel Særligt i forhold til forventninger til øget omsætning, svarer langt størstedelen, at projektet forventes at have ingen eller ringe effekt Tabel 3-8 CISS ConneCT effekt på konkurrenceevne, omsætning og ansættelser Spørgsmål: "I hvor høj grad forventet I at udbyttet af samarbejdet med CISS ConneCT være " Forbedret konkurrenceevne Antal Procent besvarelser Øget omsætning Procent Antal besvarelser Flere medarbejdere Procent Antal besvarelser 1 Slet ikke 33% 3 33% 3 33% 3 2 I ringe grad 22% 2 56% 5 22% 2 3 I nogen grad 33% 3 11% 1 44% 4 4 I høj grad 11% 1 0% 0 0% 0 5 I meget høj grad 0% 0 0% 0 0% 0 Ved ikke 0% 0 0% 0 0% 0 Gns 2,2 1,8 2,1 Kilde: COWI minisurvey (N=9) Ser vi endvidere på nye samarbejder, som virksomhederne angiver, er udsprunget fra projektet, er det kun 11%, der angiver, at dette er tilfældet henholdsvis internt og eksternt Interaktion imellem CISS ConneCT og virksomhederne Ser vi på, hvorledes respondenterne har interageret med projektet, er der følgende fordeling Tabel 3-9 Interaktion med projektet Spørgsmål: "hvorledes respondenterne har interageret med CISS ConneCT?" Har deltaget i scenarieworkshop 11%

16 Midtvejsevaluering af CISS ConneCT 14 Har set eller har kendskab til demonstratorerne 33% Har haft møder med CISS omkring potentialer i IIS 33% Har læst CISS ConneCTs nyhedsbrev 33% Har haft møde med CISS ConneCT på virksomheden 44% Har læst CISS ConneCTs publication 22% Har besøgt CISS ConneCTs hjemmeside 33% Kilde: COWI minisurvey (N=9) Inspiration til virksomhederne Samspillet mellem virksomhed og vidensinstitution er naturligvis omdrejningspunktet for dette projekt Således har undersøgelsen også set på, hvordan og i hvilken grad virksomhederne ellers har ladet sig inspirere af projektet Ser vi på, hvordan virksomhederne vurderer, at projektet har påvirket deres muligheder for at tilføre fremtidige produkter merværdi, lander vi på et gennemsnit på 2,4 Dette dækker blandt andet over, at op mod halvdelen vurderer, at dette i nogen grad er tilfældet Tabel 3-10 Fremtidige muligheder for virksomhederne Spørgsmål: " I hvor høj grad har I, som resultat af kontakten til CISS ConneCT, fået øje på nye muligheder for at tilføre fremtidige produkter merværdi ved hjælp af intelligente indlejrede løsninger? Procent Antal besvarelser 1 Slet ikke 22% 2 2 I ringe grad 22% 2 3 I nogen grad 44% 4 4 I høj grad 11% 1 5 I meget høj grad 0% 0 Ved ikke 0% 0 Gns 2,4 Kilde: COWI minisurvey (N=9) Ser vi endvidere specifikt på demonstratorerne, angiver 2/3 af de respondenter, der har set eller har kendskab til dem (Tabel 3-9), at de kun i ringe grad er blevet inspireret af disse Den sidste tredjedel er i nogen grad blevet inspireret

17 Midtvejsevaluering af CISS ConneCT Fremdriftsberegninger Dette afsnit indeholder en række kvantificerede vurderinger af fremdriften i projektet Fremdriften er vurderet på henholdsvis tre fremdriftsindikatorer samt fire vurderingsindikatorer Indikatorerne er i flere tilfælde ikke baseret alene på hårde tal, men på en blanding af indikative tal fra projektet og COWIs vurderinger Fremdriftsindikatorer Fremdriften er opsummeret i følgende figurer: Figur 3-1 Projektets score på de tre absolutte fremdriftsindikatorer Budget-forbrug (% af budget) 28% Tidsforbrug (% af periode) 52% Målopnåelse (per dd) 35% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Foruden forbrug af tid og budget er nedenfor beskrevet, hvorledes projektets score på målopnåelse er udregnet Målopnåelse: Er en vurdering af, hvor langt projektet er nået på evalueringstidspunktet i forhold til alle sine milepæle, aktiviteter og målsætninger Scoren kan gå fra 0-4, hvor 4 angiver, at 100% af projektets samlede mål er opnået De målsætninger, som projektet indmeldte i den oprindelige projektansøgning, var forholdsvis ukonkrete, som det er beskrevet i afsnit 312 Fremdriften mod disse overordnede målsætninger blev tidligere vurderet til 71 % Projektet har i projektansøgningen meldt ud, hvilke aktiviteter, der skulle gennemføres Fremdriften på projektets konkrete aktiviteter er den centrale forudsætning for målopnåelsen, og her er fremdriften vurderet til 41 % Som nævnt havde projektet en lidt forsinket opstart, og den første del af projektets levetid har været præget af væsentlig underbemanding Dermed er projektet kommet bagud Det har bla resulteret i, at ét demonstratorprojekt pt er færdiggjort og et andet stærkt undervejs Projektet har for nylig sikret sig, at udfordringen med underbemanding er løst

18 Midtvejsevaluering af CISS ConneCT 16 Samtidig har mødeaktiviteten ude ved virksomhederne ikke været så intensiv, som den måske burde, hvilket kan tolkes af virksomhedernes svar på spørgeskemaet; mange angiver, at de ikke har mødtes med CISS og diskuteret mulighederne for anvendelse af IIS (og heller ikke fået meget udbytte af projektet på nuværende tidspunkt) Det betyder bla, at selv om flere af virksomhederne på nuværende tidspunkt er i gang med at se potentialerne for IIS, mangler flere af dem, at få sat ordentligt gang i tanker og overvejelser om, hvordan projektet kan berige deres virksomhed Således er projektets væsentligste aktivitetsområde (scenarieworkshops, demonstratorer og besøgsrunder) ikke godt nok på vej og på dette område er målopnåelsen - ifølge tidligere tabel - samlet vurderet til ca 35 % I forhold til arbejdet med konsortiedannelse og hjemtagning af EU-midler har dette arbejde forløbet fint På den ovenstående baggrund vurderes målopnåelsen at være på 35-40% Vurderingsindikatorer I forhold til projektets vurderingsindikatorer (relevans, kvalitet i målopnåelse, målopnåelse i forhold til budget, målopnåelse i forhold til tid) er disse udregnet på følgende vis Figur 3-3 Projektets score på de fire vurderingsindikatorer 6 Målopnåelse ift tidsforbrug Relevans Kvalitet i målopnåelse Målopnåelse ift budgetforbrug Relevans: Udtrykker en kvalitativ vurdering af, hvor relevant projektet er set i forhold til den regionale udviklingsstrategi og samarbejdspartnernes behov/muligheder Scoren kan gå fra 0-4, hvor 4 angiver meget høj relevans 6 En score på 4 fortæller, at der ingen problemer eller udfordringer er i forhold til det enkelte vurderingsindikator En score på 3 angiver, at der er enkelte muligheder for forbedringer En score på 2 fortæller, at projektet har nogle centrale udfordringer, som skal løses, mens scorerne 1 og 0 begge er særdeles utilfredsstillende

19 Midtvejsevaluering af CISS ConneCT 17 Idéen, der ligger bag CISS ConneCT, er fuldt i tråd med de hensyn og ønsker der er udtryk i den regionale udviklingsstrategi, både med hensyn til at understøtte udviklingen af erhvervslivet og med at rodfæste stærke klynger En udbredelse af IIS blandt nordjyske virksomheder vil med stor sandsynlighed bidrage til øget konkurrenceevne og fastholdelse af arbejdspladser Grundlæggende er visionen for projektet relevant og ambitiøs Som tidligere beskrevet viste spørgeskemaundersøgelsen dog, at flere virksomheder, som der samarbejdes med på nuværende tidspunkt, ikke har erkendt den fulde relevans af aktiviteterne Projektet har dermed nogle konkrete udfordringer med at få samarbejdsvirksomhederne til at forstå potentialet i aktiviteterne Dette på trods af, at det nuværende snævre fokus på to sektorer burde fremme, at aktiviteterne var relevante for alle deltagere På ovenstående baggrund vurderes relevansen at være 3, hvilket afspejler stor overensstemmelse med REUS og en blandet relevans for samarbejdsvirksomhederne Kvalitet af målopnåelsen: Er en vurdering af kvaliteten af de aktiviteter, der har været i projektet frem til evalueringstidspunktet Scoren kan gå fra 0-4, hvor 4 angiver en meget høj kvalitet i aktiviteterne Kvaliteten i projektets aktiviteter vurderes gennemgående at være relativt høj Dog er der et par vigtige områder, hvor man bør overveje at overveje fremgangsmåden lidt nøjere I udgangspunktet vurderer COWI, at det faglige niveau især i forhold til udviklingen af demonstratorer er på et højt niveau Ligeledes er arbejdet med konsortiedannelserne forløbet fint COWI vurderer dog, at der har været for lidt fokus i forhold til at sikre, at projektet opleves som relevant hos virksomhederne, og at virksomhederne engagerer sig aktivt i at forfølge det potentielle udbytte af projektet Spørgeskemaet indikerer, at kendskabet til demonstratorerne ikke er højt nok Lige så væsentligt, er der flere af virksomhederne, der endnu ikke har fået øje for de fremtidige muligheder, som IIS kan give deres virksomhed Interaktionen med virksomhederne mangler dermed nogle elementer, som kan sikre, at de bedre forstår potentialerne i IIS En bedre forståelse vil sikre et større virksomhedsengagement og en større gennemslagskraft for det konkrete projektets aktiviteter på sigt Hovedparten af de deltagende virksomheder ser ikke på nuværende tidspunkt, at projektet vil bidrage i væsentlig grad til at forbedre deres forretning Projektet har således muligvis haft for stor en tiltro til, at gode tekniske løsninger og demonstrationsprojekter i sig selv kunne få virksomhederne til at forstå og omfavne mulighederne i IIS

20 Midtvejsevaluering af CISS ConneCT 18 Til grund for kvalitetsvurderingen ligger endvidere, at den første scenarieworkshop ikke blev afholdt hvilket indikerer enten at det opsøgende arbejde ikke havde nok høj kvalitet, eller at scenarieworkshoppen ikke var attraktiv nok Projektet har nu fundet nye måder at få arbejdet med scenarieudvikling, og fremover forventes kvaliteten af denne aktivitet at være ganske høj På baggrund af ovenstående vurderes kvaliteten i målopnåelsen til 3, hvilket angiver en høj kvalitet med mulighed for få vigtige forbedringer Målopnåelse i forhold til tidsforbrug: Her sættes målopnåelsen i forhold til tidsforbruget i procent af den samlede tidsramme Scoren kan gå fra 0-4, hvor 4 angiver meget høj målopnåelse inden for den forbrugte tid Det er tidligere omtalt, hvordan projektet havde en langsom opstart og ikke havde tilstrækkelig bemanding i sin første tid Af ovenstående data følger, at projektet har nået 35 % af sine målsætninger alt imens, der er gået omtrent 53 % af projektperioden (19 af 36 måneder) Det fremgår altså, at projektet har noget at indhente i løbet af den resterende periode På denne baggrund vurderes målopnåelsen i forhold til forbrugt tid at være 3, hvilket er en rimelig målopnåelse i forhold til den forbrugte tid Det vil dog kræve en fokuseret indsats fra medarbejdere og projektledelsen, at indhente efterslæbet Målopnåelse i forhold til budgetforbrug: Her sættes målopnåelsen i forhold til budgetforbruget i procent Scoren kan gå fra 0-4, hvor 4 angiver en meget høj målopnåelse for de forbrugte midler Projektet har gennemført 35 % af sine aktiviteter og har indtil videre forbrugt omtrent 28 % af sit budget Budgetforbruget er regnet ud, som det realiserede forbrug per 1/8-2010, samt det forventede forbrug frem til medio december, hvor evalueringen foretages Ved indgangen til august havde projektet blot forbrugt 19 % af budgettet, så det er et substantielt løft i forbrug, som projektet skal gennemføre på de 3½ måned frem til medio december Budgetforbruget kan derfor være overvurderet af evaluator På baggrund af et forbrug på 28 % af budgetrammen, vurderes målopnåelsen i forhold til budgetforbrug at være 4, hvilket er en høj eller endog meget høj målopnåelse for de forbrugte budgetmidler

21 Midtvejsevaluering af CISS ConneCT 19 4 Udfordringer og anbefalinger Afsnittet berører de barrierer og udfordringer, som projektet oplever i forhold til at realisere sine målsætninger, samt en beskrivelse af nogle tiltag, der kan iværksættes for at imødegå disse 41 Udfordringer Nedenfor kortlægges eksisterende barrierer med brug af dimensionerne ekstern/intern og kan/kan ikke påvirke Tabel 4-1 Barrierekortlægning Kan påvirke Kan ikke påvirke Interne barrierer Mangel på fokusering særligt i begyndelsen i forbindelse med scenarieworkshops, har gjort det svært at skabe den ønskede kontakt med virksomheder Fastholdelse af nøglemedarbejdere på projektholdet kan komme til at udgøre en udfordring Projektledelsen vurderes ikke at have haft tilstrækkeligt fokus på at sikre fremdrift, herunder at de tilstrækkelige ressourcer har været til stede for at løse opgaven Som følge af ovenstående peger projektets begrænsede budgettræk indtil videre i retning af underbemanding på projektet, som en væsentlig flaskehals Eksterne barrierer Deltagende virksomheder synes kun i begrænset omfang at have ønsket at udnytte eller se mulighederne i IIS Virksomheder fordrer en form for kommunikation, som umiddelbart synliggør projektets relevans for Recession og økonomisk krise gør det mindre attraktivt for virksomheder at bruge kræfter på udvikling og innovation Der er grænser for hvor meget man kan kontakte de samme aktører

22 Midtvejsevaluering af CISS ConneCT 20 virksomheden For at virksomheder kan se klar relevans og udbytte af deltagelse, skal der være en tilstrækkelig forventningsafstemning mellem virksomhed og projekt, endvidere kræves en modningsproces hos især mindre IT orienterede virksomheder (kommunale erhvervschefer etc) De puljer, som konsortiedannelse har været rettet mod, har været stærkt konkurrence udsatte Uden formelle partnerskaber med virksomheder, kan det være svært at etablere en mere dedikeret kontakt (om end fraværet af partnerskaber reducerer de administrative byrder) Endvidere kan det være en udfordring at have tilstrækkeligt retvisende billede af den reelle efterspørgsel hos virksomheder efter IIS 42 Anbefalinger Det sidste afsnit indeholder de vigtigste anbefalinger, som evaluator vil pege på med baggrund i evalueringen af projektet COWI har følgende anbefalinger vedrørende projektets fremdrift: Anbefaling 1: Tilpas projektet Anbefaling 2: Styrk projektledelsen De ansøgte projektændringer bør klart imødekommes En reduktion i aktiviteter og dermed budget vil sammen med en forlængelse af projektperioden forøge sandsynligheden for at projektet kan nå i mål betragteligt Dog bør det overvejes om tilpasningen fra 7 til 5 demonstratorer, samt en budgetmæssig reduktion på 20 % er tilstrækkelig Vækstforumsekretariatet og CISS ConneCT vil med gensidig fordel sammen kunne genbesøge status på projektet i løbet af tredje kvartal 2011 Projektet har uudnyttet potentiale, hvilket indikeres blandet af at virksomhederne angiver en højere vurdering af relevansen end af udbyttet på nuværende tidspunkt Endvidere vidner ansøgningsskrivelsen om et godt afsæt for udbygning af klyngelignende styrker i regionen indenfor IIS At projektet kommer godt udover rampen med deres aktiviteter er dog en forudsætning for resultater Manglende ressourcer til gennemførelsen af et væsentligt omfang af planlagte delaktiviteter er en ledelsesudfordring En klar og sammenhængende projektplan, hvor ressourceallokering er detaljeret beskrevet vil, foruden naturligvis at planen følges, bidrage væsentligt til at de planlagte aktiviteter i sidste ende gennemføres

23 Midtvejsevaluering af CISS ConneCT 21 Anbefaling 3: Styrk og øg kommunikationsindsatsen Anbefaling 4: Udvikling af relevante demonstratorer Anbefaling 5: Overvej forbindelse mellem teknisk excellence og forretningsresultater Projektet har et stærkt teknologisk udgangspunkt, en af de væsentligste udfordringer er derfor i højere grad at kommunikere vellykket med de relevante interessenter Projektet arbejder allerede indgående med at kommunikere med virksomheder, og på virksomhedernes præmisser Der skal naturligvis være noget at kommunikere om (eks v en demonstrator), men at virksomhederne rent faktisk forstår relevansen af IIS er afgørende Målrettet kommunikation er her en del af løsningen I det omfang CISS ConneCT kan præsentere demonstratorer og andre illustrationer af eksempler på IIS, der tager udgangspunkt i den konkrete virksomheds konkrete arbejde, vil den oplevede relevans formentlig forøges betragteligt CISS ConneCT kunne endvidere overveje at kombinere deres opsøgende arbejde og interaktion med virksomhederne til også at omfatte temaer, der omhandler, hvorledes virksomheden strategisk håndtere adgang til nye IIS løsninger Endelig er CISS ConneCTs eksisterende prioritering imod at anvende forskellige kommunikationsformer (opsøgende kontakt, udgivelser, deltagelse i netværk, deltagelse i messer etc) rigtig god, og denne varierede tilgang må endelig fortsættes Projektet er rettelig i udgangspunktet designet på en måde, der indebærer en tæt interaktion med virksomheder Dette gøres blandet andet gennem scenarieworkshops og opsøgende kontakter På den vis sikres virksomhedernes input IIS løsninger og demonstratorer fremstår således som mere relevante for disse virksomheder I forbindelse med udviklingen af den anden demonstrator, er dette gjort i et nærmest partnerlignende forhold mellem CISS ConneCT og et antal virksomheder Denne tætte inddragelse af virksomhederne vurderer COWI er den helt rigtige tilgang til demonstratorudvikling - og vi vil anbefale, at tilsvarende tilgange anvendes til de resterende demonstratorer Vedrørende de resterende demonstratorer har CISS ConneCT overvejelser om, at de overvejende skal udvikles inden for de eksisterende temaer, som projektet har adresseret COWI vurderer, at dette vil muliggøre at trække på allerede eksisterende virksomhedskontakter og derfor er en meget oplagt og relevant tilgang CISS ConneCT leverer på de tekniske områder for demonstratorerne en meget høj kvalitet Men de forretningsmæssige potentialer, som den gode tekniske gennemførsel viser, er ikke tydelige for virksomhederne Projektet bør derfor overveje, hvordan man kan hjælpe virksomhederne til konkret at indoptage og anvende nye idéer til at forbedre deres forretning Det kan være, at der skal bruges nogle andre kompetencer, end projektet har i øjeblikket, men der findes givetvis flere måder at hjælpe virksomhederne med at skabe forandringer og udnytte de nye potentialer

24 Midtvejsevaluering af CISS ConneCT 22 Bilag 1 - Evalueringstema og Scoringssystem Evalueringstema Relevans: Udtrykker en kvalitativ vurdering af, hvor relevant projektet er, set i forhold til den regionale udviklingsstrategi og partnernes behov/muligheder Scoren kan gå fra 0-4, hvor 4 angiver meget høj relevans Scoringssystem 0: Ingen relevans hverken for REUS eller for partnerne 1: Ingen relevans for REUS og delvist relevant for partnerne eller omvendt 2: Delvist relevant for både REUS og partnere 3: Fuldt relevant for REUS og delvist relevant for partnere eller omvendt 4: Fuldt relevant for både REUS og partnere Målopnåelse: Er en vurdering af, hvor langt projektet er nået på evalueringstidspunktet i forhold til alle projektets milepæle, aktiviteter og målsætninger Scoren kan gå fra 0-4, hvor 4 angiver, at 100% af projektets samlede mål er opnået 0: Ingen eller meget lille fremdrift mod projektets endelige/samlede mål (0% opnået) 1: Projektet har nået nogle af sine samlede mål (25% opnået) 2: Projektet har nået omtrent halvdelen af sine samlede mål (ca 50% opnået) 3: Projektet har nået mange af sine samlede mål (ca 75% opnået) 4: Projektet har nået alle sine mål (100% opnået) Kvalitet af målopnåelsen: Er en vurdering af kvaliteten af de aktiviteter, der har været i projektet frem til evalueringstidspunktet Scoren kan gå fra 0-4, hvor 3 angiver en meget høj kvalitet i aktiviteterne 0: Meget lav kvalitet i arbejdet, hvor der er behov for markante forbedringer på stort set alle områder 1: Lav kvalitet i arbejdet, hvor der på centrale områder er behov for store forbedringer i kvaliteten 2: Blandet kvalitet i arbejdet med visse væsentlig forbedringsmuligheder 3:Høj kvalitet i arbejdet med mulighed for

25 Midtvejsevaluering af CISS ConneCT 23 få vigtige forbedringer 4: Meget høj kvalitet i arbejdet med ganske få forbedringsmuligheder Målopnåelse i forhold til budgetforbrug: Her sættes målopnåelsen i forhold til budgetforbruget i procent Scoren kan gå fra 0-4, hvor 4 angiver en målopnåelse som forventet eller over forventet i forhold til de forbrugte midler 0: Ingen eller stort set ingen målopnåelse for de forbrugte budgetmidler 1: Målopnåelse meget under forventet i forhold til budgetforbrug 2: Målopnåelse en del under forventet i forhold til budgetforbrug 3: Målopnåelse lidt under forventet i forhold til budgetforbrug 4: Målopnåelse som forventet eller over forventet set i forhold til budgetforbrug Målopnåelse i forhold til tidsforbrug: Her sættes målopnåelsen i forhold til tidsforbruget i procent af den samlede tidsramme Scoren kan gå fra 0-4, hvor 4 angiver en målopnåelse som forventet eller over forventet i forhold til den forbrugte tid 0: Ingen eller stort set ingen målopnåelse for den forbrugte tid 1: Målopnåelse meget under forventet i forhold til tidsforbrug 2: Målopnåelse en del under forventet i forhold til tidsforbrug 3: Målopnåelse lidt under forventet i forhold til tidsforbrug 4: Målopnåelse som forventet eller over forventet set i forhold til tidsforbrug