ADRESSE COWI A/S Parallelvej 2 2800 Kongens Lyngby TLF +45 56 40 00 00 FAX +45 56 40 99 99 WWW cowi.dk OKTOBER 2014 REGION SYDDANMARK POWER PUSH SLUTEVALUERING PROJEKTNR. A037714-010 DOKUMENTNR. 31 VERSION 1 UDGIVELSESDATO 02.10.2014 UDARBEJDET NVBE KONTROLLERET MAWL GODKENDT NVBE
SLUTEVALUERING AF POWER PUSH 3 INDHOLD 1 Resumé: Power Push 1 2 Baggrund og formål 2 2.1 Vækst- og forandringsmodel 3 3 Overordnet status 3 4 Rapportens konklusioner 4 4.1 Projektets tilrettelæggelse 4 4.2 Resultatskabelse 6 4.3 Effektskabelse 8 5 Anbefalinger og læringspunkter 11
SLUTEVALUERING AF POWER PUSH 1 1 Resumé: Power Push Samlet vurdering: Projektets tilrettelæggelse Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Kvalitet i aktiviteter Organisering & projektledelse Projektet er på alle områder velfungerende, og evalueringen er stort set kun positiv ift. projektet. De få bemærkninger af kritisk karakter, som evalueringen indeholder, handler om, at man muligvis kan få endnu mere ud af indsatsen, end man allerede gør. Projektet har en fin sammenhæng mellem aktiviteter og mål, siden hver eneste uddannelsesaktivitet i realiteten skræddersys til den enkelte virksomheds strategi. Projektledelsen fungerer upåklageligt, tilfredsheden med konsulentforløbene er høj, og det eneste virksomhederne har negative kommentarer til, er de administrative procedurer. På dette område bør et fremtidigt projekt søge at simplificere mest muligt af hensyn til virksomhederne. Evalueringen peger på, at projektet kunne have arbejdet endnu mere med at skabe forankring end man har gjort. Resultatskabelse Projektet har en fin resultatskabelse, der matcher budgetog tidsforbrug. Resultaterne fra evalueringens spørgeskema viser, at omtrent 75 % af dem, der får udviklet deres kompetencer også bruger dem efterfølgende. I COWIs øjne er det et acceptabelt leje, om end vi opfordrer til, at man arbejder med at finde metoder til yderligere forankring. Effektskabelse Deltagernes gennemsnitlige forventning til samlet positiv udvikling som følge af projektet Årlig omsætning Antal nyansatte Ny eksport 3,7 mio. kr. 2,5 jobs 1,8 mio. kr. De effekter, som virksomhederne forventer i forlængelse af deres deltagelse, er ganske betragtelige i lyset af, at gennemsnitsprisen for et forløb er cirka 380.000 kroner (alle udgifter i projektet / antal deltagere). Samtidig sikres regionen indirekte effekter for andre virskomheder som følge af en mere kvalificeret arbejdsstyrke i det hele taget. På nuværende tidspunkt er der skabt 176 nye jobs som følge af projektet. Der er et element af dobbelttælling, idet nogle af deltagerne også har deltaget i projektet Lån en Leder.
2 SLUTEVALUERING AF POWER PUSH 2 Baggrund og formål Dette afsnit indeholder en kort beskrivelse af projektets formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for projektet (tekstboks). Afsnittet afsluttes med en illustration af projektets 'vækst- og forandringsmodel'. Baggrund Generelt er der i Region Syddanmark en mangel på højt specialiseret og/eller tilstrækkeligt uddannet arbejdskraft. Det medfører udfordringer for virksomheders produktivitet på et generelt plan, mens det i den enkelte virksomhed kan være ganske problematisk, hvis der ikke er adgang til de konkrete kompetencer, som udvikling af virksomhederne kræver. Projektet er inspireret af et koncept, Virksomheder i Vækst, som har været gennemført som strukturfondsprojekt i Region Nordjylland i regi af Væksthus Nordjylland. Projektet er igangsat som et af fem projekter i Vækstforumregi, der deler samme overordnede fælles formål. Projektet er tilrettelagt på samme måde som projekt 'Lån en Leder' og begge har til huse i Væksthuset. De implementeres over samme skabelon rent projektledelsesmæssigt og følger næsten samme aktivitetsplan og fase-opdeling. De to projekters virkemåde og organisering er i høj grad identiske. Som i midtvejsevalueringerne, er en stor del af denne evaluerings betragtninger derfor sammenfaldende med dem, som gælder for evalueringen af 'Lån en Leder'. Formål Projektets overordnede formål er at medvirke til at sikre en kvalificeret arbejdsstyrke på kort og længere sigt. Det vil på sigt bidrage til øget vækst i regionen. Det kan dreje sig om opkvalificering af enkelte medarbejdere, der ikke længere kan løse opgaver tilstrækkeligt effektivt, eller det kan dreje sig om strategisk orienteret udvikling af store dele af medarbejderskaren i den enkelte virksomheder. I alle tilfælde skal indsatsen understøtte det, som projektet kalder virksomhedernes 'operative vækststrategi'. Medarbejderne tillærer således kompetencer, som de skal benytte direkte i arbejde på den enkelte virksomhed, men som også i vidt omfang vil kunne benyttes, når eller hvis de flytter videre til andre virksomheder. Målgruppen for projektet er virksomheder med vækstpotentiale inden for Vækstforums strategiske fokusområder: velfærdsteknologi, energi, oplevelse- og design samt spirende klynger. I udkantsområder må projektet dog gerne støtte virksomheder uden for fokusområderne. Projektoplysninger for Power Push Bevillingsgiver: Den Europæiske Socialfond Projektets fokusområde: Tværgående Ansøger: Væksthus Syddanmark Regionens sagsbehandler: Christian Brincker Nordbek Regionens journalnummer: 11/27162 Budget:70,1 millioner heraf 35 millioner fra Region Syddanmarks Vækstforum Projektperiode: 1.3.2012-31.3.2015
SLUTEVALUERING AF POWER PUSH 3 2.1 Vækst- og forandringsmodel I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Vækst- og forandringsmodellen er udarbejdet på baggrund af projektansøgningen og efterfølgende tilrettet på baggrund af interviews med sagsbehandler og projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres i projektet, de umiddelbare resultater, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse resultater på længere sigt forventes at medføre. Aktiviteter Resultater Effekter Rekruttering og screening af virksomheder Nulpunktsmåling af virksomhed og vækstkortlægning Validering af vækstplan Indgåelse af aftale med konsulent eller Gennemførelse af forløb meriterende uddannelser eller opkvalificering v/ rådgivere Større strategisk fokus i virksomhederne Medarbejdere med forøgede kvalifikationer og evne til at løse nye opgaver Forbedret eller bredere produkt- eller serviceudbud i deltagende virksomheder samt mere effektive virksomheder Vækst i omsætning i deltagende virksomheder Vækst i antal jobs i deltagende virksomheder 3 Overordnet status Projektet er forløbet tilfredsstillende og har nået flere end det antal virksomheder, som man i første omgang havde regnet med at få med i projektet. Ifølge projektets indrapportering, har man også overskredet det mål, der var gældende for det antal personer, der skulle drage nytte af kompetenceudviklingsaktiviteterne. Samarbejdsrelationerne med de lokale erhvervskontorer og med klyngerne i regionen fungerer til alles tilfredshed. Tilfredshedsmålingerne, som projektet selv gennemfører, afslører en tilfredshed på omkring 95 %, hvilket dårligt kan gøres bedre. Projektet er baseret på en ganske simpel tanke og anvender ét virkemiddel ekstern assistance købt ind i virksomhederne til at opnå sine mål. Projektets enkelhed har medvirket til, at projektet har mødt ganske få udfordringer i sin virketid. Projektet fokuserer i øjeblikket på at få afviklet de sidste virksomhedsforløb frem mod projektets slutdato i ultimo marts 2015. Der er ingen tegn på, at projektets succes ikke skulle fortsætte frem til projektafslutningen.
4 SLUTEVALUERING AF POWER PUSH 4 Rapportens konklusioner Dette afsnit indeholder en præsentation af rapportens konklusioner struktureret efter 3 hovedtemaer: tilrettelæggelse, resultatskabelse og effektskabelse. 4.1 Projektets tilrettelæggelse I dette afsnit præsenterer vi vores vurdering af projektets tilrettelæggelse ud fra de fire fastlagte evalueringsparametre. Afsnittet indledes med en grafisk fremstilling, som giver et overblik over evalueringens konklusioner. Forankring & bæredygtighed Sammenhæng ml. aktiviteter og mål 5 4 3 2 1 0 Organisering & projektledelse Kvalitet i aktiviteter Sammenhæng mellem aktiviteter og mål I midtvejsevalueringen vurderede vi, at projektet havde en rigtig fin sammenhæng mellem de aktiviteter, der blev gennemført og de resultater og effekter, som man ønskede at opnå. Den vurdering holder vi fast i. Screeningsprocessen er tilrettelagt på en måde, så den udgør en nødvendig forudsætning for igangsættelsen af konsulentforløbene. Dette udgør en effektiv måde at opnå projektets resultater på. I midtvejsevalueringen pegede vi på, at projektet ikke havde fuldt fokus på et koble en virksomhed tilbage til det lokale erhvervskontor eller Væksthuset efter afsluttet forløb. Det har projektet ændret på, og hver virksomhed, der nu afslutter et forløb i Power Push, får enten besøg af en Væksthuskonsulent eller en konsulent fra erhvervskontoret. Dette bidrager til at fastholde et strategisk fokus på (kompetence- )udvikling i virksomheden, hvilket er et meget væsentligt resultatmål for projektet. Samtidig sikrer det, at virksomhederne får rådgivning om, hvordan de kan komme videre med de muligheder og ambitioner, som et forløb som Power Push typisk åbner for. Projektet kunne formentlig have gavn af at arbejde med et sæt af mere præcise resultatmål på forløbsniveau, som kan anvendes til at skrive ind i ansøgninger og konsulentaftaler. Det vil sikre, at såvel projekt som virksomhed får mere tydelighed om, hvilken forskel man prøver at gøre med den indsats, der laves.
SLUTEVALUERING AF POWER PUSH 5 Organisering & projektledelse Projektet har en hensigtsmæssig organisering ift. at være tæt på de interessenter, der er væsentlige for projektets succes. Specielt sammensætningen af det såkaldte 'board', der består af konsulenter fra erhvervskontorerne og personale fra flere af Region Syddanmarks Vækstforum-støttede klyngeorganisationer, fungerer fleksibelt og effektivt og har både faglige og rådgivningsmæssige kompetencer, der kan vurdere om ansøgninger er a) støtteberettigede inden for forretningsområderne og b) har en høj faglig kvalitet. Power Push har inddraget uddannelsesinstitutioner i styregruppen, da det var tanken at uddannelsesinstitutionerne skulle bruges som udbyder af kurser til virksomhedernes medarbejdere. Som på midtvejsevalueringstidspunktet har denne repræsentation i styregruppen kun resulteret i en lav andel af virksomhedsforløbene, der anvender uddannelsesinstitutionerne (cirka 5 %). Væksthusets projektledelse får store roser med på vejen af samarbejdspartnerne i de lokale erhvervskontorer, hos klyngerne og i virksomheder. COWI er enig i, at projektet har en særdeles kompetent ledelse. Kvalitet i aktiviteter Den måske mest væsentlige indikator for kvalitet er virksomhedernes tilfredshed med Power Push. Omkring 95 % af virksomhederne, er enten 'tilfredse' eller 'meget tilfredse' med forløbet. Det er meget højt og fortæller, at projektets kerneydelse den indkøbte eksterne assistance primært fra konsulenter fungerer helt efter hensigten. Projektets anvendelse af nul-punktsmålinger og løbende effektmåling har været væsentligt for at sikre, at projektet var på rette vej. I projektets opstartsfase var det svært at få alle forløb hurtigt i gang, hvilket afstedkom en anbefaling om et 'administrativt fast track' i midtvejsevalueringen. Projektet har øget opfølgningen på virksomhederne i startfasen, men er også begyndt at kræve, at virksomhederne allerede på ansøgningstidspunktet peger på den leverandør, som de vil foretrække til forløbet. Stort set alle forløb opstartes nu i nær forlængelse af ansøgningen. Ift. det administrative er dette dog det eneste punkt, som virksomhederne klager over endda næsten entydigt og meget eftertrykkeligt. Meget papirarbejde og en (oplevet) sen udbetaling af støttemidler er til stor irritation for virksomhederne. Væksthuset kræver, at virksomhederne orienterer sig i det mulige udbud af konsulenter på Rådgiverbørsen og på uddannelsesinstitutionerne. Virksomhederne skal indhente tre tilbud på opgaveløsningen og kan selv vælge blandt disse tilbud. Projektet har oplevet, at de er blevet bedre til at få virksomhederne til at skærpe deres fokus i opgavebeskrivelserne. Det kommer til udtryk ved, at de første virksomheder, der kom igennem næsten altid søgte op til beløbsgrænsen på 225.000 kr. De nuværende gennemsnitlige støttebeløb er på omkring 180.000 kroner, hvilket fortæller, at der foregår en god kvalificering af virksomhedens reelle behov, og at opgaveløsningen tilrettelægges herefter.
6 SLUTEVALUERING AF POWER PUSH Det er ikke lykkedes at engagere alle erhvervskontorer lige meget i at få virksomheder i gang med forløb. Det medfører, at projektets formål primært er realiseret i de mest aktive kommuner, og ikke i hele regionen. Selv om projektet ikke kan forpligte erhvervskontorerne på at anvende ressourcer på at rekruttere virksomheder, bør et fremtidigt projekt have indtænkt en eller flere mulige løsninger på denne situation. Forankring og bæredygtighed Det er en notorisk udfordring for projekter som disse at sikre, at de tilførte kompetencer faktisk også i praksis anvendes strategisk og fremadrettet i virksomhederne. Projektet arbejder mere intenst med opfølgning og afrunding end tidligere, og det er vores indtryk, at man er meget opmærksom på de udfordringer, der forbinder sig hermed. Et eksempel på den øgede opfølgning er, at alle forløb nu afrundes med et besøg fra Væksthusets konsulent, der sparrer med virksomheden om dens videre udvikling. Vi mener, at projektets svageste punkt har med forankring at gøre. Projektet leverer sandsynligvis fine effekter, som vi ser senere, men vi mener, at projektet kunne have brugt mere energi på at sandsynliggøre fremadrettet forankring. Som eksempel herpå er det ikke et krav, at forankring er et selvstændigt tema i ansøgningerne, i de tilbud, som konsulenterne afgiver, eller i de afrapporteringer, der skal laves i forbindelse med projektet. 4.2 Resultatskabelse Afsnittet indeholder en kort fremstilling af projektets resultatskabelse med fokus på projektets resultatopnåelse på evalueringstidspunktet. Resultatopnåelse Budgetforbrug Tidsforbrug 81% 81% 80% 0% 20% 40% 60% 80% 100% Resultatopnåelse Ifølge vores opgørelse, som følger samme metode som i midtvejsevalueringen og som er aftalt med Regionen, har projektet på evalueringstidspunktet en resultatopnåelse på 81 %. På den baggrund forventer vi, at projektet har nået sine målsætninger ved afslutningen af projektet. På det væsentligste af de to resultatmål, som evalueringen fokuserer på om medarbejderne reelt anvender deres kompetencer har man nået mere end 100 % af målsætningen. Dette baserer sig på vores udsendte spørgeskema, hvor svarprocenten er under 100. Vi foretager beregninger, hvor vi antager, at dem, der ikke har svaret, kun er halvt så positive, som dem, der har svaret. I dette tilfælde tror vi, at det fører til en undervurdering af resultatopnåelsen. I en version, hvor vi antager, at dem, der ikke
SLUTEVALUERING AF POWER PUSH 7 har svaret er lige så positive, som dem der har svaret, er projektets resultatopnåelse på 91 %. 57 % af virksomhederne vurderer, at deres medarbejdere har fået et bredere produkt- eller serviceudbud (45 % på midtvejstidspunktet) og 66 % kan konstatere effektivitetsforbedringer (50 % på midtvejstidspunktet). Vores beregninger peger på, at 60 % af dem, som deltager får noget ud af kurserne. Det drejer sig om 840 ud af de 1415 deltagere, som projektet har haft. Disse beregninger er baseret på en pessimistisk metode, som vi allerede har nævnt. Et mere optimistisk bud på andelen af deltagere, der får en kompetencemæssig gevinst af deltagelse er 80 % ud fra vores beregninger. Når projekter som dette (og alle andre Socialfondsprojekter) indberetter resultatforventninger, antager man at alle, der deltager også får en kompetenceopgradering. Aktivitet (deltagelse) og resultat (kompetendeopgradering) antages normalt at hænge sammen, mens vores evaluering arbejder med at adskille disse to. Af de 840, som har fået forøgede kompetencer (jf. nedenstående tabel) er der 639, der reelt bruger deres kompetencer. Der er altså et 'spild' på omkrnig 25 % af de kompetenceopgraderede, som ikke benytter deres nye evner og viden. Dette tal er væsentlig mindre usikkert end de 60/80 %, som vi lige omtalte. Resultatmål Antal medarbejdere, der har fået forøgede kompetencer til udvikling af produkter, serviceydelser eller arbejdsmetoder Antal medarbejdere der efterfølgende reelt har benyttet nye kompetencer (f.eks. til at udføre nye opgaver eller tydeligt forbedre deres udførsel af eksisterende opgaver) Status Mål i projektperioden Resultatopnåelse i % 1360 840 1 62 % 324 639 100 % + Aktiviteter og milepæle Alle væsentlige milepæle i projektet er opnået. Der skulle rekrutteres 175 virksomheder ifølge budgettet, men man har 183 afsluttede eller igangværende forløb. 1 Projektet oplyser selv, at der har været 1415 deltagere baseret på de timesedler, som projektet har modtaget. Såfremt vi anvender dette tal i stedet (som er normal praksis for Socialfondsprojekter) er projektets målopnåelse på 100 %.
8 SLUTEVALUERING AF POWER PUSH Succeshistorier konkrete eksempler på virksomheders udbytte Platform for styrket internationalisering Ekspansion bliver en reel mulighed Virksomheden Wallmob få hjælp til at styrke medarbejdernes kompetencer til at udvikle virksomhedens kommunikation, hvilket understøtter en fortsat eksplosiv vækst i forretningen i hele Europa. Nr. Søby Kød får uddannet sine medarbejdere, så de nu har værktøjer til formidling af virksomhedens produkter. Medarbejderne er også blevet bedre til målrettet salg, og er dermed mere klar til vækst. Budget- og tidsforbrug Nedenfor præsenteres projektets budget- og tidsforbrug på evalueringstidspunktet. Total Forbrug d.d. %-vist forbrug Budgetforbrug 70,13 mio. kr. 56,3 mio. kr. 80 % Tidsforbrug 37 mdr. 30 mdr. 81 % Projektet forventer at have brugt sit budget ved udgangen af projektperioden. Evaluator har bemærket, at konsulentbudgettet i øjeblikket kun har et forbrug på 66 %, og at omkring 12 millioner af de resterende 14 millioner er konsulentkroner. Projektet mener ikke, at dette vil medføre udfordringer. Det peger i retning af, at projektet vil overopfylde sine forpligtelser ift. medfinansering af timer fra virksomhederne. Om spørgeskemaet 4.3 Effektskabelse I forbindelse med evalueringen har vi udsendt et spørgeskema til projektets deltagere. Spørgeskemaet giver et indblik i såvel de forventede som allerede opnåede effekter blandt deltagerne i projektet, og er udformet, så det på bedst mulig vis matcher de indmeldte resultater og effekter fra ansøgningsfasen. Undersøgelsen er sendt ud til 171 projektdeltagere, hvoraf 82 virksomheder og 2 andre organisationer besvaret besvaret spørgeskemaet, hvilket giver en svarprocent på 49 %. I alt har 82 deltagere afgivet svar på spørgsmålene om forventede effekter. Således er de afgivne svar ikke en 100 % præcis beskrivelse af projektets effektskabelse, men giver et godt bud på, om projektet er på vej til at skabe effekter. Forventes effekter? Konkrete effekter Svarene på spørgeskemaet viser, at 59 % forventer, at projektet vil føre til et forbedret potentiale for vækst, mens 40 % fortæller, at projektet allerede har ført dette med sig. Alt i alt peger 99 % af deltagerne på, at projektet vil bidrage til at øge deres vækstpotentiale. Det er selvsagt en flot præstation af projektet. Her gennemgår vi deltagernes tilbagemeldinger for de typer af effekter, som de forventer at opleve, når de har fået det fulde udbytte af deltagelse i projektet.
SLUTEVALUERING AF POWER PUSH 9 Deltagernes forventning til positiv udvikling som følge af projektet i (N= 82) Andel virksomheder med positiv forventning Årlig omsætning 88 % Eksport 44 % Antal nyansatte 72 % Undgåede fyringer 21 % Langt hovedparten af projektets deltagere peger på, at deres årlige omsætning vil øges som følge af projektdeltagelsen og 85 % af dem, der regner med vækst i omsætning regner også med at ansætte medarbejdere. Øget eksport indgår i omsætningsstigningen for halvdelen af dem, der forventer en stigning i omsætning. Af næste tabel fremgår de endelige effekter, som deltagerne på et tidspunkt i fremtiden forventer at have opnået som følge af deres deltagelse i projektet. Deltagernes gennemsnitlige forventning til effekten af projekt på (N= 82) Realistisk forventning Optimistisk forventning Stigning i årlig omsætning (mio. kr.) 3,7 6,1 Stigning i årlig eksport (mio. kr.) 1,8 3,4 Antal nyansatte 2,5 3,8 Undgåede fyringer 0,8 0,9 Mere udspecificeret kan vi se, at virksomhederne i gennemsnit har en realistisk forventning til samlet effekt på deres omsætning på omkring 3,7 millioner kroner,og 6,1 millioner kroner, når de skal være optimistiske. Eksport udgør igen halvdelen af denne vækst. Det omsætningstal, som vi rammer her, minder om det, som projektet selv når frem til i sin opsamlende evaluering (hvor det dog er evalueret sammen med 'Lån en Leder'). Medianen for omsætningsstigningen er 1.000.000 kroner, dvs. at 50 % af deltagerne forventer en omsætningsstigning på 1.000.000 kroner eller under. Tidshorisont for effekter Af de forventede fremtidige effekter, der er nævnt ovenfor, er nogle allerede opnået, mens andre først vil indtræffe senere. Figuren herunder giver et overblik over det forventede tidspunkt for virksomhedernes samlede udbytte af deltagelse.
10 SLUTEVALUERING AF POWER PUSH Opnået og forventet samlet udbytte (N= 82) Opnået d.d. 1-3 år efter Forventes Mere end 3 år efter Årlig omsætning (mio. kr.) Årlig eksport (mio. kr.) Antal nyansatte Antal undgåede fyringer - rapporteret 113,8 191,1 0,2 - opjusteret 175,5 294,9 0,3 - rapporteret 46,2 100,7 0,0 - opjusteret 71,3 155,4 0,0 - rapporteret 104,0 101,0 1,0 - opjusteret 160,4 155,8 1,5 - rapporteret 6,0 56,0 6,0 - opjusteret 9,3 86,4 9,3 Note: 'rapporteret' refererer til summen af survey-svar, mens 'opjusteret' er justeret for de manglende survey-svar med 50 % af gennemsnittet for de rapporterede svar. Tallene skal summeres i rækkerne for at give den samlede effekt projektet forventes at levere. Som det fremgår ovenfor, har projektet på nuværende tidspunkt ifølge vores estimat bidraget til skabelsen af 160 nye jobs og 176 millioner kroner i øget omsætning. Som vi tidligere har antydet, vurderer vi for dette projekt, at vores opskaleringsmetode for en ufuldstændig svarprocent ansætter de forventede effekter for lavt. Projektet har også selv udarbejdet en såkaldt effektprognose (sammen med Lån en Leder). Prognosen peger også på relativt store effekter, men anvender da også en lignende metode. 35 virksomheder har deltaget i både Lån en Leder og Power Push. For disse virksomheder har det næppe været praktisk muligt helt af adskille effektforventningerne for de to projekter i de spørgeskemaer, som er blevet sendt ud. Effekter i yderområder 13 % af de virksomheder, der er med i Power Push, kommer fra kommuner, der er defineret som yderområder. Målet for projektet har været 41 %, men det har ikke været muligt at opnå trods en massiv indsats via annoncering, phoning og afholdelse af lokale møder i yderområderne. Yderområdeprocenten er ekstra lav, da frafaldsprocenten efter ansøgningstidspunktet er oppe på 50 % for virksomheder fra yderområderne. Således er effekten af en stor rekrutteringsindsasts yderligere fortyndet af dette forhold. Det er uklart, om det store frafald skyldes en for offensiv rekrutteringsstrategi eller en rekrutteringsstrategi, der ikke får kontakt til virksomheder, der kunne være mere engagerede end dem, som ender med at falde fra. Tønder Kommune var meget aktiv i første periode af projektet, men en barselsperiode hos en nøglemedarbejder har resulteret i en lavere tilgang af virksomheder end det ellers ville have været muligt.
SLUTEVALUERING AF POWER PUSH 11 5 Anbefalinger og læringspunkter Her præsenterer vi de vigtigste anbefalinger og læringspunkter, som COWI vil pege på med baggrund i evalueringen af projektet. Punkterne er ikke i prioriteret rækkefølge. Læringspunkt 1: Bredt engagement fra erhvervskontorer er svært Projektet er kun lykkedes med at engagere et mindretal af regionens erhvervskontorer som tætte samarbejdspartnere i det daglige. Dette til trods for halvårlige informationsmøder og løbende dialog. Projektet har gjort en stor indsats her. Læringen fra projektet er, at såfremt man ønsker en mere ligelig kommunal repræsentation af virksomheder, kan man ikke være afhængig af handleviljen eller - mulighederne hos det enkelte erhvervskontor. Erhvervskontorerne har fået tilbudt at få betalt timer af projektet til at rekruttere, men det har ikke kunne bringe flere ombord som engagerede partnere i projektet. Der skal nye tiltag til, for at sikre et bredt regionalt engagement i et projekt som dette. Én mulighed, som et erhvervskontor foreslår ifm. evalueringen er, at projektet udstationerer en rekrutteringsmedarbejder fra Væksthuset f.eks. 1 dag om ugen, en måned af gangen, måske tre gange i projektet. Så vil der være projektekspertise ude i erhvervskontoret, og man undgår at de selv skal til at læres op i, hvad projektet går ud på. Såfremt denne problemstilling ikke håndteres eksplicit, kan man ikke forvente en bred regional anvendelse af et fremtidigt projekt. Læringspunkt 2: Hastig opstart kan give bagslag Projektet fik i første omgang kun tildelt halvdelen af sin bevilling mod det krav, at man skulle kunne dokumentere en efterspørgsel fra virksomhederne. Man fik et rekrutteringsmål, som man skulle nå inden for en bestemt periode, og som ville udløse den resterende bevilling. Projektet har den oplevelse, at den hastige opstart, som rekrutteringsmålet medførte, gjorde mere skade end gavn. Det kom blandt andet til udtryk i, at visse procedurer ikke var helt på plads i starten og i særdeleshed, at projektet ikke var klar til at kommunikere tydeligt om projektet og forventningsafstemme helt med de første virksomheder. Såfremt man ønsker at anvende en lignende bevillingsopdeling fremadrettet, hvilket der kan være god ræson i, kan en mulig løsning være, at den første 'halvdel' af projektet tænkes med en 2/3-måneders etableringsperiode inden projektet forventes at gå i gang med at engagere virksomheder. Læringspunkt 3: Klyngerne tilfører væsentlig værdi Det er projektets og klyngernes vurdering, at klyngernes deltagelse tilfører værsentlig værdi i projektet. Dette i særdeleshed ift. at understøtte udvælgelsen af virksomheder, så de passer til regionens forretningsområder. Projektet respekterer regionens udpegede forretningsområder, men har haft behov for klyngernes faglige ekspertise til at vurdere, hvornår noget var støtte-berettiget eller ej, samt til at foreslå justeringer, der kunne tydeligegøre, hvordan en virksomheds foreslåede forløb kunne være støtteberettiget.
12 SLUTEVALUERING AF POWER PUSH Klyngerne kunne muligvis tilføre mere værdi til virksomhederne, hvis de fik at vide, hvornår hvilke virksomhedsforløb slutter. Så ville de kunne kontakte relevante virksomheder med det tilbud og de netværk, som de sidder inde med. Læringspunkt 4: Administration kan frustrere virksomheder Virksomhederne har reelt kun to kritikpunkter til projektet: Administrationen er for tung og udbetalingen af midler foregår for langsomt, specielt for små virksomheder med begrænset likviditet. Flere virksomheder tilkendegiver, at de ikke ønsker at deltage i et projekt igen, fordi det er for besværligt eller for belastende for virksomhedens økonomi. Der er et udbredt ønske om, at man undersøger hvordan udbetalinger kan accelerees, og hvordan dokumentation kan ordnes rent elektronisk. Såfremt projektet i princippet kan nøjes med elektroniske kopier af dokumentation, der så kunne opbevares ved virksomhedne, ville meget frustration være sparet. Læringspunkt 5: Intensiv opfølgning er påkrævet Læringspunkt 6: Annoncering er mindst effektivt til rekruttering Projektet fremhæver som en væsentlig læring, at det kræver ganske meget opmærksomhed fra operatørens side, at sikre at virksomhederne reelt kommer til at forstå, hvordan projektet kan gavne dem og også reelt kommer i gang; først med at få skrevet ansøgning, siden med at få ordnet andre praktiske forhold før og i løbet af projektet. Projektet fortæller, at en meget intensiv opfølgning, hvor man hele tiden 'skubber venligt' til virksomhederne, virkelig kan accelerere opstart og reducere frustrationer, fordi der er lejlighed til løbende forventningsafstemning. Projektet har arbejdet med en vifte af rekrutteringstiltag i særdeleshed i yderområderne. Iblandt de tre mest væsentlige phoning, lokale møder med grupper af virksomheder, og annoncering off- og on-line peger projektet på, at annoncering er det mindst effektive, og siger, at man ville vælge det fra, hvis man ikke var forpligtet af bevillingen til at prøve alle midler af. Der er stadig behov for at finde en god metode til at få yderområde-virksomheder med. Dette ikke mindst, hvis vi tager den høje frafraldsprocent blandt allerede rekrutterede yderområde-virksomheder med. Anbefaling 1: Fokuser fortsat på at øge sandsynlighed for forankring Vores beregninger fortæller, at omkring 75 % af medarbejderne reelt anvender deres nye kompetencer. Om dette er en utilfredsstillende andel, kan vi ikke vurdere på baggrund af evalueringen. Det er dog en typisk udfordring for kompetenceudviklingsprojekter at sikre forankring og videre anvendelse kompetencer. I et projekt som dette, hvor ekstern indkøbte konsulenter kan blive mere fokuserede på at gøre sig selv uundværlige end på forankring, er det ekstra vigtigt. Forankring er ikke i dag et fast tema i ansøgningerne eller i de tilbud, som konsulenter skal afgive. Vi mener, at det bør være det. Vi mener også, at projektet burde forsøge at dokumentere de måder, som virksomhederne arbejder med reelt at få anvendt nye kompetencer. Nogle anvendes formentlig direkte og meget naturligt mens andre vil kræve proces-tilpasning og ledelsesmæssig opbakning. Vi mener også, at projektet løbende burde have arbejdet på en 'indkøbs'-guide, som virksomhederne kunne bruge i dialogen med konsulenter til at tage en drøftelse om,
SLUTEVALUERING AF POWER PUSH 13 hvordan indsatsen giver mest mulig langvarig værdi. Dette særligt set i lyset af at mange af virksomhederne ikke plejer at bruge konsulenter. Denne guide kunne udvikles løbende, når flere erfaringer kom ind. Anbefaling 2: Forøg effekten af evaluering COWI har haft lejlighed til at se nærmere på den opsamlende 'samfundsøkonimiske' evaluering på Power Push og Lån en Leder, som er udarbejdet af Væksthuset. Evalueringen dokumenterer fint den forventede økonomiske værdiskabelse. COWI vil dog råde Væksthuset og projektet til at øge fokus på læring i evalueringstilgangen, uden at kompromittere dokumentationen. Den gennemførte evaluering bidrager desværre ikke til at skærpe selve projektmodellen til brug for et fremtidigt projekt. Man kunne overveje flere ting, bl.a. at evaluere på deltagerniveau (blandt medarbejdere i de deltagende virksomheder): Hvor mange føler, at de lærer noget og hvor mange føler, at de reelt anvender de nye kompetencer? Hvad er det de anvender og hvad anvender de ikke? Hvis man laver en sådan evaluering kvantitativt vil man kunne finde ud af, om virksomhederne sender for mange på kursus eller konsulenterne ikke lykkes med at få alle med. Hvis man laver evalueringen kvalitativt, vil man finde ud af, hvilke kompetencer, der reelt anvendes efterfølgende, og hvad man derfor bør søge at få mere af i konsulentforløbet eller (måske) skære ud af dem. Evalueringstilgangene bør dog i praksis supplere hinanden. Herudover mener vi, at projektet ikke har udnyttet muligheden for at lære om, hvordan den metode, som man anvender, i praksis fungerer og hvordan den fungerer bedst. Med 180+ forløb kunne man have haft et anseeligt datamateriale, der kunne have skabt værdifuld læring om, hvordan denne projektmodel og dens resultater bedst kan skabe værdi. I Lån en Leder har man en fornemmelse af, at det f.eks. er de afsætnings- og internationaliseringsorienterede projekter, der har mest økonomisk succes, men det er ikke dokumenteret.
14 SLUTEVALUERING AF POWER PUSH Bilag A Projektets resultater og effekter Nedenstående tabeller viser projektets resultat- og effektmål. De obligatoriske 3 målsætninger, som ansøger har angivet i 'det obligatoriske bilag til ansøgningen', er angivet i tabel 1 eller 3 afhængigt af, om der er tale om resultatmål eller effektmål. Yderligere relevante resultatmål er angivet i tabel 2. RESULTATER Tabel 1: Primære resultatmål som indmeldt i det obligatoriske bilag til ansøgningen Kode (RSD) 4.4.2 4.4.3 Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. Antal medarbejdere der har fået forøgede kompetencer til udvikling af produkter, serviceydelser eller arbejdsmetoder Antal medarbejdere der efterfølgende reelt har benyttet nye kompetencer (f.eks. til at udføre nye opgaver eller tydeligt forbedre deres udførsel af eksisterende opgaver). I projektperioden 3 år efter projektslut Mål Status Mål Forventet 1360 840 550 Realistisk 324 639 628 Realistisk Tabel 2: Supplerende resultatmål Projektets øvrige resultatmål som f.eks. formuleret i ansøgningen I projektperioden 3 år efter projektslut Mål Status Mål Forventet EFFEKTER Tabel 3: Effektmål (kun eventulle effektmål fra det obligatoriske bilag til ansøgningen) Kode (RSD) Projektets målsætning som formuleret af projektet selv eller som operationaliseret ifm. denne evaluering. I projektperioden 3 år efter projektslut Mål Status Mål Forventet 2.5.1. Andel af virksomheder, der forventer forøget omsætning som følge af projektet (målt som antal) 41 136 102 Realistisk
SLUTEVALUERING AF POWER PUSH 15
16 SLUTEVALUERING AF POWER PUSH Bilag B Forklaring til trafiklys-scorer Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og evt. andre interessenter samt kvantitativ data fra spørgeskemaer og statusrapporter m.v. OVERORDNET SCORE Denne samlede score er baseret på de individuelle scorer for de tre overordnede evalueringstemaer i rapporten (se nedenfor). I den samlede vurdering af projektet vil karakteren være et 'gennemsnit', dvs. hvis to temaer er grønne og ét er gult, vil den samlede karakter være grøn. Trafiklys [GRØN] [GUL] [RØD] Betydning Projektet vurderes overordnet som fornuftigt, men kan have væsentlige udfordringer Projektet har vanskeligheder med at realisere de ønskede resultat- og/eller effektmål Der er flere kritiske forhold i projektets resultat- og effektskabelse 1. Tilrettelæggelse Trafiklys-scoren for projektets tilrettelæggelse er baseret på de individuelle scorer for de fire vurderingsparametre 'sammenhæng mellem aktiviteter og mål', 'organisering og projektledelse', 'kvalitet i hovedaktiviteter' og 'forankring og bæredygtighed'. For hvert af disse fire parametre er der givet en score fra 1-5, hvilket er præsenteret grafisk i vurderingsdiamanten i rapportens afsnit 4.1. Den samlede score for projektets tilrettelæggelse er et gennemsnit af disse fire scorer. Score Betydning Trafiklys 4,1-5,0 Tilrettelæggelsen er som ønsket eller bedre endnu [GRØN] 3,5-4,0 Tilrettelæggelsen er lidt under det ønskede niveau [GRØN] 2,6-3,4 Tilrettelæggelsen er noget under det ønskede niveau [GUL] 2,0-2,5 Tilrettelæggelsen er meget under det ønskede niveau [RØD] 1,0-1,9 Tilrettelæggelsen er ikkeeksisterende eller tæt herpå [RØD] 2. Resultatskabelse Vurderingen af projektets resultatskabelse er ligeledes samlet i én score fra 1-5. Scoren tildeles på baggrund af en helhedsvurdering af projektets resultatskabelse, men med udgangspunkt i projektets kvantitative resultatopnåelse på evalueringstidspunktet. Score Slut Midtvejs Betydning Trafiklys 5 95 % + 45 % + Resultatskabelsen er som ønsket eller bedre endnu [GRØN] 4 81 90 % 35-44 % Resultatskabelsen er lidt under det ønskede niveau [GRØN] 3 65 80 % 25-34 % Resultatskabelsen er noget under det ønskede niveau [GUL] 2 20 64 % 15-24 % Resultatskabelsen er meget under det ønskede niveau [RØD] 1 0 19 % 0 14 % Resultatskabelsen er ikkeeksisterende eller tæt herpå [RØD] 3. Effektvurdering På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af projektets effektpotentiale på en skala fra 1-5, som anført herunder. Score Betydning Trafiklys 5 Projektet opnår sine ønskede effekter eller flere endda [GRØN] 4 Projektet opnår næppe helt sine ønskede effekter [GRØN] 3 Projektet opnår en rimelig andel af de ønskede effekter [GUL] 2 Projektet får kun få effekter [RØD] 1 Projektet får ingen effekter eller negative effekter [RØD]