Bilag 1: er og evalueringsspørgsmål... 2 Bilag 2: Programteori for evalueringen... 3 Bilag 3: Evalueringsmetode... 9 Bilag 4:, mekanisme og resultat (CMO) for ForskEL programmet... 12 Bilag 5: Operationalisering af CMOere til spørgeskema... 20 Bilag 6: Spørgeskema... 24 Bilag 7: Beskrivelse af datasættet baggrundsvariable... 38 Bilag 8: Dokumentation for innovationsprocessen spørgeskema... 40 Bilag 9: CMO analyse af spørgeskemaet... 43
Bilag 1: er og evalueringsspørgsmål Tema Evalueringsspørgsmål 1. Politiske målsætninger Er der overensstemmelse mellem de støttede projekter og indfrielse af programmets fokus på de udvalgte indsatsområder? I hvilket omfang reflekterer programmet den gældende energipolitiske prioritering? I hvilket omfang bidrager programmet til at opfylde de energipolitiske målsætninger på bæredygtig vis? Er bevillings-dækningen af de prioriterede indsatsområder bred nok? 2. Eksternt samarbejde og I hvilket omfang samarbejdes og koordineres der med andre energiprogrammer, fx omkring (fokus på / fokusering af) indsatsområder med koordinering henblik på at opnå en rød tråd i den overordnede bevillingspraksis? Kan prioriteringen af bevillinger under indsatsområderne dække de forsknings- og udviklingsmæssige behov til ForskEL-programmet? 3. Brugertilfredshed (programmets Sker behandling af og feedback på ansøgninger på et sagligt begrundet og brugere) konstruktivt kommunikeret grundlag? 4. Risikovillighed og innovation Bidrager programmets projekter reelt til den ønskede risikovillighed inden for energi-forskning? Ligger snittet for ForskELs risikovillighed fornuftigt? I hvor stort omfang bevilliges midler til radikalt innovative forsknings-og udviklings-projekter? 5. Formidling I hvilket omfang opfyldes programmets formidlingspligt? Hvem er ForskELs målgruppe og i hvilket omfang når programmet sin målgruppe via eksisterende kommunikationskanaler? 6. Inddragelse af interessenter I hvilket omfang inddrages relevante interessenter i projekterne med henblik på anvendelse og nyttiggørelse af projekternes (del-) resultater? 7. International sammenligning Kan ForskEL-programmet meningsfuldt benchmarkes med evt. lignende udenlandske initiativer på energiområdet med henblik på kvalificering af programmets form og indhold? 8. International anerkendelse Er forsknings- og udviklingsresultaterne fra projekter under ForskELprogrammet internationalt anerkendte? 9. Anvendelse og nyttiggørelse af I hvilket omfang anvendes og nyttiggøres projekternes (del-) resultater i (en projekternes resultater. evt. ny) praksis? 10. Kortlægning af Hvad er betydningen af projektprocessens værdier, styring, struktur og projektprocessen ressourcer for opnåelsen af samfundsrelevante resultater i projekterne? 2
Bilag 2: Programteori for evalueringen Afsæt for evaluering af ForskEL programmet har været en programteori 1, hvor antagelser over programmets virkemåde er blevet operationaliseret med afsæt i policy papers vedrørende ForskEL på programniveau samt dokumenter fra de klyngeområder, der behandles i evalueringen. Derudover er der lavet en række interviews med repræsentanter fra ForskEL netværket med henblik på kvalificering. Dette har resulteret i en programteori med en række antagelser formuleret i en CMO-struktur, herefter CMO (CMO = Context, Mechanism, Outcome), der beskriver sammenhængene i ForskEL (se tabel 2). Programteorien har været rygrad i både gennemførsel og analyse af evalueringen (Pawson og Tilley, 1997). Med henblik på at fokusere dels evalueringstemaerne (som beskrevet i Bilag 1: er og evalueringsspørgsmål) og dels CMOerne, har vi i evalueringen valgt at bruge følgende overordnede tredeling 2, der opsummerer evalueringstemaerne og deres underliggende evalueringsspørgsmål (jf. Bilag 1: er og evalueringsspørgsmål): 1. Er processen fra planlægning af indsatsområder til aflevering af projektresultater tilfredsstillende (planlægning, udbud, bedømmelse, monitorering, aflevering)? 2. Hvordan forholder ForskEL sig til de herskende rammebetingelser (konformitet med energipolitik, samspil med andre programmer m.v.)? 3. Opnås de tilsigtede resultater? Tilsammen giver de tre dele mulighed for en grundlæggende evaluering af, hvorvidt ForskEL har anvendt sine midler meningsfuldt og hvilke resultater, der kan ses heraf. I den efterfølgende gennemgang, er de for denne evaluering udviklede CMO-konfigurationer (CMO= Context, Mecanism, Outcome) i forkortet form opstillet efter tredelingen (se tabel 2). Først er der en skematisk præsentation af, hvordan evalueringstemaerne fordeler sig under de tre overordnede evalueringsspørgsmål (se tabel 1). Bemærk at talreferencerne til CMOerne i tabel 1 og 2 ikke reflekterer en fortløbende orden eller en prioritering, men blot er en arbitrær nummerering. Nummereringen og farvekoderne viser alene, hvilke CMOer, der hører sammen med hvilke overordnede evalueringsspørgsmål. 1 For yderligere information om evalueringsmetode, se Bilag 3: Evalueringsmetode 2 Tredelingen er anbefalet af en repræsentant fra ForskEL netværket, og passer efter evaluatorernes mening fint ind i evalueringen af ForskEL programmet. 3
Tabel 1: Overordnet evalueringsspørgsmål Er processen fra planlægning af indsatsområder til aflevering af projektresultater tilfredsstillende (Planlægning, udbud, bedømmelse, monitorering, aflevering)? (CMO 7-12) Hvordan forholder ForskEL sig til de herskende rammebetingelser (konformitet med energipolitik, samspil med andre programmer m.v.)? (CMO 1-6) Opnås de tilsigtede resultater? (CMO 13-18) Brugertilfredshed Formidling International sammenligning Inddragelse af interessenter Politiske målsætninger Eksternt samarbejde og Koordinering Risikovillighed og innovation International anerkendelse Anvendelse og nyttiggørelse af projekternes resultater Kortlægning af projektprocessen Den forkortede form af CMOerne i Tabel 2 herunder har været afgørende i udførelsen af evalueringen, da evalueringen metodisk har haft fokus på at udfolde og belyse de opstillede CMOere. De kvalitative interviews samt det udviklede spørgeskema (Bilag 6: Spørgeskema) er bygget op med udgangspunkt i CMOerne, for at dække alle de relevante, identificerede evalueringstemaer og sammenhænge i ForskEL 3. Tabel 2: CMO 7 CMO 8 ForskEL: planlægning til aflevering Man oplever behov for forbedring af samspillet mellem FUD og energisektorens virksomheder og erhvervsaktører Strategier for ForskELs indsatsområder, samt rammer for programmets projekter: konsortier, medfinansiering, milepæle, projektopfølgning mv. At de relevante interessenter fra industrien og erhvervslivet inddrages, højere vækst og erhvervspotentiale Inddragelse af interessenter, anvendelse og nyttiggørelse ForskEL: planlægning til aflevering Industriens behov og udviklingsniveau og andre programmers indsats må koordineres med ForskEL i et præcist udbud Fælles procedurer, overblik over programmets samspil med andre programmet, inklusion af industrien, enkel ansøgningsprocedure, begrænsede krav Samlet, effektiv anvendelse af FUD-ressourcerne i Danmark samt overblik hos ansøgerne, koordinerede målsætninger og synergi 3 CMO erne findes i deres fulde beskrivelse i Bilag 4:, mekanisme og resultat (CMO) for ForskEL-programmet, hvor input fra bl.a. repræsentanter fra ForskEL-netværket også er inkorporeret. 4
CMO 9 CMO 10 CMO 11 CMO 12 CMO 1 CMO 2 CMO 3 Eksternt samarbejde og koordinering, brugertilfredshed ForskEL: planlægning til aflevering Strategierne er gode som inspiration til ansøgningerne, ansøgningerne står bedre, hvis de er koordinerede med strategierne De nationale teknologistrategier tjener til vejledning for potentielle ansøgere, strategierne er formidlet til målgruppen Overensstemmelse mellem støttede projekter og indfrielse af programmets gældende fokus på indsatsområder Eksternt samarbejde og koordinering ForskEL: planlægning til aflevering Evaluatornetværk med nationale og internationale medlemmer, varierende bedømmelseskriterier Assistance til ansøger fra ForskEL-koordinatorerne, opdaterede grundlag for evaluering Bedre ansøgninger og brugertilfredshed, også ved afslag Brugertilfredshed og formidling ForskEL: planlægning til aflevering Feedback til ikke-støtteværdige projekter, en kort forskningsfaglig vurdering Dialog med ansøgere, der har fået afslag med henblik på at udrede misforståelser Brugertilfredshed for de ansøgere, der får afslag Brugertilfredshed ForskEL: planlægning til aflevering Formidling af resultaterne fra programmet til de relevante målgrupper, jf. formidlingsforpligtigelsen i 18 i loven Formidlingsplan for projekterne, tilsyn med projekter, halvårsrapporter, slutrapporter, årlig rapportering for alle programmer. Formidling til målgruppen, opfyldelse af formidlingspligten Anvendelse og nyttiggørelse af resultaterne (bl.a. i nye ansøgninger), formidling ForskEL og de herskende rammebetingelser Fastholde forsyningssikkerhed, indpasning af nye teknologier, konsortiedannelse, opfylde Energi 2025 og føre til vækst Strategisk mål realiseres igennem 6 strategiske indsatser (REFU 06) samt gennem demonstrations- og konsortie-projekter ForskEL reflekterer de til enhver tid gældende politiske målsætninger, teknologierne bringes tættere til marked bl.a. via demonstrationer af teknologierne Politiske målsætninger ForskEL og de herskende rammebetingelser Projekterne har forskelligt potentiale på hhv. kort og langt sigt, hvilket giver sig udslag i forskellige projektformer. Der er behov for at legitimere begge projektformer Opdeling i langsigtede (2030) og kortsigtede projekter (5 år) for ForskEL-projekter (udbud 2007 og fremefter) At kunne redegøre for anvendelse og nyttiggørelse af midlerne Politiske målsætninger ForskEL og de herskende rammebetingelser 5
CMO 4 CMO 5 CMO 6 CMO 13 CMO 14 Der er pga. strukturen i energisektoren et gab mellem forskning og industri i visse ForskELprojekter FUD tilrettelægges med hensyntagen til interessenter fra hele værdikæden, og inddragelse af relevante aktører, herunder SMV'er Samspil med erhvervslivet, mindskelse af gabet, fokus på hele værdikæden, bedre projektprocesser Risikovillighed og innovation, nyttiggørelse af resultater, projektproces ForskEL og de herskende rammebetingelser Der er altid plads til den kvalificerede gode idé vs. Konformitet med de gældende politiske målsætninger og teknologistrategierne Klare retningslinjer i udbuddene (fra 06/07 og fremefter), præcisering af hvilke ansøgninger, man ønsker Risikovillighed og innovation (evt. manglende) bredde i bevillingerne Politiske målsætninger og risikovillighed og innovation ForskEL og de herskende rammebetingelser Projektopfølgning til evaluatorerne, kvalificering af vurderingsgrundlag og udbud på baggrund af færdige projekter (REFU 06) Udvikling af erfaringsgrundlag fra projekter og programmer med henblik på at dokumentere resultater og erfaringer Bredde i bevillingsdækningen, nyttiggørelse af resultaterne gennem dokumentation af, at de bygger på hinanden Politiske målsætninger og anvendelse og nyttiggørelse ForskEL og de herskende rammebetingelser Vekselvirkningen mellem den nationale FUD kontekst og markedskontekst, og den internationale ditto Hensyntagen til både det nationale og det internationale i projektbevillingerne Innovative projektresultater, international anerkendelse, fejlslagne projekter Risikovillighed og bredde i bevillingen Tilsigtede effekter Der kan være manglende overblik hos brugerne og oplevelse af et behov for at koordinere vha. realistiske strategier Bevarelse og opbygning af kvalificerede videnmiljøer gennem samlede indsatser, styret vha. strategierne International anerkendelse af videnmiljøerne, høj faglig kvalitet, bevidsthed om samfundsmæssig relevans Politiske målsætninger og international anerkendelse Tilsigtede effekter Forskningsmiljøer, hvor der er tilknyttet kandidatuddannelser el. andet Skabelse af sammenhæng mellem forskning, uddannelse og innovation, idet forskernes resultater bruges i undervisningen Anvendelse og nyttiggørelse af projekternes resultater, idet teknologier og metode overføres til uddannelseskoncepter (kandidater og evt. andre) Anvendelse og nyttiggørelse af projekternes resultater 6
CMO 15 CMO 16 CMO 17 CMO 18 Tilsigtede effekter Industrien viser interesse for forskningen / taber interessen for forskningen Industrien deltager (ikke) aktivt i udviklingen og kommercialiseringen af teknologierne (mangler) klarhed over rettigheder og investeringer Erhvervsfremme og vækst og kapital i industrien Inddragelse af interessenter, anvendelse og nyttiggørelse Tilsigtede effekter Samarbejde med EU og de nordiske lande for at imødekomme forskningsudfordringen Internationalt rettede og nationalt rettede mekanismer, fx alliancer, ERA-net, standardiseringsarbejde mm. International anerkendelse og samarbejde, der skaber et 'europæisk forskningsrum' International anerkendelse og anvendelse og nyttiggørelse af resultater Tilsigtede effekter Danmark er et lille land, og ny teknologi kan ikke alene udvikles for offentlige midler, derfor er det nødvendigt med internationalt samarbejde og internationale alliancer De forskningsmiljøer, der kan gøre sig gældende internationalt, skal sikres kontinuitet, opfordring til internationalt samarbejde Styrkelse af samspillet med og udnyttelse af international viden i dansk kontekst International anerkendelse, anvendelse og nyttiggørelse Tilsigtede effekter Et vigtigt fokus fremover vi være de internationale perspektiver for dansk energiforskning, DK skal finde sin rolle og niveau Materiale og ansøgninger skal skrives på engelsk, deltagelse i EU's teknologiplatforme for at påvirke FP7 De støttede projekter er på et fagligt internationalt niveau, opnåelse af international accept af danske idéer International anerkendelse og anvendelse og nyttiggørelse Model 1 nedenfor illustrerer den kontekstuelle ramme, som evalueringen af ForskEL er lavet i. Modellen afspejler ligeledes evalueringens ovennævnte tredeling, idet modellens tre farver (ligesom Tables 2 s tre farver) hver udgør én af evalueringens overordnede tre dele. Inderst i rammemodellen findes ForskEL med den praksis, der hersker i programmet. De omkringliggende klynger (sol, brændselsceller, biomasse samt styring og regulering) samt klyngen med (projekt-) afslag refererer til de af Energinet.dk udvalgte klynger, der udgør empirien for evalueringens kvalitative analysedel (se afsnit 5: Kvalitativ analyse på klyngeniveau i evalueringsrapporten Evaluering af ForskEL-programmet 2009 for Energinet.dk ). Uden om programmet og de udvalgte klynger findes de herskende rammebetingelser illustreret ved de relaterede kontekster (teknologisk, politisk, økonomisk, social samt de øvrige relevante forsknings- og udviklingsprogrammer og interessenter). Den teknologiske kontekst dækker bl.a. de danske kompetencer inden for specifikke teknologiområder med relevans for ForskEL og de ressourcer og præmisser, der er for teknologisk innovation. Den politiske kontekst rummer bl.a. de politiske 7
rammebetingelser og målsætninger, der er på energiområdet. Den økonomiske kontekst dækker bl.a. de (samfunds-) økonomiske forhold, der gælder for virksomheder og videnmiljøer i den teknologiske innovationsproces, samt de rammer der er for kommercialisering og markedsføring af teknologisk innovation, herunder borgernes økonomiske forhold. Den sociale kontekst refererer til brugerne af de udviklede teknologier, herunder den offentlige sektor, borgere og slutbrugere. Denne kontekst er medtaget i rammemodellen for at illustrere dens vigtighed på linje med de andre kontekster. Fokus på forhold i denne kontekst, der influerer på ForskEL, er dog af Energinet.dk bevidst fravalgt i denne evaluerings fokus og omfang 4 - dette grundet programmets indtil nu overvejende fokus på udvikling af teknologi uden systematisk at inkludere og indtænke teknologiens brugere og aftagere i innovationsprocessen. Endeligt rummer modellens anden ring en kontekst, der inkluderer de andre forsknings- og udviklingsprogrammer, samt andre interessenter, som har betydning for ForskELs praksis og funktionsmåde. I modellens yderste ring ligger de forskellige resultater og effekter, som genereres af programmet via interaktion med de føromtalte kontekster. En væsentlig pointe som denne model illustrerer er, at ForskEL agerer i en ramme og kontekst, de ikke alene er herre over. Dette har afgørende betydning for programmets resultater og de anbefalinger, der kan genereres på baggrund af denne evaluering af programmet. Model 1: 4 Bemærk dog evalueringens anbefalinger afsnit 2. Anbefalinger, hvoraf det fremgår, at Energinet.dk anbefales at begynde at forholde sig til slutbrugere og værter for teknologi udviklet under/i programmet. 8
Bilag 3: Evalueringsmetode Evalueringen af ForskEL er gennemført som en realistisk evaluering (Pawson & Tilley, 1997), hvilket betyder, at fremadrettede anbefalinger til Energinet.dk baseres på aktørernes rationaler og virkelighedsforståelser af Energinet.dks centrale og missionsbundne aktiviteter, da det er denne realitet Energinet.dk skal agere og fremme resultater i. Den realistiske evaluering er optaget af hvad der virker for hvem under hvilke omstændigheder, i modsætning til traditionel årsagsvirkningsevaluering, der konkluderer effekter uden hensyn til og medtagen af konteksten. I forbindelse med programevalueringer for offentlige og politikformulerende organisationer, går tendensen internationalt imod at evaluere programmernes funktionsmåde og mekanismer. Man kan på baggrund af indsigt i, hvordan de forskellige tiltag og mekanismer virker, skabe en samlet og anvendelig forståelse, der kan bruges til at konstruere nye politikker og programmer (Elliot Stern, 2007). Dvs. rationalet for nye programmer og politikker også tager afsæt i en forståelse for mekanismerne, frem for kun at tage afsæt i en begrundelse i effekter, der er målt under meget begrænsede og kontrollerede forhold. Dermed er fokus i denne evaluering at eksplicitere brugernes subjektive opfattelse af, hvordan programmets mekanismer virker og om de virker. Dette sker med udgangspunkt i både den kvantitative og den kvalitative del af evalueringen. Et bærende element i den realistiske evaluering er, at effekter ikke skabes af puljer og programmer, men af de involverede mennesker og aktører. Effekterne opstår ikke som kausale virkninger af årsager i ForskEL, men opstår på baggrund af aktørernes handlinger og deres bagvedliggende beslutninger og rationaler. Både mekanismer og resultater forstås altså i sammenhæng med deres kontekst. I den realistiske evaluering er validitetskriteriet realisme. Det betyder, at evalueringen er interesseret i forskelligheden mellem projekterne og projektklyngerne (i det omfang de er forskellige), for at kunne fremstille konkrete, kvalificerede og informerede anbefalinger. Programmets evaluatorer er interesserede i nuancerne og de forskellige måder, der arbejdes med forskning, udvikling og demonstration inden for ForskEL og den samlede mængde forskelligartede resultater, dette frembringer. Dermed er det ikke en metodefejl, at der i evalueringsrapportens resultat- og anbefalingsafsnit (afsnit 2: Anbefalinger og afsnit 3: er af ForskEL-programmet på programniveau) ikke er opstillet et hierarki af anbefalinger, ligesom der ikke er nogen vurdering af sammenhænge som vægter tungere end andre. Evalueringen afdækker, formulerer og præciserer sammenhængene og deres forhold og omstændigheder. Der 9
vil være mønstre og sammenhænge, der viser sig hyppigere end andre, hvilket kan sige noget om, hvad der fylder i bevidstheden hos ForskEL s aktører. Dette vægtes dog ikke tungere i forhold til validitet, da der i princippet kan være én enkelt interviewrespondent, der alene beskriver en sammenhæng, der er af væsentlig betydning for programmet. Det skal bemærkes, at de i rapporten fremviste resultater er vurderet af projektlederne og projektdeltagerne i ForskEL og ikke konstateret som en eventuel samfundsmæssig økonomisk gevinst. Tabel 1 nedenfor beskriver indsamlings- og analysestrategien i evalueringen af ForskEL: Tabel 1: Udarbejdelse af evalueringstemaer På baggrund af udleveret materiale fra Energinet.dk om ForskEL-programmet er der genereret overordnede evalueringstemaer og evalueringsspørgsmål. Litteraturreview Det indledende litteraturreview er lavet på baggrund af det eksisterende, udleverede materiale om ForskEL. To af Alexandra Instituttets evaluatorer har læst materialet og løbende er centrale pointer og indsigter noteret under evalueringstemaerne. Operationalisering af programteori på programniveau På baggrund af materiale og litteraturreview er CMOerne udarbejdet. Informationerne fra litteraturreviewet er operationaliseret i hhv. kontekst (C), mekanisme (M) og outcome (O). Sammenhængen er i første omgang udledt af litteraturen, og kan dermed betegnes som ForskELs policy-tænkning. Interessentundersøgelse CMOerne er derefter kvalificeret igennem 8 interviews med i alt 9 personer hhv. interne medarbejdere hos Energinet.dk og repræsentanter fra ForskEL-netværket med henblik på at sikre, at CMOerne er dækkende og relevante for at beskrive programmets virkemåde og hensigter, samt om sammenhængende er acceptable og forståelige for de faglige eksperter og interessenter indenfor programmet. Konkretisering af generel programteori til projektklyngeniveau Inden dataindsamlingen er den generelle programteori operationaliseret til den konkrete kontekst, der gør sig gældende for projektklyngerne (sol, brændelsceller, biomasse, styring og regulering samt afslag). Strategierne samt notater om den aktuelle klynge er medtaget i operationaliseringen. Indsamling af kvalitative data på klyngeniveau Der er i alt lavet 51 interviews fordelt på de 4 klynger samt afslagsprojekter. Der er tilfældigt udvalgt 4-5 projekter i hver klynge, der giver et bredt billede af forskelligartede projekter under klyngen (igangværende/afsluttede, kortsigtede/langsigtede, geografisk placering, størrelse ift. projektdeltagere og deltagelse af industri/forskningsinstitution). Der er interviewet både projektledere og projektdeltagere i projekterne, ligesom det er tilstræbt at lave interviews på tværs af de forskellige involverede parter. Interviews er 10
gennemført personligt (nogle telefonisk) med udgangspunkt i en spørgeguide, der er generet ud fra den operationaliserede programteori på projektklyngeniveau. Interviewene er gennemført med henblik på at udfolde den praksis, som projektdeltagerne oplever og med udfoldelse af de elementer, respondenten har været optaget af. Fleksibilitet sikrer, at der i interviewene imødekommes, at der kan være afgørende elementer, der ikke er skitseret i programteorien. Indsamling af kvantitative data Spørgeskemaets spørgsmål er formuleret med udgangspunkt i CMOerne med henblik på at udbygge og konkretisere de forhold, der gør sig gældende i praksis i de forskellige kontekster. Spørgeskemaet tager fat i både effekter og mekanismer i CMOerne samtidig med, at det har en triangulerende rolle i forhold til de kvalitative undersøgelser. Analyse af kvalitative data Analyse af kvantitative data Der er anvendt følgende analysemodel for casestudierne: De indsamlede interviews analyseres inden for projekt sammenhængen (projekt caseanalyse). et er et antal mønstre koblet til de konkretiserede CMOer. Projekterne inden for en given projektklynge er analyseret på baggrund af de mønstre, der resultatet af trin 1 (cross-site analyse). Projektklyngerne analyseres på tværs med henblik på at få det samlede billede af, hvordan CMOerne er udmøntet i ForskEL-programmet (trin 2 - metaanalyse). Trin 1 og 2 er gennemført af samme person. Metodisk set er spørgeskemaet bearbejdet i følgende trin: Eksplorativ analyse af datasættet på baggrund af frekvensanalyser på alle variable. Udtræk fra og beregninger på datasættet på baggrund af operationaliseringen af CMOerne. Generering af anbefalinger til Energinet.dk På baggrund af data er der udarbejdet en foreløbig liste over anbefalinger til Energinet.dk i forhold til videreudviklingen af ForskEL. Anbefalingerne er genereret uprioriteret, og dermed er der ikke inddraget, hvilke indsatser og tiltag, der vurderes som de vigtigste eller de mest aktuelle med henblik på programmets videreudvikling og kvalificering. Kvalificering af anbefalinger i samarbejde med Energinet.dk Sammenkædning af analysen konklusion på evalueringen Igennem dialog med medarbejdere i Energinet.dk er anbefalingerne blevet kvalificeret og prioriteret. De genererede analyser på både projekt-, klynge- og program-niveau sammenkædes til en samlet analyse og konklusion på evalueringen af ForskEL. et af sammenkædningen er evalueringsrapporten Evaluering af ForskEL-programmet 2009 for Energinet.dk, hvor resultater og konklusioner præsenteres. 11
Bilag 4:, mekanisme og resultat (CMO) for ForskEL programmet Tabel 1 nedenfor indeholder den fulde udfoldelse af CMOerne, bl.a. kvalificeret via interviews med 9 repræsentanter fra ForskEL-netværket. Tabel 1: CMO 1 ForskEL og de herskende rammebetingelser REFU 2006. Fastholde forsyningssikkerhed, indpasning af nye teknologier, velfungerende marked, danske styrke positioner fører til vækst (Energi 2025) + rammebetingelser. Konsortiedannelsen skaber fokus i ForskELs indsats, men sorterer også de små virksomheder fra fordi de store virksomheder, ikke vil være i konsortium med de små. Det er ikke ForskELs mission kun at støtte de store selskaber. I ForskEL er der mulighed for langsigtede linjer i bevillingerne og stor grad af stabilitet. Det er svært at reflektere den til enhver tid gældende politiske prioritering, der er et moving target. Dette besværliggør indsatsen på langt sigte. Realiseringen af de strategiske mål skal ske gennem 6 strategiske indsatser, A-F (REFU). Demonstrationsprojekter (politisk aftale 2004): Udvælgelse af demonstrationsprojekter, der retter sig mod indpasningen i elsystemet (nogle af demonstrationsprojekterne) Konsortier Vækst og erhvervspotentiale Programmet reflekterer gældende energipolitiske prioritering Opfyldelse af energipolitiske målsætninger Demonstration: at støtte at teknologierne bliver bragt tættere til marked. Det skal demonstreres, at teknologierne kan leve op til markedets krav, demonstrationer kan give underleverandører nye teknologier og muligheder. Politiske målsætninger CMO 2 ForskEL og de herskende rammebetingelser Projekterne har forskelligt potentiale på hhv. den korte og den lange bane. Der er behov for at kunne adskille forbedringer af det nuværende system fra implementeringen af VE, behov for at legitimere begge former for bevillinger. Opdeling i langsigtet (2030) og kortsigtede (5 år) målsætninger for ForskEL (udbud 2007) At kunne redegøre for anvendelse og nyttiggørelse - Prioriteringsværktøj - Rød tråd i bevillingspraksis Evidens for opfyldelse af de politiske målsætninger CMO 3 ForskEL og de herskende rammebetingelser (I denne CMO er der fokus på mekanismer i OMGIVELSEN for ForskEL) Rammebetingelserne (fx liberalisering og lav omsætning for VE for energisektoren) understøtter 12
ikke altid skabelsen af markedstræk, der kan fremme innovationen, fx er der ikke ret mange fordelagtige incitamentsstrukturer (fx standard tilskud til teknologier), der fremmer interessen og motivationen for at udvikle og kommercialisere denne slags forskning, hvorfor privat medfinansiering i stor grad er vanskelig at skaffe. Samtidig kan liberaliseringen og den medfølgende opsplitning af forskning og forretningsudvikling i forbindelse med produktionen af el opfattes som, at forretningsudviklingen og innovationen blev flyttet ud af el-selskabernes ledelse. Konsekvensen heraf kan være death vally og funding gab for forskningen. Det kan besværliggøre teknologiudviklingen, at der er et gab mellem forksning og industri i Danmark. Dette kompliceres yderligere af Danmarks SMV-demografi, hvor de små virksomheder dårligt har tid og råd til store dyre forskningsprojekter. Samlet set er det en udfordring at skabe forskning. FUD tilrettelægges fra opstarten med henblik på hele værdikæden for innovationsprocessen, herunder inddragelse af relevante aktører på forkant. Dvs. dele af projektet rækker uden for de områder, der beskrives i de strategier, der er retningsgivende for bevillingerne. Det betyder prioritering af indsatsområder i det samlede energisystem forstået som det nationale, internationale, teknologiske muligheder og systemmæssige behov samt udviklingsmiljøer og drivkræfter i industrien En del heraf er øget bistand til mindre og uerfarne danske aktører (SMV). Denne bistand kan forøges ved rammebetingelser fra ForskELs side, der tilgodeser de små virksomheder og deres små partnere. Samspil med erhvervslivet, sikring af risikovillig kapital til at gå ind i medfinansiering af teknologiudviklingen. Risikovillighed og innovation. Øget sammenhæng mellem grundforskning, anvendelsesforskning, og drift givet det samlede fokus på hele værdikæden, og muligvis som følge heraf en mere innovationsfremmende projektproces. Risikovillighed og innovation (måske), anvendelse og nyttiggørelse af resultater, kortlægning af projektprocessen. CMO 4 ForskEL og de herskende rammebetingelser Udsagn om fra Energinet.dk at: Der er altid plads til den kvalificerede gode idé vs. at de politiske mål skal indfris og ansøgninger skal koble til de energipolitiske strategier. Frem til 2008: tilbageholdende med at give retningslinjer i udbuddet. 2008: meget specifikke retningslinjer, hvad de ikke vil have/ hvad de vil have helt ned til konkrete teknologibeskrivelser (udbud 2006-2009). Det har været en bevidst strategi at bruge en stor del af midlerne på ét område i en periode for at skabe skala og fokus, og så derefter at skifte til et andet område. Udbuddet præciserer hvilke ansøgninger man kan regne med at få, og hvilke virksomheder man ønsker skal søge, hvis det er meget præcist formuleret. Risikovillighed og innovation samt (manglende) bredde i bevillingerne. Hvis udbuddet er meget kringlet, vil få SMVere søge. Politiske målsætninger og risikovillighed og innovation CMO 5 ForskEL og de herskende rammebetingelser For projekter, der har været færdige i flere år (REFU 2006). Udvikling af erfaringsgrundlag fra projekter og programmer mhp. at dokumentere, om de forventede resultater er opnået (projekter og program) Bredde i bevillingsdækningen. 13
Anvendelse og nyttiggørelse af resultater. Størst mulig effekt af tilskudsmidlerne, udvikling af udbud og kriterier, udvikling af strategier. Projekterne bygger ofte videre på hinanden Politiske målsætninger og anvendelse og nyttiggørelse CMO 6 ForskEL og de herskende rammebetingelser Energipolitik og kendskab til energiforskning hos ForskEL-netværket. Der kan være et dilemma mellem at fremme en teknologi, der har lille potentiale i DK, men stort potentiale internationalt set. Energinet.dks bestyrelse er med deres vurdering med til at fastsætte ForskEL-programmets grad af innovations-risikovillighed. Grad af risikovillighed hos ForskEL, fx ved at inddrage bestyrelsen for Energinet.dk Innovative projektresultater, international anerkendelse. Fejlslagne projekter Risikovillighed og innovation og bredde i bevillingen (målsætninger) CMO 7 ForskEL: Planlægning til aflevering ForskEL er ikke god nok til at orientere sig mod markedsaktørerne. Man oplever, at der er behov for forbedring af samspillet mellem FUD og energisektorens virksomheder og finansieringsmarked. Det er nyt (og udfordrende) for ansøgere at skulle tænke i økonomi og forretning, som de blev bedt om ved udbud 2008-1. For at forbedre samspillet foreslås det, at følgende indføres i ForskELs FUD-projekter foreslås: - konsortier - klar medfinansiering (erhvervsliv) - Milepæle i projekter - dynamisk projektopfølgning. - udbud der kræver kommercialisering - standardisering, certificering mv. - Opblødning ift. Patenter og tilbagebetaling Udvælgelse af projekter baseres på forventet kommerciel og forventet energipolitisk potentiale, samtidig med at der skal arbejdes med forretningspotentiale for teknologierne, planlægges samarbejde med investorer (rammer udbud 2007). Fortsat udvikling af processen om, hvordan økonomi og forretningsplaner skal indgå i ansøgningerne. Inddragelse af relevante interessenter (sandsynliggør kommercialisering). Anvendelse og nyttiggørelse af projekternes resultater Højere grad af vækst og erhvervspotentialer, danske potentialer og styrkepositioner omsættes til arbejdspladser, idet teknologien når markedet og markedsaktørerne. Inddragelse af interessenter, anvendelse og nyttiggørelse CMO 8 ForskEL: Planlægning til aflevering Det er en forudsætning for nyttiggørelse, at programmerne koordineres, også med industriens behov og udviklingsniveau, andre programmers indsats, teknologiske forskningsråd. Mange potentielle ansøgere giver udtryk for, at det er uklart, hvad der adskiller de enkelte programmer. Der har tidligere være sub optimering mellem programmerne, fx har det været svært for Eltra og Elkraft at samarbejde om de fælles områder. Udbuddet skal være præcist, det er værd at gennemtænke, hvad konsekvenserne er af den måde man laver sit udbud på. 14
Teknologierne er spændende (fx vindmøllerne), men infrastrukturen, der kan få energien ind i systemet er ikke spændende, og kan ikke støttes fra ForskEL, men evt. direkte fra Energinet.dk. Fælles ansøgningsdatoer for energiprogrammer, skemaer, procedurer, og workshops med udbud. Inklusion af industrien. Klarere profilering af de enkelte programmer, arbejdsdeling mellem programmerne, se REFU 2002. Enkel ansøgningsprocedure, fx må forretningsplanen ikke stille for omfattende krav til ansøgeren. Overblik over hvordan projekternes samspil er med det omgivende. Samlet effektiv anvendelse af ressourcer samt overblik for ansøgere, også koordineret målsætning for synergi mellem hele energiforskningen i DK. Rød tråd i bevillingspraksis. Hvis programmerne spiller sammen, så teknologien udvikles i et program (fx ForskEL) og implementeres i infrastruktur i et andet program (fx ForskNG eller direkte fra Energinet.dk), så kan der skabes sammenhængende resultater. Eksternt samarbejde og koordinering Brugertilfredshed CMO 9 ForskEL: Planlægning til aflevering Strategierne kan være god inspiration for ansøgerne og generelt står ansøgerne stærkere, hvis de kobler til strategierne. Strategierne tjener til vejledning for potentielle ansøgere og strategierne er formidlet til målgruppen (brugerne af programmet). Overensstemmelse ml. støttede projekter og indfrielse af programmets gældende fokus på indsatsområder. Eksternt samarbejde og koordination. CMO 10 ForskEL: Planlægning til aflevering Energinet.dk bruger et evaluatornetværk med nationale og internationale evaluatorer, der fagligt vurderer ansøgningerne. Der er en løbende modernisering og tilpasning af evaluator netværket. Energinet.dk ønsker ikke at satse på en vinder, men ønsker, at alle kan komme i betragtning. Evaluatorerne kigger som evalueringskriterium efter hjerteblod hos ansøgerne. Deres kendskab til ansøgerne, fx fra tidligere projekter, påvirker den nuværende evaluering af en ansøgning. Der er ikke en ens opfattelse hos evaluatorerne om, hvad der er de rigtige ansøgninger at støtte, samtidig med at der er forskellige evalueringstilgange. Der er flere evaluatorer om at bedømme hver eneste ansøgning. Evaluatorerne føler, at de slipper projekterne for tidligt. De kunne også anvendes i forbindelse med opfølgning periodisk og afsluttende, hvilket ville opdatere deres viden om, hvad der sker med de projekter, de sætter i gang samt fremme nyttiggørelsen. Energinet.dk er underlagt Forvaltningsloven, da det er elforbrugernes penge, det handler om. Dialog mellem ansøgere og Energinet.dk-koordinatorerne med henblik på at kvalificere ansøgningen, både undervejs i ansøgningsprocessen og efterfølgende, så de kan vende tilbage ved senere udbud eller henvises andre steder. Formidling af den evalueringsmetode, som ForskEL benytter. Assistancen til ansøgerne fokuserer på idémodning såvel som hjælp til at udfylde felterne i ansøgningsskemaet, det kan også ske ved forslag til at lægge flere ansøgninger sammen. Evalueringen kan støttes ved at Energinet.dk opdaterer grundlaget for evalueringerne samt formålet med ForskEL. Gennem løbende projektopfølgning får evaluatorerne viden, der kan bruges 15
til at prioritere de efterfølgende ansøgninger med (hvis fx ansøgningerne bygger på hinanden). Denne viden kunne desuden støttes af arkivsøgninger på de eksisterende projekter, hvad blev de til? Bedre ansøgninger og brugertilfredshed, også ved afslag. Brugertilfredshed og formidling CMO 11 ForskEL: Planlægning til aflevering For ikke-støtteværdige projekter gives en kort forskningsfaglig begrundelse mhp. partshøring. Energinet.dk inviterer til dialog, hvis den forskningsfaglige vurdering er truffet på et forkert grundlag. Energinet.dks bestyrelse og herefter Energistyrelsen godkender indstillinger om projektstøtte. Brugertilfredshed for de brugere, der får afslag. Brugertilfredshed. CMO 12 ForskEL: Planlægning til aflevering ForskELs mission tilsiger, at Energinet.dk skal formidle resultaterne fra programmet til relevante målgrupper, der er en række etablerede kommunikationskanaler, hvoraf hjemmesiden er central. Potentielle ansøgere kan finde informationer om eksisterende projekter og resultater, herunder på hjemmesiden og i Risø databasen. Nye ansøgninger skal inkludere eksisterende viden, bygge videre på eksisterende projekter. Formidlingsforpligtigelsen er formuleret i 18 i loven. Der er indgået en aftale om at projekternes resultater skal offentliggøres i Risø databasen, det er projektledelsens ansvar. Der skal fra projektets side udvikles en formidlingsplan ved ansøgning om støtte. Kommunikationen henvender sig til målgruppen gennem de rette kanaler til de rette målgrupper. Formidlingsforpligtigelsen er: Formidling af resultater fra FUD: Tilsyn med projekter Halvårlige rapporter + formidlingsaktiviteter (der er mulighed for fortrolighed) Slutrapporter (der er mulighed for fortrolighed) Årlig rapportering for alle programmer. Energinet.dk kunne konkretisere kravene til formidlingen af projekterne med henblik på bedre at kunne formidle dem. Formidling til målgruppen, opfyldelse af formidlingspligten Anvendelse og nyttiggørelse af resultaterne af resultaterne Opfyldelse af formidlingspligt. Målgruppen rammes i væsentlig/tilsigtet omfang. Projekternes resultater kan findes og anvendes udenfor projekterne, af andre parter. Anvendelse og nyttiggørelse af resultaterne (bla. i nye ansøgninger), formidling CMO 13 Tilsigtede effekter Manglende overblik og behov for at koordinere er en oplevelse hos brugerne af programmet. Samtidig er formålet med strategiarbejdet at sikre at de offentlige midler anvendes effektivt og samordnet med industriens udviklingsindsats, dvs. mere langsigtede og bredere strategier for områderne. Strategierne skal bidrage til at fastlægge indsatsområder og prioritere ansøgningerne indenfor områder. Der findes efterhånden udarbejdede strategier for hovedområderne, samt 16
energipolitiske og industripolitiske mål. Man kan stille spørgsmålstegn ved, om innovation og nyskabelse er et muligt resultat, når man vælger at satse på strategierne som overblik og relevansbedømmelse. Der opbygges med en mere samlet indsats kvalificerede videnmiljøer. Det er muligt vha strategierne at relevansbedømme ansøgningerne, idet det bliver muligt at konkretisere og fokusere indsatsen indenfor de enkelte områder, som strategierne beskriver. Det er vigtigt at ansøgerne kobler deres projekter til strategierne. International anerkendelse via de stærke videnmiljøer, fx i form af: - Høj kvalitet i faglige projektresultater - kendskab til udenlandske indsatsområder Overensstemmelse ml. støttede projekter og indfrielse af programmets fokus på udvalgte indsatsområder Programmet reflekterer og bidrager til opfyldelse af til enhver tid gældende energipolitiske prioriteringer, fx i form af: - Bred dækning af de prioriterede indsatsområder, dvs. bredde i bevillingsdækningen - Bevidsthed om / sikring af samfundsmæssig relevans - Rød tråd i bevillingspraksis Opfyldelse af de politiske målsætninger og international anerkendelse. CMO 14 Tilsigtede effekter Forskningsmiljøer, hvortil der er knyttet uddannelse af kandidater, som miljø for et ForskELprojekt. Tilstedeværelsen og skabelsen af sammenhæng mellem forskning, uddannelse og innovation, idet forskerne underviser kandidaterne om de nye teknologier. Anvendelse og nyttiggørelse af projekternes resultater, idet teknologierne overføres til marked via kandidaterne, der tager dem med ud i praksis. Anvendelse og nyttiggørelse af projekternes resultater CMO 15 Tilsigtede effekter (I denne CMO er der fokus på industrien som aktør) Det er afgørende for nyttiggørelsen af forskningen, at der er samspil mellem den markedsmæssige kapital og projekterne. Industrien viser sin interesse for ForskEL-projekterne og den offentlige FUD fremstår som overbevisende og investeringsværdig. Det kan være svært at få leverandørerne med på PSO midler(fx DONG), hvis der er konkurrence mellem leverandørerne (de vil holde deres udviklingsindsatser hemmelige for de andre leverandørere) eller fordi offentlig forskning er usikkert og politisk følsomt. Industrien viser interesse for forskningen, hvis de kan se forretningspotentialet i teknologien, så vil de gerne selv bære en del af risikoen. Det kan være en reel problemstilling, at hvis teknologien er rettet mod det særegne og ekstreme danske marked, så kan den ikke sælges internationalt, hvorved det forretningsmæssige potentiale formindskes (fx kedler). Det kan være svært at opretholde interessen hos projektpartnere, når der et tale om langvarige projekter. Der kan også være meget varierende interesser mellem partnerne: akademikerne vil publicere, industrien vil tjene penge og bekymrer sig ikke om systemansvaret, komponentleverandørerne bliver trætte i meget lange udviklingsprojekter. Dansk erhvervsliv deltager aktivt i udviklingen og kommercialiseringen af teknologier, fx gennem 17
CMO 16 medfinansiering i FUD-projekter. (Industrien søger aldrig støtte til de bedste projekter, dem beholder de for sig selv). En diskussion af, hvem der investerer penge og hvem, der får dem tilbage Erhvervsfremme og vækst og kapital i industrien. Inddragelse af interessenter, anvendelse og nyttiggørelse Tilsigtede effekter Givet de forhold, der er beskrevet i CMO 18, er vi nødt til at arbejde sammen med de nordiske lande og EU for at møde forskningsudfordringen. Det fordrer så, at de anerkender vores forskning, og synes vores samarbejde er værdifuldt. Samtidig er det en del af konteksten, at evaluatorerne er usikre på, hvad formålet er med ForskEL. Er hensigten at fremme det danske system eller at fremme global bæredygtig energi? Det giver grobund for følgende samtidige mekanismer: Rettet mod det internationale: - danske programmer spiller sammen med international i netværk, udbud og satsninger mv. - alliancer med udlandet - aktiv deltagelse i ERA-net mv. (for programudbydere) - påvirkning af internationale programmer - deltagelse i internationalt standardiseringsarbejde. Og rettet mod det nationale: Ansøgningerne prioriteres efter, at de skal fremme det danske system som på flere teknologier (fx vind og biomasse) adskiller sig fra de internationale systemer International anerkendelse og samarbejde, som medvirker til skabelse af et europæisk forskningsrum. Det betyder også, at ForskELs resultater anvendes internationalt. International anerkendelse samt anvendelse og nyttiggørelse af resultater CMO 17 Tilsigtede effekter DK er et lille land, ny teknologi kan ikke udvikles alene for offentlige midler (REFU 2002). Derfor er det vigtigt, at Danmark kobler sig på det internationale samarbejde for at udvikle de nødvendige teknologier. Mest vigtigt er samarbejdet med EU og deltagelse i FP6-7, samt detnordiske energiforskningssamarbejde. Af øvrige platforme for samarbejde er IEA. EU har stor indflydelse på udviklingen af elsystemet (kommissionen), men DK er godt forberedt på et samarbejde med EU om forskningen. Fordelingen af midler skal foregå, så de sunde og gode forskningsmiljøer, der kan gøre sig gældende internationalt, støttes og sikres kontinuitet og mulighed for at leve videre. (se CMO 3) Ansøgere bliver desuden opfordret til at samarbejde med internationale partnere og søge international støtte. International anerkendelse og at den danske forskning kan gøre sig gældende. Danske virksomheder og miljøer finder/ er ved at finde en placering sammen med andre internationale miljøer. Der sker en styrkelse af samspillet med og udnyttelse af international viden i dansk kontekst. International anerkendelse, anvendelse og nyttiggørelse CMO 18 Tilsigtede effekter Et vigtigt fokus fremover vil være de internationale perspektiver for dansk energiforskning (se CMO 17). Gode projekter kan skabe forretning og arbejdspladser i DK. Det er vigtigt for Danmark at 18
positionere sig på det internationale niveau og finde sin rolle. Materiale og ansøgninger skrives på engelsk, samt inddragelse af flere udenlandske evaluatorer i netværket. Energinet.dk indgår i EU s teknologiplatforme mhp. at påvirke FP7 De støttede projekter er på et fagligt internationalt niveau. Støtte til energiforskningen i DK, opnåelse af international accept af danske ideer. International anerkendelse og anvendelse og nyttiggørelse 19
Bilag 5: Operationalisering af CMOere til spørgeskema Generelt for evalueringen Formålet med evalueringen er at afdække, hvordan Energinet.dk fremadrettet kan fremme den proces, der frembringer resultaterne af ForskEL-projekterne. Energinet.dk er del af en samlet proces og ramme i den danske energipolitiske kontekst og forskningspolitiske sammenhæng. Evalueringen er udarbejdet som en realistisk evaluering (jf. Pawson & Tilley), hvilket betyder, at fremadrettede anbefalinger til Energinet.dk baseres på aktørernes rationaler og virkelighedsforståelser af Energinet.dk s centrale og missionsbundne aktiviteter, da det er denne realitet, Energinet.dk skal agere og fremme resultater i. Dermed kan Energinet.dk bruge evalueringen til at målrette sine indsatser for at forbedre ForskELprogrammet under hensyntagen til, hvad der virker og giver mening for de konkrete aktører. Fx er rapporterne i Risø databasen mere værdifulde og relevante for unge forskere, der ikke kender fagområdet, hvorimod de ældre forskere nærmest selv har skrevet de fleste af rapporterne indenfor deres eget område. På denne baggrund giver det mening at markedsføre databasen overfor de unge og nye forskere indenfor et område, men ikke overfor de mere erfarne indenfor området mhp at nyttiggøre disse rapporter og indarbejde dem i nye ansøgninger. Med hensyn til evalueringsdesignet, så betyder det, at evalueringen ser tingene fra både Energinet.dk s side, og fra brugerne og aktørernes side, dvs. hvad aktørerne mener og tænker og opfatter om de processer og procedurer, som Energinet.dk har ansvaret for i forbindelse med ForskEL-programmet. Hertil kommer som sagt den omgivende samfundsmæssige ramme, øvrige forskningsprogrammer indenfor energi og energipolitiske målsætninger og lovgivninger, som Energinet.dk ikke kan styre, men som påvirker ForskEL-programmet. Evalueringen tager udgangspunkt i antagelser om, hvordan Energinet.dk s aktiviteter, opfattelser og processer virker, set fra Energinet.dk s og policy makernes side. Herefter opbygger evalueringen realistiske og kontekstbundne sammenhænge på grundlag af antagelserne, hvilke kan danne grundlag for specifikke og målrettede anbefalinger, jf. eksemplet med Risø rapporterne. Generelt design for spørgeskemaet Spørgeskemaet er ikke den mest centrale del af evalueringens dataindsamling. Det er de i alt 51 kvalitative interviews med projektledere og projektdeltagere, samt interviews med i alt 9 repræsentanter fra ForskEL-netværket. 20