INNOVATIONDANMARK FORSIDE
Videnskabsministeriet og DRUID præsenterer VERDENS BEDSTE EFFEKTMÅLINGER AF FORSKNINGS- OG INNOVATIONSPOLITIK?? 12. APRIL 2011
Program for resten af dagen 1. Regeringens politik vedrørende evaluering og effektmåling 2. Udfordringer og målsætninger 3. Effektmål: Nøgle-performance indikatorer 4. Central InnovationsManual: Standard for effektmåling og analysemetoder? 5. Resultater fra udvalgte analyser 6. Ønsker fra embedsmændene/ønsker fra forskerne 7. Diskussion, skænderi og forsoning 8. Spørgsmål, som stadigvæk mangler at blive undersøgt? 9. Fremtidigt samspil mellem forskere og embedsmænd
Regeringens politik vedrørende evaluering og effektmåling: Effekten skal dokumenteres konsekvent for alle innovationstilbud Der skal opstilles entydige effektmål for alle ordninger og fonde mv. af de ansvarlige myndigheder Evalueringer og effektmålinger skal anvendes til at tage stilling til eventuel videreførelse, sammenlægning eller justering
Udfordringer Dokumentere økonomiske effekter af forskningsog innovationspolitik hvordan gøres det bedst? Verificere effekter af de eksisterende forskningsog innovationsprogrammer Udvikle prioriteringsværktøjer for forsknings- og innovationspolitikken
Målsætninger Fælles forståelse for nøgle performance indikatorer Fælles forståelse for analysemetoder Sammenlignelige effektmålinger for alle programmer i Danmark og udlandet
Fælles forståelse for analysemetoder For at kunne sammenligne effektmålinger på tværs af ordninger bør der opstille et fælles sæt af retningslinjer for, hvad der kræves af en excellent effektmåling: Høj kvalitet af data Nyeste forskningsbaserede statistiske metoder Høj kvalitet af kontrolgrupper
Central InnovationsManual (CIM) for effektmålinger og evalueringer Videnskabsministeriet er på vej med en manual for effektmålinger af innovationspolitik (CIM): a. Standarder for effektmål: Nøgle performance indikatorer b. Standarder for kontrolgrupper c. Standarder for statistiske analysemetoder d. Standarder for tidsserier og datakvalitet e. Standarder for robusthedstest
a. Opstilling af effektmål: Hvad er de centrale nøgle performance indikatorer? Produktivitet per medarbejder i virksomheder Værditilvækst i virksomheder Totalfaktorproduktivitet i virksomheder Beskæftigelse i virksomheder Individuel beskæftigelses- og løneffekt Patenteringseffekt i virksomheder Overlevelsesrater for virksomheder
b. Udvælgelse af kontrolgrupper: Propensity score matching metode Der tages hensyn til Uddannelse FoU-intensitet FoU-afdeling Eksport-intensitet FoU-investeringer Virksomhedsstørrelse Branchetilknytning Hvad mangler???
c. Central analysemetode for VTU - Difference-in-difference (a) før-efter sammenligning for virksomheder, som deltager i ordningen (deltager) (b) før-efter sammenligning for virksomheder, som ikke deltager i ordningen (kontrol) Se om (a) er mere positiv end (b). P1 - succes parameter af deltager før P2 - succes parameter af deltager efter C1 - succes parameter af ikke-deltager før. C2 - succes parameter af ikke-deltager efter. Differencen (P2-P1)-(C2-C1) måler differencen i forøgelserne. 11
d. Forbedre datagrundlaget Længere tidsserier Krav til kontinuitet Behov for nye variable Bedre stikprøver Hurtigere offentliggørelse af data Lettere adgang til offentlige data
e. Robusthedstest Konfidensintervaller Verifikation ved forskellige analysemetoder Gentagelse af effektmålinger med 3-4 års interval Anvendelse af forskellige kontrolgrupper og underopdelinger af kontrolgrupper Inddragelse af udenlandske data og analyser
Forudsætning for gode effektmålinger: kvalitatsdata-kilder FoU-statistikken Regnskabsstatistikken Community Innovation Survey (CIS) Uddannelsesstatistikken Projektdatabaser i ministerier Patentstatistikken Arbejdsmarkedsstatistik Lønstatistik
Effektmålinger af programmer Insignifikante resultater: Innovationsmiljøer (2009 og 2014) - FI Videnpilot (2010 og 2013) FI Signifikante resultater: Innovationskonsortier (2008, 2010 og 2015) - FI ErhvervsPhD (2007 og 2011) - FI EUREKA (2011) FI Under udvikling: Cluster/Innovationsnetværk Danmark (2011) FI Videnkupon (2013) - FI
Effektmålinger af innovationspolitik Produktivitetseffekter af erhvervslivets forskning, udvikling og innovation (2010) (FI) Produktivitet og videregående uddannelse (2010) (DEA) Innovation og produktivitet (2010) (ØEM) Økonomiske effekter af erhvervslivets forskningssamarbejde med offentlige videninstitutioner (2011) (FI) Erhvervslivets forskning, udvikling og international outsourcing (2011) (FI)
Udvalgte analyseeffekter i. Effekt på værditilvækst i store innovationskonsortier ii. Forskningssamarbejde mellem en virksomhed og et universitet iii. Patenteringseffekt i ErhvervsPhD-virksomheder iv. Beskæftigelseseffekt i ErhvervsPhD-virksomheder v. Hvad er effekterne af private investeringer i forskning
Fra Professor til Profit Effektmåling af offentlig-private forskningskonsortier mellem 10 parter heraf 6 virksomheder 50000 40000 30000 Udvikling i bruttofortjenesten (i 1000Kr). Differencer ift. år 0, som er året før programdeltagelsen (eller udvælgelsen til kontrolvirksomhed). Glidende tre-års gennemsnit for virksomheder med mindre end 150 millioner Kr. bruttofortjeneste i år 0. 20000 10000 0 Virksomheder, som deltager i et Innovationskonsortium Kontrolvirksomheder -10000-20000 -4-2 0 2 4 6 8 10 År før/efter år 0 Kilde: CEBRs beregninger på basis af data fra Forsknings- og Innovationsstyrelsen og Experian A/S.
Kausal analyse af samspil mellem universiteter og virksomheder og produktivitet per medarbejder (pct.)
Marginal produktivitet af privat forskning
Ønsker fra Videnskabsministeriet (1) Mere forskning om effekter af forsknings- og innovationspolitik Øget samspil mellem forskningsverdenen og den offentlige sektor med henblik på ny viden om forsknings- og innovationspolitikken
Ønsker fra Videnskabsministeriet (2) Mere teoretisk økonomisk litteratur om betydningen af investeringer i forskning, udvikling og innovation Mere viden om den internationale litteratur vedrørende økonomiske effekter af FoU og innovation Mere viden om den internationale litteratur vedrørende forsknings- og innovationspolitik og støtteprogrammer
Diskussion Er effektmålingerne gode nok? Hvilke spørgsmål skal vi stille? Hvordan kan effektmålingerne forbedres? Forslag til den Centrale InnovationsManual
Spørgsmål, som stadig mangler at blive undersøgt 1. Outsourcing 2. Videnspredning 3. Samfundsøkonomiske effekter 4. Virksomhedernes kommercialiseringsevne
Spørgsmål, som stadig mangler at blive undersøgt (1) - outsourcing Medfører outsourcing af produktion også outsourcing af FoU? Er FoU-outsourcing substitut eller komplementært til egen FoU? Hvad er de økonomiske effekter af FoU-outsourcing?
Spørgsmål, som stadig mangler at blive undersøgt videnspredning (2) Hvordan måles videnspredning af FoU? Hvad er de økonomiske effekter af videnspredning?
Spørgsmål, som stadig mangler at blive undersøgt samfundsøkonomisk effekt(3) Hvad er den samfundsøkonomiske effekt af offentlig forskning? Hvordan udregner man den samfundsøkonomiske effekt af støtteprogrammer for forskning og innovation?
Spørgsmål, som stadig mangler at blive undersøgt kommercialisering (4) Er effekterne af forsknings- og innovationsinvesteringer i danske virksomheder større eller mindre end i udlandet? Er danske virksomheder dårligere til at omsætte viden til produktivitet og værditilvækst? Hvor lang tid går der mellem investeringer i FoU til effekter på innovation, produktivitet og værditilvækst?
Kritikpunkter fremført til MVTU vedrørende eksisterende effektmålinger (1) Forskellige metoder medfører forskellige effekter, hvorfor analyserne ikke kan bruges Det er ikke muligt at lave kausalanalyser Det er ikke muligt at finde kontrolgrupper for de forskningsaktive virksomheder, der bruger forsknings- og innovationsprogrammer Der mangler samfundsøkonomiske effekter
Kritikpunkter fremført til MVTU vedrørende eksisterende effektmålinger (2) Effektmålingerne overdriver de økonomiske effekter Effektmålingerne underdriver de økonomiske effekter Effektmålingerne har svært ved at opfange effekter i virksomheder, som bruger et program ofte, eller som er store Effektmålingerne viser, at den signifikante effekt ophører efter 5-6 år, og at der ingen langsigtede effekter er
Kritikpunkter fremført til MVTU vedrørende eksisterende effektmålinger (3) Der er ikke taget højde for cykliske forhold for virksomhederne, hvorfor der kan være forskel mellem treatment-gruppe og kontrolgruppe Hvorfor har I ingen effektmålinger, der viser, at der ikke er effekt af indsatsen? Der mangler sammenligninger på tværs med andre programmer og effektmålinger
(1) Typiske misforståelser: I fortolkningen af resultater i regressionsanalyserne overses det ofte, hvilken hypotese som testes! Sammenblanding af resultater fra komparative deskriptive analyser og økonometriske analyser Der er ikke overblik over, hvilke programmer, som yder tilskud til enten privat forskning eller offentlig forskning
(2) Typiske misforståelser: Begrebet arbejdsproduktivitet sammenblandes med totalfaktorproduktivitet eller værditilvækst Begreberne forskning og innovation sammenblandes Begreberne offentlig og privat forskning sammenblandes Begrebet købt forskning sammenblandes med begrebet forskningssamarbejde
Fremtidigt samspil mellem forskere og embedsmænd Hvordan kan vi få skabt et endnu bedre samspil mellem forskningsverdenen og embedsmændene om udvikling af ny viden om forsknings- og innovationspolitik?