Effektmålinger giver ofte misvisende resultater

Transkript

1 Effektmålinger giver ofte misvisende resultater - Om selektionsbias i effektmåling inden for erhvervs- og innovations-politikken Af Jens Nyholm og Jens Bjerg, partnere IRIS Group Der er i de senere år kommet stor fokus på effektmåling inden for erhvervs- og innovationspolitikken. Ambitionen er ofte at isolere den effekt, som konkrete virkemidler betyder for udviklingen i de deltagende virksomheders vækst, beskæftigelse, eksport, produktivitet, mv. Specielt er udbredelsen af kontrafaktiske effektmålinger, hvor effekten hos en brugergruppe opgøres ved at sammenligne udviklingen hos en kontrolgruppe, steget. Metoden går i korthed ud på at opstille en kontrolgruppe, der på en række parametre ligner brugerne mest muligt. Det kan være størrelse, branche, historisk vækst, uddannelsessammensætning, udgifter til forskning og udvikling, etc. Det er pt. en udbredt opfattelse i dansk evalueringspraksis, at blot man er i stand til at konstruere en matchende kontrolgruppe på baggrund af historiske data, så vil udviklingen i en brugergruppe i forhold til kontrolgruppen afspejle fx et programs effekt. Det er imidlertid langt fra altid tilfældet. Som det fremgår senere i denne artikel, ville effekten af virksomhedernes brug af Væksthusene (opgjort i en evaluering fra april 2013) været blevet overvurderet med ca. 100 pct., hvis der ikke var korrigeret for såkaldt selektionsbias. Lad os belyse problemstillingen med et eksempel. I en analyse fra 2012 blev effekterne af samarbejde med DTU kortlagt i en sådan analyse. Brugerne var her de virksomheder, der over en længere periode havde samarbejde med DTU i forbindelse med fælles forsknings- og udviklingsprojekter eller køb af FoU-ydelser. I kontrolgruppen indgik virksomheder, der matchede deltagerne med hensyn til størrelse, brancher, eksport, uddannelsesniveau og forsknings- og udviklingsudgifter indtil året før det år, hvor samarbejdet med DTU blev sat i gang. Analysen konkluderede, at virksomheder, der har samarbejdet med DTU, i gennemsnit har opnået en positiv, signifikant produktivitetsstigning på i gennemsnit 23 pct. årligt over seks år! Resultaterne fremgår af nedenstående figur. 1

2 Kilde: DTUs værdiskabelse for samfundet (maj, 2012). Figuren viser, at virksomhederne tilsyneladende opnår en produktivitetsvækst på 9 % mere end kontrolgruppen et år efter samspillet. Efter seks år er den kumulerede effekt 23 %. Der rejser sig umiddelbart nogle intuitive spørgsmål, når man kigger nærmere på figuren. For det første virker det ikke helt logisk, at en meget stor del af effekten realiseres allerede første år efter et forskningssamarbejde. Flere studier peger på, at det tager betydelig tid at omsætte forskningssamarbejde i konkrete resultater. Ofte er resultatet af et forsknings- og udviklingssamarbejde en ny teknologiplatform eller måske en rå prototype. Resultaterne skal viderebearbejdes i virksomhedernes egen udviklingsafdeling, og det tager tid at gøre produktet klart til markedet, måske få det godkendt, etablere eksport, osv. For den andet er der ikke en logisk forklaring på, at effekterne pludselig vokser til mere end det dobbelte fra år fem til år seks. Men vigtigst af alt virker effekterne voldsomt store. Det er bestemt et forventeligt resultat, at samarbejde med forskningsinstitutioner stimulerer produktivitetsudviklingen. Men at de gennemsnitlige, kumulerede effekter af et samarbejdsprojekt skulle være en 23 % produktivitetsstigning virker meget højt eller måske endda utroværdigt. En 23 % stigning er således betydeligt mere end den gennemsnitlige produktivitetsvækst for virksomheder i industrien over seks år (set over lang tid vokser 2

3 produktiviteten i industrien ca. 2 pct. om året). At et enkelt samarbejde 1 med DTU i gennemsnit skulle have større effekt målt på produktivitetsudvikling end seks års akkumulerede produktivitetsstigninger opnået via blandt andet investeringer i ny teknologi, mere effektiv arbejdsorganisering, stigende uddannelsesniveau, egen forskning og udvikling mv. virker simpelthen ikke troværdigt. Efter vores vurdering skyldes de høje opgjorte effekter, at der til analysen er knyttet det problem, der i evalueringslitteraturen betegnes som selektionsbias 2, og at der ikke er taget højde herfor i den pågælende analyse. Selektionsbias et eksempel Selektionsbias i forbindelse med effektmålinger af deltagelse i fx erhvervsfremmeinitiativer opstår, fordi det ikke er tilfældigt, hvem der rekrutteres til et konkret program, indleder et vidensamarbejde eller lignende. Før vi uddyber dette, vil vi præsentere et andet eksempel. Vi gennemførte i IRIS Group i foråret 2013 en evaluering af Væksthusene. På samme måde som i DTU-analysen blev opstillet en kontrolgruppe af virksomheder, der lignede Væksthusbrugerne på historisk data blandt andet størrelse, branche, alder og vækstforløbet op til brugen af Væksthuset. Nedenstående figur viser udviklingen i omsætningen blandt Væksthusenes brugere i forhold til kontrolgruppen i syv halvår efter brugen af Væksthusene. Figur 1.4. Kumuleret mervækst i omsætning i syv halvår efter brug af Væksthuset. Væksthusbrugere sammenlignet med kontrolgruppe. Kilde: Evaluering af Væksthusene (IRIS Group, 2013) Som i tilfældet med DTU-analysen ser vi igen et forløb, hvor brugerne har stort set samme vækst som kontrolgruppen frem til tidspunktet for samarbejdet (i dette 1 Figur 1 omfatter både virksomheder, der kun har samarbejdet med DTU en gang, og virksomheder, der har indgået i flere samarbejdsrelationer. Faktisk viser den pågældende analyse, at virksomheder, der kun har samarbejdet én gang med DTU, opnår en produktivitetsstigning på hele 29 pct. 2 Se også Danmarks Evalueringsinstitut (2012); Hvordan kan man evaluere effekt 3

4 tilfælde med et Væksthus). Derefter oplever brugerne en mervækst på i gennemsnit 11 pct. kumuleret over fire halvår i forhold til kontrolgruppen 3. Man kunne så fristes til at konkludere, at Væksthusene isoleret set skaber en gennemsnitlig vækst i omsætningen på 11 pct. over to år blandt deres brugere. Problemet er imidlertid, at der er knyttet selektionsbias til beregningerne. I dette tilfælde opstår selektionsbias, fordi Væksthusenes målgruppe er virksomheder med vækstpotentiale og vækstambitioner. Det vil sige, at virksomhederne blandt andet selekteres efter deres fremtidige muligheder for og ambitioner om at skabe vækst. Et forhold, der ikke i fuldt omfang kan forventes afspejlet i historiske data 4 - blandt andet fordi øgede vækstambitioner kan være udtryk for strategiskift mv. Af samme årsag er det langt fra givet, at deltagerne ville vokse i samme tempo som kontrolgruppen fra år 0 (tidspunktet for brugen af Væksthuset), hvis de ikke havde gjort brug af Væksthuset. Med andre ord kan det ikke automatisk konkluderes, at udviklingen i figuren beskriver den isolerede effekt af at bruge Væksthusene. Vi har i Vækstevalueringen kontrolleret for selektionsbias gennem brug af spørgeskemadata. Samtlige brugere i perioden fik tilsendt et spørgeskema, hvor de blandt skulle angive, hvad de havde fået ud af at bruge Væksthusene. Spørgeskemaundersøgelsen viste, at brugerne kunne fordeles i tre nogenlunde lige store grupper: Gruppe 1 (lav/ingen additionalitet): Virksomheder, som angav, at brugen af Væksthuset ingen effekt har haft på virksomhedens udvikling. Gruppe 2 (moderat additionalitet): Virksomheder, som angav effekter af Væksthusets indsats, men hvor Væksthuset højst i nogen omfang har påvirket virksomhedens strategi, vækstambitioner og erkendelse af vækstpotentialer. Gruppe 3 (høj additionalitet): Virksomheder, som angav store effekter af Væksthusets indsats, og hvor Væksthuset i stort omfang har påvirket enten strategi, vækstambitioner og erkendelse af potentialer. Hvis udviklingen i figuren oven for alene skulle tilskrives Væksthusene, skulle det kunne aflæses ved, at kun gruppe 2-3 har oplevet højere vækst end deres respektive kontrolgrupper (og at effekterne skulle være størst i gruppe 3). Det er imidlertid ikke tilfældet, som det fremgår af nedenstående figur. 3 Den stiplede linje indikerer, at der også er målt effekter efter fjerde halvår, men at beregningerne her baserer sig på færre observationer og derfor er forbundet med en vis usikkerhed. 4 Man kan således ikke forvente, at vækstpotentialet og ledelsens vækstambitioner gennemsnitligt set er lige så høje i kontrolgruppen som i brugergruppen. 4

5 Kumuleret mervækst i omsætning for de tre brugergrupper i tre halvår efter brugen af Væksthuset Figuren viser, at alle tre grupper opnår en mervækst i forhold til deres respektive kontrolgrupper. Efter tre halvår er den målte mervækst (i forhold til de respektive kontrolgrupper) endda højst blandt de virksomheder, der ikke oplever effekter af Væksthusenes indsats! Resultaterne er udtryk for en betydelig selektionsbias. Væksthusenes brugergruppe har en overvægt (i forhold til kontrolgruppen) af virksomheder, der har ambitioner om at accelerere væksten, og som arbejder for at realisere deres vækstpotentiale. Hvor Væksthusene ikke bidrager til effekterne, formår virksomhederne (ud fra en gennemsnitsbetragtning) alligevel at accelerere væksten enten ved egen indsats eller ved selv at inddrage andre eksterne sparringspartnere. I evalueringen kommer vi frem til ved at kombinere spørgeskema- og registerdata at cirka halvdelen af mervæksten i omsætningen kan tilskrives Væksthusene 5. Forskningssamarbejde og selektionsbias Hvis vi vender tilbage til DTU-analysen, kan man på tilsvarende vis stille spørgsmålet; hvad kendetegner virksomheder, der indleder et forskningssamarbejde?. Vores egne erfaringer fra tidligere analyser er, at følgende årsager/motiver er blandt de mest udbredte; Virksomheden har (særligt perspektivrige) nye produkter, teknologier mv. på vej, som skal testes, eller hvor udviklingsarbejdet kræver inddragelse af forskningsbaseret viden. 5 Se IRIS Group (2013); Evaluering af Væksthusene. Udarbejdet for Erhvervsstyrelsen og KL. 5

6 Virksomheden har betydelige vækstambitioner (fx på grund af strategi- og ledelsesskift), og de ser vidensamarbejde som et centralt element i at realisere disse vækstambitioner. Virksomheden ønsker fx som led i strategiskift at opprioritere egen innovationsindsats, og ser vidensamarbejde som et element i denne indsats. Virksomheden har for nylig ansat højtuddannede (fx fra den institutioner, der samarbejdes med), der har lettere end eksisterende ansatte ved at etablere kontakter til forskningsinstitutioner. Der er tale om helt nystartede, forskningsbaserede virksomheder for hvem forskningssamarbejde er afgørende for at bringe nye produkter på markedet. Med andre ord; det er ikke tilfældigt, hvem der indleder forskningssamarbejde. Gruppen er netop kendetegnet med nogle nye karakteristika (i forhold til virksomhedens tidligere udvikling), der motiverer til forskningssamarbejde. Problemet er, at disse faktorer i sig selv er produktivitetsfremmende, og at de ikke eller kun i begrænset grad kan aflæses i historiske data, som bruges til at danne kontrolgrupper. Der er således næppe tvivl om, at hvis der i DTU-analysen blev lavet samme type af kontrol som i Væksthusanalysen, ville man komme fra til, at analysen af DTUs erhvervssamarbejde også var forbundet med stor selektionsbias. Og dette er uden tvivl grunden til, at man kommer frem til en så høj effekt på de samarbejdende virksomheders produktivitetsudvikling i den pågældende analyse. Der er ingen grund til at betvivle, at forskningssamarbejde stimulerer produktivitetsudviklingen. Den udarbejdede analyse har blot meget begrænset værdi i forhold til at dokumentere det. Hvad kan man gøre? Vores hovedpointe med denne artikel er, at man ikke ukritisk kan anvende en standardmetode på alle erhvervs- og innovationspolitiske initiativer og programmer. Formentlig vil en stor del af alle effektmålinger efter den anvendte metode i DTUanalysen i større eller mindre omfang være forbundet med selektionsbias, når det gælder erhvervs- og innovationspolitiske instrumenter. Efter vores vurdering bør man gå frem i tre trin ved anvendelse af kontrafaktiske effektmålinger efter den skitserede metode. Først skal der tages stilling, om der er knyttet selektionsbias til anvendelse af et givent instrument. Hvis man sammenholder brugerne med en matchende kontrolgruppe (ud fra historiske data), er det så mere eller mindre tilfældigt, hvem der kommer til at bruge instrumentet? Eller kan brugerne have motiver/karakteristika i forhold til at anvende instrumentet, der 1) ikke er afspejlet i tilgængelige historiske data, og som 2) også øver indflydelse på det præstationsmål, der analyseres på (vækst, produktivitetsudvikling, etc.)? Hvis der er væsentlig selektionsbias, bør det i andet trin vurderes, om denne bias kan måles eller elimineres. I Væksthusanalysen forsøgte vi at måle selektionsbias ved at 6

7 inddrage resultater fra en større spørgeskemaundersøgelse og på den måde kombinere kvantitative og kvalitative data. I DTU-analysen kunne en mulighed være at inddrage data for udviklingen i virksomhedernes forsknings- og udviklingsudgifter efter samarbejdet med DTU. Derved ville kontrolgruppen indskrænkes til virksomheder, der i samme grad satsede på innovation og udvikling som brugergruppen (efter år 0), og forskellen mellem de to grupper kunne i højere grad siges at være samarbejdet med DTU. Om dette ville være tilstrækkeligt kræver dog nærmere analyser på data. Endelig må man i en række tilfælde konkludere, at effektmåling vha. kontrolgrupper ikke er den rigtige fremgangsmåde. I disse tilfælde må man i stedet anvende kvalitative data som spørgeskemaundersøgelser, interview, mv. Afslutning Vores vurdering er, at ganske mange af de effektmålinger, der er gennemført frem til i dag, er forbundet med selektionsbias. For den udbydende myndighed, operatør, videninstitution mv. er dette typisk med til at overvurdere effekten af udbudte programmer eller virkemidler. Isoleret set kan dette naturligvis være positivt, fordi det kan medføre øget tilslutning, flere midler til indsatsen fra bevilgende myndheder, forlængelse af programmer mv. Problemet er imidlertid, at selektionsbias og overvurderede effekter virker konserverende. Overvurderede effekter skaber et billede, at virkemidlet eller programmet er bedre, end det faktisk er tilfældet. Det trækker i retning af, at både evaluator, programudbydere, interessenter mv. måske ikke ser med tilstrækkeligt kritiske øjne på de svagheder og forbedringspotentialer, der er ved et givent initiativ eller program. 7