Danmarks Statistik, Erhvervslivets Udvikling 19. april 2012 Firmastatistik + Iværksættere- Data og Metode JRL/FLL Registerbaseret effektvurdering værktøjer og metoder Resume Formål Metodevalg Danmarks statistik har udviklet et værktøj til registerbaseret effektvurdering af erhvervsstøtteordninger. Dette notat redegør i generelle termer for værktøjet med særlig fokus på anvendte statistiske metode(indirekte standardisering med registeroplysninger). Effektmåling af væksthusene, som vejleder vækstorienterede virksomheder, anvendes som gennemgående eksempel, men værktøjet kan bruges til effektvurdering af andre typer virksomhedsrettede projekter. For alle erhvervsstøtteordningerne skal udvikles et generelt metodisk værktøj til at foretage effektvurdering. Vurderingen baserer sig på registerdata, hvor de deltagende virksomheder sammenlignes med ikke deltagende. Sammenligningen sker ud fra et standardiseringsprincip, hvor den udvalgte ikke-deltagende gruppe vægtes ud fra en række baggrundsvariable, således at denne afspejler (ligner) den deltagende gruppe på disse baggrundsvariable. Der findes forskellige metoder til at udføre effektvurdering, som alle har det tilfælles, at en indsatsgruppe, som har modtaget indsatsen/støtten (fx de vejledte virksomheder i Væksthusprojektet) sammenlignes med en referencegruppe, som ikke har modtaget nogen indsats (fx de ikke-vejledte virksomheder i Væksthusprojektet). Forskellen på metoderne ligger hovedsagligt i hvordan referencegruppen konstrueres, således at data bruges bedst muligt grundlæggende måler alle metoderne det samme. Idet Danmarks Statistik har adgang til dækkende registerdata, vil en metode kaldt standardisering, som bruger hele datamaterialet, blive anvendt. Observationerne i referencegruppen vejes efter en række kriterier, således at disse afspejler fordelingen af observationerne i indsatsgruppen. Det er deltagergruppens sammensætning, der er udgangspunkt for vægtning af ikke-deltagerne. Fremgangsmåde Fremgangsmåden i den anvendte metode består af følgende trin: 1. Populationsafgrænsning 2. Baggrundsvariable og effektvariable 3. Identifikation af signifikante baggrundsvariable Eksplorativ analyse Logistisk regression 4. Beregning af vægte ud fra standardiseringsprincippet 5. Vurdering af effekten via t-test af vægtede gennemsnit af effektvariablene Datagrundlag Data og populationsafgrænsning Oplysninger om virksomhederne kan opdeles i tre kategorier. Baggrundsoplysninger om virksomhedernes branche, ejerformer, beliggenhed, sektortilknytning og alder stammer fra Danmarks Statistiks Erhvervsregister. Oplysninger om beskæftigelse er dannet på baggrund af oplysninger fra E- indkomstregisteret. De økonomiske oplysninger stammer Firmaernes køb og salg. Oplysninger om beskæftigelse er til rådighed fra 2007 og frem til seneste endelige udgivelse af beskæftigelse for lønmodtagere. Fra 2008 er beskæftigelsen lavet på bagrund af E-indkomst. Beskæftigelsen for 2007 er beregnet ved hjælp af forholdet mellem E-indkomst og ATP-data i 2008 1, og derefter ganget på ATP-oplysningerne i 2007 på virksomhedsniveau og efterfølgende fordelt ud på p-nr. Oplysninger om de økonomiske data er ligeledes til rådighed fra 2007 og frem 2. 1 Der er oplysninger om ATP og E-Indkomst i dette år 2 De økonomiske data fra 2010 og frem et pt. ikke til rådighed, men forventes klar i løbet at 2012.
Nøglevariabel Et givent halvår er udgangspunkt Virksomhederne identificeres ved hjælp af deres enhedsnummer. Det kan enten være virksomhedens CVR-nr (den juridiske enhed) eller P-nr (produktionsenhed). Når virksomheden identificeres ved brug af CVR-nr, vil de baggrundsoplysninger der bruges altid henfører til virksomhedens hovedadresse og hovedbranche. Det betyder at i tilfælde, hvor en virksomhed har flere produktionsenheder rundt om i landet, vil alle baggrundsoplysninger henføre til virksomhedens hovedsæde. Ved brug af Produktionsenhedsnummer(arbejdssted) vil oplysningerne henføre til arbejdsstedets beliggenhed. For langt de fleste virksomheder i Danmark er der kun ét P-nummer knyttet til CVR-nummeret, men i de tilfælde, hvor virksomheden har flere P-numre, er det vigtigt at overveje, om effekten skal måles på P-niveau eller på CVR-niveau. Nogle statistiske oplysninger, herunder beskæftigelsen, har Danmarks Statistik på begge niveauer, mens andre fx økonomiske oplysninger om omsætning, køb, salg, eksport - kun findes på CVR-niveau. Under visse forudsætninger og med en vis usikkerhed kan oplysninger, som kun findes på CVR-niveau, dog fordeles på P-niveau. Anbefalingen er at benytte virksomhedernes produktionsenhedsnummer. Når effekten vurderes på halvårlig basis, dannes populationen med udgangspunkt i et givent halvår. Hvis eksempelvis effekten af vejledningen påbegyndt i første halvår 2009 skal vurderes, er dette halvår determinerende for populationsafgrænsningen. Alle baggrundsoplysninger om virksomheden tages fra dette halvår. Danmarks Statistiks værktøj til registerbaseret effektvurdering er som udgangspunkt opbygget til at fungere på halvårlige perioder og eksemplerne er baseret på denne logik, men i princippet kan frekvensen sagtens være en anden. Såvel de økonomiske som de beskæftigelsesmæssige oplysninger findes som kvartals og årlige opgørelser 3. Vejledningstidspunkt og vejledningens længde Vejledningen kan strække sig over flere halvår, men i nærværende eksempel tages udgangspunkt i vejledningstidspunktet defineret som halvåret hvori vejledningen i væksthusene påbegyndes. Håndtering af til- og afgang i populationen Effektvurderingen baserer sig på en række baggrunds- og effektvariable, som defineres ud fra data for virksomhederne før og efter vejledningstidspunktet. Dette er problematisk i forbindelse med til- og afgang af virksomheder i populationen, da det for visse virksomheder ikke er muligt at definere disse effektvariable pga. manglende data før eller efter vejledningstidspunktet. I det følgende antages at effektvariablene evalueres på baggrund af 3 halvår før og 3 halvår efter vejledningstidspunktet. Danmarks Statistiks værktøj til registerbaseret effektmåling vil dog blive gjort fleksibelt, således at evalueringsperioden (antal halvår før og efter vejledningstidspunktet) kan vælges forud for hver kørsel 4. For både vejledte og ikke vejledte virksomheder kan skelnes mellem fire tilfælde: A) Data findes før og efter vejledningstidspunktet, således at alle effektvariable kan evalueres for de vejledte virksomheder og de ikke vejledte virksomheder. Vejlednin gstidspunkt Data x x x x x x x Halvår 1. 2. 3. 4. 5. 6. 7. 3 Sæsonmønstre kan påvirke resultatet når der arbejdes med 3 halvår, men det vurderes som et marginalt problem 4 Når effektvariablen evalueres før vejledning, sker det for at øge sammenligneligheden mellem de vejledte og ikke vejledte virksomheder (jf. nedenfor). 2
B) Data findes kun fuldt ud før vejledningstidspunktet, eller i begrænset omfang efter vejledningstidspunktet, hvilket betyder, at effektvariable ikke kan evalueres for de pågældende vejledte eller ikke-vejledte virksomheder. Denne case omfatter virksomheder, som lukker i løbet af perioden, hvorudfra effektvariable evalueres, dvs. afgang fra populationen i evalueringsperioden. Vejlednin gstidspunkt Data x x x x Data x x x x x Data x x x x x x Halvår 1. 2. 3. 4. 5. 6. 7. C) Data findes kun fuldt ud efter vejledningstidspunktet, eller i begrænset omfang før vejledningstidspunktet, hvilket betyder, at effektvariable ikke kan evalueres for de pågældende vejledte virksomheder eller ikke-vejledte virksomheder. Denne case omfatter virksomheder, som kommer til i løbet af perioden, hvorudfra effektvariable evalueres, dvs. tilgang til populationen i evalueringsperioden. Vejlednin gstidspunkt Data x x x x Data x x x x x Data x x x x x x Halvår 1. 2. 3. 4. 5. 6. 7. D) Data findes hverken før eller efter vejledningstidspunktet, eller kun i begrænset omfang før og efter vejledningstidspunktet, hvilket betyder, at effektvariable ikke kan evalueres for de pågældende vejledte virksomheder eller ikke-vejledte virksomheder. Denne case omfatter virksomheder, som kommer til og går fra i løbet af perioden, hvorudfra effektvariable evalueres, dvs. tilgang og afgang fra populationen i evalueringsperioden. Vejlednin gstidspunkt Data x Data x x x Data x x x x Data x x x x x Data x x x x x x Halvår 1. 2. 3. 4. 5. 6. 7. Population afgrænses af opstarts- og ophørsdato samt tidspunkt for vejledning For at håndtere til- og afgang af virksomheder i populationen arbejdes der for et givent vejledningstidspunkt (halvår) med fire adskilte populationer svarende til de fire cases beskrevet ovenfor. For population A og C kan foretages egentlig effektvurdering, idet der findes data for effektvariablen efter vejledningstidspunktet. Forskellen på A og C er, at det for population A er muligt at tage højde for virksomhedernes vækst, inden de indgår i programmet, mens dette ikke er muligt for population C. For population B og D er overlevelsesanalyse mere relevant. A) Population uden til- og afgang i evalueringsperioden B) Population uden tilgang, med afgang i evalueringsperioden C) Population uden afgang, med tilgang i evalueringsperioden D) Population med både til- og afgang i evalueringsperioden 3
Populationerne afgrænses udelukkende af virksomhedernes opstarts- og eventuelle ophørsdato samt vejledningstidspunktet, idet populationerne alle fire udgøres af virksomheder, der enten har modtaget vejledning på vejledningstidspunktet, eller som aldrig har modtaget vejledning. Virksomheder, der har modtaget vejledning på tidligere eller senere tidspunkter er ikke inkluderet i populationerne for det givne halvår. Disse virksomheder vil derimod blive evalueret vha. populationer for deres respektive halvår. Hvis et projekt løber over en længerevarende periode (fx flere år) kan der være behov for at opdele projektet i flere delperioder. Hermed tages der højde for, at deltagerprofilen i projektet evt. varierer over tid eller at konjunktursituationen er forskellig over projektets løbetid. For hver delperiode skal der defineres en population bestående af både vejledte og ikke vejledte virksomheder. Herefter foretages en effektvurdering særskilt for hver delperiode. Resultaterne herfra kan efterfølgende sammenvejes til en samlet vurdering af projektet. (se slutningen af dokumentet) Knap halvdelen af de vejledte virksomheder mangler registeroplysninger Eksempel: Væksthusene vejledning i første halvår 2008 For Væksthusene giver opsplitningen i fire populationer for første halvår i 2008 fordelingen som vist i tabellen nedenfor. I alt er der registreret 331 virksomheder som vejledt i væksthusene. Kun 184 af disse kan genfindes i Danmarks Statistiks registre. Altså mistes 147 vejledte virksomheder i populationsdannelsen pga. manglende registeroplysninger. En stor del af dette skyldes sandsynligvis, at disse virksomheder ikke optræder i registret på vejledningstidspunktet, eksempelvis fordi de ikke har nogen ansatte eller de ligger under bagatelgrænsen. Blandt de 184 virksomheder, der findes i Danmarks Statistiks registre, tilhører 122 virksomheder population A, dvs. der findes data for effektvariablen både før og efter vejledningstidspunktet. For 34 virksomheder findes der kun data for effektvariablen efter vejledningstidspunktet (population C). For i alt 28 virksomheder er der ikke data til at foretage en effektmåling (population B og D sammenlagt). Population Vejledt Ej vejledt Sum A 122 75052 75174 B 17 13001 13018 C 34 17017 17051 D 11 9105 9116 184 114175 114359 Ser kun på population A Baggrundsvariable og effektvariable I det følgende behandles kun population A, hvor der hverken er tilgang eller afgang i løbet af evalueringsperioden. Når fokus er på population A, er det fordi, vi ønsker at kunne kontrollere for den historiske udvikling (dvs. før indtræden i projektet). For population A bestemmes en række baggrundsvariable og effektvariable direkte eller afledt fra registerdata. Baggrundsvariablene skal i det videre anvendes til vægtning af referencegruppen (dvs. den gruppe af virksomheder, som deltagervirksomhederne skal sammenlignes med), mens effektvariable er de variable, ud fra hvilke, effekten af programmet vurderes. Baggrundsvariable knyttet til vejledningstidspunktet I tabellen nedenfor er vist typiske baggrundsvariable (bv). Disse er baseret direkte på registerdata fra vejledningstidspunktet, dvs. det halvår, hvori vejledningen finder sted, da vægtning af referencegruppen sker ud fra gruppen af vejledtes karakteristika på vejledningstidspunktet. Data for antal ansatte, årsværk, omsætning, indtjening (omsætning køb) og eksport er opgivet pr. kvartal. De to førstnævnte defineres derfor som hhv. det gennemsnitlige antal ansatte og antal årsværk i halvåret for vejledningstidspunktet, mens omsætningen, indtjeningen og eksporten defineres som totaler for vejledningshalvåret. En særlig problemstilling knytter sig til valg af branche og region for virksomheder, der ændrer disse i løbet af evalueringsperioden. Det er her valgt at branche og region defineres ud fra vejledningstidspunktet. 4
variabel Forklaring Værdier vejl_bv Vejledt 1 = vejledt, 0 = ej vejledt vejlaar_bv År for vejledning 2008, 2009,. vejlhalvaar_bv Halvår for vejledning 1,2,. region_bv Region (hvis en virksomhed modtager vejledning fra et væksthus i en anden region - vælges væksthusets region) branche_bv Branchekode - ejerform_bv Ejerform - startdato_bv Startår - ansat_bv Gennemsnitligt antal ansatte (*) - aarsv_bv Gennemsnitligt antal årsværk (*) - oms_bv Total omsætning (*) - eksport_bv Total eksport (*) - indtj_bv Total indtjening (*) - Baggrundsvariable Over(historisk) tid For at karakterisere virksomhederne yderligere defineres en række baggrundsvariable (bv) over tid. Variablene defineres ud fra den gennemsnitlige halvårlige vækst i hhv. antal ansatte, antal årsværk, omsætning, indtjening og eksport tre halvår forud for vejledningstidspunktet med værdierne. -1 hvis væksten er under 0 % 0 hvis væksten er mellem 0 % og 10 % 1 hvis væksten er over 10 % Ved at medtage disse baggrundsvariable er det muligt at vægte referencegruppen, så der tages højde for den historiske udvikling. På den måde sikrer man, at deltagervirksomhederne sammenlignes med virksomheder, som har haft nogenlunde samme vækst som deltagervirksomhederne inden deltagelse i programmet. variabel Forklaring Værdier ansathis_bv Historisk antal ansatte {-1, 0, 1} aarsvhis_bv Historisk antal årsværk {-1, 0, 1} omshis_bv Historisk omsætning {-1, 0, 1} indtjhis_bv Historisk indtjening (salg-køb) {-1, 0, 1} eksporthis_bv Historisk eksport {-1, 0, 1} Effektvariable Til at vurdere effekten af vejledningen bestemmes typisk følgende effektvariable (ev), som karakteriserer virksomhedernes udvikling efter at de har modtaget vejledningen. variabel Forklaring Værdier Aarsv_ev Vækst i antal årsværk fra vejledningstidspunktet {0,1} {0, 1} ansat_ev Vækst i antal ansatte fra vejledningstidspunktet oms_ev Vækst i omsætning fra vejledningstidspunktet {0, 1} eksport_ev Vækst i eksport fra vejledningstidspunktet {0, 1} indtj_ev Værditilvækst i indtjening (salg-køb) {0, 1} Vækst i antal ansatte (ansat_bv), vækst i eksport (eksport_ev) samt vækst i omsætning (oms_bv) bestemmes ud fra den gennemsnitlige halvårlige vækst fra vejledningstidspunktet og tre halvår frem med værdierne 0 hvis væksten er under succeskriteriet. 1 hvis væksten er over succeskriteriet 5
Effekten vurderes ud fra en given effektvariabel ved at beregne et direkte gennemsnit for indsatsgruppen og et vægtet gennemsnit for referencegruppen. Gennemsnittene af 0-1 effektvariablen udtrykker andelen af virksomheder, som har haft en vækst over succeskriteriet. og ved at sammenligne gennemsnittene for de to grupper, kan det testes, hvorvidt indsatsgruppen har klaret sig bedre, dårligere eller ligeså godt som referencegruppen. Konstruktionen af 0-1-effektvariablen muliggør altså en sammenligning/test af, om der er forskel på, hvor stor en andel af virksomheder i henholdsvis deltagergruppen og referencegruppen, der har haft en vækst over succeskriteriet. Man kunne også anvende den samlede vækst i alle vejledte virksomheder som effektvariabel. Denne effektvariabel har imidlertid den svaghed, at den kan risikere at blive påvirket af ekstreme vækstværdier for enkeltvirksomheder og desuden tages ikke hensyn til store og små virksomheders vækst. Dette undgår man med 0-1-effektvariablen. Til gengæld skelner 0-1 effektvariablen ikke mellem om en virksomhed har haft 11 eller 51 pct. vækst. Begge dele bliver talt som en lige stor succes. Den konkrete grænse for succeskriteriet bør bero på en analyse af datamaterialet eller på foruddefinerede succeskriterier (mål) for indsatsen. I de tilfælde, hvor der ikke er foruddefinerede succeskriterier, vil det altid være hensigtsmæssigt at foretage følsomhedsanalyser, dvs. teste om konklusioner om positive/negative effekter er robuste over for alternative succeskriterier. Hvilke baggrundsvariable beskriver bedst om en virksomhed har modtaget vejledning? Hvad skal man kontrollere for? Identifikation af signifikante baggrundsvariable Forud for selve standardiseringen, bestemmes hvilke baggrundsvariable, der skal standardiseres efter. Formålet er at tildele observationerne i referencegruppen vægte, således at denne ligner indsatsgruppen. Det skal derfor undersøges, hvilke baggrundsvariable, der er signifikante i karakteriseringen af indsatsgruppen, eller med andre ord, hvilke baggrundsvariable, der er bestemmende for, hvorvidt en observation modtager indsatsen eller ej. I forbindelse med pilotprojektet om Væksthusene svarer dette til at besvare følgende spørgsmål: Har virksomhedens geografiske placering (region), branche og størrelse eksempelvis betydning for, hvorvidt virksomheden har modtaget vejledning, eller er vejledte virksomheder ligeligt repræsenteret i alle regioner? Ideelt set skulle man i effektvurderingen kontrollere for både uobserverbare faktorer (fx virksomhedsejernes motivation for vækst) og observerbare faktorer (fx virksomhedernes branchetilknytning). I praksis er det normalt kun muligt at kontrollere for observerbare faktorer, og enhver effektmåling skal tages med dette vigtige forbehold. Frekvenstabeller og -figurer Eksplorativ analyse Eksplorativ forundersøgelse foretages ved inspektion af frekvenstabeller og - figurer, hvor virksomhedernes fordeling på baggrundsvariablenes levels undersøges for vejledte og ikke-vejledte virksomheder. Dette giver et hurtigt overblik over, hvordan gruppen af vejledte virksomheder er sammensat i forhold til hele gruppen af ikke-vejledte virksomheder, og dermed hvilke baggrundsvariabler det kan være relevant at bruge til konstruktion af referencegruppen. Eksempel: Væksthusene vejledning i første halvår 2008 For Væksthusene viser nedenstående figurer gruppen af vejledte og ikke vejledtes fordelinger på en række baggrundsvariable. Det ses, at der er betydelige forskel på de to gruppers fordelinger på bl.a. region og branche. Fx er forholdsvis mange af de vejledte virksomheder lokaliseret i Region Midtjylland og forholdsvis mange af de vejledte virksomheder er fremstillingsvirksomheder. 6
Region Branche Ejerform 7
Antal ansatte Omsætning Eksport 8
Indtjening Startdato Historisk antal ansatte 9
Historisk omsætning Historisk indtjening Historisk eksport 10
Logistisk regression Til bestemmelsen af statistisk signifikante baggrundsvariable anvendes logistisk regression, hvor vejl_bv modelleres ved de øvrige baggrundsvariable på bagrund af den eksplorative analyse. Logistisk regression i SAS Eksempel: Væksthusene vejledning i første halvår 2008 For Væksthusene udføres logistisk regression i SAS ved brug af proceduren proc logistic og modellen listet herunder som giver outputtet model vejl_bv = region_bv branche_bv ejerform_bv eksport_bv ansat_bv oms_bv indtj_bv omshis_bv indtjhis_bv ansathis_bv startdato_bv eksporthis_bv; Type 3 Analysis of Effects Wald Effect DF Chi-Square Pr > ChiSq region_bv 4 54.7770 <.0001 branche_bv 10 38.9712 <.0001 ejerform_bv 3 18.3908 0.0004 eksport_bv 5 16.1419 0.0065 Signifikante baggrundsvariable Ud fra resultatet af kørslen ses, at baggrundsvariablene region, branche, ejerform og eksport i halvåret for vejledningen har afgørende betydning for, hvorvidt en virksomhed har modtaget vejledning. Signifikansniveauet varierer fra <0,0001 til 0,0065. De resterende baggrundsvariable har derimod ikke signifikant betydning. Disse variable medtages derfor ikke i den nedenstående standardisering. Værktøjet proc logistic skal ses som et støtteværktøj og ikke som en endelig facitliste. Værktøjet er især sensibelt når der arbejdes med meget få observationer og/eller mange detaljeret baggrundsvariable. Observationsantallet kan der af gode grunde ikke ændres ved, men antallet af variabler og detaljeringsgraden af disse vil være parametre, der kan ændres og justeres på. Hvis man arbejder med meget detaljeret baggrundvariable er der desuden en risiko for at karakteristika for de vejledte virksomheder ikke kan genfindes i kontrolgruppen. Dette resulterer i, at den/de observationer ikke indgår i vurderingen. Derudover skal man være opmærksom på muligheden for (muliti)kollinearitet når der vælges baggrundsvariable. Det vil sige at der er tilnærmelsesvis lineær afhængighed mellem to eller flere af de forklarende variable i en regressionsmodel. Eksempelvis vil der med stor sandsynlighed være en stærk korrelation mellem antallet af ansatte og mængden af årsværk. 11
Udregning af vægte Beregning af vægte og standardisering Efter at have bestemt hvilke baggrundsvariable, der standardiseres efter, beregnes vægte. Observationerne i indsatsgruppen tildeles alle samme vægt, w = =, 1,i 1, w1,i N1 i hvor N 1 angiver det totale antal observationer i indsatsgruppen. I tilfældet, hvor der ikke findes en tilsvarende observation i referencegruppen og således intet sammenligningsgrundlag gives vægten 0. Dette bør dog undgås, eksempelvis ved at anvende en anden gruppering af baggrundsvariable, da en vægt på 0 medfører, at observationen i indsatsgruppen ikke indgår i den følgende analyse. Observationerne i referencegruppen tildeles hver en vægt således, at referencegruppen har samme karakteristika som indsatsgruppen. Fx i Væksthusprojektet tildeles observationer i brancher, der optræder hyppigt i gruppen af vejledte større vægt, end brancher, der optræder mindre hyppigt. Vægten for observationer i referencegruppen er givet ved N0 n1,a,b,c,... w 0(a,b,c,...) =, w0,i = N. 0 N n 1 0,a,b,c,... Her angiver N 1 det totale antal observationer i indsatsgruppen og N 0 det totale antal observationer i referencegruppen, for hvilke, der findes tilsvarende vejledte virksomheder. n 1,a,b,c, og n 0,a,b,c, angiver antallet af hhv. observationer i indsatsgruppen og referencegruppen i kategorierne a, b, c, for baggrundsvariablene A, B, C, De observationer, for hvilke, der ikke findes tilsvarende observationer i indsatsgruppen, tildeles vægten 0, og tæller ikke med i det samlede antal, N 0. i Fiktivt eksempel: Tildeling af vægte Tildelingen af vægte beskrevet ovenfor illustreres med følgende (fiktive) eksempel. Effekten af en given indsats rettet mod virksomheder ønskes vurderet ud fra effektvariablen ev. Baggrundsvariablene signifikante for, hvorvidt en given virksomhed har modtaget indsatsen, er bestemt til at være region samt type af virksomhed (offentlig eller privat). I de følgende to tabeller er først indsatsgruppen, dernæst referencegruppen (bestående af alle andre virksomheder), fordelt på baggrundsvariable. Antal ( vejl _ bv j = 1 ) Region 1 Region 2 Region 3 Offentlig 19 0 2 Privat 6 10 4 Antal ( vejl _ bv j = 0 ) Region 1 Region 2 Region 3 Offentlig 89 120 100 Privat 180 77 45 Der er i alt N 1 = 41 virksomheder i indsatsgruppen, og de tildeles alle vægten 1, således at deres vægte summer til 41. Der er i alt 611 virksomheder i referencegruppen. For 120 af virksomhederne (cellen region 2, offentlig) findes der ingen vejledte virksomheder, og disse skal derfor tildeles vægten 0 og ikke tælle med i totalen N 0. Virksomhederne i referencegruppen, for hvilke der findes tilsvarende vejledte virksomheder, tæller således N 0 = 491 og tildeles vægten givet ved formlen ovenfor. Eksempelvis bliver vægten for hver af de private virksomheder i Region 2: N0 n1(region 2,privat) 491 10 w (region 2,privat) = = N n (region 2, privat) 41 77 0 1 0 1.56 12
Vægtene for hver enkel observation er listet i de to nedenstående tabeller for hhv. indsatsgruppen og referencegruppen. w ( vejl _ bv j = 1 ) Region 1 Region 2 Region 3 1 Offentlig 1 0 1 Privat 1 1 1 w ( 0 vejl _ bv j = 0 ) Region 1 Region 2 Region 3 Offentlig (491 19)/(41 89) 2.56 0 (491 2)/(41 100) 0.24 Privat (491 6)/(41 180) 0.40 (491 10)/(41 77) 1.56 (491 4)/(41 45) 1.06 Det ses her, at vægtene summer til hhv. N 1 = 41 (19 1+0 1+2 1+6 1+10 1+4 1) og N 0 =491 (89 2.56 + 120 0 + + 45 1.06). Tildelingen af vægte til hver observation sker i SAS ved tilføjelse af en ny variabel, w. Et udsnit af eksemplets datasæt ser herefter ud som nedenstående. Obs. Vejl_bv Type Region ev w 1 1 Offentlig 3 100 1 2 0 Offentlig 1 130 (491 19)/(41 89) 3 0 Privat 1 220 (491 6)/(41 180) 4 0 Privat 2 80 (491 10)/(41 77) 5 1 Privat 2 250 1 Vægtningen reducerer populationen yderligere Det bemærkes at vægtningen kan reducere populationen yderligere, idet vejledte virksomheder, for hvilke der ikke findes tilsvarende ikke vejledte virksomheder og dermed sammenligningsgrundlag, fjernes fra populationen (tildeles vægten 0). Ligeledes fjernes ikke vejledte virksomheder, der ikke tilsvarer nogen vejledte virksomheder, fra populationen (tildeles vægten 0). Tester for forskel på indsatsgruppen og den vægtede referencegruppen Vurdering af effekten For indsatsgruppen samt referencegruppen udregnes et vægtet gennemsnit af effektvariablen ev. Resultaterne kan præsenteres som indeks, hvor referencegruppen har indeks 100. Effekten vurderes ved at udføre en test for hypotesen om signifikant difference mellem det vægtede gennemsnit af effektvariablen for indsatsgruppen og referencegruppen. Dette formuleres således H0 : N w ev N i= 1 1 1 N i i 0 w ev j= 1 0 j N j = 0 H1 N w ev N 1 N i i 0 :, i= 1 1 w ev j= 1 0 j N j 0 hvor i angiver indekset på observationer tilhørende indsatsgruppen og j indekset på observationer tilhørende referencegruppen. I tilfælde af flere effektvariable udføres ovenstående test for hver variabel. Det er også muligt at udføre test mellem undergrupper fra både indsats- og 13
referencegruppen. Eksempelvis, i forbindelse med projektet Væksthusene, kan der testes for signifikant forskel mellem vejledte virksomheder i Region Hovedstaden og vejledte virksomheder i Region Syddanmark, etc. Procedurer i SAS Til test for signifikant forskel på effektmålene for gruppen af vejledte og ikkevejledte anvendes proceduren surveyreg, da estimationen af variansen i denne procedure er mere korrekt i forhold til antagelserne som vægtningen baserer sig på. Vægtene anvendt er de tidligere konstruerede på baggrund af de signifikante baggrundsvariable bestemt ovenfor. Output fra SAS Eksempel: Væksthusene vejledning i første halvår 2008 For Væksthusene vises et eksempel på output fra sammenligning af effektvariablen indtj_ev i gruppen af vejledte og ikke-vejledte nedenfor. The SURVEYREG Procedure Regression Analysis for Dependent Variable indtj_ev Data Summary Number of Observations 27845 Sum of Weights 27845.0 Weighted Mean of indtj_ev 0.38048... Estimated Regression Coefficients Standard Parameter Estimate Error t Value Pr > t vejl_bv 0 0.38006632 0.00585806 64.88 <.0001 vejl_bv 1 0.47540984 0.04521391 10.51 <.0001 Analysis of Contrasts Contrast Num DF F Value Pr > F Ho: 0 = 1 1 4.37 0.0365 Tolkning af output fra SAS Af ovenstående læses gennemsnittet af effektvariablen indtj_ev til 0.475 og 0.380 for hhv. gruppen af vejledte og ikke vejledte med tilhørende standardafvigelser på 0.045 og 0.006. P-værdien er 0.0365 for test om ens gennemsnit af effektvariablen indtj_ev for gruppen af vejledte og ikke vejledte, hvilket indikerer, at der er signifikant forskel på gruppen af vejledte og ikke vejledte mht. indtjening. Gruppen af vejledte klarer sig bedre. Resultater for Væksthusene Resultaterne er vist i tabeller nedenfor. For hvert effektmål præsenteres et indeks, der angiver forholdet mellem estimatet for gennemsnittet af effektmålet for de vejledte virksomheder og den vægtede referencegruppe. En værdi over 100 indikere, at der er en større andel Succeser i deltagergruppen end i referencegruppen. Herefter følger estimaterne med spredninger for begge grupper samt p-værdien for testen for forskel på gennemsnittet af effektmålet for de vejledte virksomheder og det vægtede gennemsnit af effektmålet for de ikkevejledte virksomheder (den vægtede referencegruppe). For hvert mål er resultaterne givet på regionsniveau samt for alle observationer. 14
Ændring i omsætning (oms_ev) fordelt på regioner Vejledte virksomheder Vægtet referencegruppe Region Indeks Estimat Spredning Estimat Spredning p-værdi 1. Hovedstaden 98 0,250 0,153 0,254 0,011 0,9766 2. Midtjylland 135 0,292 0,056 0,216 0,007 0,1819 3. Nordjylland 133 0,313 0,116 0,235 0,016 0,5070 4. Sjælland 146 0,300 0,145 0,205 0,010 0,5135 5. Syddanmark 102 0,217 0,086 0,214 0,010 0,9693 I alt 127 0,279 0,041 0,220 0,005 0,1507 Ændring i antal ansatte (ansat_ev) fordelt på regioner Vejledte virksomheder Vægtet referencegruppe Region Indeks Estimat Spredning Estimat Spredning p-værdi 1. Hovedstaden 0 0,000 0,000 0,146 0,007 0,0000 2. Midtjylland 93 0,092 0,036 0,100 0,005 0,8420 3. Nordjylland 70 0,063 0,061 0,090 0,010 0,6564 4. Sjælland 146 0,200 0,127 0,137 0,007 0,6183 5. Syddanmark 65 0,087 0,059 0,133 0,008 0,4385 I alt 81 0,090 0,026 0,111 0,003 0,4338 Ændring i indtjening (indtj_ev) fordelt på regioner Vejledte virksomheder Vægtet referencegruppe Region Indeks Estimat Spredning Estimat Spredning p-værdi 1. Hovedstaden 206 0,750 0,153 0,364 0,011 0,0119 2. Midtjylland 121 0,462 0,062 0,382 0,009 0,2035 3. Nordjylland 96 0,375 0,121 0,390 0,020 0,9034 4. Sjælland 221 0,800 0,127 0,361 0,012 0,0006 5. Syddanmark 91 0,348 0,099 0,381 0,011 0,7392 I alt 125 0,475 0,045 0,380 0,006 0,0365 Ændring i eksport (eksport_ev) fordelt på regioner Vejledte virksomheder Vægtet referencegruppe Region Indeks Estimat Spredning Estimat Spredning p-værdi 1. Hovedstaden 105 0,125 0,117 0,119 0,010 0,9606 2. Midtjylland 87 0,138 0,043 0,158 0,007 0,6481 3. Nordjylland 170 0,250 0,108 0,147 0,018 0,3472 4. Sjælland 125 0,100 0,095 0,080 0,010 0,8314 5. Syddanmark 168 0,261 0,092 0,156 0,011 0,2538 I alt 117 0,172 0,034 0,147 0,005 0,4722 Sammenvejning af effektvariable ved flere delperioder 15
Ønskes et fælles effektmål for flere forskellige delperioder, fx tre perioder, kan dette opnås ved at beregne et (vægtet) gennemsnit af de tre perioders effektmål. Hvis eksempelvis X 1, X 2 og X 3 angiver effektmålene for tre perioder, så kan det fælles effektmål X fælles beregnes ved X fælles = w1 X1 + w 2 X 2 + w 3 X 3. Vægtene, w 1, w 2, og w 3, angiver forholdet, med hvilket de tre effektmål sammenvejes. En umiddelbar tilgang ville være at vægte ligeligt, dvs. sætte w 1 = w 2 = w 3 = 1/3. Alternativ kunne vægtes ud fra antal deltagende virksomheder i hver periode eller mængde, fx antal ansatte, total omsætning, hvis der er stor forskel på de tre grupper. Variansen bestemmes ligeledes som den vægtede sum af de tre varianser (kvadrerede spredninger), hvor vægtende kvadreres 2 var( X fælles ) = w1 var(x 1) + w 2 var(x 2 ) + w 3 var(x 3). 2 2 Ud fra de sammenvejede effektmål og de tilhørende varianser for hhv. indsatsgruppen og referencegruppen, bestemmes den sædvanlige teststørrelse, U, hvorudfra p-værdien findes. U = X var(x fælles,1 fælles,1 X fælles,0 ) + var(x fælles,0 ~ N(0,1). ) Ovenstående sammenvejning antager, at referencegrupperne er uafhængige, idet deres kovarians er sat lig nul. Reelt er de tre referencepopulationer ikke uafhængige, eftersom de tre referencepopulationer indeholder mange af de samme virksomheder. Men antagelsen om uafhængighed er rimelig ud fra et pragmatisk synspunkt, idet den næppe vil rykke meget ved resultatet. Endvidere kompliceres kovarians-beregningen af at referencepopulationerne ikke indeholder nøjagtig de samme virksomheder, og den gængse formel herfor derfor ikke kan bruges. 16