Effektmåling 1. Mere attraktive almene boliger?

Transkript

1 Effektmåling 1 Mere attraktive almene boliger? Effektevaluering af Omprioriteringsloven 2000

2 Effektmålinger Formål med pjecerne Der er i dag et stigende fokus på effekterne af de offentlige indsatser, der iværksættes på forskellige områder. Det gælder inden for social-, beskæftigelses- og uddannelsespolitik og flere andre politikområder. Har indsatserne den ønskede virkning, eller gør de i virkeligheden ingen forskel? SFI specialiserer sig i effektmålinger inden for velfærdsområdet. Vores effektpjecer præsenterer eksempler på konkrete forskningsbaserede effektmålinger. Der er en række særlige udfordringer forbundet med effektmålinger inden for velfærdsområdet, og hver pjece beskriver, hvordan de er blevet løst i den konkrete måling. Formålet med pjecerne er at opbygge et katalog med eksempler på effektmålinger, som kan tjene til inspiration for SFI s kunder og brugere, når der skal planlægges fremtidige effektmålinger. Denne pjece er nummer et i rækken. Effektmålingens fire spørgsmål Alle effektmålinger skal kunne besvare fire fundamentale spørgsmål: 1. Hvad er indsatsen? 2. Hvordan virker indsatsen? 3. Hvordan er personer blevet placeret i indsats- og kontrolgruppen? 4. Hvad ville situationen have været for personerne indsatsgruppen, hvis de i stedet havde været i kontrolgruppen?

3 Hvad er indsatsen? Det første spørgsmål vedrører indsatsens indhold og omfang. Modsat medicinske eksperimenter, hvor indsats og omfang er kendt (fx en behandling med et bestemt præparat i en bestemt dosering), er dette ikke altid tilfældet inden for fx social- og uddannelsesområdet. Undertiden består en indsats i praksis af forskellige interventioner uden en præcis dokumentation af indhold og omfang i forhold til den enkelte modtager af indsatsen. I så fald har effektmåling ikke megen mening, da årsagen til en evt. målt effekt er ukendt. Effektmålinger forudsætter, at indsatsens indhold og omfang kan beskrives præcist. Hvordan virker indsatsen? Det andet spørgsmål vedrører, hvad indsatsen har en effekt på, dvs. hvad formålet med indsatsen er. I medicinske eksperimenter kan effekten af en indsats fx måles i forhold til, om en patient bliver rask eller dør. I beskæftigelsespolitikken vil det ofte være relevant at måle effekten på, hvor hurtigt deltagerne får et arbejde og evt. til hvilken løn. For socialpolitiske indsatser kan det være mere diffust, hvad formålet er, og dermed hvordan en effekt skal måles. Det kan fx handle om, at personer, som modtager indsatsen, får forbedret deres livskvalitet, bliver socialt integreret eller får mindsket konsekvenserne af et handikap. Effektmålinger forudsætter, at formålet er klarlagt, og at der kan defineres klare udfaldsmål for indsatsen, dvs. indikatorer, der kan give et kvantitativt mål for, i hvilken grad indsatsen har en effekt på, fx om modtagerne af indsatsen er blevet bedre socialt integreret. For at måle effekterne af en indsats skal der indsamles data, der beskriver udfaldsmålene for både indsats- og kontrolgruppen.

4 Hvem er i indsats- og kontrolgruppen? Det tredje spørgsmål handler om, hvilke principper der bruges, når personerne skal placeres i indsats- og kontrolgruppen. Effektmålinger går ud på at sammenligne udfaldsmålet i en indsatsgruppe, som modtager indsatsen, med udfaldet i en kontrolgruppe, som ikke modtager indsatsen eller som modtager en alternativ indsats. Effekten af indsatsen resultatet findes som den gennemsnitlige forskel i udfaldsmålet mellem indsats- og kontrolgruppen. I medicinske forsøg fordeles personer oftest til indsats- og kontrolgruppen ved lodtrækning, dvs. ud fra et tilfældighedsprincip. Den metode kan nogle gange også anvendes på social- og beskæftigelsesområdet. Lodtrækning har den store fordel, at personerne ikke selv har indflydelse på, om de kommer i indsatsgruppen eller kontrolgruppen. Derfor vil den eneste systematiske forskel mellem de to grupper være den forskellige indsats. Det betyder, at man med en relativ stor sikkerhed kan bruge forskellen i udfaldsmål mellem de to grupper som mål for effekten af indsatsen. Under visse betingelser kan der måles effekter uden lodtrækning. Problemet heri er, at personer bliver placeret i indsats- eller kontrolgruppen på baggrund af årsager, som ikke er oplyst. Indsats- og kontrolgruppen kan derfor være systematisk forskellige af årsager, som ikke har noget med indsatsen at gøre. Forskellen mellem indsatsog kontrolgruppe kan i så fald fejlagtigt blive tilskrivet indsatsen, selv om det i virkeligheden handler om, at de to grupper er forskellige af helt andre årsager. For at undgå det, kræves en ret detaljeret beskrivelse af personerne i henholdsvis indsatsgruppe og kontrolgruppe, så det gennem statistiske analyser er muligt at søge at tage højde for eventuelle systematiske forskelle mellem personerne i de to grupper, der ikke har med indsatsen at gøre. Uanset metode er det altid meget vigtigt, at der er fuld klarhed over, hvordan personer er fordelt til indsatsog kontrolgruppen.

5 Hvad ville det kontrafaktiske udfald have været? Det fjerde spørgsmål vedrører, hvordan udfaldet ville have været for personer i indsatsgruppen, hvis de i stedet havde været i kontrolgruppen? En person kan kun optræde i enten indsats- eller kontrolgruppen, og man observerer derfor kun det realiserede udfald og ikke det kontrafaktiske udfald (det udfald, som netop denne person ville have haft, hvis vedkommende havde været i den anden gruppe). Af denne årsag kan man aldrig beregne effekten af en indsats på individniveau, men alene den gennemsnitlige effekt for en gruppe af personer. Når der ikke er systematiske forskelle mellem de to grupper af personer i henholdsvis indsatsgruppe og kontrolgruppe bortset fra den indsats, der skal undersøges kan det kontrafaktiske udfald for indsatsgruppen defineres som det gennemsnitlige udfaldsmål for kontrolgruppen. En vigtig udfordring i alle effektmålinger er derfor at gøre sammensætningen af indsatsgruppen og kontrolgruppen så ens som muligt. Det stiller krav om en meget omhyggelig tilrettelæggelse og gennemførelse af forsøg og dataindsamling. En effektmåling skal altid definere det kontrafaktiske udfald og undersøge, i hvilket omfang personer i indsats- og kontrolgruppen er sammenlignelige.

6 Mere attraktive almene boliger? Effektevaluering af Omprioriteringsloven 2000 Mads Meier Jæger

7 Baggrund Den almene boligsektor udgør ca. 20 pct. af den samlede boligmasse i Danmark. I de seneste år er der opstået en række almene boligområder med betydelige sociale og økonomiske problemer. Disse områder er karakteriseret ved høj husleje, høj flyttefrekvens, mange arbejdsløse, meget slidte bygninger, vold, hærværk, etc. Der har været gennemført en række indsatser med henblik på at gøre de almene boligområder mere attraktive for en større del af befolkningen. Formål Undersøgelsen skal bestemme effekten af Omprioriteringsloven 2000 (OL 2000), der er den seneste boligsociale indsats. Effekten måles på beboerne i de almene boligområders tilfredshed med deres boligområde. OL 2000 åbnede mulighed for, at almene boligområder med store sociale og økonomiske problemer kunne modtage støtte til to typer indsatser: Fysisk renovering af området og huslejenedsættelser. Undersøgelsen skal vise, om investeringer i fysisk renovering og huslejenedsættelse fører til højere tilfredshed blandt beboerne med deres boligområde, større deltagelse i sociale aktiviteter og øget lyst til at blive boende i området. Datagrundlag Der blev til undersøgelsen udvalgt 10 almene boligområder, som alle har modtaget støtte gennem OL Der blev gennemført to spørgeskemaundersøgelser i de 10 boligområder. Den første undersøgelse fandt sted i efteråret 2003, før indsatserne gennem OL 2000 gik i gang. Der blev interviewet beboere svarende til ca. 100 beboere i hvert område. Den anden undersøgelse fandt sted i efteråret 2007, efter indsatserne gennem OL 2000 var gennemført. I den anden undersøgelse blev der interviewet 577 beboere fra de 10 boligområder, hvoraf 298 var gengangere fra den første undersøgelse. Effektmålingen er baseret på de 298 beboere, som deltog både i 2003 (før indsatsen) og i 2007 (efter indsatsen).

8 Undersøgelsens opbygning Hvad er indsatsen? Indsatsen er de totale økonomiske ressourcer gennem OL 2000, der er brugt på henholdsvis fysisk renovering og huslejenedsættelse i hvert af de 10 boligområder. Modsat traditionelle effektmålinger er de to indsatser i undersøgelsen ikke givet på individniveau, men derimod på områdeniveau. Det betyder, at alle beboere i det samme boligområde har modtaget den samme indsats. Indsatsernes omfang er kvantificeret som antal 1000 kr. brugt på fysisk renovering og huslejenedsættelse per bolig og per bebygget kvadratmeter. Denne kvantificering betyder, at man kan sammenligne indsatsernes omfang på tværs af de 10 boligområder, selv om boligområderne varierer meget i størrelse. I praksis er der stor forskel på indsatsernes omfang i de 10 boligområder: I Vejleåparken i Ishøj har man fx brugt ca. kr per bolig til fysisk renovering, mens man i Tingbjerg i Brønshøj kun har brugt ca. kr per bolig.

9 Hvordan virker indsatsen? Målet var at finde ud af, om indsatserne påvirkede beboertilfredshed, social deltagelse og flytteønsker. Til at måle disse tre dimensioner blev der benyttet en række spørgeskemabaserede indikatorer, som alle tidligere har været brugt i undersøgelser blandt beboere i almene boligområder. Indikatorerne var med i spørgeskemaundersøgelserne både i 2003 og Dette betyder, at de 298 beboere, som er med i begge spørgeskemaundersøgelser, er blevet interviewet om tilfredshed med boligområdet både før og efter indsatserne gennem OL Hvem er i indsats- og kontrolgruppen? Personerne i indsats- og kontrolgruppen er de 298 beboere, som var med i begge spørgeskemaundersøgelser. Undersøgelsen af OL 2000 adskiller sig fra et traditionelt effektdesign i den forstand, at beboerne er observeret både i indsats- og kontrolgruppen. Beboerne er observeret i kontrolgruppen før indsatserne gennem OL 2000 blev gennemført og i indsatsgruppen efter indsatserne blev gennemført. Der er imidlertid store forskelle på tværs af de 10 boligområder med hensyn til indsatsernes økonomiske omfang. Derfor skal effektmålingen ikke svare på, om økonomisk støtte fører til højere beboertilfredshed (sammenlignet med ingen støtte), men derimod om højere støtte (sammenlignet med lavere støtte) fører til højere tilfredshed.

10 Hvad ville det kontrafaktiske udfald have været? Fordi de 298 beboere i effektmålingen er observeret to gange, både i kontrolgruppen (før indsatserne gennem OL 2000) og i indsatsgruppen (efter indsatserne gennem OL 2000), udgør de deres egen kontrolgruppe. Undersøgelsen sammenligner dermed beboer x s tilfredshed efter indsatserne (i 2007) med beboer x s tilfredshed før indsatserne (i 2003). Og fordi der er forskel på boligområderne, hvad angår indsatsernes økonomiske omfang, kan effektmålingen afgøre, om beboere i boligområder, som har modtaget større indsatser, er blevet relativt mere eller mindre tilfredse sammenlignet med beboere i områder, som har modtaget mindre indsatser. Undersøgelsen løser dermed problemet med det kontrafaktiske udfald ved at benytte et design, hvor den samme person dog på forskellige tidspunkter observeres både i kontrol- og indsatsgruppen. Hovedresultater Undersøgelsen viser, at der generelt har været positive effekter af indsatserne gennem OL 2000 på beboernes tilfredshed med deres boligområde. Positive effekter betyder, at beboere i områder, som har modtaget en stor indsats, er blevet mere tilfredse med deres område sammenlignet med beboere i områder, som har modtaget en lille indsats. Det viser sig dog, at de to indsatser fysisk renovering og huslejenedsættelse påvirker forskellige aspekter af beboertilfredsheden. Større indsatser til fysisk renovering fører til, at beboerne generelt er mere tilfredse med boligområdet, mener at området har et godt omdømme og synes, at den fysiske standard i boligområdet er høj. Større indsatser til huslejenedsættelse fører til, at beboerne ikke i så høj grad ønsker at flytte væk fra området, at de deltager i flere sociale aktiviteter i boligområdet og at de synes, at den fysiske standard i boligområdet er høj

11 Reference Jæger, Mads Meier (2008): Mere attraktive almene boliger? Effektevaluering af Omprioriteringsloven København: SFI rapport 08:02.

12 Hvad virker på social- og velfærdsområdet? Har de offentlige indsatser den effekt, man ønsker virker de efter hensigten? Det er centrale spørgsmål på den velfærdspolitiske dagsorden. SFI specialiserer sig i effektmålinger inden for velfærdsområdet, som kan svare på disse spørgsmål. SFI s pjecer om effektmåling præsenterer en række konkrete forskningsbaserede effektmålinger. I pjecerne tematiseres de særlige udfordringer, der ligger i at måle effekter af sociale indsatser og andre tiltag på velfærdsområdet. ISBN Design: / Tryk: Schultz Grafisk A/S