Public Analytics Tema: Effektmåling

Transkript

1 Public Analytics Tema: Effektmåling Tirsdag den 19. marts MARCH COPYRIGHT SAS INSTITUTE

2 Public Analytics Tema: Effektmåling Tirsdag den 19. marts MARCH COPYRIGHT SAS INSTITUTE

3 Public Analytics er drift og udvikling af den offentlige sektor med analyser af data Borgerkontakt Effektiv sagsbehandling Risikobaseret kontrol Bemandingsplanlægning Medarbejderanalyser Forebyggende indsatser Evidensbaseret indsats Kriminalitet Bedre service Økonomistyring Offentlige indkøb Socialt bedrageri 3 22 MARCH COPYRIGHT SAS INSTITUTE

4 Public Analytics er et internationalt tema - Kendskab til den offentlige sektor - Nysgerrighed ift. teknologi og analyser - Ønske om udvikling 4 22 MARCH COPYRIGHT SAS INSTITUTE

5 Visionær eller hverdagsramt husk hvor hurtigt udvikling trods alt kan gå 12% af Danmarks befolkning bruger internettet Betaling af regninger foregår på posthuset Politiken har ikke en internet-udgave De fleste tjekker deres telefonsvarer, når de kommer hjem 91% af Danmarks befolkning bruger internettet Der bliver solgt flere e-readers end paperbacks til jul Den størst voksende gruppe på Facebook er kvinder på år Der bliver dagligt købt togbilletter via smartphones 5 22 MARCH COPYRIGHT SAS INSTITUTE

6 Styregruppe for disse arrangementer 6 22 MARCH COPYRIGHT SAS INSTITUTE

7 Dagens program 13:00 13:15 13:15 13:45 13:45 14:30 14:30 14:45 14:45 15:30 15:30 15:45 15:45 Velkommen Effektmåling og data mining /Kaare Brandt Petersen (SAS) Metoder til effektmåling /Majken Pontoppidan (SFI) (Pause) Effektmåling i praksis /Dorte Bukdahl (Københavns Kommune) Afrunding Vin, tapas og snak 7 22 MARCH COPYRIGHT SAS INSTITUTE

8 Public Analytics, 19. marts 2013 Data mining og effektmåling Kaare Brandt Petersen, Projektchef, ph.d MARCH COPYRIGHT SAS INSTITUTE

9 Data mining og effektmåling same same? Data mining = undersøg data for mønstre og sammenhænge (Data er typisk observational data, dvs. det data, du nu engang har) Effektmåling = undersøg data for bestemte/kausale sammenhænge (Data er indsamlet/tilrettelagt, så det er egnet til disse undersøgelser) Effektmåling Data mining 9 22 MARCH COPYRIGHT SAS INSTITUTE

10 Disclaimer Hvis A og B altid sker sammen (forekommer samtidig i data), vil ingen dataanalyse kunne skelne effekten af den ene fra den anden. Hvis A og B sker ofte - men ikke altid - sammen, kan vi bruge data mining MARCH COPYRIGHT SAS INSTITUTE

11 Spørgsmål associeret med effektmåling Hvilken effekt havde lovændringen (informationskampagnen, pressesagen)? Hvilken effekt vil det have hvis vi gennemfører lovændringen? Hvilken indsats (behandling, sanktion, kommunikation,..) er mest effektiv? Hvilken indsats (behandling, sanktion, kommunikation,..) er mest effektiv for netop denne type borger? MARCH COPYRIGHT SAS INSTITUTE

12 DATA MINING OG EFFEKTMÅLING Udfordring I: Underliggende variable Bjarne Bjarnesen Mand 46 år Maskiningeniør Single Ingen børn Lejebolig Glostrup Nedsat tid Astma-kroniker MARCH COPYRIGHT SAS INSTITUTE Borgeren Resultat Indsats Bjarne kom i arbejde men hvorfor? Mulige indsatser Virksomhedspraktik offentlig Virksomhedspraktik privat Tilskudsstilling Videreuddannelse Samtaler om jobsøgning

13 Udfordring II: Curse of dimensionality MARCH COPYRIGHT SAS INSTITUTE

14 Løsning 1: Kontrollerede forsøg Gruppe 1 (indsats A) Hvordan gik det? Succesrate = 56% Random Gruppe 2 (ingen indsats) Hvordan gik det? Succesrate = 41% MARCH COPYRIGHT SAS INSTITUTE

15 Løsning 2: Variansanalyse Estimat af middelværdier og varians Direkte bidrag til middelværdi fra tre forskellige variable Bidrag fra kombinationseffekter af de tre underliggende variable NB: a) Husk alle (!) relevante underliggende variable b) Antallet af kombinationer bliver hastigt meget højt c) Kun balancerede designs er lette at fortolke MARCH COPYRIGHT SAS INSTITUTE

16 Løsning 3: Prædiktiv model Sammenhæng mellem input og resultat Indsats x = 0 eller x=1 Baggrundsvariable Køn, alder, kommune, udd, NB: a) Husk alle (!) relevante underliggende variable. b) Støj er variation fra variable, der ikke er inkluderet MARCH COPYRIGHT SAS INSTITUTE

17 DATA MINING OG EFFEKTMÅLING Løsning 4: Propensity Score Matching DATASÆT MATCHING Grupper sammenlignelige pga. prop-score. Succesrate (Indsats=0) = 62% Succesrate (Indsats=1) = 81% PROPENSITY SCORE: P[Indsats] = f(alder, køn, civil, ) MARCH COPYRIGHT SAS INSTITUTE = Succes = Ikke succes

18 Beslutningstræer finder relevante grupper MARCH COPYRIGHT SAS INSTITUTE

19 Opsummering Kontrollerede forsøg Variansanalyse, mixed models o.lign. Prædiktive modeller Lineær regression, GLM, neurale netværk, beslutningstræer, Propensity Score Matching Beslutningstræer til at finde relevante grupper MARCH COPYRIGHT SAS INSTITUTE

20 Spørgsmål? MARCH COPYRIGHT SAS INSTITUTE

21 Majken Pontoppidan MARCH COPYRIGHT SAS INSTITUTE

22 (Pause) MARCH COPYRIGHT SAS INSTITUTE

23 Dorte Bukdahl MARCH COPYRIGHT SAS INSTITUTE

24 Public Analytics Afrunding MARCH COPYRIGHT SAS INSTITUTE

25 Om analytiske SAS -produkter SAS Visual Analytics SAS Text Analytics MARCH COPYRIGHT SAS INSTITUTE

26 Rådgivning om at arbejde analytisk Inspirationsworkshop Nye idéer - en måde at se det hele lidt fra oven 1-2 halvdagsmøder SABA Workshop SABA = Skitseret Anvendelse af Business Analytics Kvalificering af den gode idé datakilder, personer, arbejdsprocesser, værdi Tre halvdagsmøder Modenhedsanalyse Eftersyn af, hvor I er i dag, og hvordan I kommer videre Interviews MARCH COPYRIGHT SAS INSTITUTE

27 Analytiske arrangementer Erfa-døgn for sundhedssektoren, Nyborg Seminar Alarmklokker der bimler, Købmagergade 9 SAS Global Forum, San Fransisco PBLS, Amsterdam april 22. april 28. april 1. maj juni A2013, London juni SAS Forum, København Kursus: Advanced Analytics for Customer Intelligence Christopher Mues, København Kursus: Analytics: Putting it all to work, Christopher Mues, København september oktober 25. oktober MARCH COPYRIGHT SAS INSTITUTE

28 Også meget analytisk Vin og tapas MARCH COPYRIGHT SAS INSTITUTE