Public Analytics Tema: Effektmåling Tirsdag den 19. marts 2013 1 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Public Analytics Tema: Effektmåling Tirsdag den 19. marts 2013 2 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Public Analytics er drift og udvikling af den offentlige sektor med analyser af data Borgerkontakt Effektiv sagsbehandling Risikobaseret kontrol Bemandingsplanlægning Medarbejderanalyser Forebyggende indsatser Evidensbaseret indsats Kriminalitet Bedre service Økonomistyring Offentlige indkøb Socialt bedrageri 3 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Public Analytics er et internationalt tema - Kendskab til den offentlige sektor - Nysgerrighed ift. teknologi og analyser - Ønske om udvikling 4 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Visionær eller hverdagsramt husk hvor hurtigt udvikling trods alt kan gå 12% af Danmarks befolkning bruger internettet Betaling af regninger foregår på posthuset Politiken har ikke en internet-udgave De fleste tjekker deres telefonsvarer, når de kommer hjem 91% af Danmarks befolkning bruger internettet Der bliver solgt flere e-readers end paperbacks til jul Den størst voksende gruppe på Facebook er kvinder på 55-65 år Der bliver dagligt købt 4.000 togbilletter via smartphones 5 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Styregruppe for disse arrangementer 6 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Dagens program 13:00 13:15 13:15 13:45 13:45 14:30 14:30 14:45 14:45 15:30 15:30 15:45 15:45 Velkommen Effektmåling og data mining /Kaare Brandt Petersen (SAS) Metoder til effektmåling /Majken Pontoppidan (SFI) (Pause) Effektmåling i praksis /Dorte Bukdahl (Københavns Kommune) Afrunding Vin, tapas og snak 7 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Public Analytics, 19. marts 2013 Data mining og effektmåling Kaare Brandt Petersen, Projektchef, ph.d. 8 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Data mining og effektmåling same same? Data mining = undersøg data for mønstre og sammenhænge (Data er typisk observational data, dvs. det data, du nu engang har) Effektmåling = undersøg data for bestemte/kausale sammenhænge (Data er indsamlet/tilrettelagt, så det er egnet til disse undersøgelser) Effektmåling Data mining 9 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Disclaimer Hvis A og B altid sker sammen (forekommer samtidig i data), vil ingen dataanalyse kunne skelne effekten af den ene fra den anden. Hvis A og B sker ofte - men ikke altid - sammen, kan vi bruge data mining 10 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Spørgsmål associeret med effektmåling Hvilken effekt havde lovændringen (informationskampagnen, pressesagen)? Hvilken effekt vil det have hvis vi gennemfører lovændringen? Hvilken indsats (behandling, sanktion, kommunikation,..) er mest effektiv? Hvilken indsats (behandling, sanktion, kommunikation,..) er mest effektiv for netop denne type borger? 11 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
DATA MINING OG EFFEKTMÅLING Udfordring I: Underliggende variable Bjarne Bjarnesen Mand 46 år Maskiningeniør Single Ingen børn Lejebolig Glostrup Nedsat tid Astma-kroniker 12 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE Borgeren Resultat Indsats Bjarne kom i arbejde men hvorfor? Mulige indsatser Virksomhedspraktik offentlig Virksomhedspraktik privat Tilskudsstilling Videreuddannelse Samtaler om jobsøgning
Udfordring II: Curse of dimensionality 13 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Løsning 1: Kontrollerede forsøg Gruppe 1 (indsats A) Hvordan gik det? Succesrate = 56% Random Gruppe 2 (ingen indsats) Hvordan gik det? Succesrate = 41% 14 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Løsning 2: Variansanalyse Estimat af middelværdier og varians Direkte bidrag til middelværdi fra tre forskellige variable Bidrag fra kombinationseffekter af de tre underliggende variable NB: a) Husk alle (!) relevante underliggende variable b) Antallet af kombinationer bliver hastigt meget højt c) Kun balancerede designs er lette at fortolke 15 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Løsning 3: Prædiktiv model Sammenhæng mellem input og resultat Indsats x = 0 eller x=1 Baggrundsvariable Køn, alder, kommune, udd, NB: a) Husk alle (!) relevante underliggende variable. b) Støj er variation fra variable, der ikke er inkluderet 16 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
DATA MINING OG EFFEKTMÅLING Løsning 4: Propensity Score Matching DATASÆT MATCHING Grupper sammenlignelige pga. prop-score. Succesrate (Indsats=0) = 62% Succesrate (Indsats=1) = 81% PROPENSITY SCORE: P[Indsats] = f(alder, køn, civil, ) 17 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE = Succes = Ikke succes
Beslutningstræer finder relevante grupper 18 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Opsummering Kontrollerede forsøg Variansanalyse, mixed models o.lign. Prædiktive modeller Lineær regression, GLM, neurale netværk, beslutningstræer, Propensity Score Matching Beslutningstræer til at finde relevante grupper 19 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Spørgsmål? 20 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Majken Pontoppidan 21 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
(Pause) 22 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Dorte Bukdahl 23 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Public Analytics Afrunding 24 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Om analytiske SAS -produkter SAS Visual Analytics SAS Text Analytics 25 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Rådgivning om at arbejde analytisk Inspirationsworkshop Nye idéer - en måde at se det hele lidt fra oven 1-2 halvdagsmøder SABA Workshop SABA = Skitseret Anvendelse af Business Analytics Kvalificering af den gode idé datakilder, personer, arbejdsprocesser, værdi Tre halvdagsmøder Modenhedsanalyse Eftersyn af, hvor I er i dag, og hvordan I kommer videre Interviews 26 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Analytiske arrangementer Erfa-døgn for sundhedssektoren, Nyborg Seminar Alarmklokker der bimler, Købmagergade 9 SAS Global Forum, San Fransisco PBLS, Amsterdam 11. 12. april 22. april 28. april 1. maj 11. 12. juni A2013, London 19. 20. juni SAS Forum, København Kursus: Advanced Analytics for Customer Intelligence Christopher Mues, København Kursus: Analytics: Putting it all to work, Christopher Mues, København 18. 19. september 22. 24. oktober 25. oktober 27 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE
Også meget analytisk Vin og tapas 28 22 MARCH 2013 2012 COPYRIGHT SAS INSTITUTE