Data-analyse og datalogi

Transkript

1 Det Naturvidenskabelige Fakultet Data-analyse og datalogi Studiepraktik 2014 Kristoffer Stensbo-Smidt Datalogisk Institut 23. oktober 2014 Dias 1/15

2 Hvorfor bruge tid på dataanalyse?! Alle virksomheder samler data big data! Data er lig information! Det gælder om at udnytte informationen før konkurrenten. Dias 2/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

3 Hvorfor bruge tid på dataanalyse?! Alle virksomheder samler data big data! Data er lig information! Det gælder om at udnytte informationen før konkurrenten. Forbes: Data Scientist: Sexiest Job Of The Century? Dias 2/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

4 Hvad gør det så brugbart? Man tænker på data på en ny måde. Hver koordinat svarer til en målt størrelse, f.eks. højde, vægt, alder osv. Giver mulighed for at finde sammenhænge i enorme mængder af information. Dias 3/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

5 Hvad gør det så brugbart? Man tænker på data på en ny måde. Hver koordinat svarer til en målt størrelse, f.eks. højde, vægt, alder osv. Giver mulighed for at finde sammenhænge i enorme mængder af information. Det er jo bare matematik! Dias 3/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

6 Dataanalyse er ikke trivielt! Statistik er central del af dataanalyse og statistik er skide svært! Eksempel: hvor meget data skal vi have, før vi kan udtale os med sikkerhed? Kommer an på problemet og på dataene! Dias 4/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

7 Dataanalyse er ikke trivielt! Opgaver! Dias 5/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

8 Dataanalyse er ikke trivielt! Svært at gætte sig til en model. Og svært at specificere den, selvom vi kender modelfamilien. Stort problem: statistikken kan være misvisende, når man ikke forstår den. Specielt et problem i mange dimensioner, hvor man må stole på matematikken. Selv garvede forskere bliver snydt en gang imellem! Dias 6/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

9 Sære korrelationer Kilde: Dias 7/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

10 Sære korrelationer Kilde: Dias 7/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

11 Sære korrelationer Kilde: Dias 7/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

12 Sære korrelationer Kilde: Dias 7/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

13 Større datamængder færre problemer? Det bliver typisk lettere at bestemme modeller og korrelationer, når der er mange data. Hvert datapunkt bidrager med information! Dias 8/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

14 Større datamængder færre problemer? Det bliver typisk lettere at bestemme modeller og korrelationer, når der er mange data. Hvert datapunkt bidrager med information! y x Dias 8/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

15 Større datamængder færre problemer? Det bliver typisk lettere at bestemme modeller og korrelationer, når der er mange data. Hvert datapunkt bidrager med information! y x Dias 8/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

16 Større datamængder færre problemer? Det bliver typisk lettere at bestemme modeller og korrelationer, når der er mange data. Hvert datapunkt bidrager med information! y x Dias 8/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

17 Øvelse: M&M s Gruppe Gruppe Gruppe Gruppe Dias 9/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

18 Øvelse: M&M s Gruppe 1 Bud før gruppesnak Bud efter gruppesnak Gruppe 2 Bud før gruppesnak Bud efter gruppesnak Gruppe 3 Bud før gruppesnak Bud efter gruppesnak Gruppe 4 Bud før gruppesnak Bud efter gruppesnak Dias 10/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

19 Øvelse: M&M s Gennemsnit Før gruppesnak Antal bud Gennemsnit Efter gruppesnak Antal bud Dias 11/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

20 Større datamængder nye problemer! Vi har mere information, men typisk også langt flere dimensioner og mere støj, end de gængse analysemetoder kan håndtere. Dias 12/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

21 Større datamængder nye problemer! Vi har mere information, men typisk også langt flere dimensioner og mere støj, end de gængse analysemetoder kan håndtere. Her kan machine learning (ML) hjælpe! Dias 12/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

22 Større datamængder nye problemer! Vi har mere information, men typisk også langt flere dimensioner og mere støj, end de gængse analysemetoder kan håndtere. Her kan machine learning (ML) hjælpe! Machine learning er en gren af datalogi og anvendt statistik, som dækker software, der forbedrer sin evne til at løse en bestemt opgave ud fra data eller erfaring. Dias 12/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

23 Machine learning ML kan bruges i problemer, hvor man ikke bare kan skrive et simpelt program: Sortere spam fra rigtig mail. Finde ud af, om en kunde vil købe et bestemt produkt. Vi aner ikke, hvordan vi skulle lave programmer, der kan dette, så vi må ty til programmer, der kan lære sig det! Dias 13/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

24 Machine learning ML kan bruges i problemer, hvor man ikke bare kan skrive et simpelt program: Sortere spam fra rigtig mail. Finde ud af, om en kunde vil købe et bestemt produkt. Vi aner ikke, hvordan vi skulle lave programmer, der kan dette, så vi må ty til programmer, der kan lære sig det! To vigtige ting at huske: Der skal være struktur i dataene, før ML kan bruges. Vi er ikke ude efter den rigtige model, men bare en god approksimation. Dias 13/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

25 Machine learning ML er en essentiel del af data mining og big data! Anvendelsesområder: Detailhandlen. Industrien. Banker. Online services (Google, Facebook, Skype, Spotify,... ). Medicinalindustrien. Forskning. Kæmpe udfordringer for datalogien: Læringsdelen er et enormt optimeringsproblem, der skal løses hurtigt og præcist! Når en model er konstrueret, skal den også kunne evalueres hurtigt og præcist. Dias 14/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi

26 Machine learning opgaver I skal nu lege med rigtige, ægte ML-metoder: Lineær regression. k nearest neighbours. K-means clustering. Random forests (feature selection). Dias 15/15 Kristoffer Stensbo-Smidt Data-analyse og datalogi