Henrik Bulskov Styltsvig

Transkript

1 Data Mining Henrik Bulskov Styltsvig Datalogiafdelingen, hus 42.1 Roskilde Universitetscenter Universitetsvej 1 Postboks Roskilde Telefon: Fax:

2 Målsætning Data Mining Forudsigelse Beskrivelse Klassifikation Temporale serier Regression Clustering Sekvenser Associationsregler Henrik Bulskov Styltsvig 2

3 Forudsigelse Ved at tage udgangspunkt i kendt viden ønskes viden om fremtidige mønstre Hvis man skal markedsføre et nyt produkt, hvem er så målgruppen? Hvilke varer skal placeres tæt på hinanden i et supermarked? Hvornår på året er det bedst at reklamere for et bestemt produkt? Henrik Bulskov Styltsvig 3

4 Forudsigelse - Nøjagtighed og dækning Nøjagtighed (accuracy) og dækning (coverage) bruges til at beskrive sikkerheden i forudsigelsen. Nøjagtighed beskriver hvor ofte de behandlede data opfylder forudsigelsen når betingelsen er opfyldt. Dækning beskriver hvor stor del af en gruppering der dækkes. IF opsparing = ja & alder = & indkomst = 40-59K THEN gruppering 1 {nøjagtighed = 0.8, dækning = 0.5} Henrik Bulskov Styltsvig 4

5 Beskrivelse Ønsket om at forstå eksisterende informationer på en ny måde At udlede viden/mønstre fra eksisterende informationer, som ikke er allerede er kendt Associationerne mellem emneord i afleveringsopgaven er et eksempel på dette Henrik Bulskov Styltsvig 5

6 Similaritet For at kunne udføre data mining er det nødvendigt med en mulighed for at afgøre om/hvor meget to elementer ligner hinanden. Numeriske værdier er naturligvis simple, men for booleske værdier og kategoriseringer skal der dannes mulighed for similaritet. Henrik Bulskov Styltsvig 6

7 Indlæring Kontrolleret indlæring Læring hvor indlæringsprocessen kontrolleres og tilpasses facit Målet er at danne den model der bedst beskriver de givne informationer Ukontrolleret indlæring Læring hvor resultatet ikke er kendt på forhånd Målet er en model der beskriver ny viden over de givne informationer Henrik Bulskov Styltsvig 7

8 Nearest Neighbor Nærmeste nabo er en af de simpleste former for data mining. Den tager sit udgangspunkt i at noget der er placeret tæt på hinanden også har noget til fælles. Danner ikke generelle beskrivelser, men gruppere instanser. Henrik Bulskov Styltsvig 8

9 Nearest Neighbor Nærmeste nabo er en af de simpleste former for data mining. Den tager sit udgangspunkt i at noget der er placeret tæt på hinanden også har noget til fælles. Danner ikke generelle beskrivelser, men gruppere instanser. A B Henrik Bulskov Styltsvig 9

10 Nearest Neighbor Nærmeste nabo er en af de simpleste former for data mining. Den tager sit udgangspunkt i at noget der er placeret tæt på hinanden også har noget til fælles. Danner ikke generelle beskrivelser, men gruppere instanser. Henrik Bulskov Styltsvig 10

11 Nearest Neighbor Nærmeste nabo er en af de simpleste former for data mining. Den tager sit udgangspunkt i at noget der er placeret tæt på hinanden også har noget til fælles. Danner ikke generelle beskrivelser, men gruppere instanser. Henrik Bulskov Styltsvig 11

12 Nearest Neighbor Nærmeste nabo er en af de simpleste former for data mining. Den tager sit udgangspunkt i at noget der er placeret tæt på hinanden også har noget til fælles. Danner ikke generelle beskrivelser, men gruppere instanser. A B Henrik Bulskov Styltsvig 12

13 K-nearest neighbor Løsningen er ikke kun at kigge på den nærmeste nabo, men at udvælge k naboer som grundlag for bestemmelse af naboskabet. A B Henrik Bulskov Styltsvig 13

14 Nearest Neighbor Kan ikke bruges til at afgøre hvilke attributter der skal anvendes. Er meget følsom for irrelevante attributter. Er forholdsvis beregnings tung, hvilket dog kan optimeres ved at anvende prototypiske instanser som beskrivelse. Giver ikke en generalisering af data, men der kan dannes generelle beskrivelser af klasserne ved at betragte en mængde af de mest typiske instanser i klasserne. Henrik Bulskov Styltsvig 14

15 Clustering Clustering er en metode til gruppering af data, uden på forhånd at kende noget til data. Ofte anvendes clustering når der ønskes et overblik over en given datamængde. Målet for en clustering kan både være at samle similar elementer i segmenter, eller at finde elementer der ikke passer ind skiller sig ud. Henrik Bulskov Styltsvig 15

16 Clustering formel definition Database D = {t 1, t 2,, t n } K = antallet af clusters ƒ : D {1,, k} hvor hver t i er indeholdt i cluster K j, 1 j k. Et cluster k j indeholder netop de tupler som kan tildeles med ƒ, hvilket er k i = {t i ƒ(t i ) = k j, 1 j k og t i D}. Henrik Bulskov Styltsvig 16

17 Clustering Clustering Hierarkisk Partition Sammenhobning opsplitning Henrik Bulskov Styltsvig 17

18 Clustering - similaritet centroid radius R m C m n å i 1 n å i 1 ( t ) mi ( t - C ) mi n n m 2 diameter D m n n åå i 1 j 1 ( t - t ) mi ( n)( n -1) mj 2 Henrik Bulskov Styltsvig 18

19 Clustering - centrum Centroid Mediod Henrik Bulskov Styltsvig 19

20 Clustering - similaritet Single Link Mindste afstand mellem et element i en cluster og et element i en anden. Complete Link Største afstand mellem et element i en cluster og et element i en anden. Average Den gennemsnitlige afstand mellem et element i en cluster og et element i en anden. Centroid Afstanden mellem centrum i en cluster og centrum i en anden. Mediod Afstanden mellem centerelementet i en cluster og centerelementet i en anden Henrik Bulskov Styltsvig 20

21 Clustering - Hierarkisk Sammenhobning opsplitning Henrik Bulskov Styltsvig 21

22 Clustering - partition Giver kun en mængde af clusters. Der gives det antal clusters der ønskes. 19 elementer kan deles i 4 clusters på måder!!! Squared error K-Means Nearest neighbor PAM(partition around mediods) Henrik Bulskov Styltsvig 22

23 Decision Trees DT er ofte anvendt til klassifikation. Udgangspunktet er en database med {A 1,, A n } attributter og {K 1,, k n } klasser. Hver knude (ikke blade) har en attribut som etiket. Hver kant er et prædikat der kan tildeles til forældre knudens attribut. Hver blad-knude har en klasse som etiket. Henrik Bulskov Styltsvig 23

24 Decision Trees Målet med DT er at hver knude deler søgemulighederne i to lige store dele. Valg af splittende attributter Valget af hvilke attributter der skal anvendes til at opdele efter kræver analyse af træningsdata og ofte inddragelse af ekspert viden. Rækkefølgen af splittende attributter Rækkefølgen er vigtig, idet rækkefølgen bestemmer dybden af træet. Henrik Bulskov Styltsvig 24

25 Decision Trees Antallet af gang der skal opdeles Ved simple attributter, såsom køn, er det oplagt hvor mange delinger en given attribut behøver, men ved mere komplekse domæner kan det være meget vanskeligt at afgøre. Træ strukturen Et balanceret træ med mindst højde er at fortrække Stop betingelser Optimalt skal der først stoppes når træningsdata er perfekt klassificeret, men det kan være nødvendigt at stoppe før ved store træer. Henrik Bulskov Styltsvig 25

26 Decision Trees Træningsdata Strukturen i DT bestemmes af træningsdata, er disse for små er træet måske ikke generelt nok, mens det hvis datamængden er for stort måske bliver overfittet. Beskæring Efter dannelse af et DT kan det være nødvendigt at modificere strukturen af optimeringshensyn. Henrik Bulskov Styltsvig 26

27 Neural Networks NN bliver ofte brugt til klassifikation. Målet er at afgøre hvilket output der kan forventes fra et givent input. NN skal oplæres med træningsdata. NN er robust overfor støj og manglende input NN kan fortsætte med at lære efter den egentlig træningsfase. For at benytte NN skal antallet af output knuder afgøres, og hvilke attributter der skal benyttes i input. Henrik Bulskov Styltsvig 27

28 Neural Networks En simple neuron kan modtage flere input giver et enkelt output. Henrik Bulskov Styltsvig 28

29 Neural Networks I McCulloch and Pitts model vægtes input. Det er netop disse vægte der benyttes under indlæring. Henrik Bulskov Styltsvig 29

30 Neural Networks Et neuralt netværk er normalt opbygget af input og output neuroner samt et eller flere skjulte lag af neuroner. Henrik Bulskov Styltsvig 30

31 Neural Networks Henrik Bulskov Styltsvig 31

32 Neural Networks Aktiveringsfunktion Aktiveringsfunktionen bestemmer hvilke mønstre det neurale netværk kan genkende. Ofte anvendes logistiske funktioner. Læringsrate Læringsraten bestemmer hvor store udsving der kan være i indlæringsprocessen. Små udsving betyder en længere læringsproces og fare for at finde lokale minimum, for store udsving fare for at overse mønstret. Antal neuroner Antallet af neuroner bestemmer hvor mange attributter netværket kan inddrage. Problemet med for mange er overfitting, mens for få kan give et for generelt netværk. Henrik Bulskov Styltsvig 32

33 Neural Networks NN er vanskelige at forstå og overskue. Det er vanskeligt at udlede regler fra NN. Input skal være numerisk. Testning af NN er omfattende Det er vanskeligt at verificere NN Det er måske ikke mulig at få et NN til at konvergere Det kan være kostbart at anvende NN Henrik Bulskov Styltsvig 33

34 Associationsregler Associationsregler er implikationer. Implikationerne kan være komplekse IF A & B & C Z IF A & B X & Z & Q Selvom associationsregler er implikationer er disse ikke kausale. Henrik Bulskov Styltsvig 34

35 Associationsregler Nøjagtighed Dækning Regel If breakfast cereal purchased then milk purchased. If bread purchased then Swiss cheese purchased. If 42 years old and purchased pretzels and purchased dry roasted peanuts then beer will be purchased. Nøjagtighed 85% 15% 95% Dækning 20% 6% 0,01% Henrik Bulskov Styltsvig 35

36 Associationsregler Beskrivelse Makroniveau kan beskrive sammenhænge mellem attributter og kan opsummere. Mikroniveau Meget detaljerede regler kan udledes og specifikke konsekvenser undersøges. Forudsigelser Regler kan også benyttes til forudsigelser. Hver regel kan benyttes til forudsigelse og konsekvensen og nøjagtigheden definere udfaldet og forudsigelsens nøjagtighed. Henrik Bulskov Styltsvig 36