Introduktion til Visual Data Mining and Machine Learning

Transkript

1 SAS USER FORUM Introduktion til Visual Data Mining and Machine Learning Astrid Enslev Vestergård, SAS Institute

2 Agenda Introduktion til et par machine learningmodeller Case-introduktion Demo SWEDEN 2017

3 Beslutningstræ 1 X2 < 0.63 X2 >= X1 < 0.50 X1 >= 0.50 X1 < 0.50 X1 >= X1 < 0.54 X1 >= 0.54 X2 >=

4 Beslutningstræ Split populationen op i to sub-populationer A Splitter populationen op i to sub-populationer ved en vilkårlig variabel x her med værdien 42 N = P=0.52 N = P = 0.65 x <= 42 x > 42 N = P = 0.86 B Variable Value Split strength* Gender M vs F Age Etnicity {DK,EU} vs {noneu} Insurance {A,C} vs {D,E,F} Municipality Find ud af, hvilken variabel x er, og for hvilken værdi splittet skal ske ved. Næsten alle muligheder bliver afprøvet {Aarhus,Aalborg, } vs {Odense, Esbjerg, } Business type {Bakery, Farming,..} vs {Banking, Insurance, } Salary Number of children X=0 vs 0<X Company size * = Small means strong relation C Måle splitstyrken Mand Kvinde T = T = Traditionel Chi2-test for uafhængighed giver en P-værdi for hypotesen, at køn og target er uafhængige (ikke-relaterede). Små P-værdier betyder derfor, at vi kan afvise hypotesen med stor sikkerhed.

5 Beslutningstræ Opdel inputrummet i kasser (bladnoder) X2 < X2 >= X1 < 0.50 X1 >= 0.50 X1 < 0.50 X1 >= 0.50 x X1 < 0.54 X1 >= X2 >= x 1

6 Beslutningstræ Kompleksitet af beslutningstræsmodeller Fejl L=2 L=3 L=4 L=5 Valideringsfejl Træningsfejl Antal slutnoder Simple modeller Komplekse modeller

7 Overbygning på beslutningstræet Bagging aka bootstrap aggregation Laver stikprøver af observationerne Laver flere modeller Laver en gennemsnitsmodel Sørger for, at outliers ikke får for meget vægt

8 Random forest Bagging begge veje Random forests er en ensemblemetode, der bruger flere beslutningstræer baseret på tilfældigt udvalgte subsæt af data. Fuldt datasæt Tilfældige stikprøvedata Træ på stikprøvedata

9 Overbygning på beslutningstræet Boosting fokus på problemerne

10 Læring Adaptiv boosting Boosting fokus på problemerne Klassificering Data set Subset Tree Error Weight Upweight errors Upweight errors Source: Machine Perception and Robotics Group, Dept. of Robotics Science and Technology, Chubu University

11 Neurale netværk Hvad er det egentlig, det er? Neurale netværker var oprindeligt inspireret af den biologiske analogi af et neuron i hjernen. Det er imidlertid bare en matematisk model. I det neurale netværk er inputtet sendt fremad i netværket, transformeres og sendt videre frem, indtil det når outputnoden, som er estimatet af targetvariablen. Output Hidden layer variables Definition of the hidden layer variables Input values Weights (to be estimated) More weights

12 Overfitting Datapartitionering Tilfældig permutering af datapunkter Alt data Træningsdata Valideringsdata Testdata Data brugt til at estimere modelparametrene. Data brugt til at finde den optimale kompleksitet (fleksibilitet). Data brugt til at estimere performance af modellen.?

13 Case Organics Hvem skal modtage tilbud om økologiske varer? Finde den bedste model til klassifiering i SAS Viya VDMML

14 Organics Datasættet Variabelnavn Type Label Antal kategorier ID Char Customer Loyalty ID 22,223 DemAffl Num Affluence Grade DemAge Num Age DemGender Char Gender 3 DemReg Char Geographic Region 5 DemTVReg Char Television Region 13 PromClass Char Loyalty Status 4 PromSpend Num Total Spend PromTime Num Loyalty Card Tenure TargetBuy Char Organics Purchase Indicator 2 TargetAmt Num Organics Purchase Count

15 Proc Surveyselect Simple sampling method Organics Datapartionering 60% er træningsdata, og 40% er valideringsdata

16 Demo

17 SAS USER FORUM Astrid Enslev Vestergård M: E: