Tips og tricks til Proc Means. Per Andersen Senior IM Consultant Dong Energy, Group IT, Trading IT, Analytics

Transkript

1 Tips og tricks til Proc Means Per Andersen Senior IM Consultant Dong Energy, Group IT, Trading IT, Analytics

2 ENERGI I FORANDRING Marts 2012

3 DONG Energy er en af Nordeuropas førende energikoncerner med hovedsæde i Danmark Vores forretning er baseret på at fremskaffe, producere, distribuere og handle energi og tilknyttede produkter i Nordeuropa. Vi beskæftiger omkring medarbejdere og omsatte for 57 mia. kr. (EUR 7,6 mia.) i EXPLORATION & PRODUCTION WIND POWER THERMAL POWER ENERGY MARKETS SALES & DISTRIBUTION 3

4 Omsætning og resultater i 2011 Omsætningen udgjorde 56,8 mia. kr. i 2011 mod 54,6 mia. kr. i Stigningen på 4% skyldtes højere produktion af olie og gas samt højere energipriser. EBITDA udgjorde 13,8 mia. kr. i 2011 mod 14,1 mia. kr. i Et fald på 3%. Årets resultat udgjorde 2,9 mia. kr. og var 1,6 mia. kr. lavere end i Faldet skyldtes især lavere avance ved salg af virksomheder og højere skat i Norge.

5 Tips og tricks til Proc Means Ideen til dette indlæg har jeg fra Andrew H. Karp Sierra Information Services Inc. California US Andrew holdt et tilsvarende indlæg på SUGI 27 (2002) og SAS Global Forum

6 Tips og tricks til Proc Means Denne præsentation vil vise 13 (forhåbentlige) gode tips til Proc Means (kan også bruges i Proc Summary). Mange af de viste tips indeholder V8/V9 features i Proc Means Denne præsentation vil: vise hvordan det er muligt at: Reducere antal gange Proc Means skal kører Benytte endnu flere analyse værdier Tilføj mere output information Reducere processing overhead med Proc Means og store datamængder 6

7 Tips og tricks til Proc Means Proc Means og Proc Summary Begge procedure er en del af Base SAS software Blev i SAS V6 ens procedurer (det er lang tid siden (1991)) Er begge meget effektfulde til at summere og analysere data Forskel: Proc Means danner SAS output (default) Proc Summary danner SAS-dataset (default) 7

8 Syntax: MEANS Procedure PROC MEANS <option(s)> <statistic-keyword(s)>; BY <DESCENDING> variable-1 < <DESCENDING> variable-n><notsorted>; CLASS variable(s) </ option(s)>; FREQ variable; ID variable(s); OUTPUT <OUT=SAS-data-set> <output-statistic-specification(s)> <id-group-specification(s)> <maximum-id-specification(s)> <minimum-id-specification(s)> </ option(s)> ; TYPES request(s); VAR variable(s) < / WEIGHT=weight-variable>; WAYS list; WEIGHT variable; 8

9 Tips og tricks til Proc Means Eksempel data Kundedata rækker Mulige klassifikationsvariable Postnr (503 unikke værdier) Salgskontor (3 unikke værdier) Grossist (38 unikke værdier) Kundetype (3 unikke værdier) Koen (2 unikke værdier) Region (1 unik værdi) 9

10 Tips og tricks til Proc Means Eksempel data Mulige analysevariable antal Pris_ialt enhpris 10

11 Tips og tricks til Proc Means Simpelt eksempel Beregn sum på Antal Pris_ialt Pr. Salgskontor grossist 11

12 Tips og tricks til Proc Means title1 "Simpel eksempel på brug af Proc Means"; Proc Means data=sugdk.kundedata2 noprint missing; class salgskontor grossist; var antal pris_ialt; output out=ny sum=total_ant total_pris; run; proc print data=ny; run; Bemærk længere kolonnenavne (nyt i V8) 12

13 Tips og tricks til Proc Means Simpel eksempel på brug af Proc Means Obs salgskontor grossist _TYPE FREQ_ total_ant total_pris , , , , , , , , , , , , ,51 Type = 0 total niveau Type = 1 ialt pr. grossist Der er også type = 2 og 3 13

14 Tips og tricks til Proc Means Hvad skete der? Der blev dannet et SAS dataset i work med summer indenfor de analysevariable der var angivet i CLASS-statementet. Der bliver dannet 2 variable fra PROC MEANS _type_ angiver summeringsniveau _freq_ antal rækker der er summeret i dette summeringsniveau 14

15 Tip #1 Benyt Proc Means til at beregne Quantiler Proc Means kan nu også beregne Quantiler Percentiler Median m.m. Det betyder at du er fri for at benytte Proc Univariate til dette Proc Tabulate og Proc Report har også disse muligheder 15

16 Tip #1 Benyt Proc Means til at beregne Quantiler Beregn sum på Pris_ialt Pr. grossist 16

17 Tip #1 Benyt Proc Means til at beregne Quantiler title; title1 "Tip 1, Benyt Proc Means til at beregne Quantiler"; Proc Means data=sugdk.kundedata2 noprint missing; class grossist; var pris_ialt; output out=ny2 sum=median_pris mean=total_pris p50=mean_pris; run; proc print data=ny2; run; 17

18 Tip #1 Benyt Proc Means til at beregne Quantiler Tip 1, Benyt Proc Means til at beregne Quantiler Obs grossist _TYPE FREQ_ median_pris total_pris mean_pris , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,22 Hvad er der galt med dette dataset? Pga. tastaturproblemer er der angivet forkerte kolonnenavne 18

19 Tip #2 Autoname og Autolabel En metode til at undgå fejlagtige kolonnenavne er at benytte Autoname og Autolabel options. Disse options hører til Output statement og giver automatisk kolonnenavne der indeholder det oprindelige kolonnenavn + oplysning om hvilken statistik der er benyttet. 19

20 Tip #2 Autoname og Autolabel title1 "Tip 2, Brug AUTONAME og AUTOLABEL options"; Proc Means data=sugdk.kundedata2 noprint missing; label pris_ialt = 'Total pris'; class grossist; var pris_ialt; output out=ny3 sum= mean= p50= /autolabel autoname; run; 20

21 Tip #2 Autoname og Autolabel Tip 2, Brug AUTONAME og AUTOLABEL options Obs grossist _TYPE FREQ_ pris_ialt_sum pris_ialt_mean pris_ialt_p , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,22 21

22 Tip #2 Autoname og Autolabel proc contents data=ny3 noprint out=ny4 (keep=name label); run; proc print data=ny4; run; proc print data=ny3 l; run; 22

23 Tip #2 output fra PROC CONTENTS Tip 2, Brug AUTONAME og AUTOLABEL options Obs NAME LABEL 1 _FREQ_ 2 _TYPE_ 3 grossist Grossist 4 pris_ialt_mean Total pris_mean 5 pris_ialt_p50 Total pris_p50 6 pris_ialt_sum Total pris_sum 23

24 Tip #2, output fra Proc Print Tip 2, Brug AUTONAME og AUTOLABEL options Obs Grossist _TYPE FREQ_ Total pris_sum Total pris_mean Total pris_p , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,22 24

25 Tip #3 Dan flere output dataset i en PROC MEANS En metode der ofte er overset, men meget effektfuld Proc Means skal kun køres 1 gang Der er mulighed for at benytte _type_ til at styre output Værdien i _type_ svarer til det binære talsystem 25

26 Tip #3 Dan flere output dataset i en PROC MEANS title1 "Tip 3, Dan flere output dataset i en Proc Means"; Proc Means data=sugdk.kundedata2 noprint missing; class postnr salgskontor grossist kundetype; var antal pris_ialt; output out=tip3 sum=; run; Outputdataset indeholder kolonner Her er 4 class-kolonner, giver _type_ fra 0 til 15, eller binært 0000 til

27 Tip #3 Dan flere output dataset i en PROC MEANS I version 6 var der mulighed for at bruge where på _type_ i outputstatement Og senere mulighed for at benytte bit-testing f.eks where _type_ = 1001 b; (9) 27

28 Tip #3, binære værdier på _type_ 0000 = grandtotal 0001 = pr. kundetype 0010 = pr. grossist 0011 = grossist og kundetype 0100 = pr. salgskontor 0101 = salgskontor og kundetype 0110 = salgskontor og grossist 0111 = salgskontor, grossist og kundetype 1000 = pr. postnr 1001 = postnr og kundetype 1010 = postnr og grossist 1011 = postnr, grossist og kundetype 1100 = postnr og salgskontor 1101 = postnr, salgskontor og kundetype 1110 = postnr, salgskontor og grossist 1111 = alle kombinationer 28

29 Tip #3 Dan flere output dataset i en PROC MEANS data testtyp9; set tip3; where _type_=9; run; * eller ; data testtyp9a; set tip3; if _type_='1001'b; /* bemærk at where ikke kan benyttes med BIT expression */ run; 29

30 Tip #3 Dan flere output dataset i en PROC MEANS Eller direkte i PROC MEANS Proc Means data=sugdk.kundedata2 noprint missing; class postnr salgskontor grossist kundetype; var antal pris_ialt; output out=tip3a sum=; output out=tip3b(where=(_type_ = 9)) sum=; run; Her bliver der dannet flere output dataset Kan dette løses med Proc SQL? 30

31 Tip #3 Dan flere output dataset i en PROC MEANS I version 8 er der kommer en ny option CHARTYPE. Her bliver den numeriske værdi at _type_ ændret til karakterkolonne med binære værdier (0 eller 1) 31

32 Tip #3 Dan flere output dataset i en PROC MEANS Proc Means data=sugdk.kundedata2 noprint chartype missing; class postnr salgskontor grossist kundetype; var antal pris_ialt; output out=tip3c sum=; output out=tip3d (where=(_type_ = '1001')) sum=; run; 32

33 Tip #3 Dan flere output dataset i en PROC MEANS Proc Means data=sugdk.kundedata2 noprint chartype missing; class postnr salgskontor grossist kundetype; var antal pris_ialt; output out=tip3e sum=; output out=tip3f(where=(_type_ in('0000','1001'))) sum=; run; 33

34 Tip #4 Brug DESCENDTYPES Proc Means sorterer efter _type_ i stigende orden Med options DESCENDTYPES kommer outputtet i faldende orden efter _type_, dvs, grandtotal kommer til sidst. 34

35 Tip #4 Brug DESCENDTYPES title1 "Tip 4, Brug descendingtypes"; Proc Means data=sugdk.kundedata2 noprint descendtypes missing; class grossist kundetype; var antal pris_ialt; output out=tip4 sum=; run; proc print data=tip4; run; 35

36 Tip #4 Brug DESCENDTYPES , , , , , , , , , , , , , , , , , , , D , H , I , ,96 36

37 Tip #5 Brug TYPES statement til at begrænse kombination af CLASS TYPES Statement er nyt, må ikke forveksles med _type_. TYPES bruges til angivelse af kombinationer af CLASS variable Bruges især når der er mange CLASS variable 37

38 Tip #5 Brug TYPES statement til at begrænse kombination af CLASS Eksempel: class postnr salgskontor grossist kundetype; Følgende kombinationer ønskes: Grandtotal (_type_ = 0) Grossist * kundetype (_type_ = 3) postnr * salgskontor (_type_ = 12) postnr * salgskontor * grossist (_type_ = 14) Dette kan løses på følgende måde 38

39 Tip #5 Brug TYPES statement til at begrænse kombination af CLASS title1 "Tip 5, Brug TYPES Statement til at begrænse class-kombination"; Proc Means data=sugdk.kundedata2 noprint missing; class postnr salgskontor grossist kundetype; types () /* giver grandtotal */ grossist * kundetype postnr * salgskontor postnr * salgskontor * grossist; var antal pris_ialt; output out=tip5 sum=; run; 39

40 Tip #5 Brug TYPES statement til at begrænse kombination af CLASS Tip 5, Brug TYPES Statement til at begrænse class-kombination The FREQ Procedure Cumulative Cumulative _TYPE_ Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

41 Tip #6 Brug DESCENDING og CLASS DESCENDING sorterer i faldende orden på _type_ Class variablerne indenfor hver _type_ kommer i stigende orden 41

42 Tip #6 Brug DESCENDING og CLASS options nocenter nodate; title1 "Tip 6, Brug DESCENDING og CLASS"; Proc Means data=sugdk.kundedata2 noprint descending missing; class postnr salgskontor grossist kundetype; types () grossist * kundetype postnr * salgskontor postnr * salgskontor * grossist; var antal pris_ialt; output out=tip6 sum=; run; 42

43 Tip #6 Brug DESCENDING og CLASS Tip 6, Brug DESCENDING og CLASS The FREQ Procedure Cumulative Cumulative _TYPE_ Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

44 Tip #7 Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet Ny option til OUTPUT statementet Kombinerer ID og IDMIN options i PROC MEANS statement og MAXID/MINID options i OUTPUT statement. OUT [n] options controllerer antal extremer der ønskes pr. række 44

45 Tip #7 Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet Opgave: Lav analyse i faldende orden på salgskontor og Stigende orden på kundetype Beregn mean og sum Find de 2 største og 2 mindste værdier af antal Output til SAS-tabel 45

46 Tip #7 Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet options nocenter nodate; title1 "Tip 7, Brug IDGROUP til at danne rækker med"; title2 "Extreme værdier fra input datasettet"; Proc Means data=sugdk.kundedata2 noprint missing; class salgskontor/descending; class kundetype; var startdato; output out=tip7 idgroup (max(startdato) out[2] (startdato)= maxstdato) idgroup (min(startdato) out[2] (startdato)= minstdato) sum= mean= /autoname; run; 46

47 Tip #7 Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet Tip 7, Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet S S t t a s m m m m a r a a a i i r t l k x x n n t d g u s s s s d a s n t t t t a t k d d d d d t o o e T F a a a a o _ n t Y R t t t t _ M O t y P E o o o o S e b o p E Q u a s r e m n ********** D ********** H ********** I ********** ********** ********** ********** D ********** H ********** I ********** D ********** H ********** I ********** D ********** H ********** I **********

48 Tip #7 Brug IDGROUP til at danne rækker med Extreme værdier fra input datasettet Som I kan se i outputtet Er der 2 værdier på max/min pr. række 48

49 Tip #8 Brug PRELOADFMT og COMPLETETYPES Formater bliver knyttet til Class-variable efter Proc Means har beregnet analysen. Hvis der ingen værdier er til et formatværdi, bliver der ikke dannet en række 49

50 Tip #8 Brug PRELOADFMT og COMPLETETYPES PRELOADFMT options placeres på CLASS statementet, og fortæller PROC MEANS at formatet skal i memory før analysen. COMPLETETYPES i PROC MEANS statement, sørger for at alle værdier i formatet vises, selv om der ikke data til rækken. 50

51 Tip #8 Brug PRELOADFMT og COMPLETETYPES title1 "Tip 8, Preloadfmt og Completetypes"; proc format; value $salgskontor '02000' = '02000 Roskilde' '02001' = '02001 Greve' '02002' = '02002 Køge' '02003' = '02003 Solrød' '02004' = '02004 Havdrup' ; 51

52 Tip #8 Brug PRELOADFMT og COMPLETETYPES Proc Means data=sugdk.kundedata2 noprint missing; class salgskontor/preloadfmt; var antal ; format salgskontor $salgskontor.; output out=tip8 sum= mean= /autoname; run; proc print data=tip8; run; 52

53 Tip #8 Brug PRELOADFMT og COMPLETETYPES Tip 8, Preloadfmt og Completetypes Obs salgskontor _TYPE FREQ_ antal_sum antal_mean Roskilde Greve Køge

54 Tip #8 Brug PRELOADFMT og COMPLETETYPES Der var 5 værdier i formatet, men der bliver kun vist de 3 værdier der var data til. PROC MEANS sorterer de viste rækker efter format-værdierne. Brug PRELOADFMT og COMPLETETYPES til at vise alle værdier, vi kan også ændre præsentationsrækkefølgen ved at bruge ORDER= options. 54

55 Tip #8 Brug PRELOADFMT og COMPLETETYPES title1 "Tip 8, Preloadfmt og Completetypes"; proc format; value $salgskontora '02000' = 'Roskilde' '02001' = 'Greve' '02002' = 'Køge' '02003' = 'Solrød' '02004' = 'Havdrup' ; 55

56 Tip #8 Brug PRELOADFMT og COMPLETETYPES Proc Means data=sugdk.kundedata2 noprint completetypes missing; class salgskontor/preloadfmt order=freq; var antal ; format salgskontor $salgskontora.; output out=tip8a sum= mean= /autoname; run; proc print data=tip8a; run; 56

57 Tip #8 Brug PRELOADFMT og COMPLETETYPES Tip 8, Preloadfmt og Completetypes Obs salgskontor _TYPE FREQ_ antal_sum antal_mean Roskilde Køge Greve Solrød Havdrup

58 Tip #9 Brug Ways statement Ways statement kan give dig Besparelse i kodetid Besparelse i processor tid Forskellige kombinationsmuligheder på CLASS-variable Ways 3 giver alle 3-way kombinationer Ways 2 giver alle 2-way kombinationer Ways 2 3 giver alle 2- og 3-ways kombinationer Ways 1 giver alle 1-way kombinationer 58

59 Tip #9 Brug Ways statement options nocenter nodate; title1 "Tip 9, Brug WAYS"; Proc Means data=sugdk.kundedata2 noprint missing; class postnr salgskontor grossist kundetype; ways 3; var antal pris_ialt; output out=tip9 sum=; run; proc freq data=tip9; tables _type_; run; 59

60 Tip #9 Brug Ways statement Tip 9, Brug WAYS The FREQ Procedure Cumulative Cumulative _TYPE_ Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

61 Tip #10 Brug Multilabel format Multilabel Format Ny feature i Proc Format Overlab på formater Kan bruges i Means/Summary/Tabulate/Report procedurerne MLF option i CLASS statement skal benyttes 61

62 Tip #10 Brug Multilabel format options nocenter nodate; title "Tip #10 Multilabel format"; proc format; value $postnra (multilabel) = 'København/Sjælland' = 'Fyn' = 'Jylland' ; value $postnrb (multilabel) = 'København/Sjælland' = 'Fyn' = 'Jylland' = 'Bornholm'; run; 62

63 Tip #10 Brug Multilabel format proc means data=sugdk.kundedata2 noprint completetypes nway missing; class postnr/preloadfmt MLF order=formatted; var antal; output out=tip10 sum=; format postnr $postnra.; run; proc print data=tip10; run; 63

64 Tip #10 Brug Multilabel format Tip #10 Multilabel format Obs Postnr _TYPE FREQ_ antal 1 Fyn Jylland København/Sjælland

65 Tip #10 Brug Multilabel format proc means data=sugdk.kundedata2 noprint completetypes nway; class postnr/preloadfmt MLF order=formatted; var antal; output out=tip10b sum=; format postnr $postnrb.; run; proc print data=tip10b; run; 65

66 Tip #10 Brug Multilabel format Tip #10 Multilabel format Obs Postnr _TYPE FREQ_ antal 1 Bornholm Fyn Jylland København/Sjælland

67 Tip #11 Brug Class Dataset Næsten sidste eksempel og ny facilitet CLASSDATA dataset I et CLASSDATA dataset er der mulighed for at have alle sine analyseværdier, disse værdier vil så komme med i output, selv om der ingen rækker er i analysedatasettet 67

68 Tip #11 Brug Class Dataset data salgskontor; length salgskontor $5; input salgskontor; cards; ; run; 68

69 Tip #11 Brug Class Dataset options nocenter nodate; title1 "Tip 11, Brug CLASSDATA dataset"; proc means data=sugdk.kundedata2 classdata=salgskontor noprint missing; class salgskontor; var antal; output out=tip11 sum=; run; proc print data=tip11; run; 69

70 Tip #11 Brug Class Dataset Tip 11, Brug CLASSDATA dataset Obs salgskontor _TYPE FREQ_ antal

71 Tip #12 Brug Formater til summering Proc Means (Summary og Tabulate) fungerer rigtig godt sammen med formater. Lav en summation på kundetype og startdato Hvor startdato er på formatet yyq6. Benyt pris_alt som beregningsvariabel 71

72 Tip #12 Brug Formater til summering title1 "Eksempel 12, brug formater til summering"; proc means data=sugdk.kundedata2 noprint; class kundetype startdato; var pris_ialt; format startdato yyq6.; output out=eks12 sum=/autolabel autoname; run; 72

73 Tip #12 Brug Formater til summering Eksempel 12, brug formater til summering The FREQ Procedure Cumulative Cumulative _TYPE_ Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

74 Tip #12 Brug Formater til summering I output datasettet har _type_ 4 forskellige værdier. 0 = grandtotal 1 = total pr. kvartal 2 = total pr. kundetype 3 = total pr. kundetype kvartal Kan SQL generere 1 dataset med disse summeringer? 74

75 Tip #13 Brug NWAY option Når der summeres på forskellige variabler er det sjældent at alle summeringsniveauer skal med i output. Det kan løses på flere forskellige måder: Types statement Flere output statement (med where) Hvis det er totaler på højeste _type_ niveau der ønskes, kan NWAY option benyttes. 75

76 Tip #13 Brug NWAY option title1 "Eksempel 13, NWAY option"; proc means data=sugdk.kundedata2 noprint nway; class kundetype startdato; var pris_ialt; format startdato yyq6.; output out=eks13 sum=/autolabel autoname; run; 76

77 Tip #13 Brug NWAY option Eksempel 13, NWAY option The FREQ Procedure Cumulative Cumulative _TYPE_ Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

78 Tip #13 Brug NWAY option I output datasettet har _type_ en værdi. 3 = total pr. kundetype kvartal 78

79 Andre muligheder med Proc Means Where statement kan benyttes Dataset options kan benyttes på input og output Formater kan benyttes, især effektiv på Class-variable Flere output dataset Output bliver sorteret efter class-variablerne, mulighed for at ændre dette Mange statistiske muligheder (31) 79

80 Lidt om performance Hvis du kan benytte TYPES statement for du den bedste performance Hvis du bruger where _type_ = på output, skal SAS kalkulere alt = dårlig performance 80

81 Tips og tricks til Proc Means Lær mere: SAS online-doc SAS-kurser Prøv jer frem (hvis I har tid)!! 81

82 Tips og tricks til Proc Means? 82

83 Kontakt oplysninger Per Andersen Senior IM Consultant DONG Energy Oil & Gas A/S, Group IT/Trading IT/CMBI&DA Nesa alle Gentofte tlf: peand@dongenergy.dk 83