Design Visual Analytics-rapporter for bedst mulig performance

Transkript

1 SAS USER FORUM Design Visual Analytics-rapporter for bedst mulig performance Torben Skov, SAS Institute

2 Inspiration til dette indlæg

3 Kerris definitioner Der findes forskellige former for performance Performance kan opdeles i Server-side performance Det der foregår i LASR-serveren Client-side performance Antal og type af objekter Design performance Layout af rapporten og beslutning om, hvad der beregnes i rapporten kontra, hvad der er pre-beregnet Network performance Det der ligger mellem browseren og serveren

4 Kerris konklusioner Reducer og simplificer Konklusioner Brug en de-normaliseret, materialiseret tabel Behold kun relevante kolonner Reducer længden af karakterkolonner i tabellen Reducer antal decimaler på numeriske felter Undgå unødvendige og duplikerede objekter i rapporterne Begræns information i rapporten til nøgleinformation for rapportbrugerne Brug fuldt optrukne referencelinjer (i forhold til stiplede) Brug ikke spark lines Begræns antal filtre med sammenligninger Hvis noget kan pre-beregnes i data, så gør det

5 Optimering Den gyldne regel ved rapport optimering Gør det rigtige! Stop tuning Start measuring

6 Måling af performance Performance debugging vinduet Ctlr+alt+p frembringer performance debugging vinduet Load time Query time Render time Total time

7 Den konkrete situation Overblik over timeregistrering En rapport, der giver svar på (næsten) alt i forbindelse med projekter og timeregistrering Rapporten 8 sektioner, 3 info-vinduer I gennemsnit 9 objekter per sektion Data 1.4 millioner rækker, heraf vedr. Danmark 80 kolonner 72 karakter, 8 numerisk 37 GB

8 Nuværende rapport Highlights fra performance toolet Der er plads til forbedring! Report loaded '/Nordic/Content/PS/project reporting'. Time: ms. ~1 minut! Query time for 'Year'. Time: ms. Renderer complete for 'Year'. Time: 346 ms. ~3 minutter!! Time taken since report was requested to be opened Time: ms. ~7 minutter!!!

9 Er miljøet OK? Miljøets specifikationer Miljøet er i hvert fald ikke for småt til disse data! 64 servere 32 kerner pr. server Men den er placeret i USA

10 Håndtag at skrue på Netværk Bedre netværk Flyt serveren tættere på Server-side performance %Squeeze Drop kolonner Reducer rk Fjern RLS Brug lookup datasæt Client-side performance Reducer objekter Mindre rapport Design performance Pre-beregn kolonner Ændre filterlogik

11 Netværket Det tager ca. 6 gange så lang tid at få svar fra server i Cary Der er langt til Cary.. Ping af Cary server Reply from 10.xx.yyy.zz: bytes=32 time=129ms TTL=58 Reply from 10.xx.yyy.zz: bytes=32 time=126ms TTL=58 Reply from 10.xx.yyy.zz: bytes=32 time=126ms TTL=58 Reply from 10.xx.yyy.zz: bytes=32 time=126ms TTL=58 Ping af server i DK Reply from 172.xx.yyy.zz: bytes=32 time=21ms TTL=61 Reply from 172.xx.yyy.zz: bytes=32 time=21ms TTL=61 Reply from 172.xx.yyy.zz: bytes=32 time=21ms TTL=61 Reply from 172.xx.yyy.zz: bytes=32 time=20ms TTL=61

12 Test af simpel rapport Hvor lang tid tager det at beregne distinct count Store forskelle ved en simpel rapport, der kun returnerer et tal (distinct count af en kolonne) Rapport færdigåbnet Query time distinct count Server i Cary ms 557 ms Server Danmark 934 ms 145 ms

13 Hvad kan gøres ved data 37 GB 80 kolonner rækker En dansk bruger har adgang til ~ rækker (< 5%) Rapporten anvender 16 kolonner (20 %) Fjern rækker og RLS + 20 MB 2-9 kolonner rækker 1,6 GB 80 kolonner rækker %Squeeze Nogle af kolonnerne er alt for brede 58 MB 16 kolonner rækker 130 MB 80 kolonner rækker

14 Layout af rapporten

15 Beregninger der kan pre-beregnes

16 Effekt af 1 ændring Bruges som ny baseline! Netværk Bedre netværk Flyt serveren tættere på 25,4 s Server-side performance 24,6 s %Squeeze Drop kolonner 24,6 s Reducer rk Fjern RLS 24,2 s 23,8 s Brug lookup datasæt 25,3 s Client-side performance 10,5 s Reducer objekter Mindre rapport 22,2 s Design performance 25,9 s Pre-beregn kolonner Ændre filterlogik?

17 Effekten visualiseret

18 Den samlede effekt af ændringerne 6,8 s

19 Den oprindelige rapports filterlogik

20 Filterlogik uden stabelobjekt Valgbokse til at udvælge ønsket data Lookup datasæt på rækker 9 kolonner Information brugeren er interesseret i 6,3 s

21 Flere lookup datasæt rækker 7 kolonner 1073 rækker 5 kolonner 3799 rækker 5 kolonner 185 rækker 4 kolonner 85 rækker 2 kolonner 6,1 s

22 Filtrering ikke interaktion Fjern alle interaktioner og lav det med filtre i stedet for.

23 Brug af parametre

24 Opsæt filtre for krydstabellen

25 Husk de indirekte interaktioner Vi har i dette tilfælde brug for 10 filtre

26 Unødvendige opdateringer Krydstabellen opdateres hver gang der klikkes i valgobjekterne i rapporten!!!

27 Et forbedret layout Krydstabellen er flyttet til sin egen sektion 3,9 s

28 Næste sektion har informationen... 0,5 s 4 s

29 DEMO

30 Mine konklusioner Antal objekter og placering af dem betyder mere end datastørrelser i mit tilfælde (der var ikke belastning på serveren og datastørrelse holder sig inden for sizing) Mange bække små 25,4 s 10,5 s 6,8 s 3,9 s Største Enkeltændring 59% Alle enkeltændringer 35% Nyt layout 43% 85% reduktion af svartiden ved åbning af rapport

31 SAS USER FORUM From 7 minutes to 4 seconds in 75 hours Torben Skov, SAS Institute

32 SAS USER FORUM Tak for opmærksomheden Og god fornøjelse med optimering af jeres egne rapporter