ASPECT4 Health Analyzer. v. Pete Rask Christensen (Intro v. Peder Fløe)

ASPECT4 Health Analyzer v. Pete Rask Christensen (Intro v. Peder Fløe)

ASPECT4 Health Analyzer

Hvad er ASPECT4 Health Analyzer? Et nyt koncept Afdække og analysere den generelle "sundhedstilstand" i en ASPECT4- installation Baseret på målinger og analyser Diagnosticering og behandling er som udgangspunkt opgaver uden for værktøjet Release 6 Fokus på "hjerte og kredsløb" Generel ASPECT4-performance Specifikke performancemålinger EG A/S 3

Hvad indgår i ASPECT4 Health Analyzer? Dataopsamling Generelle performancedata opsamlet gennem operativsystemet Specifikke performancedata opsamlet gennem ASPECT4-softwaren (ASPECT4 Health Monitor) Slås til/slås fra Opsamles i såkaldte Collections Dataanalyse Transmission til EG's "Health Center" Analyser via ASPECT4 Health Viewer Organisering, filtrering og sammenstilling af health data Opdelt i emner og krydret med enkelte "advice"-afsnit EG A/S 4

Coming up

Hvad er ASPECT4 Health Analyzer? Et nyt ASPECT4-værktøj, som kan sætte ASPECT4 i "opsamlingsmode" nogle få timer (måske endda kun nogle minutter) De opsamlede data sendes typisk til EG, hvor vi analyserer dem Dette sker via "collections" Analyse sker via en særskilt Client "Health Viewer" En række forskellige opsamlingsmuligheder, fx IBM i performance via IBM's Collection Services eller IBM i performance via JobWatcher "Hotspots" via Health Monitor Udførte SQLs via fx Query Manager, iseries Navigator, 0814, SQL Plan Cache XCS-dialoger (request/response) ASPECT4 Client User Actions Assertions Tælleværker Fejl jf. AKSERRT1, kommandoer, udtræk fra Audit Journal, m.m.m. EG A/S 6

Hvorfor lave et sådant produkt? Målsætning Minimere antal situationer, hvor der observeres "dårlig performance" Minimere antal forbrugte timer, når der observeres "dårlig performance" Øge kvaliteten af leverede ASPECT4-programmer forudsat at vi er enige om, at "kvalitet" også dækker "rimelig svartid" Øge softwarearkitekternes vidensniveau angående "performance" Der er stor forskel på performance på en udviklingsserver og på en kundeserver JA der findes "et hav" af performancetools på markedet MEN dækker de ASPECT4-produktet godt nok? Produkterne kan ikke gå "i dybet" i ASPECT4 EG kan IKKE påvirke produkterne AHA-fokus: Primært ASPECT4, sekundært IBM i EG A/S 7

Performanceværktøjer på markedet IBM's Collection Services (CSI) IBM's JobWatcher IBM's idoctor IBM's Database Monitor IBM's PEX Analyzer STRIT Giapa M.fl. EG A/S 8

Erstatter ASPECT4 Health Analyzer disse? Nej, vi prøver ikke at konkurrere med disse værktøjer Analyse af AHA-data vil også indebære brug af nogle af disse fx IBM Navigator for i og idoctor Vi kan supplere disse værktøjer med yderligere viden med vores eget værktøj kan vi skabe og bruge informationer, som disse standardtools IKKE har mulighed for vi kan udtrække viden fra nogle af værktøjerne og skabe en helhed som ellers ikke er tilgængelig (fx timestamp-forløb) EG A/S 9

Kører normalt altid på alle IBM i servere IBM Collection Services AHA trækker ud ved afslutning af opsamling Hver 10 sekund logges aktive job IBM JobWatcher alternativ brug af WRKSYSACT Hvad er AHA teknisk set? Udtræk af forskellige IBM i-data En monitor" (nyudviklet, MSS) Et job, som overvåger andre jobs Ændring af en række knudepunkter og services, således at der gemmes data i "opsamlingsmode" Fx logger Query nu udførte SQL's Fx logger ES0620RB nu User Actions m.m.m. En "Health Viewer" Til brug hos EG AHA Collection samling af data HotSpots, XCS dialogs, SQLs, User Actions, Assertions, Counters HotSpots Hver ½ minut IBM exit program QIBM_QZDA_SQL2: Logger S QueryManager: Logger SQL ES0602RB: Logger "Job Sporing Specielle ASPECT4 ES0601RA/cmdExec_: programmer Logger cm XCS moduler Logger XCS dialoger (incl. ny AS4DLGT1) Any program Logger assertions (incl. ny AS4ASLT1) Oversigt over brugere, system values, PTFs, disk Analyse af SQL Plan Cache (v/afslut) Analyse af IBM's Audit Journal (v/afslut) Hvis CPU% overskride Hvis et job står i LCKW Hvis IO count overskri Hvis memory forbrug o PEX analyse - v/peak nr. >= 3 Hvis et job er gået i MSGW HotSpots Health Monitor Hvis et job nu er holdt Hver 5 minut WRKSYSSTS WRKJVMJOB (semi) DSPFD MODE(*ATR) Ved opstart Analyse af tilmeldte Kontrolprogrammer miljøer Ikke anvendte index-file EA0814RD: Logger "0814" SQL ES0620RB: Logger "User Actions ES0609RA/cmdSecExec_: Logge ES0600R4: Logger errors m.fl. EG A/S 10

Scope AHA opsamler for hele IBM i-serveren Vi arbejder altså ikke "pr. ASPECT4-miljø" Visse dele omkring nye metoder er dog miljøspecifikke, fx AS4DLGT1 = Ny AKSLOG-teknik AS4ASLT1 = Assertions & fails Miljøanalyse af filer og proaktive kontrolprogrammer Det er FRAVALGT, at AHA kan fokusere på enkelt job, bruger, etc. I opsamlingsperioden gemmes ALT! (for alle :o) Men der vælges, HVILKE informationer der skal opsamles EG A/S 11

CSI Collection Services IBM produkt inkluderet i OS Kører altid (Jobbet QYPSPFRCOL i QSYSWRK) GO PERFORM, punkt 2, punkt 2 = CFGPFRCOL Default: CFGPFRCOL INTERVAL(15,00) LIB(QPFRDATA) DFTCOLPRF(*STANDARDP) CYCITV(24) RETPERIOD(00120 *HOURS) CRTDBF(*YES) Dvs. hvert kvarter opsamles information; informationen samles hvert døgn (i et *MGTCOL 'management collection object') og gemmes herefter 120 timer (dvs. 5 døgn). Gemmes fx som QPFRDATA/Q340085812 *MGTCOL CFGPFRCOL INTERVAL(5,00) IBM anbefaler 5 minutter i stedet for 15 minutter EG A/S 12

Hvad er et "hotspot"? Et "billede, som Health Monitor tager af et IBM i-job, umiddelbart efter at Health Monitor har observeret, at dette job "markerer" sig ud fra forskellige forudsætninger, fx højt CPU-forbrug mange IO's højt memory-forbrug message wait Dette "billede" indeholder forskellige oplysninger om jobbet, fx OS job-informationer Program call stack Åbne filer Record locks Seneste beskeder i joblog EG A/S 13

Hotspot eksempel Hvilket program var jobbet i og hvordan var det kommet til dette program? Hvad er senest skrevet i jobloggen? Hvilke filer bliver der arbejdet meget med, og hvilke records var jobbet ved at behandle? EG A/S 14

Gentagne hotspot call stacks i samme job kan fx give programmøren et billede af, hvilke programdele der er involveret, når jobbet belaster systemet meget CPU-mæssigt. EG A/S 15

Et jobs ressourceforbrug Hvordan afgør vi, om et jobs ressourceforbrug er acceptabelt? Vi skal forstå den opgave, jobbet løser "It depends" Vi går typisk først i optimeringsmode, når jobbet på en eller anden måde har gjort (uheldigt) opmærksom på sig selv Med ASPECT4 Health Analyzer kan vi agere mere "proaktivt" EG A/S 16

Health Viewer = "drill-down" EG A/S 17

Faner Begreb Collection Time interval User Job name Job Hotspot Environment File Program Library Faner Users, Job names, Jobs(JW), JW intervals, Jobs(WSA), WSA intervals, Errors, Assertions, Events, Hotspots, File focus, Programs, Function focus, SQLs, Counters(Id), Plan Cache Index (summary), Environments, Observations. [Other info]: PTFs, Disks, Size, Collection info, JW info, Focus, System status, Collection log, Collection profile, System values, Subsystems. Users, Job names, Jobs(JW), JW intervals, Jobs(WSA), WSA intervals, Errors, Assertions, Events, Hotspots, File focus, Programs, Function focus, Dialogs, SQLs, Plan Cache sql, Plan Cache index, Observations Jobs(JW), JW tasks, Job names, Hotspots, File focus, Errors, Assertions, Events, User Actions (Sum), User Actions, Function focus, Dialogs, SQLs, Job trace, Counters, Plan Cache sql, Plan Cache index, PCs, Observations, User profile Jobs(JW), JW tasks, Jobs(WSA), WRKSYSACT, Hotspots, File focus, JVM, Errors, Assertions, Events, Function focus, Dialogs, SQLs, Job trace, Counters(Id), Counters, Plan cache sql, Plan cache index og Observations JW tasks, JW call stack tree, WRKSYSACT, Hotspots, Hotspot call stack tree, File focus, JVM, Assertions, User Actions, Function focus, Dialogs, SQLs, Errors, Job trace, Counters(Id), Counters, Plan cache sql, Plan cache index, Observations Call stack, Open files, Record locks, Joblog, PEX, Attributes Environment info, File libraries, File attributes, Hotspots, Errors, Assertions, Events, User Actions (Sum), User Actions, Dialogs, SQLs, Job trace, Controls, PCs File attributes, Open files, Record locks og Plan Cache index Errors, Assertions, Events, Calls stacks, PEX, Function focus, Dialogs, User Actions, Counters(Id), Counters, Plan Cache sql, Controls File Attributes, Open Files, Record Locks, Plan Cache index EG A/S 18

Hvad kan vi fx finde via Health Analyzer? En tung SQL/query, der er bygget uhensigtsmæssigt op fx manglende sammenkædningsbetingelse Et program, der læser konfiguration igen og igen (uden cache) Et mønster i de brugeractions, der fører til en given programfejl En tung programfunktion, der kaldes så meget, at den bør optimeres Et program, der skaber mange "full opens" Et IBM performance-issue ifm. store installationer En konfiguration, der ikke er hensigtsmæssig jf. erfaring Et job, der kører om dagen, men som er designet som natjob M.m.m. EG A/S 19

Hvornår opsamler vi en AHA collection? Hvis der er konkrete oplevelser af "dårlig performance" "Sundhedstjek onsite" Hvis der er overvejelser om udvidelse af systemressourcer Måske kan udvidelse udskydes Hvis ny software tages i anvendelse Evt. før og efter releaseskift Hvis vi ønsker at få et generelt billede af, hvilke brugere/jobs der er i toppen ifm. udnyttelse af IBM i-ressourcer EG A/S 20

Eksempel på "analyse" via Health Viewer (1/5) Hvorfor er brugeren CLADOCM med i toppen? EG A/S 21

Eksempel på "analyse" via Health Viewer (2/5) Dette skyldes tydeligt applikation 7614 EG A/S 22

Eksempel på "analyse" via Health Viewer (3/5) Det er IKKE sikkert, at det er et problem, at der er brugt 2,2 mio. reads i GENREGL1, hvor der maksimalt har været læst 250.843 forskellige records, men EG A/S 23

Eksempel på "analyse" via Health Viewer (4/5) 4 ud af de 6 gange, Health Monitor har observeret høj CPU og opsamlet et hotspot, har jobbet været i programmet EG7614CB stmt. 15000. Dette er god info, hvis sagen skal videre til en programmør EG A/S 24

Eksempel på "analyse" via Health Viewer (5/5) Og vi har andre informationer til rådighed, fx "dialoger", SQL's og "events" EG A/S 25

Endnu et eksempel tunge SQL's (1/2) 690 sekunder = 11½ minut EG A/S 26

Endnu et eksempel tunge SQL's (2/2) Passer med begge datakilder IBM exitprogram kan dog ikke give samlet svartid EG A/S 27

AHA i forhold til en ASPECT4-kunde Opsamlinger sker hos kunden Sendes til EG (save file) Analyse sker typisk hos EG Kan være en performancetung opgave Health Viewer er i ASPECT4 release 6 pakketeret som et ekstra software produkt EG A/S 28

AHA i forhold til ASPECT4 release 6 Dette er første udgave som vil blive løbende udvidet afhængig af høstede erfaringer EG A/S 29

Performancemålinger for applikationsafvikling i ASPECT4 Client

Performancemålinger i ASPECT4 Client Fra AKS 3.1.06 er der automatisk blevet opsamlet oplysninger om svartider for applikationsafvikling i ASPECT4 Client Det sikrer et datagrundlag, som kan hjælpe med at besvare spørgsmål som Er systemet blevet langsommere? Er systemet blevet langsommere efter installation af seneste release? Er applikation XXXX blevet langsommere? Er systemet blevet langsommere efter installation af vores nye "netværkskomponenter"? Er systemet blevet langsommere, og er det i givet fald på IBM i-serveren eller vores Windows-servere, at problemet er? EG A/S 31

Performancemålinger i ASPECT4 Client Svartidsinformationer opsamles i tabellerne EXPRSPT2 og EXPRSPT3, og der gemmes oplysninger for både pc'en og IBM i-serveren Applikationen ResponseUser kan anvendes til at spørge på de opsamlede oplysninger EG A/S 32

Performancemålinger i ASPECT4 Client Hvilke informationer opsamles? EXPRSPT2 en record pr. applikationsafvikling EXPRSPT3 en record pr. "skærmbillede" EG A/S 33

Performancemålinger i ASPECT4 Client Målepunkter T1 (Lås) T2 T5 (Frigiv) T4 T3 Total svartid (CLIE) = T5 T1 Serversvartid (SVRE) = T3 T2 Klientsvartid (CLIP) = T5 T4 Rå server-cpu-svartid (SVRC) EG A/S 34

Performancemålinger i ASPECT4 Client Eksempler på anvendelse Applikationen ResponseUser kan anvendes til at spørge på de opsamlede oplysninger på et detaljeret niveau Kundecase "Vi oplever langsommere svartider end tidligere. Er det vores IBM i- server eller vores Citrix/terminalserver-Windows-miljø, der skal opgraderes?" Aktivitet pr. appl. i hvilke applikationer arbejdes der mest Svartider pr. appl. udvikling i svartid pr. appl. pr. måned Svartider pr. måned udvikling i svartid pr. måned EG A/S 35

Spørgsmål? EG A/S 36

Husk evaluering via ASPECT4 Day-appen

Pause Nu er der kaffe og fødselsdagskage spor 2 starter kl. 14.30

15 min. pause Vi mødes i teatersalen kl. 15.45 husk lodtrækning