Succesfuld Problem management. 2. December 2015 Laurine Halkjær

Transkript

1 Succesfuld Problem management 2. December 2015 Laurine Halkjær 1

2 TDC s IT organisation Sidst opdateret 1. dec 2015 NB. TDC Servicedesk er organiseret i Channels divisionen for at være tæt på forretningen. 2

3 Problem management Major Incident Management og Problem Management Åh nej, det brænder, hvad gør vi nu? IT Operation Udvikling Vi indkalder til Service Restoration Team (SRT) via og sms Vi styrer mødet samt skriver referat og sender ledelsesinfo Vi samler kronologien og indkalder vennerne til Major Incident Review (MIR), så vi kan opsamle vores nye erfaringer Vi opretter en Problem Management sag (PM), så vi har et fælles sted at gemme vores oplevelser P1 eller P2 incident Vi sender vores bedste folk Vi finder og retter fejlen Vi glæder os til MIR, hvor vi nu kan fortælle om, hvordan vi løste den komplekse fejl. Sammen gennemgår vi læring, RCA (Root Cause Analysis), og aftaler hvordan vi aldrig lander i denne situation igen Vi skriver det ind i PM-sagen IT Stabilitet er noget vi giver til hinanden 3

4 Hvorfor Problem management i TDC Nødvendigt for at vi kan nå målene: Forbedre den oplevede kvalitet Et effektivt Operations Kvalitet & Stabilitet Den bedste performance Hvad vil vi i IT gøre for at forbedre den oplevede kvalitet Incident Management FTR og overholdelse af proces Problem Management Rette kvalitet i rette tid med værdiskabendeaktioner P2 > 72 pr måned Fejlretningstidpå P2 på kundevendte og BC applikationer reduceret med 50% 4

5 Udviklingen i Problem management i TDC Før PM på alle P1 og udvalgte P2 sager Proces managerne rapporterede på dem og godkendte RCA Ikke alle tiltag blev implementeret, da PM blev lukket så snart en RCA var godkendt PM var teknisk orienteret RCA skulle foreligge indenfor 5 arbejdsdage efter at PM er oprettet Domænerne havde ikke noget ansvar ift. PM Nu PM på alle SRT og udvalgte P2 incidents Der etableres Major incident review senest 24 timer efter alle SRT RCA skal foreligge indenfor 5 arbejdsdage 360 graders PM sikrer, at processer også evalueres Service delivery managerne og den domæneansvarlige skal godkende RCA m.v. PM bliver først lukket, når tiltag er implementeret RACI foreligger = klar ansvarsfordeling 5

6 Problem management processen SRT Task force eller P2 sag Indenfor 24 timer Indenfor 5 arbejdsdage MIR MIR 360 graders Problem management Alle TF eller P2 sager samlet Actions f.eks. - Investering - Sikkerhedsændring - Procesændring - Change - Known error - 6

7 Problem Management Process MIR (Major Incident Review) Process: The call will be with stakeholders who are involved in the SRT. Once the SRT is Closed MIM will sent a new meeting request changing the subject line from SRT to MIR. Major Incident Review call will be held one hour post the SRT is closed. If SRT Is closed in NON-Business Hour then the call will be initiated next business day ASAP. One MIM (Preferably who has handled the call) & PM will join the call & clear action plan will be written in the MOM & will be circulated. Problem Management team will carry out the PM activities. Process GAP related How effective was the incident diagnosis and response? Did we engage the right people at the right time? Did communication, vendor coordination and escalation work as planned? How could the recovery process have been shortened once a fix was identified? Was there a process failure that contributed to the likelihood of the incident occurring? Etc. Technical related What has been done to solve the issue? What could be done to avoid the reoccurrence? What would be the next step to find the root cause & action owner? Etc. Problem Managment Process 7

8 Problem Management Process PM1599 8

9 Problem Management Process Detaljeret proces Initiering MIR (Major Incident Review) afholdes når der har været SRT på incidenten. PAK (Problem Analysis Kickoff) afholdes når der ikke har været SRT på incidenten. Møderne afholde som opstart på PM processen. Her samles op på incidenten/srt'en og vi kommer til enighed om succeskriterierne for PM sagen. På møderne er der deltagelse af Domain Manager, Service Delivery Manager, TDC Problem Management Teamet, Resolver teamet samt eventuelle andre bidragsydere. TDC Problem Management Team indkalder til møderne og udsender MOM. Efter møderne opretter de også PM ticket'en i HPSM og sørger for at den bliver assignet til den gruppe, som vi på mødet har besluttet skal have sagen. Analyse Domain Manager har i denne fase opgaven med at sikre, at der er fremdrift i sagen - uanset hvilken leverandør. Bemærk, at TDC Problem Management Team i stor grad hjælper på de TCS drevne sager, men når RCA'en skal leveres af en TDC-styret leverandør, så forventes det, at Domain Manager sikrer fremdriften uafhængigt af TDC Problem Management Team. SDM understøtter Domain Manager i arbejdet med at sikre RCA indenfor SLA. Fx i form af deltagelse i afklarende/opfølgende møder osv. RCA er leveret, når felterne i afsnittet "RCA Fields" i HPSM er korrekt udfyldt og resolver teamet har approvet RCA'en (afsnittet "Approval"). Disse felter udfyldes typisk af de resolver teams, som har ansvaret for RCA'en. Dvs. det er ikke Domain Manager, der nødvendigvis fører pennen. Dog er der den undtagelse, at nogle leverandører ikke har adgang til HPSM - her eksisterer der en Word-skabelon for RCA'en. Når leverandøren har leveret denne skabelon i udfyldt stand, skal denne leveres til TDC Problem Management Team, som så vil udfylde HPSM. Godkendelse Når RCA er leveret (resolver teamet har approvet i afsnittet "Approval" vil TDC Problem Management Team gennemgå RCA'en. De tjekker om alle felter er udfyldt, om der er mindst 3 why's i afsnittet "Casual Analysis - Five Why's" osv. Såfremt RCA lever op til deres kriterier approver de i afsnittet "Approval". Når TDC Problem Management Team har approvet RCA'en sendes der en mail til den ansvarlige Domain Manager. Domain Manager skal herefter reviewe RCA'en og forholde sig til de angivne løsningsforslag. Såfremt RCA'en kan approves gøres dette - ellers rejectes i afsnittet "Approval" i HPSM. Sidste fase i godkendelsesforløbet er, at Service Delivery Manager reviewer RCA'en og approver/rejecter PM'en. Service Delivery Manager vil primært have proces brillerne på. Såfremt en RCA i godkendelsesforløbet bliver rejected vil RCA'en blive returneret til resolver teamet og godkendelsesforløbet vil starte forfra. Opfølgning Efter godkendelsesforløbet vil TDC Problem Management Team følge op på, om der er identificeret aktiviteter, som skal sikre den permanente løsning og forhindre at fejlen gensopstår igen, og som endnu ikke er leveret. I så fald vil TDC Problem Management Team sætte PM sagen i status Pending Release eller Pending Change og ikke lukke den. Hvis alle de identificerede aktiviteter er leveret vil TDC Problem Management Team lukke sagen. Såfremt der er identificeret aktiviteter, som ikke er leveret skal Domain Manager følge op på de tekniske aktiviteter og Service Delivery Manager vil følge op på de proces relaterede aktiviteter. Når alle aktiviteter er gennemført og løsningerne er leveret vil TDC Problem Management Team lukke PM sagen i HPSM. Afslutning Problem Managment Process 9