Hospitalsenheden Vest. Rapport. Dyberegående analyse Driftsforstyrrelse på Region Midts datacenter på RHL fra den

Transkript

1 Hospitalsenheden Vest Rapport Dyberegående analyse Driftsforstyrrelse på Region Midts datacenter på RHL fra den Udarbejdet af Risikomanager Anna Marie Fink, Hospitalsenheden Vest August 2014

2 Resumé af forløb Den 17/5-2014: Der observeres nøddrift på generatoranlægget. Det resterende hospital er ikke ramt af afbrydelsen. MG service kontaktes med henblik på hjælp til fejlfinding. Det registreres, at generatoren ikke virker. MG service starter problemløsning og finder en mulig fejl i en diodebro og en spændingsregulator der er brændt af. Den 18/5-2014: Der sættes reservedel i nødstrømsgeneratoren, og der er atter strøm på. Der er løbende kontakt til IT vagten om, at fejlen ikke er fundet, og at situationen er kritisk. IT generatoren opfører sig mærkeligt. Generator og bystrøm forsvinder helt fra datacentret. UPS drift sættes i værk, men UPS batterier afladet datacenteret er uden strøm Teknisk Afdeling kobler IT generatoren fysisk fra styringen, da der er en kraftig mistanke om, at det er den, der fejler. Hospitalets anden generator fungerer uden problemer. Strømmen er tilbage og arbejdet med at reetablere div. systemer starter. I forløbet oplever receptionen mange CTS-alarmer fra serverrummet. Al telefoni, Trio-omstillingsbord, Dect-telefoni, alarmtelefon, datasystemer og Ascon- alarmagent forsvinder.dect-telefonien fungerer periodevis internt på hospitalet, men ikke på tværs af matriklerne. Det var ikke muligt for receptionen at følge den sædvanlige nødprocedure med at udsende interne mails, da al datakommunikation var nede. Der kom mange henvendelser fra afdelingerne som ikke kunne udskrive nødnummerlister fra e-dok, og det gav stor utryghed, at der ikke kunne ringes på alamtelefoner m.v. Ascom-agenten kom igen til at virke og It-systemerne kom langsom op at køre. Den 19/5-2014: Klinisk IT ansvarlig skriver status ud til afdelingsledelserne om den manglende adgang til netværk og alt IT på hospitalerne i Vest mellem kl og Der var udfordringer i forhold til kommunikation, da gængse kommunikationsveje også var nede. Den løbende information der blev sendt ud på mail og via driftsinfo på hjemmesiden, kunne først læses efter at datacentret var genetableret. Den 22 maj 2014 RM-IT skriver ud til somatikken og psykiatrien i Vest + alle RM-IT ansatte, at datacenterets forsyningskilde af strøm bliver ændret, idet den nedbrudte generator ikke kan komme op at køre igen inden for en hurtig tidshorisont. Der er defor behov for et ekstraordinært servicevindue. Der bliver delvis nedlukning fredag den 23. maj i tidsrummet EPJ driften er ikke omfattet af nedlukningen. Den 23 maj 2014: Omkoblingen forløber efter planen. (se bilag 1)

3 Problemområder: Væsentligste problem var, at både telefoni og driftsinfo på internetsiden var nede samtidig. o Mange henvendelser fra afdelingerne til receptionen som ikke kunne udskrive nødnummerlister fra e-dok. o Flere afdelinger havde ikke receptionens nød-mobil-alarm-nummer tilgængelig og havde derfor ingen livline til at kunne ringe alarm ved hjertestop m.v. Kommunikation om status på de kliniske systemer under strømnedbruddet, var kompliceret af, at de sædvanlige kanaler i form af mail og driftsinfo på hjemmesiden ikke kunne benyttes. Det var et uheldigt sammenfald af omstændigheder, da bystrøm og Hospitalets IT generator svigter samtidig. UPS drift fungerede, men kapaciteten stod kun til ca. 24 minutter. Herefter var datacenteret helt uden strøm. I takt med at etablering af digitalt udstyr øges, bliver hospitalssystemerne stadigt mere sårbare overfor strømsvigt. Vestforsyning har meldt ud, at Hospitalet i nødsituationer skal kunne klare en 1 time uden offentlig strømforsyning. Set i sammenhæng med resultatet af en ny analyse, der gør status på at nødforsyningsområdet på regionalt niveau, giver det HEV udfordringer ift. at sikre et acceptabelt niveau for nøddrift.

4 Handleplan Problemområde Mål Ansvarlig Tiltag Tidsramme Opfølgning Både telefoni og strømforsyning var nede samtidig. Man kunne ikke udskrive nødnummer- lister fra e-dok. Flere afdelinger havde ikke receptionens nød-mobil-alarm-nummer fysisk tilgængelig og havde derfor ingen livline til at kunne ringe alarm ved hjertestop m.v. At alle afdelinger i kritiske situationer altid kan komme i kontakt med receptionen via nødmobilnummer. Hospitalsledelsen sammen med alle afdelings- og funktionsledelser. I alle afdelinger og afsnit skal de mest kritiske nødmobilnumre ligge fremme. Alle nød - mobilnumre dækkende vagttelefoner skal bæres af vagthavende og testes x 1 i døgnet Alle øvrige nød mobiltelefoner skal findes i de respektive afdelinger og afsnit, og altid være tændte. Testes x 1 ugentlig Inden udgangen af oktober 2014 Status om et halv år ift. testresultater m.v. K&U sammen med Driftsafdelingen Retningslinje Nødprocedurer ved nedbrud af telefonsystem i HEV rettes til Klik her Kommunikation om status på de kliniske systemer under strømnedbruddet, var kompliceret af, at de sædvanlige kanaler i form af mail og driftsinfo på hjemmesiden ikke kunne benyttes. At Klinisk IT kan kommunikere via sms service i tilfælde af total strømnedbrud K&U sammen drifts- &, teknisk afdeling samt HL Klinisk IT i samarbejde med receptionen Formidling af ændrede procedurer sker via Kvalitetsrådet, på afdelings- og funktionsledermøde, samt i HL s nyhedsbrev Etablerer en service så kort status kan kommunikeres ud på alle mobile nødtelefoner Inden udgangen af 2014 I takt med at etablering af digitalt udstyr øges, bliver hospitalssystemerne mere sårbare overfor strømsvigt. Vestforsyning har meldt ud, at Hospitalet i nødsituationer skal kunne klare en 1 time uden offentlig strømforsyning. Set i sammenhæng med resultatet af en ny analyse, der gør status på at nødforsyningsområdet på regionalt niveau, giver HEV udfordringer ift. at sikre et acceptabelt niveau for nøddrift At der fortsat drøftes strategi på området i HEV Teknisk afdeling sammen med hospitalsledelse og Region Analyserapporten drøftes i den Regionale IT styregruppe efter sommerferien

5 Formidling Rapporten sendes til analyseteamet og videreformidles i relevante fora. Analyseteamets sammensætning Teknisk Chef Thorkil Vandborg Sektionsleder,René Edslev Ledende receptionist, Elsebeth Amstrup Sektionsleder Søren Krogh Christensen Udviklings- og kvalitetskonsulent Martin Sundbæk Johansen Projektleder, Ole Zielke Risikomanager Anna Marie Fink Tidsforbrug Aktivitet/tidsforbrug Antal personer Tidsforbrug Forberedelse 2 personer á 1½ time 3 timer Analysemøde 7 personer á 1½ time 10½ timer Rapportskrivning 1 person 4 timer 4 timer I alt 17½ timer Baggrundsmateriale DPSD rapport Kerneårsaganalyse fra Regions IT Analyse beskrivelse fra Teknisk Afdeling Notat fra Alectia

6 Bilag 1 Flowdiagram over det faktuelle forløb Den 17/5-2014: Kl : Teknisk koordinationsvagt får en SMS vedr. nøddrift på generatoranlægget. Teknikkervagten kontaktes, og kører til Holstebro. Teknisk koordinationsvagt kontrollerer CTS alarmer. Det konstateres, at det resterende hospital ikke er ramt af afbrydelsen. IT vagten kontaktes med melding om, at nødgeneratoren er startet. På dette tidspunkt er der ikke klarhed over omfanget. Elektriker kontaktes og kører til Hospitalet.Teknisk koordinationsvagt kører til hospitalet Kl : MG service kontaktes med henblik på hjælp til fejlfinding. IT vagten kontaktes mhp.information om at fejlen ikke er fundet. Afdelingsledelsen kontaktes. Kl : Det registreres, at generatoren ikke virker. MG service starter problemløsning. IT s Situation Manager, vil lave de fornødne tiltag fra IT s side. Kl : MG oplyser, at de har fundet en mulig fejl. En diodebro og en spændingsregulator er brændt af. Den 18/5-2014: Kl : Reservedel er sat i nødstrømsgeneratoren, der igen er strøm på. Teknisk koordinationsvagt får en SMS vedr. drift på generatoranlægget. kontrollerer CTS alarmer for at skabe et overblik. Elektriker kører til Hospitalet. Det resterende hospital er ikke er ramt af afbrydelsen. Kl : Situation Manager kontaktes med melding om, at nødgeneratoren er startet. På dette tidspunkt er der ikke klarhed over omfanget. MG service kontaktes med henblik på hjælp til fejlfinding IT vagten kontaktes løbende med, at fejlen ikke er fundet, og at situationen er kritisk. IT generatoren opfører sig mærkeligt. Kl Generator og bystrøm forsvinder helt fra datacentret. UPS drift. UPS batterier afladet datacenteret er uden strøm Kl : Strømsvigt fra det offentlige forsyningsnet. Teknisk Afdeling kobler nu fysisk IT generatoren fra styringen, da der er en kraftig mistanke om, at det er den, der fejler. Hospitalets anden generator fungerer uden problemer. Kl : Strømmen er tilbage. Arbejdet med reetablering af div. systemer starter. Den 18/ fra Receptionen I løbet af aftenen mange CTS-alarmer fra serverrummet. Der blev løbende samarbejdet Teknisk koordinationsvagt. Kl. ca 22.10: Al telefoni, Trio-omstillingsbord, Dect-telefoni, Alarmtelefon, datasystemer og Asconalarmagent forsvinder. Dect-telefonien fungerer periodevis internt på hospitalet, men ikke på tværs af matriklerne. Der kaldes ekstra vagter ind i hhv. Holstebro og Herning.

7 Ved hjælp af portør og receptionister blev nødtelefoner, kaldere og telefonlister uddelt i Holstebro og Herning. Trio-omstillingsbord kom forholdsvis hurtigt til at fungere. Receptionen kunne ikke følge den sædvanlige nødprocedure med udsendelse af mail internt i HEV, til Politiet m.v. da al datakommunikation var nede. Der kom mange henvendelser fra afdelingerne som ikke kunne udskrive nødnummerlister fra e-dok, og det gav stor utrykhed at der ikke kunne ringes på alamtelefoner ved hjertestop m.v. Kl : Ascom-agenten virkede igen efter genstart, It-systemerne kom langsom op at køre. Den Kl. ca Blev ringet op af telefontekniker om at Avayasystemerne ikke snakkede sammen med Ascom og derfor blev der lavet TEST-kald på begge sygehuse alt OK. Kl : Klarmelding Den 19/5-2014: Kl : Teknisk koordinationsvagt skriver en status til Afdelingsledelsen Kl : Klinisk IT ansvarlig skriver status ud til afdelingsledelserne om den manglende adgang til netværk og dermed alt IT på hospitalerne i Vest mellem kl og Almindelig telefoni har heller ikke været tilgængelig. Kl atter adgang til EPJ. Der var udfordringer i forhold til kommunikation omkring nedbruddet, da gængse kommunikationsveje også var nede (mail, hjemmeside og også alm. telefon). Derfor skulle kommunikeres i forhold til nødprocedurer DECT telefoner. Der blev løbende sendt information ud på mail og via driftsinfo på hjemmesiden, men folk på lokationerne vil ikke kunne læse disse før efter genetablering af datacentret. Det generelle billede er, at medarbejderne har ageret på bedste vis i situationen, hvor de står uden oplysninger om patienten og begrænset kommunikation. Man har taget de nødprocedurer i brug,man kender fra nedbrud af EPJ. Der berettes også om, at det har været en ubehagelig og kaotisk situation at stå i. Der er ikke rapporteret direkte UTH / alvorlige følger af nedbruddet. Fra Driftsafdelingen bemærkes, at der i forbindelse med strømsvigtet var kort nedbrud på elevator, hvilket bevirkede, at portørerne ikke kunne bruge elevatorkort før næste dag, hvor Teknisk Afdeling mødte ind. DECT-telefoner var ligeledes ude af drift et par timer, hvilket bevirkede travlhed ifm.udlevering af mobiltelefoner. Den 22 maj 2014 Kl : RM-IT skriver ud til somatikken og psykiatien i vest + alle RM-IT ansatte: I forlængelse af søndagens udfordringer på datacenteret i Holstebro vil datacenterets forsyningskilde af strøm bliver ændret, således at det fremover forsynes af sygehusets generatorsikrede strøm. Der er behov for et ekstraordinært servicevindue / delvis nedlukning fredag den 23. maj i tidsrummet EPJ driftes ud af Skejby, og er derfor ikke omfattet af nedlukningen. I vil modtage information via intranettet, når servicevinduet er gennemført.

8 Den 23 maj 2014: Kl :Teknisk koordinationsvagt gør status på omkoblingen, som forløb efter planen. Der blev ikke givet lov til at teste generatoren samme aften. Man formoder, at det virker.

9