RÆDSELSHISTORIE FRA DET VIRKELIGE LIV. Den Tekniske side af sagen

Transkript

1 RÆDSELSHISTORIE FRA DET VIRKELIGE LIV Den Tekniske side af sagen

2 Kort intro Thomas Laursen Infrastructure Specialist Storage / Server 20år+ Primært HPE og NetApp Backup / Recovery navnlig Veeam suiten Virtualisering / Konsolidering Entreprise Infrastruktur Generelt

3 2 Små Emner lidt teknisk anskuet Hvad gik galt eller rettere hvad TROR vi der gik galt Ved reelt ikke hvad der skete. Det vi fandt burde ikke kunne lade sig gøre og dog Hvordan sikrede vi os mod at dette kan ske igen Kan man det??? Eller kan man blot sikre at man kan komme tilbage hvis det sker igen???

4 Hvad ved vi.. Alle servers virtualiseret på Vsphere men ikke opdateret Filserver mfl. var ved at løbe tør for plads Hardware var forældet (5år+) HW ikke firmware mæssigt vedligeholdt Storage var ved at løbe fuld og performede dårligt Backup fejlede ofte, men uden indgriben og rettelse af fejl OG man kørte med kun 5 tilgængelige recovery points I bedste fald en RPO på T 5dage Dualiseret backup Repositorys INGEN Tape Backup

5 Hvad mener vi der skete. Forsøgte at udvide filserverens ene Windows partition Udvidedsen af windows partitionen overskred den fysisk tilgængelige storage kapacitet Dette kan man normalt ikke få lov til at gøre meeen og dog!!!! Ved udvidelsen blev windows partitionen gjort korrupt Alle data på organisationens home directory s gik tabt

6 Hvad mener vi der skete teknisk Fysisk Storage 4TB.VMDK ThinProvisioned 6TB Windows Partition DATA Mer DATA Mer DATA BANG C:\ Diskpart Extend

7 Hvad gjorde det hele endnu værre.. IT afdelingen fokuserede 100% på fejlfinding Ingen forsøgte at sikre eksisterende recoverypoints Backup af ødelagte areal blev IKKE stoppet Man involverede ingen andre i fejlfindingen førend mere end 7 dage efter incident Resultat INGEN Recovery Muligheder fra Backup Overskrevet med korrupt data / Fejlet i mere end 5 dage (retention time) Al brugbar backup tabt fra Backup Repositorys Hjæææælp.

8 Handlingsplan. PRIO 1 Forsøge at redde tabte data. Hele filserverens ene partition kunne ikke mountes / genkendes som filsystem Windows filsystemet ødelagt, og ulæseligt Alle home directorys var tabt PRIO 2 Tiltag til at sikre at data altid kan tilvejebringes ved lign incident Optimere performance og drift sikkerhed og stabilitet

9 PRIO 1 Recovery Scannede ødelagte partition med TestDisk TestDisk meddelte at partition var for stor til.vmdk filen og kunne IKKE fortsætte scanning. Lavede en ny og større.vmdk Fil der kunne huse partitionen Startede TestDisk scanning igen TestDisk kørte uafbrudt i mere end 26 Timer, og vi kunne se at der gendannedes filer til den ny.vmdk Fil Resultat 90% af de tabte data kunne igen tilgåes Næsten alle filer der var åbne ved incident kunne IKKE genskabes. Hvad tror i så vi gjorde som det næste???

10 PRIO 2 Sikring af data Total Redesign af backup for recovery optimering Udgangspunkt i Veeam s model 2 nye Backuprepositorys på 2 fysiske lokationer (data 3 steder) Fuld og immediate BackupCopy mellem sites (data 2 sites) Implementering af Tape Backup for ugentlige FULL backups (2 media types) Sikkerhed for Recovery mulighed Implementering af Veeam Sure Backup Full ugentlig recovery og automatisk drift test af recoverymulighed

11 Prio 2 Data Sikring Overview Main Site Vsphere Cluster Veeam (4 Copies) Remote Site Main Backup Rep. Daglig Backup Immediate Backup Copy Remote Backup Rep. Ugentlig Full Long Term Backups TapeLib.

12 Prio 2 Driftoptimering Factor 5 Performance!!

13 Prio 2 Migration Med tilladt boot Etabler forb. til ny DS fra gl. ESXi Vmware Storage Migration Sluk VM og eksport VMX fra Cluster Import VMX fil til ny Cluster (secs) Start VM Done! VMX VMDK

14 Prio 2 Migration..UDEN nedetid. VMX VMDK Veeam Replication Failover and power down (OLD) VMX VMDK

15 De 5 vigtigste take aways 1. Veeam Rule 2. Check Backup Reager på fejl og få dem rettet 3. Check at der kan restores optimalt Veeam Surebackup / Virtual lab 4. Thin Provisioning er super men overvåg FYSISK plads. 5. Ring til experter FØR det bliver rigtigt grimt edgemo sæføli

16 Spørgsmål?

17 Kontaktinfo Thomas Laursen Infrastructure Specialist

18 VENT ET ØJEBLIK! nu er der evaluering og lodtrækning