Er tiden moden til automation i skyen? Koncepter for datacentre No size fits all Christian Borst, COWI A/S 1
Stadig flere store datacentre Stigende out-sourcing af it-drift Stadig flere it-operationer koncentreres i færre datacentre Konsekvens af driftsafbrydelse kan være stor Driftsfejl må ikke afbryde driften Firmaer med verdensomspændende operationer => Ingen naturlige driftspauser Vedligehold, ombygninger, udvidelser uden afbrydelse af driften 2
COWI Lyngby: Centre of Excellence Data Centre Gruppe på ca. 20 ingeniører, der primært arbejder med datacentre Fokus på elforsyning og køling Øvrige discipliner trækkes på eksperter andre steder i huset Kunder omfatter en række større operatører i Danmark Sverige, Norge, Gulf'en Uptime Institute Tier Specialist Uptime Institute Tier Designer 3
Tilgængelighed - Oppetid Beregne MTBF/MTTR er ikke praktisk Absolut beregning ikke mulig, ikke tilstrækkelig data Kan aldrig eftervise HazOp-Analyser kan give et indblik i fejltræer 4
Uptime Institute Amerikansk organisation privat Har arbejdet med datacentre og oppetid i mange år Arbejder med alle aspekter omkring opbygning og drift af datacentre Almindelig anerkendt som defacto standard Udgiver en række white papers og guide lines Mere info: www.uptimeinstitute.com Andre referencer: ANSI/TIA-942 Telecommunication Industry Association 5
Uptime Institute - Tier Standard Topology Tier I Tier II Tier III Tier IV Active capacity components N N+1 N+1 N after any failure Distribution paths 1 1 1 active 1 alternate 2 simultaneously active Concurrently maintainable No No Yes Yes Fault tolerance No No No Yes Compartmentalization No No No Yes Continuous cooling Load Density Dependent Load Density Dependent Load Density Dependent Yes Class A 6
Elektriske Systemer Omfatter: Netforsyning Transformere Dieselgeneratorer, inkl. brænstofsystemer UPS-systemer Tavler Forsynings- og gruppekabler Generelt: Tier-klassifikation baseres på hvad der er "indenfor hegnet" 7
Elforsyning 8
Elforsyning 9
Elforsyning 10
Elforsyning 11
Elforsyning 12
Elforsyning Dieselgeneratoranlæg Krav Tier III Service og vedligeholdes med forsyning fra generatorer Tier IV Fejltolerant med forsyning fra generatorer Ved Tier III og IV skal dieselgeneratorer være for kontinuerlig drift Ved Tier I og II accepteres dieselgeneratorer for Prime eller Standby drift Tankanlægget skal have en kapacitet der svare til mindst 12 timers drift med den udlagte effektbehov 13
Elforsyning Resume Elektriske Systemer 2N eller N+1 garanterer ikke for en specifik Tier rating - forsyningsvejene har stor betydning Der er mange løsningsmodeller og ikke kun én Endelig model bør vælges ud fra kundens krav til Tier-rating, forsyningssikkerhed og økonomi (anlæg og drift) 14
Mekaniske Systemer Omfatter: Kølekompressorer Vandsystemer (primære og sekundære) Computerrum kølere (DFU, in-row kølere) 15
Kølesystem 16
Kølesystem 17 26 JUN 2011 UPTIME TIER CLASSIFICATION SYSTEM
Kølesystem 18
Kølesystem 19
Kølesystem 20
Kølesystem 21
Kølesystem 22
Kølesystem Klasse A: Uafbrudt køling ved Tier IV Kontinuerlig køling af kritiske enheder og datacenter mens dieselgenerator startes (computerrum, netværksrum og UPS-rum) Dette betyder, at køleanlægget skal forsynes fra UPS-anlægget, hvis temperaturen ikke kan holdes mellem 18 C og 27 C og med en temperaturgradient ikke større end 5 C/time 23
Computerrum-køling Åbent rum med DFU Cold aisles Hot aisles 24
Kølesystem Resume Mekanisk Systemer 2N eller N+R garanterer ikke for en specifik Tier rating, forsyningsvejene har stor betydning Der er mange løsningsmodeller og ikke kun én Regel for ventil antal: N+1 kræver 2 ventiler mellem komponenter N+2 kræver 1 ventiler mellem komponenter Ved Tier IV kan UPS-forsyning af køling være nødvendigt for at fastholde en stabil temperatur uden net- og generatorforsyning 25
Lastberegning Resilience Project Load Calculations - Electrical Phase 2: Packages 4, 5, 6, 7, 9, 10 and 11 Doc. No.: PA(99)081 Preliminary Design Date: 2009-02-11 MS-6 + 7 + 8 upgraded Infrastructure (UPS, cooling diesel generator) upgrade Computer Room Electrical Load Preliminary Design - 2009-02-11 Rev.: 2,0 Prepared: HOI Checked: CSL Approved: CB Computer Room Areas MS-1 MS-2 MS-3 MS-8 MS-6 MS-7 Utility (A2+F) Total electrical load Total cooling load summary Resulting Computer Room DP Capacity No-break supply Computer room area 360 m2 360 m2 360 m2 670 m2 1.080 m2 277 m2 3.107 m2 Load basis requirements 750 W/m2 750 W/m2 750 W/m2 1.200 W/m2 750 W/m2 750 W/m2 847 W/m2 Design load 270 kw 270 kw 270 kw 804 kw 810 kw 208 kw 2.632 kw Limiting capacity UPS8, UPS9 and UPS10 756 kw 884 kw 189 kw 1.830 kw Limiting capacity existing Sitepros 5 kw 108 kw 85 kw 198 kw 2.028 kw STS/PDU - losses 2% 0 kw 2% -2 kw 2% -2 kw 2% -15 kw 2% -18 kw 2% -4 kw Available DP capacity 5 kw 106 kw 83 kw 741 kw 867 kw 185 kw 2.024 kw Available DP capacity 14 W/m2 294 W/m2 231 W/m2 1.106 W/m2 803 W/m2 670 W/m2 651 W/m2 Short-break load Technical cooling UPS 8, 9 and 10 90 kw 90 kw Technical cooling future UPS 11 and 12 0 kw 0 kw DF coolers 297 kw [Nos., kw/unit] 0 nos. 7 kw 0 nos. 7 kw 0 nos. 7 kw 12 nos. 9 kw 17 nos. 7 kw 4 nos. 7 kw 6 nos. 7 kw 297 kw AHU [Nos., kw/unit] 1 nos. 12 kw 2 nos. 12 kw 2 nos. 12 kw - - 0 nos. 0,0 kw - - - - 60 kw 60 kw AHU dehumidification [Nos., kw/unit] 1 nos. 12 kw 2 nos. 12 kw 2 nos. 12 kw 60 kw AHU cooling loss [Nos., kw/unit] 1 nos. 5 kw 2 nos. 10 kw 2 nos. 10 kw 45 kw Lighting 6,5 W/m2 2 kw ######## 2 kw 6,5 W/m2 2 kw 6,5 W/m2 4 kw 6,5 W/m2 7 kw 6,5 W/m2 2 kw 32 kw 32 kw 12 kw Computer Room Power Installation Capacity Standard PDU rating 400 A 400 A 400 A 800 A 400 A 400 A [Pairs, A/unit] 2 pairs. 2 pairs. 2 pairs. 2 pairs. 5 pairs. 1 pairs. Power factor for DP load cos Ø= 0,90 cos Ø= 0,90 cos Ø= 0,90 cos Ø= 0,90 cos Ø= 0,90 cos Ø= 0,90 Net capacity of PDU's 499 kw 499 kw 499 kw 998 kw 1.247 kw 249 kw Utilisation factor 80% 80% 80% 80% 80% 80% Rated capacity reduced with 1.109 1.109 1.109 1.191 924 kw 720 utilisation factor 399 kw W/m2 399 kw W/m2 399 kw W/m2 798 kw W/m2 998 kw W/m2 200 W/m2 Computer Room Cooling Capacity Rated AHU cooling capacity Rated AHU cooling capacity (N+17%) Rated DF unit cooling capacity Rated DF unit cooling capacity (N+17%) Cooling loads [Nos., kw/unit] 4 nos. 65 kw 4 nos. 65 kw 4 nos. 65 kw Cooling pump losses 80 kw [Nos., kw/unit] 1 nos. 65 kw 2 nos. 65 kw 2 nos. 65 kw Building North New offices 205 kw [Nos., kw/unit] 0 nos. 55 kw 0 nos. 55 kw 0 nos. 55 kw 12 nos. 80 kw 17 nos. 67 kw 4 nos. 67 kw Building North MS-5 150 kw [Nos., kw/unit] 0 nos. 55 kw 0 nos. 55 kw 0 nos. 55 kw 10 nos. 80 kw 14 nos. 67 kw 3 nos. 67 kw Building North Offices 350 kw Cooling capacity (N+1) 65 kw 130 kw 130 kw 800 kw 938 kw 201 kw Building South Offices 500 kw Lighting losses -2 kw -2 kw -2 kw -4 kw -7 kw -2 kw Net cooling capacity 63 kw 128 kw 128 kw 796 kw 931 kw 199 kw Utilisation factor 95 % 95 % 95 % 95 % 95 % 95 % Building South Repair Centre Building South Test Centre 110 kw 90 kw Net cooling capacity (N+1) 60 kw 165 W/m2 121 kw 337 W/m2 121 kw 337 W/m2 756 kw 1.128 W/m2 884 kw 819 W/m2 189 kw 683 W/m2 Rotary UPS System DRUPS-8/9/10 No-Break Supply DRUPS-8/9/10 Short-Break Supply Existing UPS-load 1.590 kva UPS unit (rated apparent capacity) [Nos., kva/unit] 3 nos. 1.600 kva 4.800 kva 3 nos. 530 kva 1 nos. 600 kva 600 kva cos 0,80 cos Ø= 0,80 cos Ø= 0,80 Ø= UPS power factor UPS unit (rated capacity) [Nos., kw/unit] 3 nos. 1.280 kw 3.840 kw 3 nos. 424 kw 1.272 kw 1 nos. 480 kw 480 kw UPS unit (rated N+1 capacity) [Nos., kw/unit] 2 nos. 1.280 kw 2.560 kw 2 nos. 424 kw 848 kw 1 nos. 480 kw 480 kw Available capacity for Computer room 100% 2.560 kw 100% 848 kw 100% 480 kw Design rating of UPS load 80% 2.048 kw 80% 678 kw 46% 220 kw Total Required computer room capacity 1.830 kw 393 kw 220 kw Total cooling load 4.096 kw 71% 46% 46% 26
Elforsyning 27
Power Usage Effectiveness PUE = P total facility P it load 28
Daglig drift Operational Sustainability 29
Øvrige kritiske systemer Branddetektering Brandslukning BMS Adgangskontrol Perimetersikring CCTV 30