Data center eller serverrum optimering for energiforbrug og Total Cost of Ownership Forskningsnetkonference November 2010 Niels E. Raun niels.raun@globalconnect.dk
Oversigt Total Cost of Ownership: investering og drift Design og design fejl Effektiv energiudnyttelse køling er alfa og omega layout af serverrum rack opbygning Figurer og tabeller: APC inc. Foto: NER 2
Total cost of ownership Typisk mindre serverrum: 100kW energitilførsel og 1,5kW per rack. Total Cost of Ownership over 10 år viser at ca halvdelen er investering og halvdelen driftsomkostning 3
Total cost of ownership Ofte vil kun 30% af kapaciteten være udnyttet, men med stor variation fra 10% til 90% 4
Total cost of ownership - TCO Mulige besparelser i TCO, 10 årig periode per rack. Det ideelle datacenter har kun den indretning, der er krævet på pågældende tidspunkt. Selv om det ikke er muligt er det omkostningsbesparende at se på, om man kan bygge skalerbart og modulært. Fx mht. UPS og air conditioning 5
Beregning af kølebehov Eksempel: 450 kvm, 250kW effekt, 150 rack. IT belastning 30% = 75kW Varmeafgivelse fra UPS og Power Distribution enhed (strømfordeling) er relativt høj når anlægget kun er belastet med 30% Overdimensioneringen er årsag til effektivitets tab og dermed en reel omkostning Hertil kan komme yderligere tab hvis befugtnings anlæg er nødvendigt ved kondens 6
Design- og konfigureringsfejl Med tiden vil energitætheden i nyt IT udstyr lede kølesystemet til sin grænse, så der ikke mere køles effektivt Et 20% tab i køleeffektivitet koster ca 8% mere elektricitets forbrug I et 500kW datacenter bliver det til ca 5 mkr over 10 år Vi ser på hvordan dette spild kan undgåes med minimale investeringer Kølesystemer og fordeling af køleluft er nøglen til effektiv energi udnyttelse 7
Effektiv energiudnyttelse Det meste af præsentationen handler om at udnytte energien bedst muligt altså minimere elektricitetsforbruget Design for air flow er en meget vigtig bestanddel både inden i rack og ved placering af racks Desuden er placering af CRACs (Computer Room Air Conditioning units) af meget stor betydning Eksempelvis kan man sørge for at servere og transmissionsudstyr har fri passage for varm luft 8
Air flow inden i selve rack et Servere og transmissionsudstyr suger luft ind fra forsiden og støder den ud på bagsiden. Den trykforskel er meget større end den forventede opdrift af varm luft. Et blændpanel kan hindre et tab på 20% i køleeffekt og dermed et merforbrug af elektricitet på 8% 9
Airflow mellem rack Lavere returtemperatur til CRAC enheden (blå firkant) pga recirkulation får CRAC enheden til at arbejde på reduceret kapacitet Stor recirkulation giver reduceret fejl tolerance (mindre reservekapacitet) Højere indblæsnings hastighed løser ikke problemet med recirkulation Selve behovet for køling (kw) i datacentret ændres ikke pga recirkulation, men kølesystemets effektivitet bliver negativt berørt 10
CRAC layout ved kold og varm korridor Til forskel fra et traditionelt CRAC layout i et datacenter, bør køle enhederne placeres for enden af korridorerne. Modsat forventet, bør de placeres ud for de varme korridorer. Flow beregninger viser at det er mest effektivt at opsamle den varme luft hvor den dannes, medens den kolde luft spredes under gulvet 11
Kold og varm korridor Kold luft kan blæses ind enten gennem gulvfliser eller ovenfra. Vigtigt er at den kolde luft rettes mod hvor den skal bruges. Varm luft kan samles op gennem kanaler hvor den blæses ud, eller i et rum over nedsænket loft. In row cooling benyttes hvor energitætheden er høj, dvs over 5kW/rack 12
Køling ved meget høj energitæthed 6 blade servers hver på 3kW i et 42U rack kræver 18kW køling. Det kræver mindst 1,200 l kold luft/sek og tilsvarende 1,200 l varm luft, der skal fjernes. Det kan ikke lade sig gøre med gulvfliser. Konklusion: et alm. datacenter med hævet gulv kan ikke levere mere end 5-6 kw 13
Effekt af højde af hævet gulv Variationen i air flow falder med stigende højde på hævet gulv, men dog ikke voldsomt ved mere end 60-70 cm højde. Åbne metalriste kan ikke bruges pga for høj variation i air flow. I nogle tilfælde kan luftstrømmen faktisk vende og trække ned i stedet for op 14
Indhegning af varm korridor Lofts paneler sørger for at den varme luft i korridoren trækkes igennem køleenheder i rack ene og leverer luft med stuetemperatur til serverrummet. Der er også dør for korridoren Fordele: den varme luft kan ikke blande sig med kold luft Ulempe: for service teknikere er det en varm arbejdsplads 15
Total indhegning af kold og varm luft RACK et indeholder såvel IT udstyr som køle enhed Både varm og kold luft holdes inden i rack et og er tæt koblet Kan operere som enkeltstående rack eller flere i række Kan virke op til 60kW / rack Stiller store krav til energi forsyning samt til udenoms arealer for køling og energi Stor tæthed giver vanskeligere reparationsforhold 16
Løsning på high density zones Tre måder at danne rum neutrale øer for high density udstyr i et i øvrigt lav tætheds område. Data center effektiviteten øges på grund af den korte vej for luft strømmene 17
Cluster af high density zones Række baseret løsning med high density UPS og PDU. Room neutral 18
Varm korridor indhegning. Køleenhed 19
Køleenhed til indhegning 20
Gulv design for flere arkitekturer Man kan godt have rack beregnet til rum køling, række-orienteret opstilling og rack-køling i samme rum 21
Elektrisk effektivitet Sammenhæng mellem effekt tæthed per rack og elektricitets omkostninger til CRAC. El til rum-køling stiger stærkt når meget luft skal flyttes over længere afstande. Række køling er mest effektiv ved højere effekt tæthed, idet N+1 redundans i køling er tilstrækkelig 22
Small is beautiful? Ved at benytte IT udstyr med høj effekt per rack spares plads. Ved ca 2,5 kw/rack optager strøm- og køleenheder den samme plads. Det samlede pladsbehov falder ikke efter ca 5kW per rack 23
Effekt tæthed og Total Cost of Ownership Når effekttætheden per rack stiger må vi forvente et faldende TCO per kw. Men 75% af et datacenters TCO er energidrevet og 25% plads relateret. Faktisk ligger optimum for TCO omkring 6kW per rack 24
Variation i energiforbrug Lidt belastede servere kan operere ved reduceret processor kraft, nedsat clock frekvens og dermed nedsat strømforbrug. Når en gruppe servere i et rack opererer med fuld kapacitet, kan det give overophedning et lokalt hot spot - eller elektrisk overbelastning, såfremt installationen ikke er dimensioneret derefter. Med dual-path strømforsyning må ingen af forsyningerne trække mere end 50%. Brug sikkerhedsmargin, fx 60% af gren belastning og indfør automatisk advarsel når de 60% overskrides 25
TCO besparelser Reduktion i serveres fysiske størrelse sparer noget plads men kun lidt Total Cost of Ownership. Skift fra alm. servere til blade servere giver 20-40% besparelse i strømforbrug, fordi chassis med strømforsyning og ventilatorer bliver delt for samme CPU ydelse. TCO opnår en væsentlig besparelse fordi TCO domineres af effekt forbrug 26
Design fejl 27
Design forslag 28