Miljørigtige datacentre til KU Thomas Danø, Koncern-it, KU Dias 1
Introduktion KU: Skandinaviens største universitet Cirka 38.000 studerende Cirka 8.600 ansatte, heraf 5.000 forskere 8 nobelpristagere 7 mia. DKK i omsætning Nr. 8 i Europa og nr. 45 i verden (Shanghai Jiao Tong, 2008) Grundlagt 1479 af Kong Christian d. I som katolsk præsteskole Reformeret 1537 (statsinstitution) 2003: Institutionelt selveje og ekstern ledelse Dias 2
Introduktion KU s struktur Klassisk opbygning med 8 fakulteter, 50 institutter og cirka 100 centre: Det Biovidenskabelige Fakultet for Fødevarer, Veterinærmedicin og Naturressourcer (11 institutter) Det Farmaceutiske Fakultet (3 institutter) Det Humanistiske Fakultet (8 institutter) Det Juridiske Fakultet (enhedsfakultet) Det Naturvidenskabelige Fakultet (9 institutter) Det Samfundsvidenskabelige Fakultet (7 institutter) Det Sundhedsvidenskabelige Fakultet (12 institutter) Det Teologiske Fakultet (enhedsfakultet) Dias 3
Min baggrund Thomas Danø, Sektionschef for infrastruktur i Koncern-it på Københavns Universitet siden oktober 2009. It-chefarkitekt samme sted, siden november 2008 Tidligere ansættelser Microsoft, it architect i MS Consulting Services i Hellerup DTU, it-souschef. Afdelingen for it-service Dias 4
Miljørigtige datacentre på KU Grøn it på KU Introduktion, baggrund Nye driftscentre til KU Missionen Visionen Køleteknikken bag It systemerne Opsummering på grønne teknikker Fremtiden Udfordringer Erfaringer Afslutning og eventuelle spørgsmål? Dias 5
Dias 6 Ultimo 2008: Decentral it Fragmenteret storage Servere (+2.000)
University IT Miljøvenlige grønne it datacentre Et af 2 strategiske infrastruktur projekter: Opbygge en komplet platform til at virtualisere alt it på KU I 2 datacentre Målet for de fælles datacentre: Kosteffektivitet Klimavenligt, grønt! Færre hænder til den samme opgave Forøget grad af sikkerhed Forøgede muligheder for fælles it services HP blev valgt som partner I analysefasen HP implementerede vores MPLS netværk IBM og Motus leverede og implementerede vores VM platform Dias 7
Koncept Backup center Driftscenter Panum Spejling Driftscenter KUA NAT LIFE FA/JUR FARMA HUM SUND SAMF/TEO Dias 8
Driftscenter panum Dias 9
University IT GrønKøling Undersøgte 3 muligheder: 1. Traditionel ammoniak køling 2. Ventilation 3. Evaporativ køling Evaporativ køle systemer har været kendt siden sidst I 60 erne Princippet bygger på en luftstrøm som passerer et fugtigt/vådt medium Selve kølingen foregår ved at tage luften udefra og lade den passere gennem filtre Filtrene gennemvædes med vand, hvoraf en del vil fordampe, når luften passerer. Det forudsætter, at luften er relativt tør, så den kan optage vand fra filtret. Når vandet fordamper, betyder det også, at temperaturen falder, fordi der bruges varme til fordampningen. Evaporativ køling fungerer altså på samme måde, som mennesker køles ned ved at svede. Dias 10
GrønKøling Teknikken har også den åbenlyse svaghed, at den relative luftfugtighed stiger i den luft, som bliver blæst ind i datacenteret. Det betyder ikke så meget i et storcenter, men når lokalet er fyldt med dyr elektronik, gælder det om at undgå, at luftfugtigheden stiger til et niveau, hvor der kan begynde at blive dannet kondens. Derfor har vi også fået opsat en affugter til at holde luftfugtigheden konstant inden for de anbefalede niveauer for udstyret. For lav luftfugtighed kan imidlertid også være et problem, fordi det øger opbygningen af statisk elektricitet, som kan være lige så ødelæggende for it-udstyr som kondensvand. Dias 11
University IT Evaporativ køling Fordele og ulemper Fordele Implementering omkostningerne er 25% mindre (simpel teknologi, mindre diesel og ups systemer osv.) Årlige omkostninger er 50% mindre pga lavere energiforburg (ingen pumper, kompressorer, osv.) Ulemper Aldrig brugt før til data center køling Fylder væsentligt mere end andre løsninger Maks køleeffekt på 9-10 kw per rack Evaporativ køling blev valget, fordi KIT har en strategi om at være fast follower på it-området, men også samtidigt være ledende med klimavenlige løsninger Laveste implementerings og driftsomkostninger Dias 12
Netværk MPLS net, automatisk failover. Cisco 7600 series med Cisco 4900 10 Gb backbone Redundant Layer 2 gennem skyen Nem styring af QOS Nemt at koble spredte institutter sammen Mulighed for genanvende IP adresser Datacentrene valgtes Cisco Nexus platformen pga høj skalerbarhed og enkel administration Dias 13
2.5 center strategi servere og tjenester Servere - Før: - Nu: Dias 14 Mindst 2000 stk. primært 1-2 processor-enheder Utallige diskløsninger, MSA/SAN/DAS osv IBM 4 vejs servere (x3950m2) NetApp NAS IBM-Nseries SAN HP EVA SAN Nye KU tjenester i centrene: Microsoft Exchange 2010 40.000 brugere med 250 Mb mail quota Sharepoint Intranet 60.000 brugere, hvor de 40.000 brugere på sigt tildeles hver 1 Gb lagerplads! Diverse databaser som Oracle og MS SQL Maksimal virtualiseringsgrad! Alt storage over IP! Pt. besparelse ved Deduplikering 80-85%
Løsnings design Backup Center iscsi Ethernet N6060 CIFS NFS TapeLib N-Series SATA shelves KUA SnapVault PANUM N6070 Gateway iscsi NFS CIFS 10Gbit Ethernet Backbone iscsi NFS CIFS N6070 Gateway Redundant SAN Fabric Ethernet SnapMirror Ethernet HP EVA8100 N-Series shelves HP EVA8100 N-Series shelves Dias 15
Storage Storage mængder Forventet i 2012: 4 5 Petabytes! -Teknologier -iscsi -NFS -CIFS -Deduplikering -SnapManager -ThinProvisioning Backup/restore udelukkende via disk. Tape er mest til arkivering til statens arkiv Dias 16
Anvendte grønne teknikker Supermarkeds køling Server virtualisering Storage virtualisering Sofistikerede storage & server løsninger 110% sizing Store strømeffektive servere, bedre watt/ydelse ratio end blades! Dias 17
Fremtiden Mål: 95% virtualiseret Self service for storage og virtuelle servere Bruger restore via central NetApp filserver Next steps: Fakulteterne migrere deres mange servere og storage ind på den centrale IBM/NetApp hostingscenter Hvert fakultet s it får tildelt egne ressourcer i den virtuelle farm Dias 18
Et lille indblik i vores hverdags udfordringer Udfordringer vi slås med Hvordan får man 1 tons tunge rack skabe ind i et serverrum når der er 1 meter op til døren? Hvordan får man et køleanlæg ned i en kælder, når kælder skakten er for lille? Hvordan sikrer vi der ikke falder fugle ned i køleanlægget på Panum, hvor der via rør med en diameter på ca. 2 meter trækkes luft ned fra taget til afkøling af server rummet? Hvordan standardiserer man, når fakulteterne tilsammen repræsenterer stort set alt der findes på IT markedet? Hvordan håndterer vi det faktum at nogle fakulteter ikke kan overskue at skifte IP adresser? Hvordan får vi implementeret og testet den ny etablerede infrastruktur, samtidig med at den benyttes af de første kunder? Hvordan placerer man 50 serieforbundne Playstation 3 i et rack? Hvordan ser strømregningen ud når man pga for lidt effekt skal have varmeblæsere i sit serverrum... Dias 19
Erfaringer 1. Du har altid for lidt storage! 2. Byggeplaner er svære 3. Du skal have en meget tæt og løbende dialog med både leverandør og producent. Hold mange møder med dem for at sikre fokus og fremdrift! 4. Uddan folk, og sørg for at de arbejder med de opgaver inden for kort tid 5. Korte intervaller i projektledelsen, drop 10 års planerne de er spild af tid! 6. Lav de svære/ukendte ting først! 7. Et spørgsmål om temperament, men hold ikke for mange planer i gang på en gang! 8. Sørg for at have sofistikerede user cases og stress test tools til din rådighed! Dias 20
Dias 21
RESERVE SLIDES Dias 22
19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 Z Y X Panum U T S R Q P O N M Net HP IBM HP HP HP Capacity: 59 racks Air cooling, hot and warm spots. At full capacity air flow at 45.000 m3/h Cisco Nexus 2000 switche in all racks to a central Cisco Nexus 5000 L K J I H G F E D C B A 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 Dias 23
Dias 24
Dias 25
Server Vsphere 4.0 Alle fysiske net er tilgængelige på alle ESX hoste Alt i setup et er redundant Alle installationer er scriptet Dias 26
Storage og backup NAS storage (Netapp) Mulighed for spejling af kritiske data Fælles adm af flere storage typer Deduplikering pt. 83%. Backup til disk, Tape kvartalsvis Snapshot funktion Store datamængder på få minutter muliggør ofte backup Dias 27