Albertslund Kommune. Netværksanalyse og anbefalinger

Transkript

1 Albertslund Kommune Netværksanalyse og anbefalinger

2 Side 2 Indhold Versionsstyring... 3 Indledning... 3 Forord af konsulenten... 4 Gennemgang af ADM-net switche (HP 5406ZL)... 4 Hvilken betydning har de identificerede mangler?... 5 Anbefaling... 8 Fase Fase Fase Redesign af Rådhus/Serverrum Det administrative trådløse netværk Anbefalinger til et nyt trådløst netværk: Konklusion... 17

3 Side 3 Versionsstyring Dato Version Ændring Af 12/ HKR/ haackt 26/ Wifi analyse og anbefalinger er tilføjet sidst i dokumentet HKR CLTH haackt 9/ Rettelser og konklusion er tilføjet JKT/ haackt Indledning I forbindelse med Albertslund Kommunes arbejde med omstilling og modernisering af kommunen som helhed, ønsker kommunen at etablere et agilt fundament, der kan understøtte den hastige udvikling og de fremtidige innovative initiativer således at Kommunen vil kunne indfri ambitionerne om at blive en Smart By. Kommunens eksisterende netværk og dets topologi svarer ikke til de moderne krav hvilket giver store udfordringer i kommunens administration og i skolerne. I den forbindelse er TDC blevet bedt om at gennemføre en teknisk analyse, der skal give et billede af situationen samt komme med anbefalinger til hvordan kommunen adresserer de aktuelle og ikke mindst fremtidige udfordringer. Vores anbefalinger operationaliserer det Strategiske IT roadmap (SITR), og giver TDC s perspektiv på hvordan IT infrastrukturen i Kommunen moderniseres på den mest hensigtsmæssige måde såvel forretningsmæssigt som økonomisk. Den overordnede anbefaling i rapporten er, at Albertslund Kommune i en prioriteret rækkefølge påbegynder en modernisering af infrastrukturen. Indledningsvist bør de af elementerne i netværket, der forårsager de største problemer, blive udskiftet i stedet for at reparere og bruge yderligere ressourcer på et netværk baseret på ældre teknologi. Dette vil reducere risici og samtidigt være det første spadestik i forhold til at løfte Kommunen over på en mere agil og fremtidssikret infrastruktur.

4 Side 4 Forord af konsulenten Albertslund har i gennem længere tid haft et meget ustabilt netværk. I februar 2016 var det så ustabilt, at noget udstyr måtte frakobles og andet direkte slukkes. Med i udgangspunkt i ovenstående, har jeg gennemgået netværket og identificeret generelle forbedringer til netværket, samt et redesign af fiberringen. Min gennemgang er afgrænset til alle 5406ZL switche og satellit-switche på Hyldagerskolen og Herstedøster Skole. Wifi er efter Kommunens eget ønske ikke medtaget da kommunens teknikere allerede har igangsat initiativer til afhjælpning af oplevede driftsproblemer. Det fremkomne design er ikke detaljeret beskrevet, men vil kunne give et overordnet indblik. Gennemgang af ADM-net switche (HP 5406ZL) Det var ikke muligt at finde en forklaring i logfiler i forbindelse med nedbrud i februar Dette kan være forårsaget af at switchene har været slukket og/eller at loggen har været overskrevet. Jeg har ved gennemgang gået ud fra HP Best Practice på Procurve switche. Ved gennemgang har jeg identificeret følgende: Manglende spanning tree på moderparten af switche Manglende BPDU guard på access-porte Manglende spanning tree root guard UDLD (Link-keep-alive) på fiber-link ikke slået til VLAN segmentering centralt. Store domæner Manglende redundans En distribution switch router for hele fiberringen Manglende fiber redundans. Defekt optik/kabel fører til nedbrud Firmware bør være af nyeste version.

5 Side 5 Hvilken betydning har de identificerede mangler? Manglende spanning tree på moderparten af switche. (Se bilag) Ved brug af spanning tree, kan man sikre at et netværk med en eller flere redundante link ikke skaber loop. Spanning er baseret på at alle switch-porte sender såkaldte BPDU-pakker, og ud fra de sendte/modtagne BPDU-pakker lukkes/åbnes redundante link. Ved spanning tree er det god praksis at have roden i træet på de kraftigste switche, og så tæt på routeren som muligt. Optimal brug af link kan også styres ved at lægge roden korrekt. HP llo-protection er slået til, og vil I de fleste tilfælde fange en loopet port (2 porte forbundet på samme switch). Dette er ikke altid tilfældet og det er derfor praksis at slå både loopprotection og spanning tree til. Manglende BPDU guard på access-porte BPDU guard er en funktionalitet i spanning tree, der sikrer at der ikke sættes switche på uønskede porte. Hvis en uønsket switch bliver rod i netværket, vil dette kunne påvirke netværket negativt. Manglende spanning tree root guard Root guard sikrer at en switch ved fejlkonfiguration ikke bliver rod i spanning tree. Dette sker ved at en port der modtager BPDU-pakker med en bedre rod-værdi bliver blokeret/lukkes. Man kan konfigurere root guard således at den automatisk åbner porten igen efter 5 min. (Lukkes igen hvis BPDU md bedre rod-værdi), eller manuelt ved at lukke åbne porten. UDLD (Link-keep-alive) på fiber-link ikke slået til

6 Side 6 Sikrer at en defekt fiber i et fiberpar ikke skaber loop. Dette gøres ved at UDLD lukker port skulle porte ikke modtage ekko på en speciel sendt pakke. Et fiberpar der sender men ikke modtager kan skabe tab af netværkspakker, og som det værste kan det resultere i netværksloop. VLAN segmentering centralt. Store Selv om skoler/institutioner i stor udstrækning har fået deres eget vlan, skaber fiberring et stort l2-domæne. Det er ønskeligt at have routning så tæt på brugerne som muligt. Manglende redundans En distribution switch router for hele fiberring Det er ønskeligt og best practice at bruge en First Hop redundancy Protokol (FHRP) såsom VRRP. VRRP sørger for at en gateway kan deles imellem 2 enheder (routere). Skulle den ene router gå ned overtager backup routeren. Dette kræver selvfølgelig at fiberring sluttes, og det derfor er en dårlig ide at have spredt i en ring. (Dette er nok årsag til valg af hestesko fiberring.) Manglende fiber redundans. Defekt optik/kabel fører til nedbrud Det er ønskeligt at have redundante uplinks, og når der kun er en enkelt ring (switch) bør der laves port-channel ved brug af LACP. LACP brugs til at bundle 2 eller flere link som et link med større båndbredde. Ydermere forhindrer brug af LACP at trafik risikere at blive sendt i et hul.

7 Side 7 Firmware bør være af nyeste version Firmware kan være fejlbehæftet, og ikke være patchet med de seneste sikkerhedsopdatering. Ved at sørge for at bruge den seneste firmware, kan man minimere risiko for at udstyr går ned pga. af fejl i Firmware.

8 Side 8 Anbefaling Det anbefales at ovenstående funktioner bliver aktiveret og at der samtidigt sker et redesign af fiberringen som ikke bør være baseret på. I en overgangsfase kan der laves en mellemting Dette kan være nødvendigt da der pt. kun er et voice-vlan. MST slås til på alle switche og der laves en instans for fiberring og en instans for Rådhus med serverrum. Det er meget vigtigt at der i det nye serverrum slås MST til, da det kun er loop-protection der forhindrer loops på server switchene. En router i nyt serverrum har MST slået til, men dette er ikke tilfældet for de 2 switche hvortil servere er tilsluttet. Det vil være muligt at begrænse udbredelse i fiberringen, ved at slå L3/rutning til på alle knudepunkter (HP-5406) i fiberringen. På denne måde vil en fejl på et knudepunkt eller udstyr tilsluttet dette knudepunkt, ikke kunne sprede sig til resten af fiberringen og rådhuset. Det eneste der forhindrer et rent L3-knudepunkt er voice-vlan Der er kun ét voice-vlan som, hvis dette ikke ændres, vil spanne ud over alle knudepunkter i fiberringen. Det anbefales at voice-vlan segmenteres, således der som minimum er ét voice-vlan per knudepunkt. Ud fra en økonomisk og strategisk betragtning vil den tid og økonomi der er relateret til at rette op på ovenstående, med fordel kunne bruges til gøre netværket klar til den fremtidige infrastruktur, og samtidigt løse nuværende problematik. Med udgangspunkt i Cisco SITR initiativet er jeg kommet op med et design, hvor det er muligt at udskifte den nuværende fiberring og satellit switche i etaper. Dette er muligt ved at opbygge en ny L3 fiberring, hvortil den eksisterende fiberring med satellitswitche tilsluttes.

9 Side 9 En ny fiberring vil blive designet således at den kan transportere mange logisk adskilte data trafiktyper på samme fælles fibernetværk. Det vil således fremadrettet være muligt også at tilslutte skolenet på de samme switche. Kravet til logisk adskillelse af skolenet er opfyldt ved dette design. Sikkerheden i netværket er baseret på microsegmentering ved brug af TrustSec. Pakker bliver markeret allerede ved switch-port, således at der senere i en firewall og/eller access-liste på switchen kan åbnes/lukkes for adgang til hele eller dele af netværket. I designet er der indbygget redundans ved at have dublerede switche i hvert knudepunkt i fiberringen. Fiberringen vil i modsætning til i dag være en sluttet ring Dette kan ske uden fare for loop, da fiberringen er baseret på L3 (routning). Forudsætningen for at etablere en ny fiberring, er at der er ledig fiber mellem lokationerne. For at kunne adskille netværk i VRF er, og for at undgå at skulle lave adskillige mellemnet (VRF-lite) hver gang der laves en ny VRF, benyttes MPLS. I modsætning til VRF-lite skal der minimal konfiguration til for at oprette et nyt VRF. I hvert knudepunkt sættes 2 stk. Catalyst 3850 med udvidet feature-set, således at alle de ønskede krav i Cisco SITR iniativet opfyldes.

10 Side 10 WAN Designet er opbygget i 3 faser: Fase 1. Ny fiberring router for hvert enkelt knudepunkt. -vlan transporteres i overgangsfase i nuværende fiberring (hestesko), ved at kun at tillade voice-vlan på link imellem fiber-switche. (Det anbefales at voice-vlan bliver segmenteret, allerede i Fase 1.) WS-C XS-E FX-VR-ADM FX-DAM-ADM FX-OST-ADM FX-PCA-ADM Nye fiberring Kun routning FX-STA-ADM FX-HY-ADM FX-EG-ADM FX-VEST-ADM WS-C XS-E Rådhus Resten af ADM 1G & 10G fiber 10G fiber Stack HP router i fiberring Catalyst 3650 HP Satellit Switch HP Fiber ring switch Fig.1 Fase 1

11 Side 11 Fase 2. -vlan er blevet segmenteret i forbindelse med at access-switche udskiftes med Catalyst 3650 POE switche. WS-C XS-E FX-VR-ADM FX-DAM-ADM FX-OST-ADM FX-PCA-ADM Nye fiberring Kun routning FX-STA-ADM FX-HY-ADM FX-EG-ADM FX-VEST-ADM WS-C XS-E Rådhus Resten af ADM 1G & 10G fiber 10G fiber Stack HP router i fiberring Catalyst 3650 HP Satellit Switch HP Fiber ring switch Fig. 2 Fase 2

12 Side 12 Fase 3. Alle nuværende HP-switche er udskiftet og al trafik kører på redundante tilkoblede Catalyst 3650-switche. Catalyst 3650 switche vil kunne stackes hvis nødvendigt. Der er ikke længere behov for HP 5407ZL i fiberringen og disse kan derfor nedtages. Ved at opbygge design i minimum 3 faser er det muligt allerede nu, at realisere en stabil fiberring og samtidigt forsætte med nuværende HP-switche Det bliver derved muligt at lave en glidende overgang til et nyt netværk bestående af Cisco komponenter. Fig.3 Fase 3

13 Side 13 Antal Beskrivelse Varenummer 2 FX-PCA WS-C XS-E 2 FX-VR WS-C XS-E 2 FX-DAM WS-C XS-E 2 FX-OST WS-C XS-E 2 FX-STA WS-C XS-E 2 FX-VEST WS-C XS-E 2 FX-EG WS-C XS-E 2 FX-HY WS-C XS-E 32 Mellemlink 3850/3850 SFP-10G-LR 16 Mellemlink 3850/HP5406ZL SFP-10G-SR 16 Mellemlink 3850/HP5406ZL HP 10G Mini GBIC 16 Fiber SM LC/LC Fiber MM LC/LC Cisco Prime Infrastructor R-MGMT3X-N-K9 2 Servere til prime UCSC-C220-M4S 1 Cisco APIC EM Controller Appliance APIC-EM-APL-R-K9 Tabel 1: Stykliste til ny Fiberring I fase 1 tilføres en Management platform i form af Cisco Prime og en Cisco APIC EM Controller til udrulning nu og i fremtiden. Disse værktøjer vil give overblik og bidrage med at reducere den administrative tid til softwareændringer og -opsætninger samt give en sikker og ensartet styring af netværket.

14 Side 14 Redesign af Rådhus/Serverrum Det anbefales at der laves en særskilt server distribution (SD), der er adskilt fra resten af rådhusets netværk. Denne serverdistribution skal have en redundant router, således at der ikke er single-point-of-failure. SD skal køre VRRP således at subnet gateway automatisk fejler over ved nedbrud af en switch. Server access-switche (SA) skal tilsluttes redundant til de 2 Server distribution-switche. Det anbefales ikke at forbinde de 2 SA direkte til hinanden. Ligeledes bør der være en særskilt bruger distribution(ud) til klienter på rådhuset. Dette skal være en kopi af SD, hvor access-switchene (UX) er de enkelte switch i underkrydsfelterne. Hver enkelt UX (UX er) bør have sin eget subnet til telefoni, PC/printer og alt efter trafikmængde også separat segment til AP er. Ønskeligt ville være en separat WAN distribution Men hvis dette ikke er muligt, bør WAN/Internet etc. være tilsluttet SD. Ved mit besøg hos Alberslund Kommune fik jeg indtryk at ovenstående design kan laves med eksisterende udstyr. Udstyret er dog af ældre dato, så ved redesign bør nyt udstyr under alle omstændigheder blive taget i betragtning. Igen anbefaler jeg at SITR initiativer fra Cisco bruges som reference, således at designet lever op til de krav SITR har opstillet til netværket.

15 Side 15 Det administrative trådløse netværk Analyse af Claus Thomassen, Network System Engineer, CCIE Det eksisterende trådløse netværk for administrationen består af følgende komponenter: 4 stk. HP MSM765 controller i cluster (op til 600 AP er med N+1 redundans) 250 AP er model MSM 466, MSM 460 og en del ældre modeller. Langt de fleste switche kan kun levere 15,4W PoE til AP erne. Endvidere har et stort antal af disse switche kun 100Mbit/s porte. Der er trukket fiber med 1Gbit/s forbindelse mellem interne switche. AP erne er fordelt på få store lokationer og flere små lokationer med kun 1 eller 2 AP er. Der er normalt omkring 800 klienter på det trådløse netværk, i nogle situationer kan der være flere. Der tilbydes kun 2 SSID er. Et gæstenet, som bliver kaldt borgernet. Et admin net med 802.1x og Microsoft NPS, som authentication server (radius). Al trådløst bruger data trafik leveres fra central side både i form af internet og interne servere. HP MSM serie E wireless (Colubris), som er kunden eksisterende wireless administrative trådløse netværk, er meldt end of life fra HP s side. HP har aldrig lykkedes med af få dette produkt til at virke optimalt. Under alle omstændigheder er det nødvendigt med en udskiftning for, at sikre fremtiden og dennes krav. Anbefalinger til et nyt trådløst netværk: Et nyt trådløst net efter dagens standard indeholder den nyeste ac wave 2 standard på access points.

16 Side 16 Alle ac wave 2 access points har et maksimalt strømforbrug på typisk mellem 20 og 27 W. Det betyder at switch skal kunne levere PoE+ 30W standard for at levere tilstrækkelig effekt for wave 2 access points. Såfremt der kun leveres PoE 15,4W vil access point slukke for både features og transmittere, nogle access points vil helt slukke for radioerne. Det er derfor et krav, at stort set alle eksisterende switch skiftes til modeller med PoE+ 30W standard. Access point top modellen fra Cisco leveres nu med den nye multigigabit standard. Hermed kan et ethernet kabel (min. cat 5e) bruges til 2,5/5 Gbit/s forbindelse. Der er dog endnu ikke så mange switche på markedet med denne standard. Langt de fleste ac wave 2 access point kan benyttes med 2 stk. 1Gbit/s forbindelse i en ether channel, såfremt en enkelt 1Gbit/s forbindelse ikke er tilstrækkeligt. Ud fra det eksisterende behov, ses en enkelt 1Gbit/s, som værende tilstrækkeligt. Kablet mellem switche og access points skal minimum være cat 5e. Da al bruger data trafik termineres centralt, anbefales 2 trådløse controllere i redundant opkobling. Disse placeres centralt i datacenteret. Systemet kan udvides til både flere SSID er og flere access points hvilket understøtter Albertslund Kommunes ønske om at kunne skalere når nye Smartcity initiativer skal realiseres. Følgende set af komponenter fra Cisco kan anbefales: Access points: 2800 og 3800 Controller: 5520 WLC (op til 1500 AP er) Ident/access: ISE Management: Prime

17 Side 17 Konklusion I figur 1 er netværks-områderne, som vi ser dem i en totalløsning skitseret. Vores anbefaling er at indlede med fiberringen og management hvorefter de resterende elementer kan tilføjes i overensstemmelse med den udrulningsplan der ønskes. Der vil dog være nogle afhængigheder der skal tages højde for som det fremgår af illustrationen. Figur 1 Fiberringen skal være etableret inden det resterende netværk implementeres og netværket skal ligeledes være på plads inden wireless kan implementeres. Det er herudover vigtigt at sikkerheden (ISE og firewall funktioner) tænkes ind allerede i den indledende fase. Det optimale er at implementere alle netværks- og sikkerhedselementer på en gang og i stedet følge en udrulningsplan på afdelinger og områder. Således ville man kunne få gavn af alle elementer fra begyndelsen og dermed følge den strategi der er valgt for Kommunens infrastruktur.