SPD server som Storage Medie. Michael Rosairus Fra DB2 til SPD server
Agenda Et dias om PBS. Sandpit-Invest som det så ud - Udfordringer ;o) SPD server - hvordan? Evaluering af SPD som mulig løsning. Projekt: Fokusområder, Ressourcer og Ansvarsfordeling. Sandpit som det ser ud i dag. Udbytte.
PBS Medarbejdere: 880 Hjemsted: Ballerup PBS = Payment Business Services Link til PBS præsentation: http://www.pbs.dk/dk/ompbs/profil/fakta/
Sandpit Hvad er det? RISK MANAGEMENT
Sandpit-Invest som det så ud Kort system DB2 Kort platform 1-5 x pr. døgn 9 forskellige datasæt Batch system DB2-Offload 1 2 9 FTP 1 2 9 Load af data 20:00-08:00 4 mdr. Danske 24 mdr. Intern. DB2-load DB2 Batch platform 941.000.000 rækker 4/7 06 Reorg/Opryd Fredag og Søndag
Sandpit-Invest som det så ud - Host Load situation Vækst i Host forbrug Udfordringer - Laaaaange køretider - Øget opbevaringstid Fra 4 til 12 mdr. for Danske kort 2.500.000.000 rækker - DB2 partitioner løb fulde => måtte slette data. - 20% årlig vækst! I korttransaktioner - Split i Dansk/Internat. Opgave kom ikke igennem - Split i Fraud/Non Fraud Opgave kom ikke igennem - Tilgængelighed Lovet 12 timer - Meeen -Dyr load Brugte meget tid og CPU. -MEGET dyr Reorg/Opryd Læste alle rækker (I/D) - Fraud
SPD Server hvordan
16:32 Evaluering af SPD som platform Proof of Concept gennemført af SAS fra DK og EMEA. Hastighed Clustering
PROJEKT Fokusområder Ressourcer Ansvarsfordeling (MEGET HURTIGT)
SPD server implementering Teknisk Løsning/Platformen Fokusområder Får overført mest mulig load fra Host til SPD serveren. Vedligeholdelsesvenlig løsning. (Forvaltning og mindre ændringer kan gennemføres hurtigt) De SAS værktøjer vi bruger skal bruges Out of the box. Erfaringer med sikkerhedsadministration skal indhentes. (Adgang til data). Opbygge kompetence omkring SPD server forvaltning og administration omkring udvikle/teste/drifte. Overveje muligheder for håndtering af følsomme kortdata (Kryptering felt, kolonne, DB, disk)
SPD server implementering Ressourcer og videnspersoner Opgavestiller. DAK AIX Kompetence. STJ Disk/Storage/SAN Kompetence. REJ Strøm, Fiber kabling og Zoning.. JAC Netværk.... BRK Sandkasse Data kompetence.. SEG PBS Sandkasse SAS ETL kompetence CEN/MXM SAS Sandkasse SAS ETL kompetence. Johnny Eriksen Projektleder(e)... STB (Data) / MIR (Platform) PBS SAS platform og SPD server WAS/(LAB) SAS SAS Platform og SPD server. Simon Topp, Johannes Jørgensen og SAS EMEA Tivoli overvågning.. JOJ TWS Batchafvikling.. JHO
16:34 SPD server implementering Batch forvaltning 812 Forvalt Overvågning 832 832 AQT Visual BasicSAS BI.... Batch afvikling 812/ 831 831 B A 844 813 812 812 Applikationsgrænseflade Installation klient SW (ODBC) SAS kode kompetence 812 Forvalt SPD - Server Sikkerhed 812/871 844/871 SPD - Server Som database 812 844 SPD - Server Platform 812 842 (812) Netværk 842 AIX Operativsystem 842 Hardware 842
Kort system Sandpit som det ser ud DB2 Kort platform 1-5 x pr. døgn 9 forskellige datasæt Batch system DB2-Offload 1 2 9 FTP 1 2 9 Som tidligere!
16:44 Batch system Sandpit som det ser ud 1 2 9 SPD server 1-Fra Host til SPD/AIX OPC - Når fil på Host er dannet. Køres fra SPD via FTP. Dansk Internat. Sandpit tabel M T O T FTP Statustabeller styre flow <> Sporbarhed. Delta 3-Arbejdsfiler Nye ugefiler oprette mandag. Filer ligger klar fra dagen før. Opdateres med Delta. Tager ca. 40 min. Bruges til backup. I2005297 I20053304 I2005311 I2005318 I2005325 I... D2005339 D2005346 I.. I... 1.188.591.743 rækker 19/9 T M T O T 2-Sandpit Delta Indeholder data fra kildesystem siden sidste overførsel til Sandpit. 4-Opdatering Sandpit Uncluster Rename Cluster. Tager ca. 3 min. Gennemføres 1 gang pr. døgn hvis klar. 5-Oprydning Mandag morgen. 2 ældste tages ud Cluster ifm opdatering.
Sandpit-Invest som som det ser det så ud ud - Flyttet Host Load load situation til AIX Hele Vækst batch i Host flow forbrug flyttet til AIX Hvad Udfordringer har vi opnået - -Laaaaange MEGET Hurtigere køretider køretider! - Øget opbevaringstid Fra 4 til 12 mdr. for Danske kort 2.500.000.000 rækker -DB2 Clustering partitioner i SPD Det løb er fulde den => bygget måtte til slette ;o). data. - Stor datamængder -20% årlig vækst! Mulighed for store datamængder uden væsentlig I korttransaktioner performance problemer. - Split i Dansk/Internat. Data Opgave opdelt kom i ikke D/I. igennem - Split i Fraud/Non Farud/Non Fraud Vi Opgave har nu kom separat ikke Fraud igennem tabel. - Tilgængelighed 3. min. Lovet Nedetid 12 timer pr. - døgn Meeeninkl. opryd. -Dyr Processingtid load ned 40 Brugte min. meget daglig tid processing og CPU. -HURTIG -MEGET dyr Oprydning! Reorg/Opryd Oprydning Læste alle rækker ligger i 3 (I/D) min -nedetid. Fraud
SPD/Sandpit MIG! 1-5 hvor 5 er topkarakter (3) Hardware (Power 5 osv...) Ansvarlig afdeling drift (2) Ingen synergi med SAS 9 IP platformen. (2) PW administration SPD gammeldags AIX command (1) Backup nu på plads. (1) ODBC driver. PW prompt/fejlmeddelelser
SPD/Sandpit Det siger DE! 1-5 hvor 5 er topkarakter Kunderne/Brugerne (5) Stabilitet gamle nede 2-7 dage pr. måned. Nye oppe selv ved fejl i load (5) Hvis fejl i load kan 90% af alle opgaver løses, da Sandpit er tilgængelig (5) Fra 12 timer i 5 dage om ugen til 23:57 timer i 7 dage om ugen (5) 2-3 timers kørsel skåret ned til ca. 2 min. (2)-> (MIR=5) Søgninger på kortnumre langsommere. (værre hvis split i DB2) (2) Adgang til data vi ODBC driver virker dårligt (2) PW administration - irriterende
SPD/Sandpit Det siger DE! 1-5 hvor 5 er topkarakter Driftsforvalter/Applikationsforvalter (5) Mindre tid på drift af Sandpit specielt omkring reorganisering (5) Mere stabil drift mindre arbejdspres om morgenen. (5) Forespørgsler nedsat fra ca. 2 timer til 2 min. (2) Nyt produkt som vi hverken kender eller kan hjælpe med. Udviklere (Projekt) (5) HURTIG HURTIG - HURTIG (-) Nyt udviklingsmiljø manglende kompetence
16:52 SPD/Sandpit 1-5 hvor 5 er topkarakter Økonomi Foreløbige tal fra Økonomiafdelingen viser 1 : 10 Rigtig godt