SPD server som Storage Medie. Michael Rosairus. Fra DB2 til SPD server

Størrelse: px

Starte visningen fra side:

Download "SPD server som Storage Medie. Michael Rosairus. Fra DB2 til SPD server"

Rudolf Eriksen
8 år siden
Visninger:

2 SPD server som Storage Medie. Michael Rosairus Fra DB2 til SPD server

3 Agenda Et dias om PBS. Sandpit-Invest som det så ud - Udfordringer ;o) SPD server - hvordan? Evaluering af SPD som mulig løsning. Projekt: Fokusområder, Ressourcer og Ansvarsfordeling. Sandpit som det ser ud i dag. Udbytte.

4 PBS Medarbejdere: 880 Hjemsted: Ballerup PBS = Payment Business Services Link til PBS præsentation:

5 Sandpit Hvad er det? RISK MANAGEMENT

6 Sandpit-Invest som det så ud Kort system DB2 Kort platform 1-5 x pr. døgn 9 forskellige datasæt Batch system DB2-Offload FTP Load af data 20:00-08:00 4 mdr. Danske 24 mdr. Intern. DB2-load DB2 Batch platform rækker 4/7 06 Reorg/Opryd Fredag og Søndag

Load af data 20:00-08:00 4 mdr. Danske 24 mdr. Intern.

7 Sandpit-Invest som det så ud - Host Load situation Vækst i Host forbrug Udfordringer - Laaaaange køretider - Øget opbevaringstid Fra 4 til 12 mdr. for Danske kort rækker - DB2 partitioner løb fulde => måtte slette data. - 20% årlig vækst! I korttransaktioner - Split i Dansk/Internat. Opgave kom ikke igennem - Split i Fraud/Non Fraud Opgave kom ikke igennem - Tilgængelighed Lovet 12 timer - Meeen -Dyr load Brugte meget tid og CPU. -MEGET dyr Reorg/Opryd Læste alle rækker (I/D) - Fraud

- 20% årlig vækst! I korttransaktioner - Split i Dansk/Internat.

8 SPD Server hvordan

9 16:32 Evaluering af SPD som platform Proof of Concept gennemført af SAS fra DK og EMEA. Hastighed Clustering

10 PROJEKT Fokusområder Ressourcer Ansvarsfordeling (MEGET HURTIGT)

11 SPD server implementering Teknisk Løsning/Platformen Fokusområder Får overført mest mulig load fra Host til SPD serveren. Vedligeholdelsesvenlig løsning. (Forvaltning og mindre ændringer kan gennemføres hurtigt) De SAS værktøjer vi bruger skal bruges Out of the box. Erfaringer med sikkerhedsadministration skal indhentes. (Adgang til data). Opbygge kompetence omkring SPD server forvaltning og administration omkring udvikle/teste/drifte. Overveje muligheder for håndtering af følsomme kortdata (Kryptering felt, kolonne, DB, disk)

(Forvaltning og mindre ændringer kan gennemføres hurtigt) De SAS værktøjer vi bruger skal bruges Out of the box.

12 SPD server implementering Ressourcer og videnspersoner Opgavestiller. DAK AIX Kompetence. STJ Disk/Storage/SAN Kompetence. REJ Strøm, Fiber kabling og Zoning.. JAC Netværk.... BRK Sandkasse Data kompetence.. SEG PBS Sandkasse SAS ETL kompetence CEN/MXM SAS Sandkasse SAS ETL kompetence. Johnny Eriksen Projektleder(e)... STB (Data) / MIR (Platform) PBS SAS platform og SPD server WAS/(LAB) SAS SAS Platform og SPD server. Simon Topp, Johannes Jørgensen og SAS EMEA Tivoli overvågning.. JOJ TWS Batchafvikling.. JHO

. SEG PBS Sandkasse SAS ETL kompetence CEN/MXM SAS Sandkasse SAS ETL kompetence. Johnny Eriksen Projektleder(e).

13 16:34 SPD server implementering Batch forvaltning 812 Forvalt Overvågning AQT Visual BasicSAS BI.... Batch afvikling 812/ B A Applikationsgrænseflade Installation klient SW (ODBC) SAS kode kompetence 812 Forvalt SPD - Server Sikkerhed 812/ /871 SPD - Server Som database SPD - Server Platform (812) Netværk 842 AIX Operativsystem 842 Hardware 842

... Batch afvikling 812/ 831 831 B A 844 813 812 812 Applikationsgrænseflade Installation klient SW

14 Kort system Sandpit som det ser ud DB2 Kort platform 1-5 x pr. døgn 9 forskellige datasæt Batch system DB2-Offload FTP Som tidligere!

15 16:44 Batch system Sandpit som det ser ud SPD server 1-Fra Host til SPD/AIX OPC - Når fil på Host er dannet. Køres fra SPD via FTP. Dansk Internat. Sandpit tabel M T O T FTP Statustabeller styre flow <> Sporbarhed. Delta 3-Arbejdsfiler Nye ugefiler oprette mandag. Filer ligger klar fra dagen før. Opdateres med Delta. Tager ca. 40 min. Bruges til backup. I I I I I I... D D I.. I rækker 19/9 T M T O T 2-Sandpit Delta Indeholder data fra kildesystem siden sidste overførsel til Sandpit. 4-Opdatering Sandpit Uncluster Rename Cluster. Tager ca. 3 min. Gennemføres 1 gang pr. døgn hvis klar. 5-Oprydning Mandag morgen. 2 ældste tages ud Cluster ifm opdatering.

40 min. Bruges til backup. I2005297 I20053304 I2005311 I2005318 I2005325 I... D2005339 D2005346 I.. I... 1.188.591.

16 Sandpit-Invest som som det ser det så ud ud - Flyttet Host Load load situation til AIX Hele Vækst batch i Host flow forbrug flyttet til AIX Hvad Udfordringer har vi opnået - -Laaaaange MEGET Hurtigere køretider køretider! - Øget opbevaringstid Fra 4 til 12 mdr. for Danske kort rækker -DB2 Clustering partitioner i SPD Det løb er fulde den => bygget måtte til slette ;o). data. - Stor datamængder -20% årlig vækst! Mulighed for store datamængder uden væsentlig I korttransaktioner performance problemer. - Split i Dansk/Internat. Data Opgave opdelt kom i ikke D/I. igennem - Split i Fraud/Non Farud/Non Fraud Vi Opgave har nu kom separat ikke Fraud igennem tabel. - Tilgængelighed 3. min. Lovet Nedetid 12 timer pr. - døgn Meeeninkl. opryd. -Dyr Processingtid load ned 40 Brugte min. meget daglig tid processing og CPU. -HURTIG -MEGET dyr Oprydning! Reorg/Opryd Oprydning Læste alle rækker ligger i 3 (I/D) min -nedetid. Fraud

- Stor datamængder -20% årlig vækst! Mulighed for store datamængder uden væsentlig I korttransaktioner performance problemer. - Split i Dansk/Internat. Data Opgave opdelt kom i ikke D/I.

17 SPD/Sandpit MIG! 1-5 hvor 5 er topkarakter (3) Hardware (Power 5 osv...) Ansvarlig afdeling drift (2) Ingen synergi med SAS 9 IP platformen. (2) PW administration SPD gammeldags AIX command (1) Backup nu på plads. (1) ODBC driver. PW prompt/fejlmeddelelser

18 SPD/Sandpit Det siger DE! 1-5 hvor 5 er topkarakter Kunderne/Brugerne (5) Stabilitet gamle nede 2-7 dage pr. måned. Nye oppe selv ved fejl i load (5) Hvis fejl i load kan 90% af alle opgaver løses, da Sandpit er tilgængelig (5) Fra 12 timer i 5 dage om ugen til 23:57 timer i 7 dage om ugen (5) 2-3 timers kørsel skåret ned til ca. 2 min. (2)-> (MIR=5) Søgninger på kortnumre langsommere. (værre hvis split i DB2) (2) Adgang til data vi ODBC driver virker dårligt (2) PW administration - irriterende

i 5 dage om ugen til 23:57 timer i 7 dage om ugen (5) 2-3 timers kørsel skåret ned til ca. 2 min.

19 SPD/Sandpit Det siger DE! 1-5 hvor 5 er topkarakter Driftsforvalter/Applikationsforvalter (5) Mindre tid på drift af Sandpit specielt omkring reorganisering (5) Mere stabil drift mindre arbejdspres om morgenen. (5) Forespørgsler nedsat fra ca. 2 timer til 2 min. (2) Nyt produkt som vi hverken kender eller kan hjælpe med. Udviklere (Projekt) (5) HURTIG HURTIG - HURTIG (-) Nyt udviklingsmiljø manglende kompetence

specielt omkring reorganisering (5) Mere stabil drift mindre arbejdspres om morgenen.

20 16:52 SPD/Sandpit 1-5 hvor 5 er topkarakter Økonomi Foreløbige tal fra Økonomiafdelingen viser 1 : 10 Rigtig godt

Relaterede dokumenter

SAS Scalable Performance Data Server

SAS Scalable Performance Data Server Charlotte Pedersen, seniorkonsulent Claus Ørskov, konsulent PS Banking SPD Server Skalerbar Hastighed 2 Hastighed og skalerbarhed Mindre fil I/O og parallel processing