Data- og migreringsstrategi

Transkript

1 Data- og migreringsstrategi Teknik- og implementeringsgruppen Engrosmodel Møde 1 den 11. september 2013 Dato - Dok.nr. 1

2 Scope for data og migrering Beskrive... data strategi og dataload processer migreringsstrategi og konverting af aktive processer hvilke data der er dækket af data and migreringsprocesserne hvordan og hvornår de forskellige data elementer migreres krav til aktører vedrørende migrering og cut-over nye roller og ejerskab i relation til aktørernes data og procesmigrering hvem er ansvarlig for hvad og datateamets funktion og arbejdsopgaver hvordan der sikres data i test miljøer til UAT, E2E for SL s og E2E for aktører hvordan Energinet.dk sikrer korrekte preload data hvordan konsistens af produktionsdata sikres under migrering kørende processer og beskeder der skal migreres ved cut-over Dato - Dok.nr. 2

3 Migreringsstrategi Sikre at nuværende funktionalitet i Datahub forbliver uændret frem til Ingen ændringer til forretningsprocesser og beskeder frem til Ingen ændringer i roller og ejerskab før Support af EDIFACT indtil Længst mulig data migreringsperiode for netvirksomheder i separat setup Kortest mulig cut-over periode, med et minimum af system nedetid En samlet cut-over plan med beskrivelser af hvem gør hvad hvornår Hurtig og værdifuld feedback til netvirksomhed fra migreringsprocesser Oprettelse af data team til håndtering af migreringsplan, fejlhåndtering og teknisk hjælp Længst mulig data migreringsperiode for elleverandører i datahub drift Dedikeret projekt for sikring af, at in-flight processer migreres korrekt i cut-over fasen Plan for minimering af antal processer frem i tid op til cut-over Dato - Dok.nr. 3

4 Datahub engrosdata Blå = nye data strømme Uendeligt antal timeopløste tariffer og afgifter Uendeligt antal gebyrer & abonnementer Stamdata Abonnementer, tariffer og gebyrer Tariffer Afgifter Abonnementer og gebyrer Tariffer og afgifter 1-1 kunde relation : ) Kunde eller virksomhed Dato - Dok.nr. 4

5 Data kategorier der skal migreres 4 kategorier: 1. Pris informationer - Prisliste 2. Tilknytning af tariffer, abonnementer pr målepunkt 3. Stamdata indikator for kunder med elvarme 4. Andre stamdata Elleverandør stamdata Nye målepunkts stamdata De første 3 kategorier skal være tilstede for at elleverandøren kan fakturerer kunderne Dato - Dok.nr. 5

6 Data og ansvar Migrering Marked (daglig drift) Data elementer Frem til 1/10/2014 Efter 1/10/2014 Frem til 1/10/2014 Efter 1/10/ Pris informationer NV/ENDK NV/ENDK 2. Tarif og abonnements tilknytninger NV NV 3. ENDK tarif og afgifts tilknytninger NV EL/DH auto 4. Elvarme indikator NV EL 5. Kontakt information NV EL 6. Nye NV stamdata detaljer på målepunkt (måler detaljer + effektgrænser) 7. Kunde informationer EL EL 8. Aflæsning pr :00 (BRS-020) NV NV 9. Eksisterende data med ændret ejerskab NV EL 1) 10. Eksisterende data uden ændret ejerskab NV NV NV NV 1) Hvis data ikke findes, skal elleverandøren requeste data via BRS-005 (branchekode, mm.) Dato - Dok.nr. 6

7 Transition fra Datahub til Engrosmodel DH 1 Produktion 1/4 Pre migreringsperiode Post migreringsperiode 31/10 Database migrering Updatering af produktion til engrosmodel Ingen ændringer af data DH engros datamodel Tariffer: PSO System Net ENDK preload data Elafgift Stamdata: Elvarme indikator Kontakt info indikator DH engros Cut-over produktion Netvirksomhed migrerer engrosdata Prisliste Aktør udført data berigelse Tarif/abo. tilknyt. Afgifts tilknyt. Elvarme indikator Kontakt info indikator DH engros ny produktion Aktør udført data berigelse Netvirksomhed Nye MP detaljer Aflæsning Elleverandør Kunde information Modtage stamdata, pris info og tarif og abonnement links Nuværende produktionsdatabase Go-live Dato - Dok.nr. 7

8 Fuld dataset Fuld dataset Fuld dataset Fuld dataset Fuld dataset Successiv data migrering Initiel 2 upload 3 upload n upload Final NV 1. apr 2014 Delta 01. okt 2014 Efter final delta bliver data fixeret til system go-live Datahub production DH DQ reporting DQ reporting DQ reporting DQ reporting Dato - Dok.nr. 8

9 Migreringsdata fra netvirksomhed til Datahub Grid operator Timestamp # records CRC value Filename Filesize File metadata Staging Staging Scheduling/ Verification DH data team delta FTP Failure File verification Staging loader Visual spot check Delta loader Data to message converter Failure Message Layer - CIM Failure Failure ODS CCR IS Change Success Failure / Rejected meteringpoints Migreringplan for data elementer nummer 2,3,4 og 5 Gældende fra og frem til Datahub Production Dato - Dok.nr. 9

10 Fremsendelse af migreringsdata trin for trin 1. Energinet.dk sikre og publiserer migreringsplan dækkende alle aktører 2. Aktøren skaber komplet migreringsfil og sender den til energinet.dk via FTP 3. FTP-serveren modtager migreringsfil fra aktøren 4. Filen kontrolleres for åbenlyse fejl og metadata bliver registreret 5. Filen importeres til migreringsdatabasen 6. Energinet.dk udfører en visuel stikprøvekontrol før selve migreringen starter 7. Systemet beregner delta mellem migrerede data og aktuelle produktionsdata 8. Systemet genererer RSM beskeder ud fra de beregnede delta værdier 9. RSM beskeder behandles ved at udføre de tilsvarende BRS er 10. Systemet undertrykker enhver udgående besked genereret af de berørte BRS er 11. Beskedsystemet rapporterer eventuelle fejl fra migreringsprocessen til aktøren 12. Eventuelt afviste målepunkter sendes tilbage til aktøren Dato - Dok.nr. 10

11 Migreringsdata fra Datahub til elleverandør Elleverandør BRS-005 Datahub Produktion BRS-034 BRS-038 B2B (normal operation) Elleverandør Elleverandør Elleverandør ODS Data Extraction FTP Elleverandør Elleverandør Tarif/Abonnement links Elvarme indikator Kontakt data Distribute DH data team Elleverandører udvalgt af Energinet.dk Migreringplan for data elementer nummer 2,3,4 og 5 Gældende fra og frem til Dato - Dok.nr. 11

12 Data migreringsmængder Data elementer Forventet mængde Energinet.dk preload 1. Pris informationer (prisliste) Forventet aktør uploads 2. Tarif og abonnement tilknytninger ENDK tariffer og afgifter Elvarme indikator Kontakt information Nye NV stamdata detaljer på målepunkt (måler detaljer + effektgrænser) Kunde informationer Aflæsning pr :00 (BRS-020) Eksisterende data med ændret ejerskab Eksisterende data uden ændret ejerskab Dato - Dok.nr. 12

13 Dokumentation til support af migreringsprocessen Hvordan er DataTeam organiseret og hvordan foregår samarbejdet Roller og ansvarsområdeguide per aktørtype Aktør migreringsplan frem til cut-over fasen Data migreringsguide for upload (kommunikation, fil håndtering, filformater, fejlhåndtering) Detaljeret plan for selve cut-over perioden Guide der beskriver hvordan in-flight processer migreres per BRS Data migreringsguide for download (kommunikation, file håndtering, fileformater, fejlhåndtering) Aktør migreringsplan efter cut-over fasen Beskrivelse af Datahub supports ansvar under og efter migreringsperioden Dato - Dok.nr. 13

14 Hvordan skabes datagrundlag for E2E test Alle andre data der er nødvendige for E2E tests, kommer fra DataHub GUI og testclienten (B2B kanal) DH 1 Produktion Oprettelse af E2E databasen er en ikke reversibel proces, og enhver ny test database skal gennemgå de samme processer / trin Ekstern partner er ansvarlig for oprettelse af syntetiske testdata der skal anvendes af systemleverandører og markedsaktører GUI Test client DH 1 E2E kopi Database migrering Updatering af produktion til engrosmodel Ingen ændringer af data E2E kopi engros datamodel Scrambling af data Anonymisering af alle målepunkter CPR nummer Forventet årsforbrug Branchekode adresse Kunde adresse Aflæsninger E2E kopi engros datamodel anonym. Tariffer: PSO System Net ENDK preload data Elafgift Stamdata: Elvarme indikator Kontakt info indikator Engros Datamodel E2E Syntetisk testdata load Ekstern partner Dato - Dok.nr. 14

15 Spørgsmål Henvendelser vedrørende data migration og cut-over sendes til: Dato - Dok.nr. 15

16 Check af migreringsfil for fejl Fil Migreringsfil er tom Migreringsfil er identisk med tidligere fremsendt fil Migreringsfil er i et forkert format Migreringsfil har umiddelbart for få eller for mangemålepunkter sammenlignet med Datahub op til 1% afvigelse... Indhold Numerisk felt er ikke i et numerisk format Tekstfelt er ikke i et alfanumerisk format Datofelt er ikke i et godkendt dato format Målepunkt eksistere i Datahub, men ikke i migreringsfilen Målepunkt eksistere i migreringsfilen, men ikke i Datahub... Dato - Dok.nr. 16

17 Dato - Dok.nr. 17

18 Håndtering og beregning af delta værdier Preload af data Hvad trigger delta? Regler for udregning af delta Delta mængder ca flytninger ca prisændringer (links) ca oprettelse af nyt MP ca nedlæggelse af MP Filstørrelser relativ til antal MP s 65 bytes * antal links * målepunkter 28 bytes * antal målepunkter med elvarme 323 bytes * antal kontakt info med adresse = målepunktsadresse Dato - Dok.nr. 18

19 Forventninger til aktøren i migreringsperioden Netvirksomhed Elleverandør Sikre måleraflæsning per den Levere pris informationer via B2B eller GUI Levere tarif og abonnement links via migreringsfil Levere kontakt informationer via migreringsfil Levere elvarme indikator via migreringsfil Sent in address types by mail to Energinet.dk Create extraction tools for tariff/subscription linking and contact information Check consistency before upload Software for uploading to FTP server Plan for process handling during cut-over Consider quality check on contact information after cut-over Prepare settlement for Prepare for receiving pricing information (pricelist) pushed out by the Datahub Receive MP masterdata before update Receive tariff/subscription linking B2B or file download and check TAX links against customer Receive contact information via B2B or file download Receive information for meteringpoints with electrical heating via B2B or file download and check electrical heating against customer Check data validity and update where necessary via B2B Plan for process handling during cut-over Resend messages rejected in cut-over Dato - Dok.nr. 19