Migreringsguide. Engrosmodellen Datamigrering. Beskrivelse af migreringskoncept og -metode. 1. juli 2014 XSTJ/XVJE. Projekt Version Dato Forfatter

Transkript

1 Migreringsguide Engrosmodellen Datamigrering Beskrivelse af migreringskoncept og -metode 1. juli 2014 XSTJ/XVJE Projekt Version Dato Forfatter Migreringsguide XSTJ Dok. 13/

2 Indhold 1. Indledning Forord Læsevejledning Datamigrering Overordnede begreber Strategi for migrering af engrosdata Kategorier af data til migrering Datakatagorier Migreringskoncept Migreringsflow Delta migrering Migrering af data ud af DataHub Eksportregler for filtype Data Hvilke data skal migreres Migreringsfiltyper Filtype 0 Hent priselementer Filtype 1 Opret pristilknytninger Filtype 2 Opret elvarme markering Filtype 3 Opret kontaktadresser Filtype 4 Opret nye målepunkter Filtype 5 Opdater eksisterende målepunkter Filtype 6 Hent alle målepunktsstamdata Produktionsmigrering Overordnede begreber Systemleverandør Netvirksomhed Elleverandør Balanceansvarlig Måledataoperatør Testmigrering Overordnede begreber Systemleverandør Netvirksomhed Elleverandør Balanceansvarlig Måledataoperatør Tidsplan Testmigrering Produktionsmigrering

3 1. Indledning 1.1 Forord Dette dokument indeholder nødvendig information til at kunne forstå datamigreringskonceptet for engrosmodellen. Dokumentet indeholder informationer til alle aktører, og det er derfor muligt at få indblik i hinandens migreringsregler, migreringsfiler og udvekslingsformater, hvis det ønskes. Dokumentet er primært henvendt til de aktører, der tager del i engrosmodel migreringen. Dette dokument er et af flere, der beskriver migreringsprocessen og formater i forbindelse med implementeringen af engrosmodellen. Følgende dokumenter er pt. planlagt til at understøtte aktøren under migrering: Migrering af engrosdata (strategi- og hoveddokument) Migreringsformater FTP Guide Beregningsregler for delta Test Guide 1.2 Læsevejledning Dokumentet er opbygget på en måde, så relevante emner i videst muligt omfang er samlet i selvstændige kapiteller for de enkelte aktørtyper. Generelt er størsteparten af teksten mest relevant for netvirksomheder, men visse dele er vigtige at forstå for elleverandørerne. Dette gælder specielt afsnit og 2.3.4, der beskriver, hvordan elleverandørerne skal modtage migreringsdata i postmigreringsperioden. Kapitel 2. indeholder en kort intro til koncept og begreber for datamigreringen. Kapitel 3. indeholder beskrivelser af hvilke typer af data, der skal migreres samt de enkelte data attributter, der skal indsendes eller vil kunne modtages fra migreringssystemet. Kapitel 4. indeholder beskrivelse af migrering i produktionssystemet. Kapitel 5. indeholder beskrivelse af migrering i test systemet. Kapitel 6. indeholder overordnede tidsplaner for test- og produktionsmigrering. Tip! Dokumentet anvender denne boks, hvis noget information ønskes specielt fremhævet. Boksen kan indeholde informationer, som er essentielle i den givne kontekst eller som kan gøre det lettere at håndtere migreringsprocessen. Vigtigt! Dokumentet anvender denne boks, hvis et vigtigt udsagn ønskes fremhævet. Benyttes specielt i situationer hvor utilsigtede hændelser kan fremprovokere migreringsfejl. 2

4 2. Datamigrering 2.1 Overordnede begreber Folketinget besluttede i juni 2012 at fremme konkurrencen på det danske elmarked og gøre det mere overskueligt at være elkunde, LOV nr. 575 af 18/06/2012. Fremover skal elkunder kun have én elregning også selv om de har valgt en elleverandør, der ikke er i samme koncern som det selskab, der driver det lokale elnet. Det bliver elleverandørens ansvar at afregne bagud og betale til netselskab, SKAT, Energinet.dk og elbørsen NordPool Spot. Tariffer, ydelser, abonnementer mv. bliver dermed en del af den samlede engrosydelse, som elleverandøren fakturerer kunden. Engrosmodellen bygger oven på DataHub, som fra marts 2013 begyndte at samle alle oplysninger om danskernes elforbrug et centralt og uafhængigt sted. DataHub gør det lettere for elkunderne at skifte elleverandør. Udvidelsen af den eksisterende DataHub til at kunne understøtte engrosmodellen betyder, at der skal tilføjes nye typer af data til de allerede eksisterende data i DataHub. For at dette kan lade sig gøre uden at skulle stoppe den kørende DataHub, er der behov for en strategi for migrering af disse nye data Strategi for migrering af engrosdata Hver slags data har sin egen migreringsfiltype Ingen historiske data ingen historiske transaktionsdata Migrering direkte ind i DataHub produktion Lang migreringsperiode på 8 måneder Testdatabase til migrering baseret på kopi af E2E testdatabase Energinet.dk varetager beregning og udførelse af deltamigrering Ingen ændringer til eksisterende DataHub (BRS, RSM, roller og ejerskab) Migreringsløsning styres og overvåges af Energinet.dk supportteam Mulighed for formattest af filformater inden opstart af testmiljø Målepunktsstamdata migreres via fil som erstatning for postmigrering via B2B Ændret målerhåndtering (parent-child) sikres gennem datamigreringsløsning Nye målepunkter baseret på nye målepunktstyper oprettes via datamigrering Elleverandører kan modtage alle migreringsdata op til 4 mdr. før go-live Opdatering af elleverandør målepunktsstamdata via datamigrering Migreringsdata kan eksporteres på anfordring for alle aktører Engrosmodellens datamodel er allerede implementeret i den kørende DataHub. Dog kan aktørerne ikke se de nye datafelter i DataHub, da applikationen ikke er klar endnu. Som sagt, er der behov 3

5 for, at de nye engrosdata migreres ind i den nye datamodel i DataHub inden Go-live. Alle engrosdata har ikke samme tidsmæssige vigtighed ift. idriftsættelsen, så derfor er data, der skal leveres af netvirksomhederne og Energinet.dk, opdelt i 5 kategorier Kategorier af data til migrering 1. Pris informationer Netvirksomhedernes og Energinet.dk s prislister for abonnementer, tariffer og gebyrer 2. Tilknytning af tariffer og abonnementer til et målepunkt 3. Stamdata indikator for kunder med elvarme 4. Målepunktsstamdata - Nye målepunkter/stamdata for nye målepunktstyper - Nye målepunktsstamdata for eksisterende målepunkter 5. Kontaktinformationer De 4 første kategorier er helt nødvendige for, at elleverandøren kan fakturere korrekt. Det skal i den sammenhæng understreges, at DataHub vil fungere, uden at disse data er fuldstændige, men at konsekvensen af manglende data er, at netvirksomheden ikke får betaling for sine ydelser. Kategori 5 er ikke så vigtig som 1-4, da disse data kan lægges ind efter engrosmodellen er gået i drift. Hvis kategori 5 data mangler, vil det berøre udsendelse af bl.a. aflæsnings- og afbryderkort. Generelt for migrering gælder, at der tales om forskellige faser inden engrosmodellen kan gå i drift. Hver aktørtype kan have opgaver i de forskellige faser. 4

6 Pre-fasen starter den 2. februar 2015 og slutter den 28. september 2015 for derefter umiddelbart at blive efterfulgt af cut-over perioden. Post-fasen relaterer sig til aktiviteter, der foregår efter afslutning af cut-over perioden. For netvirksomheden og elleverandøren er der visse roller og ansvarsområder, der er vigtige, for at den samlede migrering succesfuldt vil kunne gennemføres uden at sætte driftsstabilitet og datakonsistens overstyr i den kørende DataHub. Nedenstående skema skal anskueliggøre, hvem der har ansvar for at gøre hvad og hvornår. Eksempelvis skal både Energinet.dk og netvirksomheden begge sikre, at de nødvendige priselementer er til stede til brug i den efterfølgende afregning af kunden, inden engrosmodellen går ind i cut-over fasen. En del aktiviteter vil skulle gennemføres indenfor selve cut-over perioden bemærk at disse ikke er en del af dette dokument. For yderligere informationer vedrørende cut-over henvises til Cut-over guide, der vil blive publiceret senest den Der vil internt hos Energinet.dk være et tæt samarbejde mellem cut-over og migreringsgruppen for at sikre, at idriftsættelsen af engrosmodellen sker på det bedst mulige grundlag. 5

7 2.2 Datakatagorier Nedenstående skema viser, hvilken periode de enkelte migreringsdata tilhører, samt hvilken aktør, der er ansvarlig for migreringen. Der oprettes et migreringsspor for hver gruppe af data for at tage hånd om de variationer, der er i data. Nogle af grupperne har få eller ingen ændringer, men de er medtaget, så alle data er repræsenteret. Migreringsspor / ansvarlig 1 NV/ENDK 2 NV 3 NV 4 NV 5 NV Informationstype Beskrivelse Migreringsperiode Prisinformationer Netvirksomhedens tilknytninger Energinet.dk tilknytninger Elvarmeindikator Kontaktinformation Informationer om abonnementer, gebyrer og tariffer. Informationerne indeholder bl.a. navn, pris, beskrivelse og gyldighedsperiode mm. Nærmere info herom findes i forskrift H3 Tilknytninger af netvirksomhedens egne abonnementer og tariffer på de enkelte målepunkter. Nærmere info herom findes i forskrift H3 Tilknytninger af Energinet.dk s tariffer og SKATs afgifter på de enkelte målepunkter. Nærmere info herom findes i forskrift H3 I migreringsperioden sætter netvirksomheden indikator for elvarme per målepunkt Nærmere info herom findes i forskrift I I migreringsperioden angiver netvirksomheden kontaktinformation for afbryder-, aflæsning- og valgkort per målepunkt. Før cutover Før cutover Før cutover Før cutover Før cutover 6 NV 7 NV 8 EL Nye målepunkter baseret på nye målepunktstyper Nye målepunktsstamdata på eksisterende målepunkter Kundeinformationer Nærmere info herom findes i forskrift I De nye målepunktsstamdata indeholder effektgrænser og målerdetaljer Nærmere info herom findes i forskrift I De nye målepunktsstamdata indeholder effektgrænser og målerdetaljer og eventuel parent-child relation. Nærmere info herom findes i forskrift I Kundeinformationer indeholder bl.a. betalingsvilkår, CPR-nummer mm. Disse opdateres med BRS-015 i migreringsperioden, men først når data fra spor 4 og 5 er hentet med BRS-005. Nærmere info herom findes i forskrift I NV Netvirksomhed EL Elleverandør ENDK Energinet.dk Før cutover Før cutover Efter cutover I før cut-over migreringsperioden er det primært netvirksomheden, som er aktiv. Elleverandøren skal i efter cut-over migreringsperioden være særlig opmærksom på at hente data, før indsendelse af migreringsdata finder sted. 2.3 Migreringskoncept Datamigrering til engrosmodellen er baseret på, at netvirksomheden indsender data ved hjælp af migreringsfiler til et selvstændigt migreringssystem. Systemet sikrer modtagelse, check af data og deltaberegning, inden data fysisk opdateres i DataHub produktionsdatabasen. Dette betyder, at de migrerede data vil være fysisk til stede i den eksisterende DataHub. Dog kan ingen af disse data tilgås via GUI eller B2B kanalen, da nødvendige engrosmodel skærmbilleder og 6

8 B2B software først vil være implementeret efter Go-live. Der er dog en undtagelse, og det drejer sig om prislistedata, der skal migreres via GUI og derfor også kan tilgås via samme applikation. Undervejs i migreringsprocessen vil et supportteam hos Energinet.dk monitorere gennemløb og fejlsituationer løbende og sikre, at den indsendende netvirksomhed får den nødvendige tilbagemelding på fejl og generel migreringsstatus. Energinet.dk har i processen flere muligheder for schedulering, for derved at udgå unødig belastning på produktionssystemet, såvel som migreringssystemet Migreringsflow Migreringsprocessen består af en række steps med egne regler og data tjek. Ved hvert skift tager systemet eller Energinet.dk stilling til, om migreringsdata skal videre til næste niveau eller om migreringsprocessen skal afbrydes. Systemet producerer en række tilbagemeldinger til henholdsvis Energinet.dk og netvirksomheden. Enkelte eksterne tilbagemeldinger vil komme automatisk fra systemet, mens de resterende vil komme fra Energinet.dk. Efter endt eller afbrudt migrering vil netvirksomheden modtage en migreringsrapport til kontrol af, om alle data er migreret. Energinet.dk har i migreringsprocessen 2 muligheder for at schedulere det videre forløb af migreringen. Den første gang er efter, at migreringsdata er valideret og indlæst i staging miljøet (midlertidigt lagringsmiljø hos Energinet.dk). Anden gang er efter, at der er dannet et delta datasæt. Migreringssystemet begynder først at opdatere DataHub produktionsdatabasen efter den sidste schedulering. 7

9 Indikerer operatørstyret afslutning af migreringsproces Indikerer automatisk systemstyret afslutning af migreringsproces Systemet kan udover statusmails generere op til 4 forskellige logfiler, der indeholder de målepunkter, der ikke har levet op til syntaks og formatkrav eller hvor der har manglet en funktionel relation til netvirksomhedens data i DataHub. Et eksempel på syntaks fejl kan være: Felt skal være numerisk, men indeholder alfanumeriske tegn. Et eksempel på format fejl kan være: Felt er alfanumerisk og der er krav om, at det minimum skal indeholde 4 tegn, men det indeholder kun 2. Et eksempel på funktionel fejl kan være: Et målepunkt findes i migreringsfilen, men eksisterer ikke i DataHub. Ud over systemets automatiske data tjek udfører medarbejdere fra Energinet.dk s supportteam også en visuel stikprøvekontrol, hvor der bliver udtaget et mindre antal records til manuel verificering. Denne verificering kan, hvis Energinet.dk vurderer det nødvendigt, afføde en korrespondance med netvirksomheden, hvor det vil blive besluttet, om migreringsprocessen skal stoppes eller kan fortsætte. Et eksempel på stikprøve fejl kan være: Et adressefelt på 132 karakterer indeholder for alle records kun adresser på 6 bogstaver eller kortere (kunne være en trunkeringsfejl ved udtræk) Delta migrering Opdatering af DataHub med engrosdata sikres gennem delta migreringer. Netvirksomheden indsender dog altid det fulde datasæt til migreringsplatformen og skal således ikke selv markere æn- 8

10 dringer i datasættet. Migreringssystemet håndterer automatisk udregning af delta per migreringsfil ved hvert fil-gennemløb og migrerer herefter de nødvendige ændringer. Illustreret ved nedenstående eksempel for migrering af pristilknytninger hen over tid. Ovenstående koncept betyder: For filtype 1 sender netvirksomheden altid et fuldt dataset (alle målepunkter i eget system) til migreringssystemet For filtype 2 og 3 sender netvirksomheden kun en positiv liste, dvs. målepunkter der har elvarme (filtype 2) eller kontaktadresser, der afviger fra målepunktsadressen (filtype 3). For filtype 4 gælder, at alle nye målepunkter baseret på nye målepunktstyper skal indgå i filen. For filtype 5 er reglen, at den kun må indeholde de målepunkter, der skal opdateres. Valget af deltamigreringer i stedet for totalmigreringer skyldes et ønske om, at mindske belastningen på det eksisterende DataHub produktionssystem i migreringsperioden Migrering af data ud af DataHub Efter endt migrering dannes der ved cut-over periodens afslutning migreringsfiler for import i elleverandørernes egne systemer. For de fleste elleverandører vil den bedste mulighed være at få data for alle migreringstyper leveret per fil (standard setup). Mindre elleverandører kan dog bestille pristilknytnings- og kontaktadressedata til levering via B2B. Se mere herom under Eksportregler for filtype 1-6 på side 7 Elleverandøren sørger selv for den nødvendige teknologi til at kunne indlæse data i egne systemer. 9

11 Formatet for de 4 filtyper, som elleverandøren skal importere i eget system, vil være identisk med formatet, der blev brugt i forbindelse med netvirksomhedernes upload af migreringsdata. Dog er filtype 0 blevet oprettet til import formål, da priselementdata ikke er migreret ind af netvirksomhederne via en fil, men er indtastet vha. en GUI applikation. For målepunktsstamdata bruges filtype 6, der er en sammenstilling af filtyperne 4 og 5. De datafelter, som er indeholdt i type 6, er en fællesmængde af datafelter fra typerne 4 og 5. Konceptet med at udsende migreringsdata via filer er lavet, for at elleverandører med mange målepunkter ikke skal belaste DataHub produktionssystemet unødigt i cut-over og post migreringsperioden Eksportregler for filtype 1-6 Modtagelse af migreringsdata før, under og efter cut-over: Filtype 0 generes automatisk og kan hentes løbende under migreringsprocessen Filtyper 1, 3 og 6 genereres som filer til efterfølgende indlæsning i elleverandørens system Filtype 1 og 3 kan hentes via B2B, dog kun hvis denne løsning er bestilt og godkendt inden cut-over (deadline medio september 2015) Bemærk: Filtype 1 og 3 kan ikke hentes via B2B for elleverandører med over målepunkter Filtype 6 data leveres kun som fil til efterfølgende load i elleverandørens system Hvis en elleverandør ikke ønsker migreringsdata leveret via fil 1, men efter ovenstående deadline i september i stedet ønsker at hente data via B2B, vil disse skulle requestes af elleverandøren selv - Energinet.dk vil ikke kunne "pushe" data ud på køen. 1 Standard data leverance hvis Energinet.dk ikke hører noget inden udløb af deadline 10

12 3. Data 3.1 Hvilke data skal migreres Der er en række typer af data, der er helt essentielle for den efterfølgende drift af engrosmodellen. Disse data er af migreringstekniske hensyn opdelt i forskellige typer af migreringsfiler. Filtyperne er nummererede for at lette den daglige omgang med migreringstyper og for at minimere fejl, der ville kunne opstå, hvis der kun blev brugt navngivning af filformater. 0 - Priselementer (prislisten) 1 - Pristilknytninger 2 - Elvarme markering 3 - Kontaktadresser 4 - Nye målepunkter 5 - Nye engrosstamdata på eksisterende målepunkter 6 - Alle nye engrosmodel målepunktsstamdata Der arbejdes som sagt med 7 forskellige filtyper for at sikre, at alle nødvendige DataHub engrosdata kan migreres både ind og ud af systemet. I nedenstående figur markerer pilene, om migreringsdata fødes ind i migreringssystemet eller om data leveres ud af migreringssystemet. 11

13 Hver filtype har sit eget helt unikke format for at sikre, at alle data migreres korrekt. For yderligere information omkring format og syntaks af migreringsfiler henvises til dokumentet Migreringsformater, der er en del af dokumentationspakken for datamigrering. 12

14 3.2 Migreringsfiltyper De 7 forskellige migreringsfiltyper har som sagt hver deres karakteristika og formål. Derudover vil regler for selve dataindholdet også variere mellem de enkelte filtyper. Hvad betyder de enkelte listemarkeringer: Listetype Komplet liste Beskrivelse Migreringsfil skal indeholde et fuldt datasæt, dvs. at alle netvirksomhedens målepunkter skal være indeholdt i filen, når den indsendes. Ved data eksport fra migreringssystemet (filtype 6) vil migreringsfilen indeholde alle målepunkter, dvs. alle eksisterende målepunkter + alle målepunkter oprettet igennem filtype 4. Positiv liste Kun målepunkter hvor en given stamdataværdi ønskes sat. Eksempel er målepunkter, der skal være registreret med elvarme Opdateringsliste Migreringsfil skal indeholde alle de målepunkter, hvor der skal ændres på stamdata. Det er primært stamdata relateret til den nye engrosdatamodel, der kan ændres. 13

15 D01 D02 D03 Abonnement Gebyr Tarif Engrosmodel data 3.3 Filtype 0 Hent priselementer Filtype 0 indeholder alle data for priselementer, hvilket svarer til den samlede prisliste for markedet. Netvirksomheden skal sikre, at alle de priser, der skal indgå i pristilknytninger, for de produkter der udbydes, er indeholdt i prislisten. Det vil sige, at alle priser for abonnementer, tariffer og gebyrer oprettes. Oprettelse af de enkelte priselementer foregår ikke gennem filtype 0, men via en DataHub GUI applikation. Filtype 0 anvendes derfor kun til at få priselementdata ud af migreringssystemet. Priser som Energinet.dk er ansvarlige for oprettes af Energinet.dk (eks. PSO) Filtype 0 Prisliste Feltnavn Kommentar Længde Aktør GLN Ejer af pris element N(13) X Type Pristype (D01, D02 og D03) - Kodeliste AN(3) X ID Tarif, abonnement eller gebyr ID - Aktørs egen pris element ID AN(10) X Navn Tarif, abonnement eller gebyr navn AN(50) X Beskrivelse Tarif, abonnement eller gebyr beskrivelse AN(2048) X Gyldighedsdato Startdato D(10) X Momsgruppe Skal der løftes moms af pris elementet (D01 og D02) - Kodeliste AN(3) X Pris Pris excl. Moms for tarif time 1 eller dagspris, samt abonnement eller gebyr N(8,4) X Pris Pris excl. Moms for time 2 N(8,4) X Pris Pris excl. Moms for time 3 N(8,4) X Pris Pris excl. Moms for time 4 N(8,4) X Pris Pris excl. Moms for time 5 N(8,4) X Pris Pris excl. Moms for time 6 N(8,4) X Pris Pris excl. Moms for time 7 N(8,4) X Pris Pris excl. Moms for time 8 N(8,4) X Pris Pris excl. Moms for time 9 N(8,4) X Pris Pris excl. Moms for time 10 N(8,4) X Pris Pris excl. Moms for time 11 N(8,4) X Pris Pris excl. Moms for time 12 N(8,4) X Pris Pris excl. Moms for time 13 N(8,4) X Pris Pris excl. Moms for time 14 N(8,4) X Pris Pris excl. Moms for time 15 N(8,4) X Pris Pris excl. Moms for time 16 N(8,4) X Pris Pris excl. Moms for time 17 N(8,4) X Pris Pris excl. Moms for time 18 N(8,4) X Pris Pris excl. Moms for time 19 N(8,4) X Pris Pris excl. Moms for time 20 N(8,4) X Pris Pris excl. Moms for time 21 N(8,4) X Pris Pris excl. Moms for time 22 N(8,4) X Pris Pris excl. Moms for time 23 N(8,4) X Pris Pris excl. Moms for time 24 N(8,4) X Obligatorisk viderefakturering Skal priselement fremgå direkte af kundens regning B(1) X Afgiftstarif Er tarif en afgift B(1) X Tidsopløsning Er tarif per dag eller time (P1D, PT1H), abonnement (P1M), gebyr (P1D) AN(5) X Vil altid være udfyldt Kan være udfyldt Vil aldrig være udfyldt Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 14

16 D01 D02 D03 Abonnement Gebyr Tarif Engrosmodel data 3.4 Filtype 1 Opret pristilknytninger For at tilknytte den rigtige pris fra prislisten til en ydelse (abonnement, gebyr eller tarif) på et givent målepunkt, skal der oprettes en pristilknytning. Pristilknytninger der måtte mangle, når engrosmodellen idriftsættes, vil forhindre elleverandøren i at kunne fakturere kunden korrekt. Det er derfor netvirksomhedens opgave at sikre, at alle tilknytninger er til stede ved system golive. Netvirksomheden får ikke betaling for en ydelse, der ikke er registreret på det givne målepunkt. Filtype 1 er en komplet liste dvs. alle netvirksomhedens målepunkter skal forefindes i migreringsfilen. Der er ingen historik på pristilknytninger i migreringssammenhæng, hvilket betyder, at hver migreringskørsel erstatter tidligere migrerede tilknytninger. Filtype 1 Pristilknytninger Feltnavn Kommentar Længde Målepunktsid N(18) X Startdato Link er aktiv fra dato D(10) X Slutdato Link er aktiv til dato D(10) X Type Pristype (D01 og D03) - Kodeliste AN(3) X Beskrivelse Netvirksomhedens egen nøgle/id relateret til priselementet AN(10) X Aktør GLN Ejer af pris tilknytning N(13) X Antal Antal gange abonnement beregnes. Tarif kan kun have antal = 1 N(5) X Vil/skal altid være udfyldt Kan være udfyldt Vil/må ikke være udfyldt Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 15

17 Abonnement Engrosmodel data 3.5 Filtype 2 Opret elvarme markering Filtype 2 indeholder en markering af, om et målepunkt er registreret med elvarme og fra hvilken dato elvarme registreringen skal være gyldig fra. Migreringsfilen er en positivliste, det vil sige, at kun målepunkter med elvarme skal indgå i denne liste. Alle målepunkter, der ikke indgår i listen, vil blive sat til ikke at have elvarme. Filtype 2 Elvarme Feltnavn Kommentar Længde Målepunktsid N(18) X Startdato Elvarme registrering er aktiv fra dato D(10) X Skal altid være udfyldt Kan være udfyldt Må ikke være udfyldt Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 16

18 D01 D02 D03 Afbryderkort Aflæsningskort Valgkort Engrosmodel data 3.6 Filtype 3 Opret kontaktadresser Engrosmodellen understøtter registrering af separate kontaktinformationer for henholdsvis afbryder-, aflæsning- og valgkort. Filtype 3 anvendes til at migrere andre adresseinformationer, end de der er gældende for målepunktsadressen. Migreringsfilen indeholder en markering Samme som MP adresse, der bestemmer, om systemet skal finde adresseinformationen på målepunktsstamdata eller i de nyoprettede kontaktinformationer. Migreringsfilen er en positivliste, det vil sige, at kun målepunkter, hvor der ønskes en anden kontaktinformation for en given adressetype, skal indgå i denne liste. Alle målepunkter, der ikke indgår i listen, vil blive sat til at have samme kontaktadresse, som er registreret på målepunktet. Filtype 3 Kontakt adresser Feltnavn Kommentar Længde Målepunktsid N(18) X Adresse type Type af kontaktadresse (D01, D02 og D03) - Kodeliste AN(3) X Kontaktnavn 1 AN(132) X Kontaktnavn 2 AN(132) X Samme som MP adresse B(1) X Vejkode AN(4) X Vejnavn AN(40) X Husnummer AN(6) X Etage AN(2) X Dørbetegnelse AN(4) X Stednavn AN(25) X Postnummer Bemærk: felt er op til 10 tegn. Postnummer på målepunktsadressen er 4 tegn AN(10) X Bynavn AN(25) X Kommunekode N(3) X Landekode AN(2) X Fastnet telefonnummer AN(20) X Mobil telefonnummer AN(20) X adresse AN(60) X Vil/skal altid være udfyldt Kan være udfyldt Vil/må ikke være udfyldt Hvis SameAsMPAddress = 0 er feltet grønt Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 17

19 D04 D05 D06 D07 D08 D09 D10 D11 D12 Solcelle Netto produktion (M1) Leverance til net (M2) Træk fra net (M3) Afregning/information Egen produktion Netto fra net (NFN) Netto til net (NTN) Total forbrug (BFB) Engrosmodel data 3.7 Filtype 4 Opret nye målepunkter Filtype 4 vedrører oprettelse af nye målepunkter baseret på de nye målepunktstyper. Der kan ikke oprettes målepunkter, der ikke er af typen (D04, D05, D06, D07, D08, D09, D10, D11 og D12). Vedrørende tilknytning af en måler til målepunktet, kan dette alene gøres for målepunkter, hvor målepunktsart er fysisk målepunkt. Bemærk: Når et nyt målepunkt er oprettet via filtype 4, skal målepunktet ikke indsendes i filtype 5 ved næste eller senere migreringskørsler. Det nye målepunkt sendes gennem hele migreringsperioden ind via filtype 4. Filtype 4 Stamdata - Nye MP typer Feltnavn Kommentar Længde Målepunktsid AN(18) Tilslutningsstatus Kodeliste AN(3) Målepunktstype Kodeliste AN(3) Målepunktsart Kodeliste AN(3) X Aflæsningsfrekvens Kodeliste AN(5) Effektgrænse Ampere N(6) X Effektgrænse kw N(3) X Netområde N(3) Målepunktskommentar Målepunktskommentar AN(60) X Produkt N(13) Energienhed Kodeliste AN(3) MP Vejnavn AN(40) MP Vejkode N(4) MP Husnummer AN(6) MP Etage AN(2) MP Dørbetegnelse AN(4) MP Stednavn AN(25) MP Postnummer AN(4) MP Bynavn AN(25) MP Kommunekode N(3) MP Landekode Skal være 'DK' AN(2) Parent målepunkt AN(18) X Måler id AN(15) X Målercifre Målecifrene angiver antal betydende cifre og antal decimaler adskilt med. AN(5) X Måleromregningsfaktor ND (8,4) X Målerenhed Kodeliste AN(3) X Målertype Kodeliste AN(3) X Skal være udfyldt Kan være udfyldt Må ikke være udfyldt Hvis SubTypeOfMeteringPoint = D01 er felt GRØNT ellers RØDT Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 18

20 E17 E17 E17 E18 E20 D01 D02 D03 Skabelon manuel Skabelon fjernaflæst Time/flexafregnet Produktion Udveksling VE Produktion Teknisk Egen produktion Engrosmodel data 3.8 Filtype 5 Opdater eksisterende målepunkter Engrosmodellen indeholder en række nye målepunktsstamdata, som skal migreres. Filtype 5 er beregnet til at oprette disse manglende data på eksisterende målepunkter. Derudover skal filtype 5 sikre, at det er muligt at konvertere et eksisterende teknisk målepunkt (nuværende D02) egenproduktion (nuværende D03) til en af de nye målepunktstyper (D02, D04, D05, D06, D07, D08, D09, D10, D11 og D12). For at sikre at alle nuværende målepunkter med målepunktstyperne D02 og D03, bliver konverteret korrekt, skal netvirksomheden indsende nye målepunktstyper for samtlige disse målepunkter. Dette gælder også for målepunkter, hvor den nye målepunktstype er D02, der i engrosmodellen betyder, at målepunktet er et analysemålepunkt. Derudover er det muligt at angive, om et målepunkt skal være child til et parentmålepunkt via attributen Parent målepunkt. Vedrørende tilknytning af en måler til målepunktet, kan dette alene gøres for målepunkter, hvor målepunktsart er fysisk målepunkt. Skiftet af målepunktstype og andre ændringer vil først træde i kraft efter cut-over. Bemærk: Målepunktstype D03 udgår i forbindelse med indførelse af engrosmodellen. Derfor skal der tages stilling til, hvilken ny type et eksisterende D03 skal have efter cut-over. Hvis et D03 målepunkt ikke konverteres til en gyldig målepunktstype, vil målepunktet blive nedlagt under cut-over, da engrosmodellen rent teknisk ikke vil kunne håndtere et gammelt D03 målepunkt. Filtype 5 Stamdata - Eksisterende MP typer Feltnavn Kommentar Længde SM SF TF Målepunktsid AN(18) Målepunktstype Kodeliste AN(3) Målepunktsart Kodeliste AN(3) X Effektgrænse Ampere N(6) X Effektgrænse kw N(3) X Målepunktskommentar Målepunktskommentar AN(60) X Parent målepunkt AN(18) X Måler id AN(15) X Målercifre Målecifrene angiver antal betydende cifre og antal decimaler adskilt med. AN(5) X Måleromregningsfaktor ND (8,4) X Målerenhed Kodeliste AN(3) X Målertype Kodeliste AN(3) X KonverterTilMålepunktsType Kodeliste AN(3) X Skal være udfyldt Kan være udfyldt Må ikke være udfyldt Hvis SubTypeOfMeteringPoint = D01 er felt GRØNT ellers RØDT Kan være udfyldt - Hvis tomt nedlægges målepunkt - if field empty, make a stop on meteringpoint Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 19

21 E17 E17 E17 E18 E20 D01 D02 D04 D05 D06 D07 D08 D09 D10 D11 D12 Skabelon manuel Skabelon fjernaflæst Time/flexafregnet Produktion Udveksling VE Produktion Teknisk Solcelle Netto produktion (M1) Leverance til net (M2) Træk fra net (M3) Afregning/information Egen produktion Netto fra net (NFN) Netto til net (NTN) Total forbrug (BFB) Engrosmodel data 3.9 Filtype 6 Hent alle målepunktsstamdata Alle nødvendige engrosmodel målepunktsstamdata er indeholdt i filtype 6. Dette betyder, at alle stamdata for alle målepunkter ejet af den pågældende aktør er indeholdt i filen. Alt hvad der er migreret ind via filtype 4 og ændret i filtype 5, samt de resterende målepunkter bliver således eksporteret ud i filtype 6. Elvarme indikatoren, som tidligere er migreret i filtype 2,, er også en del af filtype 6. I filtype 6 findes der en markering for, om et målepunkt bliver målepunktstypekonverteret under cut-over. De 2 markeringer indeholder henholdsvis hvilken type målepunktet konverteres til, og hvilken type målepunktet blev konverteret fra. Filtype 6 Samlet MP stamdata Feltnavn Kommentar Længde SM SF TF Målepunktsid AN(18) Forventet årsforbrug N(18) Afregningsform Kodeliste AN(3) Tilslutningsstatus Kodeliste AN(3) Forventet aflæsningsdag 1 D(10) Forventet aflæsningsdag 2 D(10) Forventet aflæsningsdag 3 D(10) Forventet aflæsningsdag 4 D(10) Forventet aflæsningsdag 5 D(10) Forventet aflæsningsdag 6 D(10) Forventet aflæsningsdag 7 D(10) Forventet aflæsningsdag 8 D(10) Forventet aflæsningsdag 9 D(10) Forventet aflæsningsdag 10 D(10) Forventet aflæsningsdag 11 D(10) Forventet aflæsningsdag 12 D(10) Aflæsningsform Kodeliste AN(3) Målepunktstype Kodeliste AN(3) Målepunktsart Kodeliste AN(3) X Aflæsningsfrekvens Kodeliste AN(5) Timedata B(1) Nettoafregningsgruppe N(2) Effektgrænse Ampere N(6) X Effektgrænse kw N(3) X Netområde N(3) Til Net N(3) Fra Net N(3) VærksGSRN AN(18) Forbrug over tilladt grænse B(1) Målepunktskommentar Målepunktskommentar AN(60) X Produkt N(13) Energienhed Kodeliste AN(3) MP Vejnavn AN(40) MP Vejkode N(4) MP Husnummer AN(6) MP Etage AN(2) MP Dørbetegnelse AN(4) MP Stednavn AN(25) MP Postnummer AN(4) MP Bynavn AN(25) MP Kommunekode N(3) MP Landekode Skal være 'DK' AN(2) Parent målepunkt AN(18) X Måler id AN(15) X Målercifre Målecifrene angiver antal betydende cifre og antal decimaler adskilt med. AN(5) X Måleromregningsfaktor ND (8,4) X Målerenhed Kodeliste AN(3) X Målertype Kodeliste AN(3) X KonverterTilMålepunktsType Kodeliste AN(3) X KonverterFraMålepunktsType Kodeliste AN(3) X Elvarme B(1) X Elvarme startdato D(10) X Branchekode N(6) Vil altid være udfyldt Kan være udfyldt Vil aldrig være udfyldt Hvis SubTypeOfMeteringPoint = D01 er felt GRØNT ellers RØDT Hvis (Elvarme = Ja) er felt GRØNT ellers RØDT Numerisk - NumeriskDecimal - AlfaNumerisk (tekst) - Dato - Boolean 20

22 4. Produktionsmigrering 4.1 Overordnede begreber Alle data, der skal migreres for at understøtte engrosmodellen, vil blive migreret direkte ind i den eksisterende DataHub. Dette koncept vil i høj grad minimere de risici, der kan opstå i cut-over fasen, da migreringsdata ikke er opbevaret i et midlertidigt staging-område, hvorfra data efterfølgende i cut-over fasen skal flyttes til produktionssystemet. Den 2. februar 2015, når migreringssystemet åbner for modtagelse af data, vil det for netvirksomheden kun være muligt at indsende migreringsfiler via FTP. I forhold til oprettelse af priselementer til prislisten er dette den eneste adgang til migreringssystemet, bortset fra GUI applikationen. Nedenstående folderstruktur er den samme for alle netvirksomheder - migreringsdata er 100% adskilt mellem netvirksomheder. Det vil være muligt for netvirksomheder at bestille udtræk af filtype 1, 3 og 6 fra migreringssystemet til egenkontrol. For filtype 0 gælder, at denne løbende publiceres til netvirksomhedens underfolder <Pricelist>. Elleverandøren vil også have egen FTP folderstruktur, hvor igennem der kan modtages migreringsdata fra migreringssystemet. Fra januar måned 2015 vil det være muligt at hente prisliste data og efterfølgende fra 1. april 2015 og frem, vil der kunne hentes data relateret til filtyperne 1, 3 og 6. For yderligere oplysninger til produktionsmigrering henvises til bl.a. guiden for migreringsformater og FTP guiden. 4.2 Systemleverandør Systemleverandørerer skal ikke foretage nogen migrering i produktion. Systemleverandøren skal blot sikre, at deres respektive kunders systemer kan gennemføre migrering af produktionsdata. Det vil ikke være tilladt eller muligt for systemleverandøren at agere netvirksomhed eller elleverandør under produktionsmigreringen. 21

23 4.3 Netvirksomhed Netvirksomheden skal skabe de nødvendige data til migrering fra eget produktionsmiljø og indsende disse til migreringssystemet løbende fra den 2. februar og frem til den 28. september. Det er de sidste migreringsfiler, der indsendes den 28. september, som vil danne grundlaget for den videre behandling i cut-over perioden. Det er netvirksomhedens ansvar at sikre, at alle nødvendige migreringsdata er til stede i DataHub, da det ellers ikke vil være muligt for elleverandøren at gennemføre en korrekt fakturering, når engrosmodellen sættes i drift. Energinet.dk har oprettet et supportteam, der vil stå til rådighed for bl.a. netvirksomhederne i migreringsperioden. Det forventes, at der vil være et tæt samarbejde mellem både netvirksomhederne og deres systemleverandører i perioden op til cut-over. 4.4 Elleverandør Elleverandøren skal i perioden frem til cut-over ikke foretage nogen migreringer af produktionsdata, da den korrekte version af migreringsdata først vil være til stede i løbet af cut-over perioden. Når data er udtrukket og klargjort, vil de enkelte migreringsfiler (type 0, 1, 3 og 6) blive oprettet i elleverandørens FTP folderstruktur. Energinet.dk s supportteam vil udsende en notifikation til elleverandøren om, at filerne er klar til download og den videre behandling i egne systemer. 4.5 Balanceansvarlig Der vil ikke være noget krav eller mulighed for at gennemføre en produktionsmigrering som balanceansvarlig. Alle data, som den balanceansvarlige bruger i den daglige drift, sikres gennem andre typer af aktører. 4.6 Måledataoperatør Der vil ikke være noget krav eller mulighed for at gennemføre en produktionsmigrering som måledataoperatør. Alle data, som måledataoperatøren bruger i den daglige drift, sikres gennem andre typer af aktører. 22

24 5. Testmigrering 5.1 Overordnede begreber De forskellige typer af aktører har også forskellige krav til gennemførelse af et testforløb. Nedenstående tabel indeholder datoer for, hvornår en given opgave kan eller skal udføres, samt hvornår Energinet.dk kan tilbyde det nødvendige datagrundlag, for at et testforløb kan udføres. 5.2 Systemleverandør Der oprettes 3 fiktive netområder til testformål i E2E testdatabasen. Et af disse er forbeholdt datamigrering og skal udelukkende bruges til dette formål. Organisationsnavnet indeholder betegnelsen Migrering for at adskille det fra de andre netområder, der skal bruges i E2E sammenhæng. Følgende fiktive netområder er tildelt kendte systemleverandører, der leverer systemunderstøttelse til netvirksomheder: 23

25 Der bør ikke udføres transaktioner mod E2E systemet på ovenstående netområder, da det vil kunne genere fejl i migreringskørsler. Hvis eksempelvis et målepunkt bliver nedlagt på eget testsystem, vil migreringstestsystemet ikke modtage denne information og vil derfor generere en advarsel, næste gang der køres en migreringskørsel. Der er ingen fysisk eller logisk forbindelse mellem E2E testdatabasen og migreringstestdatabasen bortset fra på skabelsestidspunktet. Data, der skal bruges til migreringstest, fremsendes som kommasepareret fil til Energinet.dk, som derefter sikrer, at data er oprettet i det tildelte fiktive netområde, inden migreringstesten påbegyndes. Datamæssigt drejer det sig i denne sammenhæng kun om et udvalgt sæt af målepunktsstamdata. For nærmere beskrivelse af hvilke målepunktstyper etc. der er krævet, for at kunne gennemføre en fyldestgørende test, henvises til materialet vedrørende End to End test. Materialet kan findes på Projektaktiviteter End to End test. 5.3 Netvirksomhed Der er ikke planlagt en dedikeret test for netvirksomheden. Det forventes, at netvirksomhedens systemleverandør har gennemgået de påkrævede tests og godkendelseskrav. Godkendelsekriterier for systemleverandøren er, at alle migreringsfiltyper brugt til oprettelse af data kan gennemføres for både upload, import og validering uden terminerende fejl. Derudover skal der kunne beregnes et deltadatasæt på baggrund af de indsendte data, for senere fysisk oprettelse i DataHub systemet. Kun fejl, der naturligt kan opstå pga. periodisering af data, kan accepteres i denne del af testen. Netvirksomheden bør have tæt kontakt med den valgte systemleverandør for at sikre, at egen infrastruktur og software fra systemleverandør kan honorere de krav, der stilles til netvirksomheden, når produktionsmigreringen starter primo Elleverandør Elleverandøren skal ikke migrere data ind i systemet før efter cut-over. Derfor vil elleverandøren kun skulle teste, at data, der er migreret af netvirksomheden, kan modtages fra migreringssystemet, og at disse data kan indlæses i eget system. Elleverandøren skal kunne modtage følgende migreringsdata til test: Filtype 0 - Priselementer (prislisten) Filtype 1 - Pristilknytninger Filtype 3 - Kontaktadresser Filtype 6 - Alle nye engrosmodel målepunktsstamdata Elleverandøren kan fra 1. april 2015 rekvirere eksportfiler fra migreringssystemet, der vil indeholde målepunkter, hvor elleverandøren er registreret som leverandør. Undtagelse er filtype 0, der vil indeholde hele prislisten for alle netvirksomheder. Elleverandøren skal selv filtrere de priser ud, som vedrører de netvirksomheder, som målepunkterne er hjemmehørende hos. 24

26 Det er vigtigt at bemærke, at data der udtrækkes kommer fra produktionssystemet, hvilket betyder, at elleverandøren skal basere sine migreringstests på data udtrukket fra eget produktionssystem. Det er på nuværende tidspunkt endnu ikke besluttet, hvilke godkendelses kriterier der skal gælde for elleverandøren. Information herom vil blive frigivet senere, dog senest ved start af elleverandørens adgang til testdata udtræk. 5.5 Balanceansvarlig Der vil ikke være noget krav eller mulighed for at gennemføre en migreringstest som balanceansvarlig. 5.6 Måledataoperatør Der vil ikke være noget krav eller mulighed for at gennemføre en migreringstest som måledataoperatør. 25

27 6. Tidsplan 6.1 Testmigrering Tidsplanen for test af migrering er baseret på og afhængig af, at alle data og softwareleverancer på testserveren PRE04 (ftp.datamigrering.datahub.dk) overholder deres respektive tidsplaner. Som man kan se i planen er der 2 milepæle for, hvornår systemleverandøren skal leve op til acceptkriterierne i testplanen. Systemleverandører, der ikke er godkendt, vil ikke kunne påbegynde produktionsmigreringer hos deres kunder. Netvirksomhederne vil heller ikke selv kunne varetage produktionsmigrering, uden at der i testsystemet er givet bevis for, at den nødvendige software til udtræk og sammenstilling af data kan fungere sammen med migreringssystemet. Priselementer (Opret priser) der skal bruges i testforløbet, skal være oprettet inden selve migreringstesten kan påbegyndes. 26

28 6.2 Produktionsmigrering Tidsplanen for datamigrering til produktionssystemet foregår udelukkende i Når der den 1. april 2015 refereres til Komplette data menes der, at alle netvirksomhedens migreringsdata skal være migreret ind i produktionsdatabasen. Det vil sige, at eksempelvis alle pristilknytninger for alle netvirksomhedens målepunkter skal være til stede i systemet. Når der den 31. maj 2015 refereres til Afregningsvalide data menes der dels, at alle netvirksomhedens migreringsdata skal være migreret ind i produktionsdatabasen (komplette data), og dels at alle data skal være valide i forhold til afregning. Det vil sige, at eksempelvis alle pristilknytninger for alle netvirksomhedens målepunkter skal være baseret på de dd. gældende priser, og alle abonnementer, tariffer og gebyrer skal være på plads. Efter 31. maj 2015 vil der fortsat skulle migreres data, indtil systemet lukkes før cut-over. Disse migreringskørsler vil typisk ikke give de store ændringer, da det, der opdateres, kun vil være deltadata opstået i forbindelse med den daglige drift. Den 28. september 2015 skal migreringssystemet fra alle netvirksomhederne modtage det sidste sæt migreringsfiler. Efter denne dato vil det ikke længere være muligt at aflevere migreringsdata. Enhedspriser (Opret priselementer) der skal bruges på pristilknytninger, skal være oprettet inden der kan indsendes migreringsfiler. 27