Automatiseret ind- og udlæsning af tabeller fra en database

Transkript

1 1 Automatiseret ind- og udlæsning af tabeller fra en database Opdaterede og stylede data i MapInfo Thomas Whitelaw Christensen TM-Digital Horsens Kommune

2 Baggrund 1 2 GIS strategi i Teknik og Miljø (ca. 350 medarbejdere) - Langt de fleste på WebGIS - Kun enkelte brugere på desktop GIS - Der anvendes services, hvor de findes (WFS/WMS) - Kun ét desktop system (først Arc nu MapInfo)

3 Baggrund 2 3 Eksterne data WFS/WMS WebKort (borger site) PostGIS Scripts natlige kørsler FME SQL SpatialSuite WebGIS (internt site) Øvrige interne data MS-SQL MS-Access MS-Excel MapInfo m.m. MapInfo filer (tematiserede, ikke opdaterede) TM-Digital

4 Organisering og omfang 1 4 Gennemgang og opdatering af eksisterende MapInfo data, tilføjelse af nye : - Data, der skal opdateres (WFS), 567 stk. - Data, der kun udstilles som WMS, 227 stk. - Data, der af forskellige årsager bevares som base tables, 222 stk

5 Organisering og omfang 2 5

6 Opdaterede og stylede data i MapInfo Eksterne data WFS Kommunale data WFS Tematiserede MapInfo data Styles PostGIS MapInfo (stylede data) Data MapInfo base tables TM-Digital

7 Opdaterede og stylede data i MapInfo Hvorfor så kompliceret? Hvorfor ikke blot anvende tematiserede WFS-baserede tabeller, der dagligt opdateres? TM-Digital

8 Trin i processen 8 1. Opdatering af WFS-data (TableRefresh) 2. Indlæsning af tab-fil liste og tab-fil data i PostGIS (FME) 3. Læsning af styling i de tematiserede data (SQL) 4. Kopiering af tematiserede tabeller til base tables (WOR-fil generet via SQL) 5. Indlæsning af data i PostGIS (FME) 6. Dannelse af mapinfo_mapcapalog i PostGIS (SQL) 7. Dannelse af views, hvor data og styles kombineres (SQL) 8. Dannelse af sammenkædede MapInfo tabeller (WOR-fil generet via SQL)

9 Trin 1: Opdatering af WFS-data 9 - Opdateringen sker via TableRefresh.mbx - WFS-tabeller, der ikke kunne opdateres listes til sidst i loggen - Loggen læses via FME og tabeller, der ikke er opdateret, udelukkes fra den videre proces

10 Trin 2: Indlæsning af tab-fil liste og tab-fil data i PostGIS 10 - Indlæsninger sker via FME - Der generes to tabeller, én til tab-fil navne og én til tab-fil indhold - Filnavnene valideres, og tab-filer med ugyldige navne udelukkes

11 Trin 3: Læsning af styling i de tematiserede data 11 - Indtil videre sker dette via 14 SQL-funktioner

12 Trin 3: Læsning af styling i de tematiserede data 12

13 Trin 4: Kopiering af tematiserede tabeller til base tables 13 - Oprindeligt skulle indlæsningen af data til PostGIS foregå via EasyLoader - Problemer gjorde, at der skulle findes en anden løsning, der blev indlæsning via FME - FME kan ikke læse WFS-baserede tab-filer, så det var nødvendigt at kopiere til base tables - Til dette generes og afvikles en WOR-fil via SQL og FME

14 Trin 6: Dannelse af mapinfo_mapcapalog i PostGIS 14 - Da EasyLoader ikke anvendes til indlæsning skal mapinfo_mapcatalog tabellen oprettes manuelt

15 Trin 7: Dannelse af views, hvor data og styles kombineres - Views dannes ud fra data-tabellerne med tilføjelse af kolonnen mi-style med data fra tabellen med styles samt et tidsstempel 15 - Der dannes kun views for tabeller, der findes i mapinfo_mapcatalog

16 Trin 8: Dannelse af sammenkædede MapInfo tabeller (udlæsning) 16 - Via SQL og FME generes og afvikles en WOR-fil, der danner sammenkædede tabeller med en style knyttet til hvert enkelt objekt

17 Status: i drift, men der er udeståender Tematisering med expression, p.t. to datasæt andre datasæt, der af forskellige grunde ikke kører i gennem bedre styr på validering i de forskellige trin 3. Etablering af automatiseret download, hvor services er for ustabile, f.eks. FVM 4. Automatisk tilføjelse af signaturforklaringer 5. Afvikling via MapBasic