Bilag 1C: Dataopsamling og "infrastruktur"

Bilag 1C: Dataopsamling og "infrastruktur" På Viby Renseanlæg er opsat en isoleret standard skibscontainer, der er indrettet med en vandrende til spildevandet, hvor sensorerne kan monteres. Måleudstyr og dataopsamlingsudstyr er monteret på væggen, og der er opsat en prøvetager. Selve dataopsamlingen er baseret på en DIMS.CORE database, hvor alle måledata samles og de fleste måledata indsamles i real-tid via en on-line host. På denne måde kan der løbende foretages beregninger med brug af data i real tid. Systemet er opbygget med en PLC, der har forbindelse til sensorerne via 4-20 ma analoge signaler fra målernes signalomsættere og i den anden ende til DIMS-systemet via digital kommunikation. Alle sensorerne undtagen nogle få, der omtales separat efterfølgende, er forbundet på denne måde, og signal-værdien fra disse sensorer gemmes hvert minut i en MS-SQL database på en server hos Aarhus Vand. Undtagelsen fra ovenstående er data fra S::can spectro::lyseren og fra S::can ph-elektroden. Disse 2 sensorer er forbundet til en S::can Con::stat, som opsamler måleværdierne inklusive den spektrale fordeling af absorbansen. Måleværdierne fra ph elektroden og fra de af S::can spektrene beregnede afledte værdier skrives fra en lille industri-pc tilbage til PLC en, hvor DIMS-systemet kan læse værdien og gemme i databasen. Værdierne kunne mere simpelt blot skrives direkte ned i DIMS-databasen fra industri-pc en, men den valgte metode har den fordel, at alle måleværdier er tilgængelige via det samme system, hvis der ønskes foretaget beregninger eller korrektioner direkte i real tid. Den mulighed findes ikke i den simple model for datahåndtering. Spektrene fra S::can målesystemet overføres dog batch-vist direkte fra industri-pc en til databasen, da disse spektre ikke på samme måde som en målt temperatur eller lign. kan anvendes til korrektion af andre målte parametre. En PLC vil normal heller ikke kunne håndtere en måleværdi i form af et helt spektrum i modsætning til en måleværdi, der blot er et enkelt tal. Ud over de kontinuerte onlinemålinger er der også udført en stribe laboratorieanalyser på vandprøver udtaget på forskellig vis. Resultaterne fra disse analyser er også lagt ind i databasen, men på grund af det relative lave antal analyser, er resultaterne blot indlæst manuelt i stedet for at opbygge en automatisk indlæse-rutine, hvor laboratorierne selv lægger data ind i databasen. Side 1 af 13

Alle projektpartnere har adgang til alle data via et login til Aarhus Vands netværk. Billede 1 Eksempel på login til Aarhus Vand via Citrix Når man har adgang til terminal-serveren via fjernskrivebord, kan DIMS.CORE designer-klienten startes og forbindelse til databasen oprettes. Billede 2 Oprettelse af forbindelse til databasen med måleresultater Side 2 af 13

I DIMS-klienten kan man fx se hvilke tidsserier for måledata, der er oprettet et udsnit heraf vises nedenfor: Billede 3 Et udsnit af de oprettede tidsserier af måledata i databasen Forskellige typer data kan præsenteres på kurveform. Et eksempel på vandstanden i indløbet til Viby renseanlæg ses nedenfor på billede 4. Her er der først beregnet en glidende middelværdi af det aktuelt målte signal for på den måde at glatte spikes ud. Billede 4 Eksempel på en måleværdi, der er blevet glattet ud vha. beregning af glidende middel. Side 3 af 13

En af de anvendte sensorer under forsøget er en S::can Spectro::lyser. Denne type sensor måler absorbansen gennem vandprøven ved forskellige bølgelængder. I dette tilfælde er der anvendt en sonde med kort vejlængde gennem vandet (2 mm) og et bølgelængde interval fra 200 til 750 nm. Den korte vejlængde er anvendt, da spildevand har en kraftig absorbans gennem hele spektret i modsætning til drikkevand, der har meget mindre absorbans og man derfor med fordel kan anvende en længere lysvej gennem vandprøven. Indbygget i sensorsystemet er der nogle software-sensorer, der ud fra de målte spektra kan beregne afledte parametre. Det er fx kendt, at nitrat og nitrit absorberer kraftigt i den helt lave ende af spektret så i sensoren er indbygget en beregning på spektrene, der udregner nitrat-indholdet. På nedenstående figur er vist resultatet af S::can sensorens beregnede nitrat-n koncentration under målekampagne 9 sammenholdt med analyseresultatet af laboratorieprøverne fra hhv. målerenden (røde markeringer) og in situ fra indløbet til bygværket (grønne markeringer). S::can sensoren er monteret i målerenden, så det er de resultater, der bedst kan sammenlignes. S::can sensoren har kørt med en fabriks-kalibrering under forsøget, da det er vanskeligt, at kalibrere i det aktuelle spildevand, som ellers vil være at foretrække. Grunden til, at det er vanskeligt at kalibrere, er, at nitrat-indholdet ofte er meget lavt i spildevandet, og man derfor ikke kan få tilstrækkeligt mange prøver med forskelligt og specielt højt indhold af nitrat til at dække måleområdet. Af figuren ses, at der er en nogenlunde sammenfaldende struktur så sensorsignalet er højt når analyseresultatet også er højt og lavt, når der er lavt analyseresultat. Der er dog i starten nogle meget lave analyseresultater, hvor sensoren giver væsentlig højere værdi. Billede 5: Analyseresultater af prøver fra hhv. målerenden og in situ sammenholdt med S::can sensorens nitrat-signal. Side 4 af 13

Ved målekampagne 4 er der også nogle sammenhørende målinger og analyseresultater, der kan ses på billede 6. Billede 6: Resultater fra målekampagne 4 Ved målekampagne 4 er der også sammenfald af kurvefacon, men endnu større absolut forskel i måleværdien. Ved denne målerunde fungerede trykluft rensningen af sensoren dog ikke optimalt, hvilket kan have påvirket måleresultatet. Ved de øvrige målekampagner har der enten kun været ganske få analyseværdier, der ikke var under detektions-grænsen, eller også har der manglet pålidelige data fra S::can sensoren. Fra S::can sensoren opsamles ikke kun de af absorbans spektret beregnede værdier, men også de fuldstændige spektre, så der løbende kan beregnes enten nye spektre eller udtrækkes absorbanser fra bestemte bølgelængde områder. Absorbansspektrene gemmes i databasen som fingerprints, der blot er objekter indeholdende absorbans som funktion af bølgelængde (filtype.fp1). Bølgelængdeområdet for et fingerprint går fra 200-750 nm med en afstand på 2,5 nm mellem de enkelte absorbansmålinger. Figur 7 viser hvordan data transmitteres fra absorbansspektrometeret som filbaseret information, der splittes op i de af spektrometeret beregnede parametre (der gemmes som normale tidsserier i i databasen som alle andre målinger) og absorbansspektrene, der gemmes som tidsserier indeholdende selve spektret. Der kan så efterfølgende foretages følgende beregninger på de lagrede absorbansspektre (fingerprints). Side 5 af 13

Figur 7: Oversigt datatransmission, lagring og beregninger for data fra absorbansspektrometer. 1. En flexibel konfigurerbar lineær kombination af to spektre, der som resultat giver et nyt spektrum. De to input spektre kan være rå spektre fra absorbansspektrometeret eller allerede beregnede spektre. Spektre kan komme fra forskellige målesteder (men ikke nødvendigvis) og/eller have forskellige tidspunkter (men ikke nødvendigvis). Herudover kan det ene spektrum være et fast referencespektrum (gemt som en global variabel). Endelig kan denne beregningsmetode kombineres med metode 3, således at den resulterende tidsserie kommer til at indeholde såvel spektre, som afledte værdier. 2. Beregning af den første afledte af et spektrum det resulterende differentialspektrum gemmes med samme format, og anvendes metoden en gang mere på dette fås således det to gange differentierede spektrum. 3. Udtræk af afledte værdier beregnet fra spektret. Disse værdier gemmes som normale tidsserier (målinger). Afledte værdier omfatter middelværdi, standard afvigelse, minimum og maximum for absorbanser inden for et specificeret bølgelængde område kan således også være en værdi for hele spektret. De enkelte absorbans-spektre fra S::can spectro::lyseren kan også vises. Hele spektret er gemt i databasen for hvert tidspunkt det er målt. Side 6 af 13

Billede 8 Eksempel på S::can Spectro::lyser måleværdi i form af et helt absorbans-spektrum I DIMS.CORE er der også mulighed for at foretage beregninger på de målte spektre fra S::can udstyret. For eksempel kan differensen mellem 2 spektre beregnes for at se om der er sket en ændring i signalet mellem 2 målinger. I eksemplet vist nedenfor er differensen mellem 2 spektre optaget med 5 minutters mellemrum vist. Hvert resultat er igen et helt spektrum, men som måleværdi er gemt den summerede absorbans-forskel. Hvis de 2 spektre er ens bort set fra lidt støj på signalet, vil den summerede værdi være meget tæt på 0. Hvis absorbansen stiger i den ene ende af spektret, men falder i den anden ende, vil summen også kunne falde tæt på 0, men ved en generel stigning eller fald, vil summen slå ud med et højt positivt eller negativt tal. Side 7 af 13

Billede 9 Eksempel på S::can Spectro::lyser differens-spektrum, hvor signalet er for 5 minutter siden er subtraheret fra det aktuelt målte signal I DIMS er der mulighed for at foretage en datavalidering af målte sensorsignaler i real tid, hvor nogle typer af fejl kan blive håndteret automatisk. Der er samtidig mulighed for at detektion af sådanne fejl kan generere en mail eller SMS til den vagthavende på renseanlægget. En nærmere beskrivelse af hvordan den automatiske datavalidering kan opsættes på en sensor er vist i det efterfølgende med en ammoniumsensor på Viby renseanlæg som eksempel. Side 8 af 13

Real Time Data Validation The most common errors in the input data include missing data, measurement values out of range, peaks (outliers) and constant measurement values (indicating that the sensor is out of order). It is possible to check the data for these typical errors using simple methods known as single data validation. However, even if these methods are simple it is not common that they are implemented directly in PLCs (Programmable Logic Controller) the range check might be an exception. Therefore, the single data validation methods are applied as part of the interaction between the RTC (Real Time Control) system and the PLC. One or more methods can be applied as data is read from the PLC, and each method as a result gives a confidence value between 0 and 100 for each data point. If the confidence is lower than a pre-set threshold, different actions can be taken (avoid using data for control, suspend the control based on the RTCalgorithm and fall back to default control by local control loops, calibrate/repair sensor, etc.). The single data validation methods are based on the immediate, recent reading, and therefore other methods must also be used to assess the quality of the data in the long term, looking over hours and days (e.g. look for gradual drift ). These long term validation methods are partially based on the same principles as the short term validation methods, but are using data from a much longer period of time typically looking hours or days back from the actual time using a moving average or a moving trend calculation. The single data validation methods do not distinguish between a change in sensor properties or in the process variable itself. This requires more complex validation using more sensors also known as cross validation methods. However, if it is possible to configure software sensors (a real time calculation based on one or more sensors) in the RTC system, cross validation can be obtained by using the above methods applied to the software sensor instead of a real sensor. Confidence 100 min. low high max. Limits 0 Error OK Error Criterion Figure 1: Principle of applying confidence to a measurement Side 9 af 13

The validation methods are based on how much confidence should be paid to measurements which have unexpected behaviour. If a measurement is within the limits of what can be expected, the confidence will be 100, and if it is showing values which are highly unexpected or even impossible the confidence will be 0. However, between these two situations it might be difficult to judge and confidence will gradually decrease when the measurement is moving from expected values towards unexpected values (figure 1). Table 1 gives an overview of the calculation of the confidence for the different (short term) validation methods, and as can be seen the setting of the parameters for the validation is quite important, and as mentioned these should accommodate both sensor and process response. The table also includes the parameter setting for an ammonia measurement in the inlet to a wastewater treatment plant, which is used as an example below. Table 1: Calculation of the confidence for a measurement. Parameters reflecting the example used below for an ammonium sensor in the inlet to Viby wastewater treatment plant. Method Confidence function Parameters used Gap Filling (GF); N = no. of time steps = 100 * (1 n i / N); n i < N (n i = 1, 2,...N) = 0; n i >= N N = 5 Range Check (RC); x = measurement value Rate of Change Check (RCC); x = change of measurement per minute = 0; x > L max = 100 * ((L max x) / (L max L high)); L high <= x <= L max = 100; L low < x < L high = 100 * ((x L min) / (L low L min)); L min <= x <= L low = 0; x < L min = 0; x > L max = 100 * ((L max x) / (L max L high)); L high <= x <= L max = 100; L low < x < L high = 100 * ((x L min) / (L low L min)); L min <= x <= L low = 0; x < L min L max = 75 L high = 60 L low = 5.0 L min = 2.5 L max = 10 L high = 2.5 L low = -2.5 L min = -10 Running Variance Check (RVC); x = running variance of last n measurements = 100; L low < x = 100 * ((x L min) / (L low L min)); L min <= x <= L low = 0; x < L min L low = 5 x 10-6 L min = 10-6 n = 5 Overall Assessment = Min (C GF, C RC, C RCC, C RVC) - One or more of the validation methods can be selected reflecting the expected problems with a given sensor. If more methods are selected the resulting confidence will be the minimum of the calculated confidences. The real time validation methods are implemented in DIMS.CORE, and the following practical example is taken from an implementation at the Viby wastewater treatment plant in Denmark. Figure 2 shows the results from an ammonium measurement in the inlet to the wastewater treatment plant together with the inlet flow for a period of 5 days including both dry and wet weather. Both the ammonium and the flow are logged every minute. Side 10 af 13

The dry weather flow shows normal diurnal behaviour, and the wet weather flow is a result of a 6 hour rain causing the flow to the treatment plant to increase rapidly to the medium inlet pump capacity (800 L/s) the second inlet pump out of three is running in on/off mode. When the rain stops the inlet flow decreases to approx. 500 L/s, increases again due to a light rain period and then decreases to normal dry weather conditions (between 100-200 L/s). Stop of the inlet pumps due to maintenance work can be seen in the morning Dec. 9. During the rain the ammonium concentration decreases as expected and return to normal dry weather values after the rain stops. Figure 2: Measurements from the inlet to Viby wastewater treatment plant, Denmark Data validation of the ammonium measurement requires configuration of the parameters for the selected methods, which here will be range check, rate of change check and running variance check (figure 3). In order to configure the parameters correctly, it is important to identify normal behaviour of the measurement and to look for deviations from normal behaviour over a longer time period. The aim is to make the data validation as sensitive as possible, and at the same time minimize false positives. The range check should reflect a normal working range of the measurement and figure 2 suggests parameters to be configured as shown in figure 3 and table 1 (in the dry season values for the ammonium measurement are usually 10 mg/l higher than shown in figure 2, which is from a very wet period). The figure is also an example on how configuration of data validation is done within the DIMS.CORE system. Configuration of parameters for the rate of change check and the running variance check is not as straightforward as for the range check. However, as DIMS.CORE supports easy setup of software sensors it is possible to configure temporary software sensors calculating the rate of change and the running variance. These show that the rate of change typically varies between 1.3 and -4.6 and that the minimum for the running variance with 5 time steps is around 5x10-6, suggesting the parameters for the two methods to be configured as in figure 3 and table 1. The resulting overall confidence for the ammonium measurement using these parame- Side 11 af 13

ters is also shown in figure 2. The first two drops in the confidence in figure 2 (Dec. 8) originates from the range check, the third from the running variance check and fourth and fifth from the rate of change check (all three on Dec. 12). Figure 3: Configuration of data validation using range check In a real time control system it is not the confidence itself which is interesting it is the automatic detection of an decreasing /increasing confidence crossing certain thresholds, and what automatic actions shall be taken, when these thresholds are crossed. This is handled by changing the quality of the measurement accordingly. Figure 4: Quality assessment of calculated confidence for the ammonium measurement Side 12 af 13

This quality assessment gives an extra dimension to the data validation, because confidences for measurements can be given different weights. Figure 4 shows the quality assessment of the calculated confidence for the ammonium measurement. The quality is judged to be OK if the confidence is higher than 90. When the quality drops below 90 the warning state becomes active, below 75 the quality becomes critical and below 50 the quality enters into the error state. Each time a threshold is crossed the system generates an event, which in this case is used to send an email when a warning has to be issued and a SMS when the quality shifts to indicate an error both to the staff being responsible for the maintenance of the ammonium sensor. Side 13 af 13